柔体操作最缺数据、最怕仿真失真？新研究让布料物理真实再现¶

公众号: 量子位 发布: Wed, 15 Apr 2026 12:37:00 +0800 URL: https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247883563&idx=3&sn=f632f71df97c1ac20bc64c6cfeebce20

关注前沿科技

2026-04-15 12:37

北京

第一次纯仿真数据训练的策略，能零样本迁移到真机部署

非羊整理自凹非寺

量子位 | 公众号 QbitAI 近年来研究者们一直在试图通过仿真环境批量产出具身训练数据。但是仿真环境和真实环境终究还是有差异，在一些复杂场景中仿真环境还不能产出足够高质量的数据。上海AI Lab 最新研究，实现了对布料等棘手物品的物理性质真实再现，相关复杂条件的仿真数据质量达到了可堪一用的程度。让仿真不再只是“近似现实”的工具，而是现实数据生成与策略学习的新入口。具身智能的进展很快，但它真正卡住的地方也越来越清楚：不是模型不够大，而是数据不够多，尤其是高质量、可执行、可泛化的数据不够多。柔体操作又是其中最缺数据的一类：它不仅状态空间巨大，包含形变、接触和拓扑变化，还天然依赖复杂的物理过程；而人工遥操作效率低、采集成本高，让真实数据始终处在“够用但不够多”的状态。在这样的背景下，SIM1想回答的不是“还能不能再做大一点仿真数据”，而是另一个更关键的问题：数据首先要做对，数据扩增的收益才会真正出现。仿真一直被认为是解决机器人数据稀缺非常有希望的解法，希望通过“海量仿真数据”填平真实世界里的数据缺口。然而很快，问题暴露出来：这些仿真数据看上去很多，却并没有真正和真实场景对齐。它们可以拿来做预训练，却很难直接部署；一旦进入真实机器人场景，还是必须依赖后训练和真实数据修补。这也让人开始怀疑：仿真数据的极限，是否就只能停留在这里？ SIM1想表达的是，是不是之前大家一直在追求“更多”，却忽略了更重要的一件事—— 数据首先要做对，然后scaling的效益才会有所显现。在这个意义上，SIM1提出的是一个真正的real-to-sim-to-real新范式：从少量真实示范出发，生成在真实物理世界中可以直接执行的仿真数据，并最终把这些数据转化为可部署、可扩展、可zero-shot迁移的策略能力。这意味着，机器人领域第一次有机会真正谈论属于自己的scaling law—— 智能不必再与真实世界数据采集同步增长。先看结果：SIM1到底能交付什么在展示的结果里，SIM1能够把少量示范扩展为100×规模的轨迹数据；纯仿真训练可达到90%的zero-shot成功率；相较真实数据baseline，泛化能力提升50%；即使从零训练，也能达到76%的成功率。同时，它还带来了显著的效率优势，包括27×更低成本和6.8×更快训练。这些结果说明，SIM1并不只是“做出了一个更大的仿真集”，而是在重新定义数据的生产方式：数据不再是人工一条条采集，而是从少量种子出发，通过对齐现实的方式自动扩展。为什么sim-to-real一直失败一个长期被忽视的关键在于：sim-to-real gap从来不是一个单点问题，而是多重错配的叠加。SIM1将其归纳为三条同时存在的鸿沟—— 几何、物理与运动。几何决定空间结构是否一致，物理决定交互响应是否可信，运动则决定轨迹是否符合真实操作的时序与节奏。三者缺一不可，只要其中任意一环未被打通，训练出的策略就难以在真实世界中有效执行，只能局限于仿真环境中的理想表现。 SIM1的出发点，正是同时弥合这三重错配。SIM1将数据生成链路整体重构为一个闭环：从真实场景出发，复刻高保真仿真环境，在物理一致的前提下扩展大规模操作数据，并最终回流至真实世界完成验证与部署。仿真不再是现实的近似，而成为现实的一种可扩展表达。 SIM1的闭环：Scan it，Simulate it，Scale it SIM1不是单点技巧，而是一套完整的数据引擎。它的第一步是 Scan it ：通过亚毫米级扫描，把真实柔体与场景重建为高精度数字孪生。与传统的粗粒度建模不同，这一步的目标不是“画一个相似的世界”，而是尽可能保留真实环境中的几何结构、褶皱纹理以及精确的空间关系，让仿真的起点直接建立在现实之上。第二步是 Simulate it ：构建与真实交互对齐的物理系统，让机器人在仿真中的作用方式、布料的响应方式、以及整体形变动力学，都尽量贴近真实世界。对SIM1来说，这不是简单地调用一个物理引擎，而是把仿真系统校准成一个可被信赖的数据生成器。第三步是 Scale it ：不再依赖脚本式轨迹编排，而是引入生成式方法去扩展操作数据。基础操作如抓取、提起、折叠、释放，被当作可组合的动作词汇，再由模型学习如何拼接、重组与延展，最终生成平滑、多样、此前未被显式示范过的轨迹。配合材质、光照和视角的随机变化，SIM1便可以把少量演示扩展为数万条可执行数据。核心突破：让仿真真正“理解”布料如果说SIM1的闭环解决了“数据从哪里来”的问题，那么Deformation-Stable Solver解决的，就是 “仿真为什么总会在布料上失真” 的问题。布料操作之所以难，是因为真实世界中的形变响应不是局部的、缓慢的或孤立的，而是全局的、快速的、强耦合的；一个局部拉伸，往往会在极短时间内影响整个表面。传统仿真在这类场景中容易出现延迟传播、粒子漂移、局部抖动甚至过拉伸伪影。SIM1提出的关键设计，是把布料从“局部粒子系统”升级为“全局响应系统” ：当局部拉伸超过阈值时，修正力会在单步内传播到整个网格，从而保持形变的一致性与稳定性。这一步的意义不只是让画面更稳定，更重要的是让仿真第一次真正尊重布料物理。对于依赖形变与接触的操作任务来说，这种全局一致性，直接决定了仿真数据能否成为真实训练信号。从手工采集到数据工厂今天的机器人数据采集，本质上仍停留在“手工业阶段”：一个操作员，一次演示，一条轨迹。这种模式不仅成本高昂，更难以覆盖足够丰富的变化。一旦任务复杂度提升，数据便迅速变得稀缺、昂贵且不可扩展。 SIM1的思路，是将这条链路重构为一个自动化的数据工厂。以约200条遥操作演示为起点，系统首先提取出一组基础操作片段作为“动作模板”，再通过生成模型对这些基础单元进行组合、重排与扩展，生成新的操作轨迹。同时，在材质、光照与视角等方面引入系统性变化，使数据分布得到进一步拓展，最终将几十条演示扩展为数万条具备执行意义的轨迹数据。更关键的是，这并非简单的数据放大，而是一种范式转变：从“人工采集”走向“组合生成”，从“有限覆盖”走向“可控扩展” 。SIM1的价值，正体现在这里——它不再是一次性产出样本的工具，而是一个能够持续生成、可学习、可复用、可扩展训练信号的数据引擎。仿真数据，能否替代真实数据？ SIM1的答案是：不仅可以，在某些场景下甚至更强。在相同数据规模下，SIM1训练出的策略可以达到很高的zero-shot成功率，并在真实部署中展示出稳定的执行能力。更值得注意的是，当测试进入分布外场景时——例如空间变化、材质变化或光照变化——SIM1的优势反而更加明显。这背后的原因并不复杂：真实数据天然稀缺，只能覆盖有限的采样点；而仿真数据只要足够对齐现实，就可以围绕任务分布进行更大范围、更系统性的覆盖。SIM1的价值，不是替代真实数据的“少量精细”，而是补足真实数据难以达到的“广泛覆盖”。更极端的验证来自从零训练。仅使用真实数据时，策略几乎无法起步；而仅使用SIM1数据时，系统仍然能够学出有效策略并达到可观的成功率。这一结果说明，性能提升的关键并不只在模型本身，而在数据分布本身。真实世界验证与项目意义最终，SIM1的目标不是停留在仿真内部，而是回到真实机器人上完成验证。多任务、多场景的真机实验表明，基于SIM1训练的策略可以稳定执行，并在不同条件下保持较强泛化能力。这说明SIM1并不是在构造一个“更漂亮的仿真世界”，而是在建立一条真正可以通向现实的训练路径。从更宏观的角度看，SIM1代表的是一种新的数据范式：仿真不再只是现实的代理，而是现实数据的一部分；机器人不必等到真实数据积累到足够多，才开始获得规模化能力。人类仍然提供起点，但从那一刻开始，扩展、生成与学习都可以由系统自动完成。 SIM1并不仅仅是一个方法，它更像是一个宣言：当仿真真正成为现实本身，机器人数据的天花板也就被重新定义了。项目上线后迅速获得关注：在X平台发布17小时即突破20K浏览量，收获245点赞，并引发来自多个方向研究者的讨论与互动。其中包括VBD作者Anka、Newton项目作者Eric Heiden、SoftMimicGen作者Masoud Moghani，以及来自NVIDIA GEAR、DeepMind、Stanford、CMU、Princeton等机构的关注。项目主页：

https://internrobotics.github.io/sim1.github.io/

论文地址：

https://huggingface.co/papers/2604.08544 一键三连「点赞」「转发」「小心心」欢迎在评论区留下你的想法！ — 完 — 我们正在招聘一名眼疾手快、关注AI的学术编辑实习生 🎓 感兴趣的小伙伴欢迎关注 👉 了解详情 🌟 点亮星标 🌟 科技前沿进展每日见

跳转微信打开