科学从不试图解释什么,甚至几乎从未想过让我们理解什么,它们主要提供模型。
——冯·诺依曼
一、机器人在仿真世界中快速成长
其中最有趣的是,IsaacSim可扩展的机器人仿真环境,以像照片一样逼真、物理精确的高保真度仿真环境,测试、训练基于AI的机器人“数字分身”,让机器人具有像人类一样面对陌生复杂环境的随机应变能力。
1
工业制造业仿真模拟:
2
机器人仿真模拟:
3
科研仿真模拟:
二、松应Orca:当中国3D仿真平台遇见中国大模型
继续观看
观看更多
转载
,
视频详情
在高效快速构建3D场景的基础上,通过ORCASim机器人模拟套件,以视觉效果逼真、物理正确的高保真度仿真环境,测试、训练基于AI的机器人“数字分身”,让机器人具有像人类一样面对陌生复杂环境的随机应变能力,大大提升机器人的智能水平。
“我们要做中国的‘物理世界模拟器!’”松应科技创始人兼CEO聂凯旋坚定地说。
松应科技的创业“第一性原理”有个三步走策略:
定战略:
做产品:
一是OrcaStudio成为所有仿真数据入口,通过Connector和DataLink数据管线打通和汇聚所接入的各种3D资产元素,基于统一标准的OpenUSD内容描述格式建立云端资产库,覆盖常用的模型、场景、贴图等3D内容和场景资源,让跨软件、跨地域、跨部门的专业用户,能够实现三维仿真的“所见即所得”、“全球标准化”,设计信息实时反馈、高度敏捷化工作、生产流程高度精益化。
二是以Orcastudio为统一工作协同平台,根据碰撞仿真、流体仿真等用户具体要求,链接专业CAD、CAE设计软件和物理引擎,实现视觉效果逼真,物理效果正确的保真度仿真环境,实现sim2real的真实仿真。
找场景:
为了更好地提升具身智能机器人的鲁棒性,需要考虑和覆盖尽可能多的异常场景(cornercases)。越是长尾场景、稀有场景、复现客户异常场景,越有仿真训练价值。
例如清洁机器人在数字仿真的商城环境中巡逻,更精确地提前发现地上有衣物、碎纸屑等大型异物,避免吸入导致机器发生故障;在地板大理石等材质强烈反光情况下精确识别出积水;有时当机器人走出楼梯外的平坦地板,但地面反光倒影是之前走过的楼梯,摄像头识别出下楼梯环境,激光雷达发现是电梯出口,造成识别决策异常;又如在工厂、企业仓储物流的数字孪生环境中,上百台AMR机器人需要提前做好规划,多少台机器人、按照什么路径行动,都需要在虚拟环境中测试出最佳部署方案。
虽然人脑无法进行复杂计算,但却以低精确度进行大量便捷的并行计算,快速得出符合逻辑的正确结论。而机器人虽然是远高于人脑的计算量与精度,但对非常复杂的世界环境缺乏理解,所以松应科技在3D实时模拟仿真软件中,必须重现物理属性准确的可交互环境。
和动画中只能看的物体贴图不同,仿真环境中所有的物体都需要具备物理属性,以便机器人能够精准交互操作,例如一个茶杯,包括3D尺寸、光照、重量、材质等物理特征。
具有如下几大优势:
3D仿真资产丰富,多次重用摊薄成本:
例如当模型师为机器人测试生成了一个合格的咖啡厅场景后,今后其他行业需要咖啡厅场景时,只需要现有仿真场景资产上做二次微调,很快就能使用,以往1个星期的工作量现在1天就能完成,多元化场景库积累越丰富,仿真测试效率越高。
大模型理解物理逻辑:
4
机器人控制系统随时同步:
每个机器人都由ROS机器人操作系统控制,AI或人工控制虚拟环境中的机器人,也能同步控制真实物理环境中的机器人,保持开发、测试、运行环境机器人配置同步。
5
机器人合成数据生成速度快:
国产机器人公司,通过OrcaStudio生成仿真场景环境,能在虚拟环境中同时调度1000个数字机器人并行训练,生成大量高质量的合成数据,甚至可以用2D场景图片转化生成3D场景,源源不断的合成数据对具身智能的机器人大模型调优效果非常有好处。
例如让一个物理机器人端杯子倒水,测试人员每次都要手动改变杯子所放位置,看看机器人能否成功完成倒水任务,现在靠AI根据要求自动调整杯子位置作为测试用例,效率天壤之别。
6
国产机器人仿真训练价格便宜:
7
国内安全存储数据,本地技术支持:
8
改变工厂管理模式:
在新型智能工厂的规划、设计、建设、测试、运营、改进、升级换代每个阶段,高质量仿真的数字孪生工厂都能由大模型和人类厂长协同改良优化,数字模型与数据真正作为资产沉淀,物理工厂与全动态数字工厂同时并存、协同运营,未来在工厂升级换代的时候,也可以有序传承。
三、大模型+机器人浪潮:上半场是知识工程,下半场是工业革命
ChatGPT横空出世,已经彻底改变了拥有3年左右工作经验的脑力劳动力工作模式,而当大模型驱动的通用人形机器人诞生后,亚洲“世界工厂”中的海量劳动力成本将不再具有任何优势,第三次工业革命将席卷全球。
为了抢占未来产业高地,从中国人形机器人的实际情况出发,聂凯旋认为需要依靠“举国体制”重点解决三个核心挑战:
工业数据和工业软件“卡脖子”:
没有掌握工业软件平台就很难汇总工业大模型、人形机器人急需的大量制造业数据,以松应科技为代表的国产3D仿真模拟平台也就“无米下锅”。
建议我国依靠国家数据局牵头,建立工业数据交易交换与机器人训练统一平台,以专项政策动员制造业细分赛道的龙头链主企业,将数据放入中国自己的“国产Omniverse平台”,利用人工智能技术、3D仿真模拟技术,在数字孪生工厂上开发改进自己的智能制造大模型,同时也能够以商业合作形式为人形机器人创业公司赋能服务。
国产化芯片带不动3D仿真引擎:
一方面图形渲染的“硬”能力不足导致国产3D仿真开发速度落后于国际友商项目开发水平。
另一方面,硬件落后使建立软件生态更是无从谈起。建议从解决实际产业问题角度出发,对国产GPU芯片、图形显卡芯片进行研发攻坚,既要加大投入,也应解决瓶颈问题。
工业智能平台缺少链主企业积极投入
聂凯旋认为工业智能平台的链主应该是在制造业具有势能并有积极变革动力的领军企业,以工业数据牵引国产工业大模型、国产人形机器人的产业链协同研发。
在产业链变革的浪潮中,松应科技作为创业公司,愿意与有志于实现工业软件高质量发展的伙伴一道,共同为国产化工业智能平台贡献力量。
松应科技目前通过向科研院所、高校开源Orca仿真软件,逐步取得工业软件、传感器等工业上下游服务商信任,正在以标准API接口引入几百款工业级软硬件产品。