松应科技:商汤代码小浣熊,助力机器人大脑的开发效率提升100倍!

科学从不试图解释什么,甚至几乎从未想过让我们理解什么,它们主要提供模型。

——冯·诺依曼

一、机器人在仿真世界中快速成长

人类依靠机器人生产力,达到更美好的生活。美籍匈牙利计算机科学家冯·诺依曼认为,科学的本质不总是追求对现象的终极解释,而是通过构建模型(理论假设、数学公式)来描述和预测。当我们把模型嵌入人形机器人,就获得了一个能够改造世界、辅助人类目标达成的通用智能劳动力。

据ABIResearch数据分析,全球工业和商业机器人的装机量正在从2020年的310万台递增到2030年的2000万台,10年翻6.4倍。全球电商平台亚马逊的全球仓配网络中,已经有75万名“机器人员工”,与人类员工数量比例是1:3,ARKInvest的CathieWood预测,亚马逊到2030年机器人员工数量将超过人类员工数量。

2023年上海世界人工智能大会开幕式上,特斯拉创始人马斯克表示,伴随AI算力的爆炸式增长,“机器计算”与“生物计算”比例正在快速提高,人类智力在地球上的思维总量中占比将持续减小,最终地球上机器人数量将超过人类总人口,人类获得的“回报”是生活在物质富足的时代,人们想要的任何商品和服务都可以轻易地拥有,人工智能机器人支撑的全球生产效率将会提高到令人难以置信的高水平。

例如特斯拉人形机器人Optimus的研发目标,是帮助人们完成琐碎的工作,完成人类不愿做的无聊、重复、危险的任务。

仿真环境是机器人诞生后的“新手村”。为了让机器人熟练适应这个复杂多变的真实世界环境,英伟达、谷歌、特斯拉等公司分别为机器人创建了“仿真虚拟测试场”,机器人就在类似虚拟游戏的“新手村”中认知复杂生产环境、学习专业劳动技能。

以英伟达为例,OmniverseCloud平台集成了Isaac机器人模拟软件,为全球机器人提供了一整套AI感知、操控、仿真、软件的GPU加速创新套件,通过机器人学习、大语言模型、生成式人工智能和基础模型的改进优化,来提升机器人到“知行合一”的更高水平。

其中最有趣的是,IsaacSim可扩展的机器人仿真环境,以像照片一样逼真、物理精确的高保真度仿真环境,测试、训练基于AI的机器人“数字分身”,让机器人具有像人类一样面对陌生复杂环境的随机应变能力。

截至目前,英伟达OmniverseIsaacSim有三类典型客户群体:

1.工业制造业仿真模拟:

西门子、Ansys、Cadence、Trimble等工业企业都在使用英伟达的数字孪生技术,帮助自己的客户设计、模拟、构建、操作项目,例如日产汽车分布全球的每个员工,都能够在仿真环境中基于相同的模拟场景协同工作,包括设计、艺术与工程、营销等各个部门,汽车设计师甚至能够带上VisionPro苹果AR眼镜,直接坐在极为逼真的虚拟驾驶舱中体验。

2.机器人仿真模拟:

IsaacLab强化学习模块,通过GPU加速、轻量级、性能优化的应用程序,帮助人形机器人在虚拟环境中学习如何适应物理世界,如何协调编排工作流程,目前使用英伟达OmniverseIsaac平台的机器人公司包括1XTechnologies、AgilityRobotics、Apptronik、BostonDynamics、FigureAI(微软和OpenAI投资)、FourierIntelligence、SanctuaryAI、UnitreeRobotics、XPENGRobotics等,迪士尼研究设计的小型机器人就在Issac平台上学会了走路。松应科技的高保真虚拟仿真环境中,数字机器人通过虚拟摄像头、激光雷达、大模型算法能够执行各类挑战性任务。

3.科研仿真模拟:

英伟达的“场景模拟器”正在越来越逼近“世界模拟器”,现在已经被应用于6G通讯、气候预测与数字孪生地球(Earth-2)等超大尺度模拟研究。

二、松应Orca:当中国3D仿真平台遇见中国大模型

美国人有的机器人仿真平台,中国人一定也能做出来。当全世界的人形机器人都在英伟达OmniverseIsaac的“虚拟学校”中训练时,谁为中国智能制造、机器人提供仿真模拟环境?

面对不少于2.5万亿的国内市场需求,在复杂的国际科技竞争环境中,迫切需要国产化仿真平台,松应科技在2021年应运而生,率先研发构建中国自己的3D数字智能协同生产线,基于云3D引擎架构,连接多类数据内容创作工具(DCC全称DigitalContentCreate)、AIGC模型、行业领先工业软件等搭建OpenUSD的3D实时数据管线,赋能中国设计师、创作者、工程师、上下游供应商等伙伴跨工具、跨空间、跨流程实时协同创作,并提供实时3D渲染,助力高质量3D内容低成本、高效率、高质量生产。

在高效快速构建3D场景的基础上,通过ORCASim机器人模拟套件,以视觉效果逼真、物理正确的高保真度仿真环境,测试、训练基于AI的机器人“数字分身”,让机器人具有像人类一样面对陌生复杂环境的随机应变能力,大大提升机器人的智能水平。

松应科技正在工业高保真设计、工业数字孪生与仿真等领域坚持原创、厚积薄发,助力中国数字经济与实体经济加速融合高质量发展。

“我们要做中国的‘物理世界模拟器!’”松应科技创始人兼CEO聂凯旋坚定地说。

松应科技的创业“第一性原理”有个三步走策略:

1.定战略:

它山之石可以攻玉。在聂凯旋眼中,10多年前英伟达通过“Cuda战略”使英伟达GPU成为了全世界人工智能公司、互联网公司的基础设施,而为了进入更为广阔的工业领域,2022年又推出了“Omniverse战略”赋能全球所有工厂、制造厂商,将物理工厂搬到Omniverse平台上变成“数字工厂”,切入点就是以具有高互通性、高物理正确性和AIGC能力的工业仿真平台,吸引达索、西门子等欧美先进工业软件商先用上“Omniverse模拟器”。

当Omniverse在使用中逐步积累了大规模全球制造场景、工业数据后,多样化的仿真训练场景又会对AI人形机器人公司极具吸引力。英伟达的未来战略版图中,一方面链接人工智能、机器人,另一方面链接智能工厂,不论数字企业、还是实体企业用的都离不开英伟达GPU芯片,自建构建起公司新的第二或第三增长曲线。

所以,在2024年GTC大会上英伟达CEO黄仁勋明确地战略宣示:“Omniverse虚拟平台是英伟达的灵魂。”经过深入的研究和广泛的洞察,从华为出来的聂凯旋决定采取对标英伟达的未来战略,要做的就是“中国的Omniverse”。

2.做产品:

英伟达的Omniverse和松应的OrcaStudio,与Ansys、达索等传统CAE仿真软件区别主要有两个。

一是OrcaStudio成为所有仿真数据入口,通过Connector和DataLink数据管线打通和汇聚所接入的各种3D资产元素,基于统一标准的OpenUSD内容描述格式建立云端资产库,覆盖常用的模型、场景、贴图等3D内容和场景资源,让跨软件、跨地域、跨部门的专业用户,能够实现三维仿真的“所见即所得”、“全球标准化”,设计信息实时反馈、高度敏捷化工作、生产流程高度精益化。

二是以Orcastudio为统一工作协同平台,根据碰撞仿真、流体仿真等用户具体要求,链接专业CAD、CAE设计软件和物理引擎,实现视觉效果逼真,物理效果正确的保真度仿真环境,实现sim2real的真实仿真。

3.找场景:

为了更好地提升具身智能机器人的鲁棒性,需要考虑和覆盖尽可能多的异常场景(cornercases)。越是长尾场景、稀有场景、复现客户异常场景,越有仿真训练价值。

例如清洁机器人在数字仿真的商城环境中巡逻,更精确地提前发现地上有衣物、碎纸屑等大型异物,避免吸入导致机器发生故障;在地板大理石等材质强烈反光情况下精确识别出积水;有时当机器人走出楼梯外的平坦地板,但地面反光倒影是之前走过的楼梯,摄像头识别出下楼梯环境,激光雷达发现是电梯出口,造成识别决策异常;又如在工厂、企业仓储物流的数字孪生环境中,上百台AMR机器人需要提前做好规划,多少台机器人、按照什么路径行动,都需要在虚拟环境中测试出最佳部署方案。

冯·诺依曼认为:“人脑是这样一台计算机,他在一个相当低的准确水平上,非常可靠地进行工作。”

虽然人脑无法进行复杂计算,但却以低精确度进行大量便捷的并行计算,快速得出符合逻辑的正确结论。而机器人虽然是远高于人脑的计算量与精度,但对非常复杂的世界环境缺乏理解,所以松应科技在3D实时模拟仿真软件中,必须重现物理属性准确的可交互环境。

和动画中只能看的物体贴图不同,仿真环境中所有的物体都需要具备物理属性,以便机器人能够精准交互操作,例如一个茶杯,包括3D尺寸、光照、重量、材质等物理特征。

据松应科技首席技术官黄巍分析,通过商汤科技代码小浣熊、国产3D仿真引擎等技术创新,松应科技让机器人“大脑”的开发效率提升了100倍。

具有如下几大优势:

2.3D仿真资产丰富,多次重用摊薄成本:

截至目前,松应科技为客户生成过约2500万平方米的森林、山地自然环境场景,也为机器人、无人机等客户生成了大量商场、办公楼、酒店、家庭、咖啡厅、工厂、仓库等建筑场景,积累了丰富的场景资产,这些资产具有复用价值。

例如当模型师为机器人测试生成了一个合格的咖啡厅场景后,今后其他行业需要咖啡厅场景时,只需要现有仿真场景资产上做二次微调,很快就能使用,以往1个星期的工作量现在1天就能完成,多元化场景库积累越丰富,仿真测试效率越高。

3.大模型理解物理逻辑:

商汤商量大语言模型非常准确地理解物理规则库中的物理逻辑,设计师通过文字对话还能随时调整,仿真物理世界需要99.99%的高精度物体建模,而GPT、Sora绝对精度只有60-70%,商汤大模型强很多,聂凯旋评价说。

4.机器人控制系统随时同步:

每个机器人都由ROS机器人操作系统控制,AI或人工控制虚拟环境中的机器人,也能同步控制真实物理环境中的机器人,保持开发、测试、运行环境机器人配置同步。

5.机器人合成数据生成速度快:

当前美国机器人公司在英伟达Omniverse平台上大量采用仿真环境进行快速并行的测试,而中国机器人公司通常测试场景中只有2-3台机器人在物理环境中日复一日的测试训练,效率差距较大。

国产机器人公司,通过OrcaStudio生成仿真场景环境,能在虚拟环境中同时调度1000个数字机器人并行训练,生成大量高质量的合成数据,甚至可以用2D场景图片转化生成3D场景,源源不断的合成数据对具身智能的机器人大模型调优效果非常有好处。

例如让一个物理机器人端杯子倒水,测试人员每次都要手动改变杯子所放位置,看看机器人能否成功完成倒水任务,现在靠AI根据要求自动调整杯子位置作为测试用例,效率天壤之别。

6.国产机器人仿真训练价格便宜:

英伟达OmniverseIsaacSim套件收费每年100万美元,而松应OrcaStudio价格是英伟达的七分之一。

7.国内安全存储数据,本地技术支持:

与英伟达OmniverseIsaacSim将机器人数据存储在大陆以外地区不同,松应科技的机器人客户数据都保存在中国境内,并与商汤SenseCore大装置算力中心合作,提供本地产品和研发团队的专业技术支持。

8.改变工厂管理模式:

在新型智能工厂的规划、设计、建设、测试、运营、改进、升级换代每个阶段,高质量仿真的数字孪生工厂都能由大模型和人类厂长协同改良优化,数字模型与数据真正作为资产沉淀,物理工厂与全动态数字工厂同时并存、协同运营,未来在工厂升级换代的时候,也可以有序传承。

三、大模型+机器人浪潮:上半场是知识工程,下半场是工业革命

ChatGPT横空出世,已经彻底改变了拥有3年左右工作经验的脑力劳动力工作模式,而当大模型驱动的通用人形机器人诞生后,亚洲“世界工厂”中的海量劳动力成本将不再具有任何优势,第三次工业革命将席卷全球。

为了抢占未来产业高地,从中国人形机器人的实际情况出发,聂凯旋认为需要依靠“举国体制”重点解决三个核心挑战:

1.工业数据和工业软件“卡脖子”:

当前全球使用的工业软件绝大部分由欧洲公司开发,例如SAPERP软件、西门子PLM软件、达索CATIA工业设计软件、Ansys工程仿真软件、Codesys工控软件,根据2023年36氪研究院发布的《2023年中国工业软件行业洞察报告》数据分析,中国研发设计类工业软件的国产化率仅为5%,据松应科技估算,国内整体工业软件的国产化率不超过15%。

没有掌握工业软件平台就很难汇总工业大模型、人形机器人急需的大量制造业数据,以松应科技为代表的国产3D仿真模拟平台也就“无米下锅”。

建议我国依靠国家数据局牵头,建立工业数据交易交换与机器人训练统一平台,以专项政策动员制造业细分赛道的龙头链主企业,将数据放入中国自己的“国产Omniverse平台”,利用人工智能技术、3D仿真模拟技术,在数字孪生工厂上开发改进自己的智能制造大模型,同时也能够以商业合作形式为人形机器人创业公司赋能服务。

2.国产化芯片带不动3D仿真引擎:

由于众所周知的原因,不仅国产训练和推理GPU在性能上落后于英伟达2代(B100、H100),在仿真环境中图形GPU上,国产GPU也落后远远于英伟达3代。

一方面图形渲染的“硬”能力不足导致国产3D仿真开发速度落后于国际友商项目开发水平。

另一方面,硬件落后使建立软件生态更是无从谈起。建议从解决实际产业问题角度出发,对国产GPU芯片、图形显卡芯片进行研发攻坚,既要加大投入,也应解决瓶颈问题。

3.工业智能平台缺少链主企业积极投入

聂凯旋认为工业智能平台的链主应该是在制造业具有势能并有积极变革动力的领军企业,以工业数据牵引国产工业大模型、国产人形机器人的产业链协同研发。

在产业链变革的浪潮中,松应科技作为创业公司,愿意与有志于实现工业软件高质量发展的伙伴一道,共同为国产化工业智能平台贡献力量。

松应科技目前通过向科研院所、高校开源Orca仿真软件,逐步取得工业软件、传感器等工业上下游服务商信任,正在以标准API接口引入几百款工业级软硬件产品。

THE END
1.百亿补贴:小浣熊迷你豆浆机家用小型破壁机五谷杂粮全自动免过滤1...小浣熊产品以干脆面为主,有五香牛肉、照烧猪排、香辣蟹等二十多种口味。 展开全部 直达链接> 00 标签:低于60天均价 分享: 省钱控信息来自小编审核及热心网友推荐,其中免审爆料为资深达人快速发布的折扣优惠。购买前请核实促销,若发现不实信息,请在评论处留言告知小编。https://cu.manmanbuy.com/discuxiao_10526127.aspx
2.国产小浣熊,一丘之貉!国产小浣熊,一丘之貉!老张动物园 四川 0 打开网易新闻 体验效果更佳明明是同一首曲子,为什么“粤语”比“国语”好听,到底差哪了? 下饭音乐 5826跟贴 打开APP 湖南罕见双性人,上半身女性下半身男性,被男人求婚该如何抉择? 历史博鉴览 254跟贴 打开APP 美军坚守二十年的防线,终于顶不住了,最终宣布仓皇撤军《...https://m.163.com/v/video/VDQAO1P3E.html
3.小浣熊卡价格:300元se103862265动漫卡片零售7788收藏小浣熊卡,18张,有重复的,品像如图。,,动漫卡片,se103862265,动漫卡片,国产卡通动漫,,集卡,,2000-2009年,,多张卡片,,,价格:300,7788收藏__收藏热线https://www.997788.com/pr/detail_3174_103862265.html
4.孕妇可以用小浣熊儿童特润保湿霜吗?育儿孕妇可以用小浣熊儿童特润保湿霜吗?全部回答 于一冰 住院医师 复禾健康科普平台 立即预约 您好,儿童类的保湿霜还是可以的,这种宝宝用的护肤品相对来说是比较天然安全的,孕妇使用也是完全可以的,不过,还是建议孕妇在孕期尽量使用孕妇专用的护肤品,这种护肤品对于胎儿的成长发育不会有影响的,同时也能起到一定的...https://m.fh21.com.cn/iask/dzmip/12646996.html
1.国产小浣熊全齐粘人可爱活泼国产原色小浣熊(定金)国产白色小浣熊...国产小浣熊全齐粘人可爱活泼 国产原色小浣熊 (定金) 国产白色小浣熊(定金)图片、价格、品牌样样齐全!【京东正品行货,全国配送,心动不如行动,立即购买享受更多优惠哦!】https://item.jd.com/10108302486242.html
2.国产浣熊多少钱一只(上海发现大量)国产浣熊多少钱一只(上海发现大量) 对于生活在上海的人们来说,对于毛狗子这种小野兽一定不陌生,它们成群结队出现在城市街道的绿化带上,也在小区里面安家,在街头巷尾里面,经常可以看到它们的身影,如果不注意,很有可能就会将其当做普通的流浪狗。 毛狗子是我国民间的叫法,这种小野兽真正的名字叫貉,即“一丘之貉”...https://www.hyjthotel.com/baike/326.html
3.浣熊猎狗多少钱一只(红骨浣熊幼犬的价格市场上从最低到最高的价格...跟狗一样喂就行,可好养了小浣熊宠物多少钱小浣熊比较便宜的大约五六千。小浣熊原产于北美洲,圈养时个头小得可以当宠物养。浣熊的颜色、品种和价格各不相同,从1万美元到3万美元不等。价格也会根据驯化的程度有所不同。浣熊本身是野生的,当人们驯服它们时,它们变得更像人类,更容易饲养。此外,浣熊还分为国内...https://www.tengxunh.com/nan-sheng-fen-zu/539990.html
4.xxappapi.yhryj.com/kpf61538301.html小浣熊凑到妈妈耳边,说起悄悄话。 妈妈尾巴上的宝宝挂件作品名:Gettingon,Holdingon,Ridingbytail,SurfingMom 摄影师:JohnMullineux 单张摄影作品可以捕捉一瞬间的滑稽,组图可以讲述更多故事。这一组照片记录了小猴宝宝顺着妈妈的尾巴,爬到妈妈背上冲浪的全过程。 http://xxappapi.yhryj.com/kpf61538301.html
5.红色的小象是国产还是日本的,红色的小象和小浣熊沐浴露哪个好...红色小象是国产品牌,虽然2015年才成立,但是目前在国产母婴护理行业已经有非常高的名声。小浣熊也是国产知名母婴护理品牌,成立时间比红色小象更久远,名气也比红色小象更大,但是近年发展不及红色小象。两者相比,更建议选择红色小象。下来来进行详细对比: 红色小象沐浴露属于洗护二合一产品,它既可以让婴儿洗头发,也可以让婴儿...https://www.haoyunbb.com/baike/5/51834.html
6.代码小浣熊Raccoon——国产AI代码助手代码小浣熊支持Python、Java、JavaScript、C++、Go、SQL等90+主流编程语言和VS Code、IntelliJ IDEA等主流IDE。在实际应用中,代码小浣熊可帮助开发者提升编程效率超50%。 可以代码上下文,自动补全代码。 能够理解用户的自然语言需求描述。 预设有基于注释生成代码、跨编程语言翻译、单元测试用例生成、代码修正、代码重构、...https://www.clzg.cn/article/620276.html
7.虎嗅国产球星卡时隔16年重出江湖这会是一门好生意吗?界面...还记得火遍全国的小浣熊吗?其实十六年前,我们也曾拥有自己的体育球星卡,如今卷土重来的球星卡会有怎样的表现呢? 如何把一张卡炒到30万美元? 在9月NBA休赛期时,一则关于NBA球星卡拍卖的消息炸了锅——勒布朗·詹姆斯一张新秀赛季的球星卡被放到网上拍卖,上线之后,价格以惊人的涨幅不断攀升,最终,这张卡片以31.85...https://www.jiemian.com/article/930743.html
8.农心速食产品记录5.小浣熊 炸酱炒面 500kcal 中辣以上,闻起来有焦糊味,吃起来还好,就是甜辣口,配菜有小浣熊经典的鱼饼和海带,还有豆蛋白肉片,辣度不适合日常食用,不会回购。 辛拉面类: 1.辛拉面 505kcal 盗个图 辛拉面,简单的快乐!不知道吃什么的最佳选择,会回购。 https://www.douban.com/note/773683844/
9.www.zjmj.cn/apldeiw/92936.html嘿呀,你说说这事儿巧不巧,这节目类型居然还是那种让所有人都望眼欲穿、心心念念的音综!哎呀呀,我当时听到这个消息的时候,那小心肝儿啊,“扑通扑通”地跳得就跟敲鼓似的,差点没从嗓子眼儿里蹦出来! 现年24岁的女子陈兰(化名),6年前结识了大她5岁的男保安吴亮(化名),吴亮高大帅气,像大哥哥一样呵护着她。18...https://www.zjmj.cn/apldeiw/92936.html
10.夏天的小诗歌(精选17篇)夏天的小诗歌(精选17篇) 篇1:夏天的小诗歌 夏天的小塘_小学作文 太热了,出门烈日当空,38度的高温让你觉得像是到了火焰山,窝在家里扇风扇,那风都有股热燥气……为夏天的热感到无所适从了吧,我们却一点不烦恼,因为我们有一个天然的空调——院子前的小塘。 https://www.360wenmi.com/f/filepl2xaddp.html