机器人前瞻1月7日报道,今天,全球规模最大的消费类电子产品展CES在美国拉斯维加斯开幕。 英伟达创始人兼CEO黄仁勋发表了主题演讲,谈及多项英伟达在机器人领域的最新技术成果,包括首款生成式世界基础模型开发平台Cosmos、4个全新OmniverseBlueprint、可应用于传统机器人领域Thor芯片等。
黄仁勋的机器人军团亮相,14家企业中有6家是中国企业,包括宇树、智元、星动纪元、银河通用、傅利叶、小鹏。黄仁勋还提出,要与多家全球知名的机器人操作系统企业、机器人传感器制造商、机器人本体制造企业等合作共建机器人生态系统。
01.首款世界基础模型开发平台亮相,专为机器人开发
黄仁勋判断,机器人的ChatGPT时刻即将到来,而世界基础模型对于推进机器人和自动驾驶汽车的开发至关重要。
他现场发布了生成式世界基础模型开发平台Cosmos,这是英伟达的首款生成式世界基础模型开发平台,专为开发机器人和自动驾驶而设计,旨在加速先进物理AI开发。
开 发人员可以使用Cosmos模型进行文本到世界和视频到世界的生成,所生成的基于物理的合成数据,能够加速模型训练。
NVIDIA Cosmos
Cosmos有3款:
1)Nano(约15B): 针对实时、低延迟推理和边缘部署进行了优化;
2)Super(34B):用于高性能基线模型;
3)Ultra(约70B):以获得最大的质量和保真度,最适合用于提取定制模型。
这些模型接受了18000万亿次tokens的训练,包括2000万小时的真实世界自动驾驶、机器人、无人机镜头和合成数据。
其他模型包括:120亿参数上采样模型,用于精炼文本提示;70亿参数视频解码器,用于优化增强现实;护栏模型,确保可靠、安全地使用。
Cosmos的tokenizers提供8倍的总压缩和12倍的处理速度,在训练和推理方面提供了更出色的质量和更低的计算成本。
Cosmos在图像及文本token训练的基础上,为人形机器人输出行动token
Omniverse和Cosmos相结合,使开发人员能够更轻松地生成大量可控、逼真的合成数据,帮助物理AI模型做出更好的行动,还有助于减少世界模型相关的潜在幻觉。
1X、Agile Robots、Agility Robotics、Figure AI、小鹏、Foretellix、Uber、Waabi、Wayve等机器人企业都采用Cosmos加速和加强模型开发。
集成Cosmos 的Omniverse
02.机器人军团亮相,构建机器人生态系统
黄仁勋的机器人军团在演讲中亮相了。分别是Apptronik的Apollo机器人、星动纪元的Star1机器人、智元机器人的远征A2机器人、NEURA Robotics的4NE-1机器人、傅利叶的GR-2机器人、Agility Robotics的Digit机器人、Figure的Figure 02机器人、1X的NEO机器人、银河通用的G1机器人、Mentee的MnteeBot机器人、宇树的H1机器人、小鹏的Iron机器人、Sanctuary Al的Phoenix机器人。
其中,共有6家中国机器人企业。
黄仁勋的机器人军团亮相
黄仁勋还提到了机器人技术三机协同解决方案,该方案融合了DGX系统、搭载 Cosmos的Omniverse以及AGX的优势,形成了一个从训练到优化再到实行的完整体系。
具体来说,DGX系统负责基础训练,Omniverse负责处理优化和强化学习,AGX负责在现实环境中实行推理任务。
英伟达机器人三机协同方案
英伟达也已经与众多解决方案与服务提供商、AI视觉、机器人操作系统企业、机器人传感器制造商、机器人本体制造企业等达成合作,共建机器人生态系统。
英伟达机器人生态系统
03.Omnvierse Blueprint:攻克人形机器人训练难题
黄仁勋先容,机器人领域最大的挑战是训练方法,与自动驾驶汽车的训练相比(只需要实际驾驶),让机器人学习人类工作方式要复杂得多。
英伟达发布了Isaac GR00T合成运动生成Blueprint,团队可以采用远程操作和人体动作捕捉技术的方式,来创建基础训练样本,再通过算法生成大量变体用于深度训练。这样的方式能够为机器人训练积累海量的数据。
波士顿动力、Figure等人形机器人企业已经开始采用并展示Isaac GR00T的结果。
NVIDIA Isaac Groot
另外,英伟达还发布了4个全新OmniverseBlueprint,使开发人员更容易为物理AI构建基于OpenUSD(通用场景描述)的数字孪生,包括 Mega工业机器人队列数字孪生、自动驾驶汽车仿真、面向苹果Vision Pro的Omniverse空间流播、面向计算机辅助工程(CAE)的实时数字孪生。
Mega工业机器人队列数字孪生:由Omniverse Sensor RTX API提供支撑,用于在部署到现实世界的设施之前,在数字孪生中大规模开发、测试和优化物理AI和机器人队列。
面向计算机辅助工程(CAE)的实时数字孪生:基于NVIDIA CUDA-X加速、物理AI和Omniverse库构建的参考工作流,可实现实时物理可视化。
Mega工业机器人队列数字孪生
英伟达发布了Thor芯片,Thor芯片已开始量产,其处理能力较上一代Orin提升了 20倍。除了汽车领域,Thor还可应用于传统机器人领域。
Thor芯片
04.结语:通用机器人技术将迎来飞跃式发展
在2025CES的开幕演讲中,英伟达大秀其为机器人训练等环节所提供的解决方案,致力于打造全方位的机器人生态系统,进一步凸显自身作为机器人产业关键平台的重要角色。
黄仁勋谈道,AI的发展,将从当前的生成式AI到Agentic AI,未来还将出现Physical AI,其应用范围涵盖智能驾驶和机器人等,而这也是英伟达的发展目标。
正如黄仁勋所预言的那样,机器人领域的ChatGPT时刻已然临近,人形机器人时代即将开启,这无疑都象征着通用机器人技术即将迎来重大突破与飞跃式发展。
来源:36kr
|