Cosmos 3全模态模型+开源人形参考设计 NVIDIA为物理AI搭好水电煤

打印派   2026-06-03 08:31:54

英伟达(NVIDIA)在GTC Taipei大会上发布了涵盖物理AI全链条的系列技术与产品,明确将人形机器人、自动驾驶汽车、半导体制造和工业自动化纳入统一战略框架。此次发布的核心包括开放物理AI基础模型Cosmos 3、基于Isaac GR00T平台的参考人形机器人、面向机器人与工业AI的开源代理工具,以及与台积电在芯片制造领域的最新AI合作。这套组合拳的意图很清晰:为尚处于碎片化状态的物理AI行业提供从数据生成、仿真训练到现实部署的一体化底座。

创始人兼CEO黄仁勋在大会上直言:“物理AI的大爆炸即将到来,多模态推理语言、视觉和世界模型的突破是引爆点。Cosmos 3系列开放前沿全模态模型为开发者提供了一次代际能力跃迁,让他们能构建感知、推理、规划并行动于物理世界的机器人、自动驾驶汽车和视觉AI。”

Cosmos 3是此次发布的技术核心。英伟达将其定义为全球首个能在单一系统内理解并生成文本、图像、视频、环境音和动作的全模态开放模型。其混合Transformer架构融合了推理与内容生成能力,既可充当视觉语言模型,也可作为模拟物理环境的世界模型,或充当机器人动作模型的基座。模型提供多个版本,其中Cosmos 3 Super面向高精度机器人与自动驾驶应用,Cosmos 3 Nano则针对更快推理速度优化。配套的开源物理AI技能与工具集,可将复杂的开发工作流转化为可重复、可由代理自动执行的流程,覆盖数据生成、仿真、训练和部署全链路。

在机器人硬件侧,英伟达发布了Isaac GR00T参考人形机器人——一款将宇树H2 Plus人形机器人、Sharpa灵巧手、Jetson Thor机载计算平台和Isaac GR00T软件栈集成为一体的开源参考设计。该平台将硬件、仿真、训练和部署整合进单一系统,旨在降低人形机器人开发的复杂度。包括艾伦人工智能研究所、苏黎世联邦理工学院、斯坦福机器人中心和加州大学圣地亚哥分校在内的多家研究机构已计划采用。

半导体制造领域,台积电正在将英伟达CUDA-X库和AI模型引入晶圆厂,应用于计算光刻、晶体管仿真、工艺控制、晶圆检测和工厂调度等环节。据英伟达称,台积电已实现计算效率的显著提升,同时利用Metropolis和TAO工具包改进了纳米级缺陷的检测能力。黄仁勋表示,这是两家公司近三十年合作的最新延伸——英伟达AI和加速计算首次进入晶圆厂内部,直面全球最复杂的设计与制造挑战。

自动驾驶方向,英伟达发布了Alpamayo 2 Super,一款320亿参数的推理模型,旨在帮助Robotaxi理解、规划并应对复杂路况。

从开放的全模态世界模型到可直接上手的参考机器人,从晶圆厂的缺陷检测到自动驾驶的推理引擎,NVIDIA此次GTC Taipei的全线铺开,本质上是用一套统一的计算底座和软件栈,把物理AI从各自为战的实验室拉进同一个开发生态。这是对“一个模型驱动所有机器”愿景的首次规模化兑现。


0

21 0

发表评论

登陆后参与评论