NVIDIA Cosmos 3 全开源物理AI模型深度评测

6月4日的消息，英伟达在台北GTC活动上正式发布了Cosmos 3，并将其称为全球首个“完全开放的全能模型”。这款模型面向机器人、自动驾驶汽车及视觉智能体，主打基于视觉的推理能力，同时还能生成文本、图像、视频、环境声音和动作等多模态内容。 从技术架构来看，Cosmos 3采用了推理Transformer与生成Transformer组成的双模块设计。推理Transformer负责理解物体交互、运动轨迹及时空关系，生成Transformer则在此基础上输出视频内容与动作轨迹。换句话说，模型先理解现实世界中的物理互动，再生成对应的画面和行为结果，从而显著提升对复杂环境的建模能力。 英伟达指出，Cosmos 3主要致力于解决机器人、自动驾驶车辆和视觉智能体在真实环境理解方面长期面临的难题。当前，相关训练数据仍然有限，仿真系统也较为分散，导致机器在学习物理世界规律时面临较高门槛。Cosmos 3的目标是以更高的物理准确性，原生理解并生成文本、图像、视频、环境声音及动作信息。 从产品规划来看，Cosmos 3既可作为视觉语言模型使用，也可作为模拟物理环境、预测未来世界状态的世界模型，还可作为其他世界模型的基础平台。目前，响应精度最高的Cosmos 3 Super与轻量版本Cosmos 3 Nano已正式可用，面向边缘设备实时推理的Cosmos 3 Edge将于后续推出。 Transformer是一类擅长处理序列数据中上下文关系的深度学习神经网络，可通过并行计算提升生成效率。英伟达此次将推理与生成能力相结合，旨在为机器人与自动驾驶系统提供更接近真实物理世界的基础模型能力。

来源：互联网