NVIDIA 发布 Cosmos 3 Edge:4B 开源世界模型,Jetson 上 15Hz 实时生成机器人动作
NVIDIA 于 7 月 20 日在 Hugging Face 官方博客发布 Cosmos 3 Edge——一个 40 亿参数的开源世界模型,面向机器人和视觉 AI 智能体在边缘设备上的实时推理与动作生成。模型权重已在 Hugging Face 放出(nvidia/Cosmos3-Edge,另含 DROID 机器人策略变体),可在 RTX PRO、GeForce RTX、DGX 以及 Jetson 全系(含新发布的 T2000/T3000 模组)上运行。
技术上,Cosmos 3 采用「双 Transformer 塔 + 共享多模态注意力」架构:自回归塔处理视觉与文本 token 负责理解推理,扩散塔处理视觉、音频与动作 token 负责预测与生成。作为后训练的世界动作模型(WAM),它在 640×360 机器人控制分辨率下工作,单次推理生成 32 个动作,在 Jetson Thor 上实现 15Hz 实时控制。官方给出的基准成绩:同尺寸(4B)模型中 VANTAGE-Bench 视觉分析排名第一,机器人策略学习达到 SOTA。成绩为官方自报,尚待第三方复现。
这是本月具身智能/世界模型开源浪潮的又一击:面壁 MiniCPM-Robot(7 月 19 日)、昆仑万维 Riemann-1.0、小米 Xiaomi-Robotics-1(7 月 20 日)相继三件套开放后,NVIDIA 把自家的世界模型旗舰线也压到了边缘端 4B 档位。与国产厂商主打「LLM scaling 方法论搬到具身智能」不同,Cosmos 3 Edge 的卖点是边缘部署的实时性——15Hz 控制频率意味着可以真正闭环驱动机器人,而不只是离线规划。
对开发者的意义:如果你在做机器人或智能基础设施(工厂、仓储、医院场景)的边缘 AI,Cosmos 3 Edge 是目前同尺寸里唯一官方宣称能实时闭环控制的开源世界模型;配合 Jetson T2000/T3000 新模组,NVIDIA 在「物理 AI 边缘栈」上的软硬件闭环进一步收紧。模型与代码均已开放,可直接从 Hugging Face 拉取验证。