机器人前瞻(公众号:robot_pro)
作者 |  陈骏达
编辑 |  漠影

在英(ying)伟达的世界(jie)里,“仿真(zhen)”正(zheng)逐渐(jian)成为新的现实(shi)。

不久(jiu)前,英伟达在官方账(zhang)号上连续发布了两场高规格圆桌对话,而仿真(zhen)数据(ju)成为(wei)了贯(guan)穿始终的核(he)心议题。

从斯坦福大学李飞飞教授与英伟达机器人部门主管、杰出科学家Jim Fan的“师生对谈”,到英伟达产品营销高级总监(Omniverse与Physical AI业务)黄敏珊(Madison Huang,黄仁勋之女)与光轮智能创始人兼CEO谢晨关于“Sim2Real”的深入(ru)讨论——这些对话仿佛揭开了英伟(wei)达(da)“仿真宇宙”的一角。

在(zai)英伟达的设想(xiang)中,AI不仅要从数据中学(xue)习,更(geng)需在(zai)仿(fang)真(zhen)世界中不断试错、成长,学(xue)会理解(jie)物理、触(chu)碰(peng)现(xian)实,最终(zhong)走(zou)进真(zhen)实世界。

这些圆桌对话的意义远超技术层面,它们背后暗藏着英伟达的一条战略主线——仿真计算机战略。

依托Omniverse、Isaac Sim和Physical AI三大支(zhi)柱,英伟达(da)正构(gou)建一张贯通虚拟与现实的(de)“智(zhi)能物(wu)理(li)世界计算网络”,以仿真(zhen)为基础,用算力去(qu)重建世界,让AI在仿真(zhen)中学会现实世界的(de)规(gui)律。

一、英伟达的“三台计算机”

过(guo)去数年中,AI更多(duo)停(ting)留在虚拟层面:语(yu)言(yan)模型能写(xie)文(wen)章,图像(xiang)模型能生成画面,但它(ta)们都无法(fa)真正理(li)解三维(wei)世界的物理(li)规律,更无法(fa)在现实中执(zhi)行任务。

英(ying)伟达正试图用三台计算机,打造出一条完整的(de)进化(hua)之路——让(rang)AI不(bu)仅理解世(shi)界,还能在世(shi)界中行动。

英(ying)(ying)伟(wei)(wei)达(da)认为,AI的下一个阶段将从数字(zi)智(zhi)能走(zou)向“物理(li)智(zhi)能”(Physical AI)——一种能够感知、思考(kao)、计(ji)(ji)划并行动的智(zhi)能系统。而支(zhi)撑这(zhei)种跃迁的,正是英(ying)(ying)伟(wei)(wei)达(da)的“三台计(ji)(ji)算(suan)机(ji)”。

第一台是训练计算机(Training Computer),如英伟达的(de)DGX系统(tong)和(he)新近(jin)推出的(de)RTX PRO系统(tong)等等。这些计算硬件是智能的(de)“生产车间”,负责让模型获得(de)理(li)解世界的(de)能力(li)。

在这(zhei)里,开发者可以训练机器人基(ji)础(chu)模型,让它们学(xue)会识别物体、理解(jie)语言、规划动(dong)作(zuo),为AI的智能打下(xia)坚(jian)实基(ji)础(chu)。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

第(di)二台是(shi)模拟(ni)计算机(Simulation Computer),如英伟(wei)达的Omniverse和Isaac Sim平台等(deng)。AI在(zai)这里进入“学(xue)校”,在(zai)数字世(shi)界(jie)中练习、试错和成长。

由于(yu)现实(shi)世界的(de)数(shu)据采(cai)集昂(ang)贵又有限,英伟达让开发(fa)者能在虚拟(ni)(ni)环境中生成(cheng)海量合成(cheng)数(shu)据,模拟(ni)(ni)各(ge)种光线、物理、材质(zhi)与动(dong)作场景。机器人可(ke)以(yi)在这一虚拟(ni)(ni)世界中反复、并行(xing)地执行(xing)各(ge)类任(ren)务(wu),不断优化(hua)策略,直到能够安全可(ke)靠地适应真实(shi)世界。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

第(di)三台是实时(shi)计算机(ji)(Runtime Computer)——也就是(shi)英伟达物理智能和机器人平(ping)台Jetson AGX Thor与自动(dong)驾驶(shi)平(ping)台Drive AGX Thor等等。这是(shi)承(cheng)载AI的(de)大脑,真正让智能从云端(duan)走(zou)向现实(shi)。

这些计算平台被安装在(zai)(zai)机器人(ren)(ren)身上(shang),实(shi)时(shi)处(chu)理来(lai)自(zi)传感器的(de)数(shu)据(ju),做出感知、推(tui)理、规划和(he)执行的(de)决策。凭(ping)借强大的(de)算力(li)和(he)高能效,它们让(rang)机器人(ren)(ren)与人(ren)(ren)互动(dong)、识(shi)别环境、灵(ling)活行动(dong),在(zai)(zai)工厂、仓库、医院等场(chang)景中成为可靠(kao)的(de)伙伴。

这三台计算机构成了英伟达的“物理智能三部曲”:从训练智能,到模拟世界,再到驱动现实。它们共同形成了一个闭环,使AI能够在虚拟世界中学习,在真实世界中执行。这也是英伟达正在下的一盘大棋——不仅让AI能(neng)看懂(dong)世界,更(geng)让它能(neng)在(zai)世界中行动、合(he)作、创造(zao)。

二、物理智能成为下一波浪潮,英伟达靠什么让它落地?

然而,当前大部分的(de)(de)AI系(xi)统尚不具备(bei)物(wu)(wu)理(li)智(zhi)能的(de)(de)特征,缺乏(fa)对物(wu)(wu)理(li)定律(lv)、摩擦力(li)、惯(guan)性、重心和因果关系(xi)等基本概念的(de)(de)理(li)解(jie)。

黄仁勋曾用一个形象的案例解释道:“如果我把一个物体推倒,它会掉下来;当我放下瓶子时,它不会穿过桌面。这些直觉性的物理推理能力,儿(er)童甚至宠物都(dou)拥有,但在大多数AI中却(que)普遍缺(que)失。

围绕这一现状,英伟达将其Physical AI战略具体化为“用仿真训练具备(bei)物理(li)理(li)解(jie)力的(de)智能(neng)体,用世界模型连接虚(xu)拟与现实”,并打造了Omniverse与Isaac Sim两大(da)关(guan)键技(ji)术平台(tai)。前者用于构建高保真的虚(xu)拟物理(li)世(shi)界,扮演(yan)物理(li)智能(neng)“操作系统(tong)”的角色,后(hou)者用于在(zai)该虚(xu)拟环(huan)境中训练和(he)测试具身智能(neng)体。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

然而,强大的平台需要繁荣的生态来支撑。英伟达构建了Omniverse与Isaac Sim作为基础平台,而(er)生态的(de)(de)繁荣则依赖于能够持续产生高质量合成(cheng)数据(ju)的(de)(de)能力。光轮智(zhi)能(neng)作(zuo)为核心数据合(he)作(zuo)伙伴,正(zheng)是这个(ge)(ge)生态的(de)关键“数据源(yuan)泉”,为整(zheng)个(ge)(ge)物理智(zhi)能(neng)体系提供不可或缺的(de)燃料。

光轮智能和英伟达的合作贯穿从底层技术到上层应用的全链路。在数据层面,光轮智能为GR00T等机器人基础模型提供高质量的合成数据;在资产层面,其为Omniverse与Isaac Sim提供高(gao)保(bao)真(zhen)(zhen)(zhen)“SimReady”仿真(zhen)(zhen)(zhen)资产,确保(bao)虚拟环境的(de)物(wu)理真(zhen)(zhen)(zhen)实性与交互准确性。

在技术共建层(ceng)面,光轮智能积极参与(yu)Newton物(wu)理引擎的(de)验(yan)证、深度协同(tong)Cosmos世界模型的(de)数据生成,并作为开源贡献者深度参与(yu)Isaac Lab平(ping)台(tai)等(deng)核心(xin)项目的(de)共建。通(tong)过系统化的(de)仿真训练(lian)闭环,光轮智能助力(li)机器人在(zai)虚拟(ni)环境中完(wan)成成千上万(wan)次高拟(ni)真训练(lian),大幅提升其在(zai)现实(shi)场景(jing)中的(de)适(shi)应(ying)性与(yu)可靠性。

作为在物理精(jing)度、交互(hu)逻辑与多(duo)场景覆盖能力上全面(mian)融入(ru)英伟达物理智(zhi)能生态的(de)伙伴,光轮智(zhi)能正通过其技(ji)术积累与工程实践,持续推动(dong)仿(fang)真到现实(Sim-to-Real)的(de)规模化落地。

Madison Huang在日前直播中回忆起了他们与光轮智能合作的渊源。她称,英伟达坚信仿真是解决问题的关键途径,而他们需要一个“合成数据工厂”,也需要找到认可英伟达OpenUSD架构的企业,“这个时机来得恰(qia)到(dao)好处,就在我们(men)(men)急需(xu)解决方案的时候,你们(men)(men)创立了光轮(lun)。”

双方的合作源于高度的战略共识。直播中,谢晨与Madison Huang都表达了对合成数据的重视。谢晨称,光轮智能坚信合成数据将成为突破物理智能数据壁垒最重要、最主要的数据来源,这与Madison Huang的观点不谋而合:“我们越来越相信,合成数据未来将占据数据总量的绝大(da)部(bu)分。”

“英伟达内部有很多(duo)项目,都需(xu)要光轮智能(neng)的支持(chi)”,Madison Huang说(shuo)道。从GEAR实(shi)验室,到GR00T端(duan)到端(duan)模型的(de)研发,再到英伟(wei)达的(de)西雅图(tu)机(ji)器人(ren)实(shi)验室,这(zhei)些项(xiang)目都需要海量的(de)数据。

英伟达的核心计算业务,也有望从他们与光轮智能的合作中受益。Madison Huang将电缆仿真定义为机器人学习的“圣杯”级难题英伟达的每个NVL72机(ji)架内部都包含约(yue)两英里的铜(tong)缆,布线(xian)的任务枯燥乏(fa)味,未(wei)来,英伟达希(xi)望用机(ji)器人来完(wan)成。

光轮智能是英伟达解决上述问题的关键其CEO谢晨透露,他们正与(yu)英伟达的(de)Newton团队合作,研发电缆仿(fang)真(zhen)专(zhuan)用求解(jie)器和仿(fang)真(zhen)资产。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

除此之外,光(guang)轮智能还(hai)打造(zao)了光(guang)轮智能-YCB数据集、光(guang)轮智能Kitchen、LeIsaac、LeHome等仿真(zhen)资产和环境。上述产品(pin)被广泛应(ying)用于英伟达(da)Isaac Lab、DexBench、Policy Evaluation Framework等项目中,成为英伟达(da)官(guan)方推荐的合作内容(rong)。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

从工厂自动化到家用机器人,从汽车装配到仓储物流,光轮智能的仿真场景几乎覆盖了整个“物理智能”生态。其(qi)平台与英(ying)伟达Isaac Sim深度集成,能(neng)够让(rang)企(qi)业在(zai)几小时内完成复杂场景的构建、标注和(he)数据(ju)生成。

Madison Huang在直播中(zhong)强调(diao):“今(jin)天(tian)展示的(de)许多策(ce)略评(ping)估流程之所(suo)以(yi)能(neng)够(gou)实现,离不开合作伙伴所(suo)提(ti)供的(de)高保真仿真数据——其中(zhong)包括光(guang)轮智能(neng)的(de)SimReady资(zi)产。”

双方的这(zhei)一系列合作,标志着光轮智(zhi)能已从技术(shu)使用者,跃(yue)升为英伟达机器人仿真(zhen)与AI生态的关键基础(chu)设(she)施构(gou)建(jian)者和标准贡献者。

此外,英伟达并非光轮智能唯一的知名客户,据悉,光轮智能还与DeepMind、斯坦福大学、麻省理工学院、Figure等海外知名企业和高校均有合作,国内的智(zhi)元机器(qi)人、银河通用(yong)、阿(a)里巴巴、字节(jie)跳(tiao)动、理想、比亚迪、吉利等也(ye)与光轮有业(ye)务往来。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

在谈及光轮智能的这份豪华(hua)客户清单时,Madison Huang称,光轮智能与(yu)各行(xing)业(ye)龙头企业(ye)的合作(zuo)本(ben)身,就(jiu)是对其产(chan)品质量和公司愿景的最佳(jia)证(zheng)明。

三、学术界产业界共振,从研究突破到现实落地的仿真生态

在近期举办的两(liang)场圆桌活(huo)动中,李飞飞的Behavior Challenge、光(guang)轮智能的数据与仿真(zhen)基(ji)础(chu)设施解决(jue)方(fang)案,为何能获(huo)得英伟达的高度认(ren)可?原因就(jiu)在于他们都填补了仿真(zhen)数据领域的关键空白。

李飞飞教授(shou)主导的Behavior Challenge搭建了一个高度复杂(za)、逼真的虚(xu)拟家庭环境,让智(zhi)能体在其中(zhong)完成(cheng)诸如整(zheng)理桌(zhuo)面(mian)、做(zuo)饭、寻找(zhao)物品等真实生活(huo)任务。

Behavior Challenge与十多年前李飞飞教授推动的ImageNet一脉(mai)相承。ImageNet通过构建大规模视(shi)觉数据集,曾(ceng)引发了深度学习在(zai)计算机视(shi)觉领(ling)域的革(ge)命;而(er)Behavior Challenge构建的数据集和评估(gu)标准,则(ze)有望成为具(ju)身(shen)智能时代的“ImageNet时刻”。

两者的精(jing)神(shen)高度一致(zhi),以统一的基准和开放的生(sheng)态推动(dong)整个领域的发展,只是前者让(rang)机器学会看(kan)懂世界,后者则(ze)让(rang)智能体真正在世界中行动(dong)。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

今年10月,英伟达成为了Behavior Challenge背后的赞助商。这种合作不仅是技术层面的支持,或许更包含理念层面的共鸣:AI的未来不只是理解像素,而是理解世界。

如果说Behavior Challenge代表了学术界在数据集和评估标准的前沿探索,而光轮智能则在产业界通过其SimReady资产与数据生成能力,为物理智能的规模化落地提供核心数据支撑这或(huo)许也是英伟(wei)达选中(zhong)光轮智能,并不断加(jia)深双(shuang)方合(he)作的重要原因。

在与光轮智能CEO谢晨的对谈中,Madison Huang分享了一个有趣的观察:“自动驾驶汽车是当今首个实现量产规模的机器人形态,其核心任务其实就是不要碰到任何东西;而对其他类型的机器人而言,它们的任务恰恰相反——就是要“触碰一切事物”,完成各种复杂操作。如今,仿真比以往(wang)任何时候(hou)都(dou)更加重要。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

要让机器人具备“触碰一(yi)切事物”的能力,就(jiu)需要打造其(qi)仿真(zhen)训练中所需的各类资产。然(ran)而,现有的大(da)部分传统3D模(mo)型只注重(zhong)视(shi)觉(jue)外(wai)观,无法提(ti)供足够真(zhen)实的仿真(zhen)效(xiao)果。

真正适用于仿真场景的资产,需要具备物理属性、材料特性、关节结构、可操作性等(deng)信息,使(shi)得智(zhi)能(neng)(neng)体(ti)能(neng)(neng)够在仿真中正确地感知、抓取、推拉(la)或使(shi)用物体(ti)。

光轮智能是“SimReady”概念的提出者,并(bing)打造了(le)一整套适用于仿真的资(zi)产(chan)标准(zhun)。谢晨解释道,光轮智能希(xi)望打造不仅在(zai)视觉上(shang)准(zhun)确,而且也在(zai)物理意义(yi)上(shang)极为准(zhun)确的资(zi)产(chan)。

例如(ru),一(yi)个SimReady的“黄瓜”能在仿真环境(jing)中被随(sui)意(yi)地(di)切开;一(yi)块SimReady的“草(cao)莓地(di)”,则(ze)需要允许智能体在其(qi)中自由地(di)“采摘”。

黄仁勋女儿揭秘,英伟达Physical AI战略的关键拼图,为何是他们?

这些看似微小的物理一致性,背后是光轮智能在非刚性体(deformables)模拟领域的深度积累——其在(zai)成立早期(qi)就(jiu)解决(jue)了非(fei)刚性物体的仿真资产问题。

为了确保物理一(yi)致性,光轮智能已经摸索(suo)出一(yi)条打造SimReady资产的成熟流水线(xian)。

他(ta)们运用了大量(liang)物(wu)理(li)设备来采集精(jing)确的物(wu)理(li)数(shu)据,将其(qi)融入仿(fang)真就绪资产,同时通过(guo)特定方法比对(dui)现实世界与模拟(ni)环(huan)境中(zhong)的力学数(shu)据,确保两者匹配(pei)。谢晨称,这一过(guo)程至关重要,是光(guang)轮智能(neng)打造高质量(liang)、物(wu)理(li)精(jing)确的仿(fang)真资产的核心(xin)步(bu)骤。

这(zhei)种对“物理一(yi)致(zhi)性”的追(zhui)求,与英伟达强调的Physical AI理念高度(du)契合(he)。在(zai)Madison Huang亲自撰写的博(bo)客文章中(zhong),她将Physical AI定义为能(neng)够在(zai)物理世界中(zhong)感(gan)知、推理、交互(hu)并导(dao)航的端到端模型,驱动从机器人(ren)到自动驾驶汽车,再到数据中(zhong)心、工厂、智慧城市(shi)等种(zhong)种(zhong)系统。

要实现这一目标,符合物理规律的仿真环境与物理保真的交互资产正是关键基础。换(huan)言(yan)之,光轮智能的SimReady资产,正是培育Physical AI所需的土壤——高质量、物理一致、行为(wei)可交互的数字资产,让虚拟环境(jing)逼近现(xian)实世界(jie),从而支撑机器人、自动(dong)驾驶等研究的发展。

谢(xie)晨(chen)进一步补充道,如果(guo)缺乏(fa)正(zheng)确(que)的(de)(de)“原料”(既高质量资产),即使有最(zui)好的(de)(de)求解器,也无法产生(sheng)最(zui)佳数据。

更难能可(ke)贵的是(shi),光轮(lun)智(zhi)能的SimReady资产实现了质量与效率的平(ping)衡。通过深度优化(hua),光轮智能确保其SimReady资产在计算上具备极高(gao)的运行效率。

例如,在(zai)(zai)碰撞计(ji)算(suan)方面,光轮智能确(que)保(bao)碰撞检测可以通过(guo)基本图元(primitives)或(huo)凸包(bao)(convex hull)的(de)方式来完成(cheng)。这种方法(fa)在(zai)(zai)计(ji)算(suan)上(shang)极为高效,能够(gou)在(zai)(zai)单张GPU上(shang)同时运(yun)行(xing)成(cheng)百上(shang)千个(ge)仿真环境,从而让机器人的(de)强(qiang)化学习训(xun)练过(guo)程保(bao)持极高的(de)效率。

Madison Huang提到,未来,每一家生产(chan)实体产(chan)品的(de)(de)工厂(chang)(chang)都(dou)会拥有自己的(de)(de)数(shu)字孪生工厂(chang)(chang)(Digital Twin Factory)和AI工厂(chang)(chang)(AI Factory),让(rang)数(shu)字世界(jie)与(yu)物理世界(jie)实时联动(dong)。她很乐(le)意(yi)将(jiang)光轮(lun)(lun)智(zhi)能(neng)介绍给愿意(yi)加(jia)入上述愿景的(de)(de)企(qi)业,光轮(lun)(lun)智(zhi)能(neng)可(ke)以成(cheng)为SimReady资(zi)产(chan)的(de)(de)提供方。

从Madison Huang的多次表述中可以看出,在英伟达的物理智能生态中,光(guang)轮(lun)智能已(yi)成(cheng)为不可或(huo)缺(que)的一环——如果没有光轮智能提(ti)供的(de)仿(fang)真资产、数(shu)据和基础设施,Isaac Sim和 Omniverse的(de)计算能力和求解器可能无法充分发挥(hui)作用。

换句话说,英伟达主导了平台与计算层,而光轮智(zhi)能则承担内容层和基础设施层的(de)核(he)心角色。两者紧(jin)密结合,使整个物理(li)智(zhi)能生态既拥有强大的(de)算力(li)和算法支持,也具备高度物理(li)精确(que)、可交互的(de)训练环境和数(shu)据,从而形(xing)成(cheng)他人难以复制的(de)技术壁垒。

结语:AI的疆界,是现实本身

李飞(fei)飞(fei)的(de)Behavior Challenge、光(guang)轮智(zhi)能的(de)工业仿真,以(yi)及英伟(wei)达(da)的(de)Omniverse与Isaac Sim,其实共同勾勒(le)出英伟(wei)达(da)正(zheng)在(zai)布局(ju)的(de)“智(zhi)能大棋盘”。

在这套(tao)体系(xi)中(zhong),Omniverse充当着(zhe)“世(shi)(shi)界(jie)模型层(ceng)”的角色(se),定义了(le)虚(xu)拟世(shi)(shi)界(jie)的物理(li)法(fa)则与(yu)(yu)运(yun)行(xing)(xing)逻辑(ji);Isaac Sim是“仿真引擎层(ceng)”,让机器人和智能体能够在高保真的物理(li)环境(jing)中(zhong)学习与(yu)(yu)进化(hua);光(guang)轮智能则位于“内容与(yu)(yu)数(shu)据层(ceng)”,持续提供海量真实可用的工业场景(jing)、SimReady资产与(yu)(yu)合(he)成数(shu)据;而(er)由(you)李飞飞教(jiao)授主导的Behavior Challenge则代表“认知与(yu)(yu)智能层(ceng)”,探索人工智能如何理(li)解(jie)人类行(xing)(xing)为与(yu)(yu)世(shi)(shi)界(jie)逻辑(ji)的最高形(xing)态。

在Madison Huang对谈光轮智能CEO谢晨、李飞飞受(shou)邀参与英伟(wei)达直播时(shi),英伟(wei)达真(zhen)正的(de)野心(xin)也(ye)日渐明晰:它的(de)下(xia)一(yi)步,不只(zhi)是提升(sheng)算力(li),而是模拟现(xian)实(shi);不只(zhi)是训练模型,而是训练世界(jie)。当每一(yi)次物理变化都能被(bei)计算、每一(yi)个(ge)交互(hu)都能被(bei)仿真(zhen),AI的(de)疆(jiang)界(jie)将不再停(ting)留于虚(xu)拟,而是延伸到现(xian)实(shi)本身。