“世界模型”或许是 2025 年以来 AI 领域里最热也最混乱的概想。Sora出来的时辰，OpenAI 管它叫世界仿照器；Genie 让你在天生的画面里走来走去，也叫世界模型；机械人公司说自己在做世界模型，NVIDIA 说 Omniverse 是世界模型的基础设施，连游戏引擎也被拉进了这个叙事。各人都在用统一个词，但各自说的又齐全不是统一件事。 今天，李飞飞在幼我 Substack 颁发了一篇新文章，对这一概想进行了厘清。她首先回到强化进建教科书里那个最经典的图（POMDP 关环：智能体→作为→状态→观测→智能体），而后指出：此刻被叫做“世界模型”的器材，其实是这个关环的三种分歧投影。输出像素（观测）的是渲染器，输出状态的是仿照器，输出作为的是规划器。分类尺度极度简洁，就看你输出的是关环里的哪个部门。 她判断，三者之中，渲染器贸易化最成熟但有天花板（好看不蹬宗物理正确），规划器最令人兴奋但离真实部署最远（尝试室演示和现实可用之间的天堑依然巨大），而仿照器是被严沉低估的关键枢纽。由于仿照器工作在几何、物理和动力学的层面上，既能向上投射为像素供人类消费，也能向下推导出作为后果供机械人使用。把握了仿照，就同时占有了渲染和规划的基；反过来则不能。 这篇文章当然也是 World Labs 的产品宣言。他们的 Marble 已经在同时输出高斯泼溅和碰撞网格，试图把渲染器和仿照器统一到一个模型里。文章末尾描述的终局是一个统一的世界基础模型，能凭据下游需要在渲染、仿照和规划之间自由切换。这个愿景是否能实现另说，但作为一个分析框架，渲染器/仿照器/规划器的三分法也许的确有助于穿透当前"世界模型"概想的一部门噪音。 在起初的一篇文章中，我们提出空间智能是 AI 的下一个前沿，而世界模型是通向它的蹊径。在此，World Labs 团队和我想再深刻一层：在如今被冠以“世界模型”之名的多多事物中，哪些职能？檎嬲槌闪苏庵帜芰？它们各自的用处又是什么？ 说话模型赋予了机械对概想、词汇和推理的壮大掌控力，但物理世界，无论虚构还是真实，运行在齐全分歧的基底之上。说话模型进建的是文本的统计结构，世界模型进建的是空间与功夫的统计结构：光若何落在一个表表上，一座花圃从一个从未被相机捉拿过的角度看起来是什么样子，物体若何响应力并遵循物理定律。 这使得“世界模型”成了当下 AI 领域最沉要、同时也最被滥用的术语之一。推算机视觉、机械人学、强化进建和天生式 AI 都宣称自己在构建世界模型，但各自指的是截然分歧的器材。一个能天生华丽但物理上不成能的火焰的视频模型，一个即兴天生可玩游戏的说话模型，一个忠诚仿照点火过程的物理引擎，它们都被叫作统一个名字。 古希腊人从来无法就世界由什么组成达成一致，不论是火、水还是不成宰割的原子，由于"世界"从来就不是单一的器材。它始终是某个思想家为了推理某种总体性而使用的代替词。AI 继承了同样的问题，并且刚好产生在这个领域最必要精确性的时刻。 要厘清这种混乱，能够从一张比上述所有技术都更古老的图起头。所有强化进建教材，蕴含经典的 Sutton 和 Barto，几十年来一向使用统一幅图的变体来描述智能体若何与世界交互。这幅图的正式名称是部门可观测马尔可夫决策过程（POMDP），而“世界模型」剽个术语最初的界说就属于这一传统。 一个智能体（可所以人、机械人或软件系统）执行作为。这些作为扭转世界的状态。但智能体始终无法直接看到状态自身，它所接管到的是观测：落在视网膜上的光子、传感器的读数、视频帧中的像素。新的观测疏导新的作为，循环往复。 “状态」剽个词必要拆开来看，由于在分歧领域中它的寓领悟产生偏移。这里说的不是化学家的状态，不是固态、液态和气态的区别。这里是物理学家和机械人学家的状态：对世界在某一时刻所产生的所有的齐全描述，蕴含每一个物体、每一个地位、每一个速度、每一种属性。状态是世界的底层现实，准则上是完整的，但对于身处其中的任何智能体来说始终不成直接观测。观测是智能体对这一现实的部门视角。作为则是智能体据此做出的回应。 这个关环（智能体→作为→状态→观测→智能体）正是赋予“世界模型」剽个术语其技术寓意的结构。这个短语自身越发古老，能够追忆到 Kenneth Craik 在 1943 年的提议，他以为心智通过运行现实的“幼比例模型”来进行推理，而到了 1980 年代末和 1990 年代初，这一概想被引入了神经网络领域。这个关环同样诠氏缢人们今天使用这个术语时的寓意。此刻被称为世界模型的各类器材，现实上是统一个关环的分歧投影，每一种输出的是关环中分歧的组成部门。 第一种世界模型是渲染器。渲染器输出的是观测，具体来说是面向人眼的像素，而最沉要的瓢荼鸶标是视觉保真度。一个将文本提醒转化为电影级航拍镜头的视频模型就是渲染器；像 Google的Genie 3 或 World Labs 自己的 RTFM 这样的交互式系统也是渲染器，它们凭据用户输入实时天生画面。这类模型不具备对三维结构的显式理解。它天生的是旁观者会看到的画面，而不是事物自身的样子。航拍镜头里的构筑从空中看也许美满无瑕，但试着鄙人面的城市中穿行，它们就会崩塌。 第二种是仿照器。仿照器输出的是状态：一种在几何、物理或动力学上忠诚的世界表征，人类和推算机法式都能在其上进行推算和交互。渲染器的左券是纯视觉的，而仿照器的左券是结构性的，它要求几何经得起检验，物理遵循牛顿定律，动力学的行为切合物理法令的预期。仿照器同时服务两类用户。构筑师、设计师、电影人、游戏开发者等专业人士必要超过视觉可信度的正确性。强化进建智能体、机械人节造器、自动驾驶车辆等推算机法式则把仿照器当作训练场，在其中大规模地与世界交互，测试那些在现实中要么危险、要么昂贵、要么底子不成能执行的场景。 第三种是规划器。规划器输出的是作为。给定一个观测和一个指标，规划器回覆的问题是：智能体下一步该做什么。在好多意思上，规划器是渲染器的逆过程。渲染器以作为为输入、产出观测，规划器以观测为输入、产出作为，从而关合了感知-行动回路。视觉-说话-作为模型（VLA）、基于模型的系统，以及新一波的世界作为模型（World Action Models），都是规划器的分歧尝试：让系统可能在非结构化的世界中决定机械人应该做什么。 以上三个类别涵盖了当前现着实落地的大部门工作，而它们之间的分辨在实际中很有效。但这三个类别并非从底子上彼此割裂。它们共享统一套关于世界若何运作的底层知识：几何、物理、动力学。一个能从肆意角度渲染一只杯子的模型，准则上也应该能仿照杯子被推动后会产生什么，并规整齐只手去把它拿起来。越来越多最有意思的钻研，在有意地吞吐这三者之间的天堑。 渲染器是目前贸易化水平最高的。大量图像或文本转视频产品在消费和企业市场急剧扩张。Google 的 Nano Banana 模型将渲染器级此外图像天生能力送到了可能数以亿计的用户手中。技术是切实的，市场也是切实的。然而渲染器优化的指标是视觉可信度而非物理正确性，这个天花板很沉要。它们的输出很美丽，但你不能用它们来设计一座构筑或训练一个机械人。 规划器是最令人兴奋也最不成熟的，它与急剧演进的机械人进建领域亲昵有关。从前两年里，这个领域产出了不少在视坡凤看起来令人印象深刻的机械人演示，但我们必要坦诚地面对这些演示到底展示了什么。险些所有演示都局限于高度受限的尝试室环境，物体种类有限，工作时长很短。没有一个经受过真实世界部署所要求的复杂度、多样性和持续时长的验证。从一段杰出的演示视频到一个能在厨房、仓库或手术室中靠得住工作的机械人，中央的天堑依然巨大。 只管如此，贸易上的押注规模依然可观。一波资金丰裕的新进入者在争相推出通用规划系统，而大型基础设施玩家则在将规划能力架设在更宽泛的仿照仓库之上。 仿照是衔接两者的桥梁。若是说说话是对世界的抽象，像素是对世界的投影，那么几何、物理和动力学就是世界自身。仿照器必须在这个层面上工作：它是结构性的骨架，视觉阐发（供渲染器使用）和作为后果（供规划器使用）都能够从中推导出来。 一个把握了仿照的模型，可能将它的理解投射为供人类消费的像素，也能投射为供具身智能体使用的作为预测。而一个只把握了渲染或只把握了规划的模型，两者都做不到。这里的贸易空间极其辽阔。仅 NVIDIA 的 Omniverse一 项，其指标市场规模据该公司估计就超过万亿美元，涵盖工厂、仓库、供给链和数字孪生；等搜盗贰⒆远菔徊馐浴⒐怪可视化、工程设计、药物发现，全都依赖于某种状态的仿照。 这个领域最难题的盛开性问题也集中在这里。带有显式几何、材质属性和物理标注的三维数据，比渲染器训练所用的互联网视频稀缺了几个数量级。sim-to-real 差距（仿照中的物体行为与真实世界中的行为之间的差距）依然存在。天生式仿照器在此基础上还引入了新的风险：AI 天生的几何体可能看起来正确，但现实上蕴含自订交或谬误比例的问题，导致物理仿照产生怪诞的了局。大规模的多物理仿照（刚体、可变形物体、流体、布料全数同时交互）的推算成本依然比单一领域的仿照逾越几个数量级。 在 World Labs，Marble 是我们在这个方向上的第一步。它接受多模态输入（文本、图像、视频或空间草图），天生可索求的 3D 环境，同时输出用于视觉索求的高斯泼溅（Gaussian splats）和供物理引擎操作的碰撞网格。但Marble只是一段漫长曲线的第一章。随着渲染、仿照和规划之间的界限起头消融，整个领域都在书写这个故事。 当前这个领域最沉要的趋向是，三个类别在起头融合。背后的共识是：渲染一个世界、仿照它、在其中行动，所必要的知识在很大水平上是一样的。沿用前面的例子，一个真正理解杯子若何放在桌上的模型（它的几何状态、材质属性、对力的响应等等），应该可能从肆意角度渲染这只杯子，仿照杯子被推动后会产生什么，并规整齐只手去拿起它。三个类别是统一种底层理解的三种投影。 好比，最近已有少量但在增长中的工作来自分歧的机械人尝试室，它们展示了一种至少在概想上成立的可能性：一个预训练的视频渲染器能够作为结合世界预测和作为预测的骨干网络，让单一模型同时设想“会产生什么”和“该做什么”，从而在渲染器和规划器之间架起桥梁。World Labs 的 Marble 已经能从单一模型同时输出高斯泼溅和碰撞网格，消解了渲染器与仿照器之间的天堑。每一个层面都在从被动输出转向交互式系统：渲染器变得能够响应作为前提，仿照器天生的世界变得越发可控和可编纂，规划器起头进行审慎推理而不仅仅是做出反映。 逻辑上的终点是一个统一的世界模型：一个基础模型，可能渲染照片级真实的视图、天生物理上正确的结构、规划作为序列，并凭据下游使用者的需要在分歧输出模态之间切换。我们仍将面对一系列严格的挑战。数据格局极不平衡，渲染器坐拥海量互联网视频，而仿照器和规划器则面对3D资产和机械人示范数据的严沉匮乏。针对视觉美感的优化可能会就义机械人或高保真仿照所需的精度。在单一架构内和谐这些张力，是当现代界模型钻研的主题盛开问题，也是 World Labs 在持续演进 Marble 的过程中致力于解决的。 但风雅向已经很明显。从 1980 年代末至今，这个领域押的始终是统一个赌注：只有世界模型足够丰硕，智能体看见世界、构建世界、在其中行动所需的器材就全在里面了。这个赌注如今在驱动一整代人的钻研。而真正给它加上砝码的，是已经在产生的融合：渲染、仿照、规划三条线，每条都已经各自撑起价值数十亿美元的产业，它们起初是独立的钻研方向，此刻起头汇到一路。当天堑隐没，三者合流将沉新界说一件更大的事：机械智能与它所栖居的物理世界之间的关系，也就是空间智能的长远走向。