媒介
当AI放下海德格尔的锤子时,意味着机械人已经可能纯熟使用工具,工具会"隐退"成为本体的延长,而不再是必要刻意思虑的对象。
当一位纯熟的木工抓起锤子时,锤子隐没了——不是物理上的隐没,而是无需思虑便可自若使用。然而,当前最先进的机械人依然无法"放下"这把“锤子”,它们被困在循环钟转—鉴别锤子、规划若何使用锤子,每一次交互都必要沉新"拿起"工具作为认知对象,这种割裂式的处置方式让AI始终无法达到人类那种直觉的工具使用境界。
具身智能的突破,不会来自对现有基于视觉-说话基础模型的建补,而将源于一场架构革命。
我们主张,必须烧毁以"多模态�?槿诤�"为主题的拼凑式范式,转向一个端到端的统一架构。该架构旨在彻底消解视觉、说话和行动之间的报答天堑,将它们还原为单一信息流进行处置。
当前范式的底子局限
现有主流步骤将分歧模态视为独立�?�,如预训练的ViT处置视觉信息,LLM处置说话理解,而后通过融合层进行衔接。这种"委员会"式的设计存在着性质缺点。
首先是表征瓶颈问题。信息在分歧模态的专属编码器之间传递时,会产生不成预防的压缩损失,就像将一幅油画描述给盲人,再让盲人向聋人通报画面内容一样,每次转换城市迷失关键的细节和关联。这种损失故障了模型对物理世界进行深档次的跨模态理解。
最关键的是无法涌现的问题。结构上的割裂使得模型难以进建到物理世界中逾越模态的、直觉式的因果法规。就像一幼我无法仅通过阅读教科书就学会骑自行车一样,真正的物理智能必要的是整体性的、具身的理解,而不是�?榛闹镀唇�。
统一架构:从分治到整合
我们提出的统一模态架构源于一个主题洞察:真正的具身智能不应该是多个专门�?榈暮献�,而应该像人类认知一样,在统一的推算框架内同时处置感知、推理和行动。
架构的主题是统一暗示进建。我们将所有模态信息——视觉、说话、触觉、作为——转换为共享的高维token序列,解除模态间的报答天堑。
关键突破在于选取多工作多模态天生作为监督机造:系统必须学会从任一模态天生其他模态的内容,这迫使模型成立起深层的跨模态对应关系。

具体而言,我们将所有输入模态,蕴含多视角图像、文本指令与机械人实时状态,通过各自的编码器转化为统一的token序列,该序列被送入一个Transformer主题。其中,预训练多模态理解模型掌管整合信息以实现空间感知理解与工作推理规划,而天生专家 (Gen. Expert) 则预测未来的图像与视频,以及直接天生可执行的机械人作为。两者通过一个跨模态把稳力 (Cross-Modal Attention)层深度耦合,使得感知、推理和行为的信息流在每一个推算层都能无损地双向交互与共同演进,从而实现了端到端的统一进建。
这种架构实现了具身多模态推理的涌现。当面对新工作时,系统可能像人类一样进行整体性认知处置——视觉理解、语义推理、物理预测和作为规划在统一空间内并行发生、相互影响,而非串行处置。
通过这种端到端的统一进建,系统最终可能像人类一样思虑和工作:不再依赖�?榛男畔⒋�,而是在深层暗示空间中直接进行跨模态的因果推理和行动决策。
涌现能力:具身多模态推理
这种统一架构旨在解锁当前�?榛低澄薹ㄊ迪值娜轿痪呱矶嗄L评砟芰�。
第一个是符号-空间推理能力。
当人类轻易画出几何状态时,机械人首先通过理解复杂几何图案,而后在统一的暗示空间中进行多档次推理:将抽象的二维图形解构为具体的字母组合,理解这些字母的空间分列逻辑,并揣度出它们组合成的完整单词。同时,机械人可能将这种抽象的符号理解直接转化为三维空间中的物理操作,用积木块精确地沉现字母的空间排布。
整个过程体现了视觉感知、因果推理和空间操作的深度融合。
第二个是物理空间推理能力。当我们向机械人展示积木的操作步骤时,机械人可能在其统一的潜在空间中直接进行视觉的空间逻辑推理和因果关系推演。这个过程中,机械人理解每个积木的搁置若何影响整体结构的不变性,揣度操作挨次背后的工程逻辑,并预测分歧操作蹊径可能导致的了局。同时,机械人可能将这种物理推理过程表化为说话思虑链,清澈地表白其对空间关系、沉力约束和构建战术的理解。最终,机械人可能基于这种深层的物理理解,独立实现复杂的三维结构搭建,展示了物理直觉与推理能力的有机结合。
第三个突破是具备推理链的自主索求能力。面对复杂的环境,系统可能整合视发觉看、空间影象和学问知识,构建出连贯的推理链条。整个过程体现了感知、影象、推理和行动的无缝整合,以及基于学问知识的矫捷决策能力。这种推理过程是端到端进建的天然涌现。
最后一个展示了机械人从视频中进建能力和合作推理能力。当观察人类的操作视频时,机械人从视频中揣度行为背后的深层意图和指标状态。这种能力超过了单一的作为仿照,体现了视频进建、对人类意图的理解、对合作指标的揣度,以及自主的合作决策能力,展示了真正的自主进建和人机协同能力。
结语
这些演示背后体现的是一个底子性的范式转换。传统的多模态系统将世界分化为独立的表征�?�,但物理世界的交互是陆续的、实时的、多模态耦合的——当机械人抓取一个易碎物品时,视觉判断、力度节造和安全预测必须同时发生,任何�?榧涞难映せ蛐畔⑺鹗Ф伎赡艿贾率О�。尊龙凯时人生就是博统一架构正是为满足这种具身交互的要求生的。这种转变的意思在于,它让机械人可能像海德格尔描述的纯熟工匠一样,将感知、理解和行动无缝融合�;等瞬辉俦匾笆泳跫稹祷肮婊魑葱幼钡娜叱ご写χ�,而是在统一的表征空间中被直接理解为实现特定意图的媒介——机械人可能同时“看到”物理属性、“理解”其在职务中的作用、“感知”操作的空间约束,并“规划”相应的作为序列。正是这种多模态信息的并行融合处置,使得具身多模态推理能力得以天然涌现,让机械人最终可能像人类一样流畅地与物理世界交互。我们主张,具身智能的未来蹊径是从设计"割裂式表征"的系统,转向构建可能进行真正具身多模态推理的统一系统。这并非一次增量改进,而是让AI具备跨模态因果推理、空间逻辑推演和实现通用操作的具身智能所必须的架构进化。
- 转载自“自变量机械人”公家号 -

自变量机械人成立于2023年12月。公司致力于通过研发具身智能通用大模型的蹊径,实现通用机械人。2024年4月初,《智能涌现》曾报路过其实现数千万元天使轮及天使+轮融资。