你有莫得想过一个问题：要是一个机器东说念主在测试里收获满分，是不是就表现它真的听懂了你说的话？

这个问题听起来有点蠢，但上海交通大学的商榷团队发现，谜底很可能是辩说的。他们作念了一个实验，把一批面前最先进的机器东说念主完毕模子放到一个全心假想的场景里测试，结果发现这些模子在圭臬测试中发扬优异，可一朝稍稍改换一下场景布局，或者换个说法形色团结个任务，它们的发扬就断崖式下落。有的模子以至从98%的准确憨平直跌到0%。

这不是耸东说念主听闻，这是真实发生在他们实验数据里的事。

**问题出在哪：一个答应的场景陷坑**

要贯通这件事,得先搞清亮当今的机器东说念主是若何"听话"的。

当今主流的机器东说念主完毕系统叫作念VLA模子

VLA*：全称Vision-Language-Action，视觉-语言-动作模子，简短说等于机器东说念主同期看画面、听指示、然后决定若何脱手

。这类模子通过看录像头画面、贯通语言指示，最终输出机械臂该若何移动的指示。听起来很机灵,对吧？不错看懂"把红色的方块放到蓝色圆柱掌握"这种话，然后真的把它作念出来。

但商榷团队发现了一个很荫藏的盘曲：当今绝大浩繁西宾机器东说念主的测试场景，王人存在一种叫作念"低场景熵"的结构性问题。

场景熵*：这里指的是团结个驱动画濒临应若干种不同的合理任务。要是一个场景摆出来，唯唯一种任务是合理的,那么这个场景的熵就很低

打个比喻。假定你面前的桌子上只放着一个苹果，掌握什么王人莫得，这期间有东说念主对你说"把阿谁生果提起来"。你根本不需要听清亮这句话里的每一个字，光靠眼睛扫一眼桌面，你就知说念该拿什么了。语言在这种情况下变得无伤大雅,你就算听错了几个词,也不影响你作念对事情。

当今的许多机器东说念主西宾数据集，正值等于这种"桌上唯唯一个苹果"的情况。每个场景往往只对应一个正确谜底，语言指示更像是一个标签，而不是的确需要贯通的信息。机器东说念主不错实足靠"看图猜任务"蒙对谜底，根本不需要真的去剖析语言里的语法结构、空间关系或者逻辑关系。

要是不措置这个问题会若何？

谜底等于论文标题说的那种"幻觉"：模子看起来能听懂东说念主话，现实上它只是在期骗视觉场景里的唯一痕迹走捷径,一朝这个唯一痕迹被打乱，它坐窝现出原形。

**RoboFollow：把桌上摆满生果，逼它必须听清亮你说的是哪个**

针对这个问题，商榷团队假想了一个新的会诊性基准，取名RoboFollow。

它的中枢假想念念路简短狰狞又机灵：既然低场景熵是问题的根源，那就有益把每个西宾场景假想成高场景熵，让一个画面能对应出许多种不同的合理任务，逼着模子必须靠语言才调分辨清亮该作念哪一个。

这就好比你面前不再只摆一个苹果，而是同期摆着苹果、香蕉、橙子，还洒落着不同脸色的积木和小球，这期间有东说念主说"把红色球右边的阿谁方块提起来"。你没法再靠瞎猜蒙混过关了，你必须的确贯通"红色球"指的是哪个球,"右边"是相对于哪个物体而言，然后才调锁定唯一正确的目标。要是你只是疏漏提起离你最近的方块，草率率会作念错。

具体来说，RoboFollow包含四类会诊场景，涵盖了语言贯通里几个相称中枢的智商维度。第一类观测空间关系，比如"左边""右边""后头"这些标的词，场景里会有益摆几个长得一模一样的物体，逼着模子必须靠关系词而不是外不雅来锁定目标。第二类观测物体的内在属性组合，比如脸色、大小、样式这些特征的搭配，还有拿取、鞭策、堆叠这些不同的动作指示。第三类观测带有轨迹拘谨的空洞动作，不单要求机器东说念主拿到绝顶，还要求它按照特定旅途移动、以特定朝向摆放。第四类观测最基础的逻辑贯通，比如"先作念A再作念B"的时序、"不要A"的辩说、"要是A那就B，不然就C"的要求判断。

通盘这个词数据集一共假想了75种西宾任务标签，归入六组场景设立，系数产生了3750条西宾演示轨迹。商榷团队专门计算了这个数据集的场景熵，达到了3.782比特，行动对比，业内常用的LIBERO基准里几个子任务辘集的场景熵平均唯独0.88比特。这个数字差距背后的含义是,RoboFollow逼着模子的确依赖语言的进程，比传统基准跳跃了好几倍。

**四说念关卡：L0到L3的层层加码**

光是把场景假想得复杂还不够，商榷团队还假想了一套四级递进的评测合同，折柳叫L0、L1、L2、L3。

L0是最基础的一关，测试要求和西宾时看到的实足一致，用来揣度模子在"熟悉的题目"上发扬如何。

L1保持语言指示不变，但是把场景里物体的位置相互更动。这一关想测试的是：模子到底是记着了"红球在画面中间偏上的位置"这种死记硬背的坐标，如故的确贯通了"红球右边的方块"这个关系自己，能在红球被挪到别处之后依然准确信位。

L2反过来，保持场景布局不变，但换一种新的方式形色指示，用西宾时没见过的词语组合去指代团结个目标。比如西宾时只教过"最右边的方块"，测试时换成平直说"红色方块"，看模子能不可贯通"红色"和"方块"这两个见解天然折柳学过，但组合起来指的是团结个东西。

L3是终极磨真金不怕火，场景布局和语言指示同期改换，看模子能不可布置这种双重压力。

这四说念关卡的假想逻辑其实很像考驾照。科目一考交规学问，你只需要死记硬背题库,靠临场应变也能蒙对不少题。但的确动身那天，路况和你练车场实足不同,红绿灯位置变了、短暂冒出来一辆车、路标换了个说法，这期间要是你只是记着了固定阶梯而莫得的确贯通交通规则，坐窝就会潜入。L0等于阿谁题库进修，L1到L3才是真实路况。要是一个模子只可在L0拿高分,在L1到L3全面崩盘，表现它根底莫得的确学会开车，只是背下了科场面图。

**把"听懂了没"和"作念到了没"分开算账**

除了场景假想和难度分级，RoboFollow还有一个很关节的评分假想,叫作念意图分数和奉行分数的分离评估。

意图分数*：揣度机器东说念主是否选对了正确的目标物体、正确的空间关系、正确的旅途点或正确的逻辑分支，哪怕它终末莫得把动作作念得很圭臬

奉行分数*：揣度机器东说念主选对目标之后，是不是真的把这个动作干净利落地完成了，比如持稳了、搬到位了、放准了

为什么要这样资料地拒绝算？

因为要是只看最终任务成不堪利，这个信号是肮脏的，会同期掺杂两种实足不同性质的失败。一种是机器东说念主根底贯通错了指示，去拿了差错的物体；另一种是机器东说念主贯通对了，但手抖了没持稳，或者放的位置差了几厘米。这两种失败的性质天差地远，前者是"脑子"的问题，后者是"手"的问题，混在沿途看，你根本没法会诊问题出在哪个法子。

这就像大夫看病，要是一个病东说念主说"我不惬意"，大夫不可能只靠这一句话就开药方，得先分清亮是发热、咳嗽如故肚子疼，才调振领提纲。RoboFollow这套意图和奉行分开打分的机制，内容上等于给机器东说念主作念了一次分诊，先看它的"认识系统"出没出问题，再看它的"畅通系统"出没出问题。

商榷团队还专门建立了一个收尾阶段的评分,占总分的20%，要求机器东说念主完成任务之后必须停手，不可不时作念富余的、指示里没要求的动作，才调拿满分。这个假想也挺专诚义，表现团队还不雅察到了一种"话痨式"的差错：机器东说念主作念结束该作念的事,却停不下来，不时瞎折腾。

**九个顶尖模子集体翻车**

表面假想得再小巧，也得靠实测数据话语。商榷团队挑选了九个刻下最有代表性的机器东说念主完毕模子进行测试，涵盖了VLA和另一类叫作念宇宙动作模子（WAM）的次第。

WAM*：全称World Action Model，宇宙动作模子，这类次第不单是被迫地笔据画面作念反映，还会主动展望环境接下来会若何变化，再决定该若何动

测试结果印证了开篇提到的阿谁反直观表象。以π0.5这个模子为例，它在场景1（空间关系任务）的L0测试里拿到了99.1%的意图分数,近乎满分。但是切换到L1，也等于只是更动了物体位置、指示一个字没变的情况下，这个分数平直跌到45.5%，险些腰斩。它的同门师兄π0发扬得更顶点，L0是98.2%,L1平直归零，酿成0.0%。

这不是个别模子的未必舛讹。商榷团队测试的九个模子里，险些全部呈现出这种"L0高分，L1到L3集体跳水"的规则。况且更值得属意的是，意图分数的下降幅度和奉行分数的下降幅度往往是同步的，这表现问题主要不是出在"手抖了"，而是出在"根底没贯通对该干什么"这个更根本的层面。

不同模子之间也发扬出了专诚义的各异。π0、GR00T N1.6和Motus这几个模子在场景1的L1测试里险些拔本塞原，表现它们对空间关系的贯通超越脆弱,很可能只是记着了"物体往往摆在这个位置"这种统计规则，而不是真的学会了"左边""右边"这些词的相对含义。专诚义的是，相同是这些模子，在场景2（物体属性）上的发扬却相对隆重一些,这教唆咱们，语言贯通智商在不同语义类型之间并不是均匀踱步的，模子可能在某些维度上学得塌实,在另一些维度上纯正靠蒙。

商榷团队还专门作念了一次真实机器东说念主的小限制考据，不单停留在仿真环境里。他们用π0.5完毕一台真实机械臂，测试8条西宾时见过的指示和8条从没见过的新指示，各测5次。结果西宾指示的顺利率是50%，没见过的指示顺利率骤降到15%。这个真机实验天然样本量不大,但它印证了仿真环境里发现的问题不是虚构宇宙的幻觉，是会真实发生在物理宇宙里的。

**给药方，但药方王人没能治好病**

发现问题之后，商榷团队莫得留步于会诊,他们还尝试了几种业内常见的扶直办法，看能不可措置这个语言贯通不牢靠的缺点。

第一种办法很直观：既然问题可能出在语言贯通模块不够强,那就换一个更强的语言模子。商榷团队用了Qwen3-VL这个更先进的视觉语言模子行动主干，单独测试它申诉对于场景的问题时,准确率高达19/20，表现它对画面里的空间关系和物体属性贯通得很是到位。但是,当这个强悍的语言贯通模块被接到机器东说念主的动作生成系统上之后，L1到L3的发扬依然大幅崩溃。这个结果挺让东说念主无意的：脑子明明变机灵了,可"手脑配合"这一环依然是个死结。

第二种办法叫作念QA采集西宾，念念路是在西宾动作的同期，穿插着让模子作念一些看图问答的纯熟，详实它在专注学动作的流程中把语言智商给忘光了。这个办法照实有点用,但依然没能让L1到L3的发扬开脱崩盘的庆幸。

第三种办法叫LangForce，这是一种专门强化文本和动作之间统计关联的西宾手艺。用了之后，结果唯独隐微改善。商榷团队分析说，这种次第只是让语言和动作的关系性在统计上更紧密了,但并莫得的确教学模子组合性的语义贯通，内容上如故一种更空洞的"死记硬背"。

第四种办法是无分类器联接（Classifier-Free Guidance），这是扩散模子里常用的一种放大要求信号强度的手艺,在图像生成边界结果权贵。但是在RoboFollow这种高熵场景里，商榷团队发现这个手艺反而帮倒忙，把联接强度调高之后,连L0的基础发扬王人随着下滑了。原因也不难贯通：这个手艺原来依赖"不给语言要求时,模子依然能有一个还算靠谱的默许估计"这个前提，但在RoboFollow全心假想的高熵场景里，一朝丢掉语言信息，模子濒临的是好几种相同合理的选项,根本没法瞎猜出一个靠谱谜底，这期间再去放大这个本来就很参差的估计,只会让情况更糟。

四种主流扶直办法轮替上阵，莫得一种能的确把L1到L3的收获拉回到接近L0的水平。这个结果比单纯发现问题更让东说念主深念念：表现这不是某个具体手艺没调好参数的小缺点，而是整套西宾范式里存在着某种更深层的欠缺。

**写在后头**

读完这项商榷，最让我无意的不是那些下落几十个百分点的数字，而是商榷团队在场景2作念的阿谁附加实验：他们专门测试了几个也曾答对语言贯通测试题的样本，结果发现即便语言模子答对了,后续的动作奉行依然有大致一半会作念错。

这表现问题根本不单在"听懂"这一步，还卡在"听懂之后若何转念成动作"这个更荫藏的法子。这个细节比整篇论文的干线论断更让我停驻来想了很久：一个系统里面,贯通模块和奉行模块不错是脱节的，各自独当场正确或者差错，中间那说念桥梁自己也可能是坏的。这跟东说念主类学一门生手段时的某种体验挺像的,你脑子里明明清亮该若何作念，可身段等于作念不出来，这中间隔着一层说不清说念不解的东西。

论文里还有个细节让我印象很深：西宾时把每个任务的演示数目从25条翻倍到50条,照实普及了各个难度层级的意图分数,但L0和L2、L3之间的差距险些陈陈相因，依然保管在47到56个百分点之间。这表现单纯堆数据量，可能根本堆不出的确的组合泛化智商,这个坑不是靠"再多喂点数据"就能填平的。

这项商榷莫得给出措置决策,它更像是一次憨厚的体检陈说，把一个永恒被冷落的隐患摆到了台面上。要是当今这些看起来很机灵的机器东说念主完毕系统,骨子里王人如故在期骗场景里的视觉捷径蒙混过关，那么当它们的确被部署到变化万端的现实宇宙里,濒临商榷者根本没预预见的场景组合时，会不会作念出让东说念主出东说念主料想的、以至危机的举动？

Q&A

Q1：RoboFollow基准测试的中枢假想理念是什么？

A：RoboFollow的核神情念是构造高场景熵的测试场景，让团结个视觉画濒临应多种合理任务，禁止机器东说念主模子必须依靠语言指示才调分辨该奉行哪个任务，而不可像传统低熵场景那样单纯靠视觉痕迹蒙对谜底。

Q2：为什么机器东说念主模子在L0测试发扬很好，换个说法或换个布局就不行了？

A：因为大浩繁模子在西宾时期骗的是场景里唯一的视觉捷径，并莫得的确贯通语言里的空间关系、属性组合或逻辑结构。一朝布局或表述方式改换，捷径失效，模子的意图聘用就会大幅出错，表现它此前只是在依赖牵记而非语义贯通。

Q3：更强的语言模子或者疏淡西宾手艺能措置这个指示侍从问题吗？

A：商榷测试了更强的VLM主干、QA采集西宾、LangForce和无分类器联接四种次第万博manbext体育官网娱乐网，结果王人未能权贵改善L1到L3的发扬，表现这不是单一手艺能修补的小问题，而是刻下西宾范式存在的深层欠缺。