穆再排尔·穆合塔尔
← 田野笔记

研究 / 2026.09.20

位置可解码,物理不可推理。

一个 3B 视觉语言模型对运动知道什么,又在哪里停下。

2 分钟 发布 2026.09.20 中国 · 南京

视觉语言模型可以非常流畅地描述一段视频:球在滚下斜坡,杯子在坠落,人在走路。我想回答的问题更窄一些:这些属性里,哪些真的被模型表征了,哪些只是从它读过的语言里推断出来的?

论文研究 Qwen2.5-VL-3B 在 6,000 条可控物理视频上的表现。实验设置刻意保持朴素:每条片段只改变一个物理量——位置、速度、方向、碰撞。我们用简单的线性分类器探测模型的内部表征,再把探测结果与模型被直接询问时的回答做比较。

发现

位置可以被线性解码。一个探针可以从模型的隐藏状态里恢复物体的空间位置,R² 达到 0.97;语言接地几乎是完美的:模型能在正确的坐标系里说出物体在哪里,而且在整个数据集上保持一致。

速度不行。信息是存在的——探针的表现高于随机——但它是纠缠的。没有一个干净的低维方向对应速度,几何结构是一个流形,而不是一根轴。当模型被要求对速度做推理时,它常常伸手去拿语言先验:物体会下落,物体会变慢,物体会加速。这个先验对句子通常是对的,对片段则未必。

提示为什么有用

一句仔细写过的提示可以把物理推理提升 62%。这个数字是真的,同时也是一个警告。它说明相关信息并没有缺席,只是模型默认的程序取不到它。提示是从外部提供的一套程序。它有帮助,但它没有改变模型学会了表征什么。

这个区别决定了我们该怎么报告结果。“模型能推理物理”和“模型可以被提示出更好的物理答案”是两个不同的主张。我们测量的是后者。

边界

这项研究有清楚的限制。它只考察一个模型家族、3B 参数、变量受控的合成视频。它并不声称更大的模型会以同样的方式失败,也不声称这个流形是普遍的。它的贡献是一个方法和一个否定性结果:在同一个模型、同一批数据上,接地可以为一个属性成功,同时为另一个属性失败。

这是我愿意相信的那类结果。它没有说视觉语言模型无法理解物理。它说的是:这个模型并不以基准所假设的方式理解物理,并且它指出了假设在哪里断掉。

下一个实验是显而易见的:我们能不能训练表征,让它把速度分开,同时不丢掉位置接地?我还不知道。所以它才是下一个实验。