视觉语言模型可以非常流畅地描述一段视频:球在滚下斜坡,杯子在坠落,人在走路。问题更窄:这些属性里,哪些真的被表征了,哪些只是从语言里推断出来的?
问题
论文研究“选择性跨模态对齐”:在同一个表征、同一批数据上,模型可能很好地接地视觉世界的某个属性,却在另一个属性上失败。
我选择物理运动,因为它有可分离的属性。位置是空间的、静态的;速度是关系的、时间的。如果一个模型能谈论两者,却只表征了其中一个,差异应该能在探针里看见。
设置
Qwen2.5-VL-3B,6,000 条可控视频。每条片段一次只改变一个属性:位置、速度、方向、碰撞。对每条片段提取隐藏状态,训练简单线性探针,再把探针的准确率与模型直接回答问题的表现作比较。
控制变量很重要。合成视频不能替代世界,但它让我们在改变视觉变量的同时保持语言不变。如果像素变化时模型的描述也跟着变,那描述就接地在某个东西上。
探针发现
位置可以线性解码,R² 为 0.97。语言接地 100%:模型在整个数据集上都能在正确的坐标系里说出位置。
速度不行。信息在——探针高于随机——但它是纠缠的。没有一个干净的方向对应速度。几何是流形,不是轴。被直接询问时,模型常常退回语言先验:物体会下落,物体会变慢,物体会加速。
提示
一句仔细写过的提示把物理推理提升 62%。这个数字是真的,也是警告。它说明信息没有缺席,只是模型默认的程序取不到。提示是从外部提供的一套程序。它有帮助,但没有改变模型表征了什么。
所以论文把提示后的结果单独报告。“模型能推理物理”和“模型可以被提示出更好的物理答案”是两个不同的主张。
意味着什么
结果很窄:一个模型家族、3B 参数、合成视频、受控变量。它不声称更大的模型会以同样方式失败。它声称接地是选择性的,并给出了定位这种选择性的方法。
下一个实验是显而易见的:能不能训练表征,让它分开速度,同时不丢掉位置?我还不知道。所以它才是下一个。
模型学会了用正确的方式谈论运动,却没有建立运动所需要的东西。
测量