穆再排尔·穆合塔尔

R Research / NeurIPS 2026

扩展摘要 · 6 pp.

Selective Cross-Modal Alignment in Vision-Language Models: Why Position Grounding Succeeds but Physical Reasoning Fails

视觉语言模型中的选择性跨模态对齐:位置接地为何成功,物理推理为何失败

作者

穆再排尔·穆合塔尔 — 独立作者

发表

NeurIPS 2026 Workshop · NeurReps · 扩展摘要

页数

6 pp. · PDF

摘要

EN

物理智能——感知动态并预判下一步的能力——是通用智能的核心,但视觉语言模型是否在内部表征它,仍然缺少答案。我们在 6,000 条完全可控的合成物理片段上探测 Qwen2.5-VL-3B,发现了一种“选择性跨模态对齐失败”:位置可以从视觉 token 中线性解码(R² = 0.97),并在语言中完美接地(100%);速度却只以隐式、纠缠的流形存在(R² = 0.42,非线性探针),语言生成并不使用它(物理推理准确率 19%;对速度编码层做干预的因果效应低于 5%)。这不是能力缺失:提示工程把物理推理提升了 62%,并消除了系统性的回答偏差,同时不改变视觉表征(余弦相似度约 1.0)。与 DINOv2、SigLIP 的对照说明,速度编码是语言训练“创造”出来的(R²:0.04/0.07 → 0.42),但默认读出路径忽略了它。视觉语言模型中的跨模态对齐因此是选择性的、依赖提示的:模型可以持有它不使用的物理知识;能力必须通过探测与激活来测量,而不能只看行为。

Read the English abstract ↗

Physical intelligence—the ability to perceive dynamics and anticipate what happens next—is central to general intelligence, yet little is known about whether vision–language models (VLMs) internally represent it. We probe Qwen2.5-VL-3B on 6,000 fully controlled synthetic physics clips and uncover a selective cross-modal alignment failure: position is linearly decodable from visual tokens (R² = 0.97) and perfectly grounded in language (100% success), whereas velocity is encoded only as an implicit, entangled manifold (R² = 0.42, non-linear probe) that language generation does not use (19% physical-reasoning accuracy; less than 5% causal effect when the velocity-encoding layers are patched). This is not a missing capability: prompt engineering raises physical reasoning by +62% and eliminates a systematic response bias, while leaving the visual representations unchanged (cosine similarity ≈1.0). Comparisons with DINOv2 and SigLIP show that language training created the velocity encoding (R²: 0.04/0.07 → 0.42), yet the default readout ignores it. Cross-modal alignment in VLMs is therefore selective and prompt-dependent: a model can hold physical knowledge it does not use, and capability must be measured by probing and activation, not by behavior alone.

  • vision-language models
  • representation geometry
  • probing
  • cross-modal alignment
  • physical reasoning

一览

R² 0.97 位置 / 线性探针
100% 语言接地
R² 0.42 速度 / 非线性探针
19% 物理推理
+62% 提示工程提升
01

位置是显式的,速度是流形。

位置可以线性解码,R² = 0.97;速度在线性探针下只有 0.34,非线性探针也只有 0.42,低于匀速外推基线。运动方向被分散在近 1,280 个维度里。

02

语言默认不使用它。

模型对位置的接地成功率是 100%,对运动的预测只有 19%。干预速度层只让准确率变化 4.5%。提示工程把准确率从 21% 提到 34%(+62%),并消除了 73% 的“C”偏差。

03

语言训练创造了这种编码。

DINOv2 与 SigLIP 的速度 R² 分别是 0.04 和 0.07,Qwen2.5-VL 达到 0.42。表征确实被学出来了,但默认读出路径仍然忽略它。

FIG. 1 / LAYER-WISE PROBINGQWEN2.5-VL-3B0.00.20.40.60.81.0051015202530LAYER INDEXR² SCORE0.970.420.15● POSITION / LINEAR■ VELOCITY / NON-LINEAR--- CONSTANT VELOCITY 0.90··· RANDOM 0.25
FIG. 1逐层探针。位置在中层之后几乎可以被完美解码;速度的峰值低得多,低于匀速外推基线。依据原论文重绘。
FIG. 2 / GROUNDING VS PHYSICAL REASONING100 PAIRED QUERIES100%GROUNDING(POSITION)19%PHYSICAL REASONING(VELOCITY)81%GAPUNDERSTANDS BUT CANNOT PREDICTSELECTIVE CROSS-MODAL ALIGNMENT / QWEN2.5-VL-3B
FIG. 2100 组配对查询上的接地与物理推理。81% 的样本理解位置,却无法预测运动。
FIG. 3 / PROMPT ENGINEERING6 FORMULATIONS / 100 CLIPS EACHACCURACYPHYSICAL0.34VISUAL GROUNDING0.34ANTI-BIAS0.31EXPLICIT0.30COT0.29BASELINE0.21BASELINE 0.21PROMPTING RAISES ACCURACY +62%C-OPTION BIAS0%0%0%0%0%73%PROMPTING ELIMINATES THE BIAS
FIG. 3六种提示写法把准确率从 21% 提到 34%,并消除了 73% 的“C”偏差。
扩展摘要的第一页

PDF / 6 pp.

阅读完整扩展摘要

PDF 为提交版扩展摘要,六页,双栏,包含原始图表与参考文献。

下载 PDF

引用

Muhtar, M. (2026). Selective Cross-Modal Alignment in Vision-Language Models: Why Position Grounding Succeeds but Physical Reasoning Fails. NeurIPS 2026 Workshop (NeurReps), Extended Abstract.