穆再排尔·穆合塔尔
← 田野笔记

数据 / 2026.03.14

18.4% 的问题

367 个检测框被标反了。问题不在模型。

2 分钟 发布 2026.03.14 中国 · 南京

数据集有 1,999 帧。检测器在学东西。验证损失在下降,框看起来合理,mAP 也过得去。然后我们把预测可视化,发现了一个规律:有可疑数量的一批框,旋转了 180 度。

不是常见的那种错。不是框松了,不是被裁掉,也不是被遮挡搞混。是标反了。那种人在快速标注、而物体恰好有某种对称性时容易犯的错。

审查

训练之前,我们写了一个小工具检查标注。它做三件事。

第一,检查几何一致性。对每个框,把标注的角和该类物体应有的朝向作比较。降落标识有一个标准朝向;如果框被旋转了,工具会标出来。

第二,检查近邻帧之间的一致性。视频里相邻帧的框应该相似。一个序列中间突然翻转,更可能是标注错误,而不是物理事件。

第三,抽样交给人工看。不是随机抽:抽那些检查结果互相矛盾的帧,模型很自信却错了的帧,以及类别分布异常的帧。工具不替代判断,它把判断指到该去的地方。

审查在 1,999 个框里找出 367 个标反的,18.4%。

模型学到了什么

模型学会了翻转。它不是独立地犯错,它是在复现一个成体系的标签。这是干净训练管线里安静的危险:一个系统性的标注错误会变成一个系统性的预测,而损失曲线全程看起来都很健康。

修正标签、重新训练之后,预测在帧与帧之间变得更稳定。mAP 提升了,但更重要的变化是定性的:模型不再把标识当成一个模糊的物体,而是开始把它当成一个有朝向的物体。

修复

修复不只是一份更正过的数据集。它是一道在每次训练前运行的检查,以及一条规则:没有审查报告的数据集版本不允许发布。报告很无聊:计数、样例、不一致率。无聊正是重点。如果报告是空的,我们知道审查跑过了;如果它不是空的,我们知道该去哪里看。

教训

模型不会大声失败。它失败在标签与事物本身之间。18.4% 不是模型的失败,是一次测量的失败,而模型忠实地继承了它。

我把这个数字留在网站的扉页上,因为它是我所拥有的、最干净的例子:为什么视觉里那些不性感的环节——标注、评估、版本管理——值得和架构一样的注意力。网络是最容易展示的部分。标签才是决定网络变成什么的部分。