穆再排尔·穆合塔尔
← 田野笔记

学习 / 2026.05.06

冷启动,热图

一个本地验证基准、三个评估陷阱,以及一个没有参数的特征。

2 分钟 发布 2026.05.06 中国 · 南京

榜单说 0.9357。任务是时序图链接预测,54% 的候选对里有一个没有任何历史记录的节点。一个学会了图的“热”部分的模型,平均分看起来仍然体面,却恰好会在任务最难的地方失败。

团队的第一反应是调模型。更好的做法是先造一个能判断改动是否真实的验证信号。

三个陷阱

公开切分有三个问题,会让本地分数说谎。

时间泄漏。 随机切分会让模型在预测过去的同时看见未来的边。分数上去了,任务变简单了,结果也就不再有意义。我们按时间切,不按行切。

候选池不匹配。 官方评估采样负例的方式与训练分布不同。在训练负例上调好的模型,本地看起来会比榜单上更好。Val-Hot 重建候选池,让它匹配评估协议。

冷启动盲区。 聚合 MRR 会藏起真正重要的人群。我们把热启动与冷启动子集分开报告,并且即使聚合分数动得很慢,也优先优化冷启动子集。

Val-Hot

Val-Hot 是一个很小的、开源的本地基准。它不是榜单的复刻,而是一个稳定的信号。目的不是预测准确的线上分数,而是正确地给两个候选改动排序,让团队把提交次数花在更可能活下来的想法上。

这个基准最终比任何单个特征都更有价值。它把争论变成了实验。有人提出改动时,我们可以问:它在 Val-Hot 上改善了冷启动 MRR,还是只改善了平均分?

热度特征

最大的单次提升来自最不复杂的主意:一个零参数的热度特征。统计一个节点在近期图中出现的频率,归一化,加进分数。没有训练,没有嵌入,没有学到的权重。

它贡献了 +0.047 MRR。在一个冷节点就是难点的任务里,近期频率是一个很强的先验:一个最近活跃的节点更可能再次出现,即使模型对它一无所知。这个特征不优雅。它有用,而有用更好。

结果

团队从 0.9357 走到 1.2443。提升来自更好的验证循环、被修复的评估,以及几个简单的特征。教训不是“手工特征打败深度学习”。教训是:在一个噪声很大的基准上,测量能力本身就是模型的一部分。

我还会想起那 54%。在大多数机器学习故事里,冷启动节点是边缘情况。在这里,它们是多数。聚合指标才是边缘情况。