榜单说 0.9357。任务是时序图链接预测,54% 的候选对里有一个没有任何历史记录的节点。一个学会了图的“热”部分的模型,平均分看起来仍然体面,却恰好会在任务最难的地方失败。
团队的第一反应是调模型。更好的做法是先造一个能判断改动是否真实的验证信号。
三个陷阱
公开切分有三个问题,会让本地分数说谎。
时间泄漏。 随机切分会让模型在预测过去的同时看见未来的边。分数上去了,任务变简单了,结果也就不再有意义。我们按时间切,不按行切。
候选池不匹配。 官方评估采样负例的方式与训练分布不同。在训练负例上调好的模型,本地看起来会比榜单上更好。Val-Hot 重建候选池,让它匹配评估协议。
冷启动盲区。 聚合 MRR 会藏起真正重要的人群。我们把热启动与冷启动子集分开报告,并且即使聚合分数动得很慢,也优先优化冷启动子集。
Val-Hot
Val-Hot 是一个很小的、开源的本地基准。它不是榜单的复刻,而是一个稳定的信号。目的不是预测准确的线上分数,而是正确地给两个候选改动排序,让团队把提交次数花在更可能活下来的想法上。
这个基准最终比任何单个特征都更有价值。它把争论变成了实验。有人提出改动时,我们可以问:它在 Val-Hot 上改善了冷启动 MRR,还是只改善了平均分?
热度特征
最大的单次提升来自最不复杂的主意:一个零参数的热度特征。统计一个节点在近期图中出现的频率,归一化,加进分数。没有训练,没有嵌入,没有学到的权重。
它贡献了 +0.047 MRR。在一个冷节点就是难点的任务里,近期频率是一个很强的先验:一个最近活跃的节点更可能再次出现,即使模型对它一无所知。这个特征不优雅。它有用,而有用更好。
结果
团队从 0.9357 走到 1.2443。提升来自更好的验证循环、被修复的评估,以及几个简单的特征。教训不是“手工特征打败深度学习”。教训是:在一个噪声很大的基准上,测量能力本身就是模型的一部分。
我还会想起那 54%。在大多数机器学习故事里,冷启动节点是边缘情况。在这里,它们是多数。聚合指标才是边缘情况。