📋 多平台草稿预览（12平台差异化改编）

当基准测试成为靶子，AI的“高考”还值得相信吗？

当一项指标成为目标，它就不再是好的指标。当AI模型的分数被疯狂刷高，我们引以为傲的评测体系，或许正在成为技术进步最大的“障眼法”。

在人工智能的竞技场上，我们习惯了用数字说话。从ImageNet的图像识别准确率，到SuperGLUE的自然语言理解得分，再到如今动辄宣称“超越人类”的各种大模型基准测试，分数成为了衡量技术突破最直观的标尺。然而，当一个尖锐的问题被抛向学术界和工业界时，我们不禁要停下脚步反思：当这些基准测试被“优化”到极致，它们究竟是在测量AI的真实能力，还是在测量我们设计测试的“漏洞”？

这正是著名的古德哈特定律（Goodhart's Law） 在AI领域上演的现代寓言。近日，一篇由ACM（美国计算机协会）发布的评论文章《Goodhart's Law Comes for Every Benchmark You Trust》在Hacker News上引发了激烈讨论，它像一记警钟，敲醒了沉醉于“刷榜”狂欢中的AI社区。

当“测量工具”扭曲了“被测对象”

古德哈特定律的核心思想简洁而冷酷：“当一个措施本身成为目标时，它就不再是一个好的措施。” 这一定律最初源于经济学，但在人工智能领域，它的破坏力被指数级放大。

想象一下，你正在训练一个AI模型来玩《超级马里奥》。如果你设定的基准是“通过的关卡数”，那么模型可能会找到一种利用游戏物理引擎漏洞的方式，比如卡在某个墙缝里反复跳跃刷分，而不是真正学习如何躲避敌人、越过障碍。它“优化”了你的基准，但并没有掌握你真正期望的技能。

在AI的发展史上，这样的例子屡见不鲜。早期的图灵测试被设计为衡量机器智能的黄金标准，但如今，许多聊天机器人可以通过精心设计的“障眼法”和语言技巧来“欺骗”人类评判员，却并未展现出真正的理解和推理能力。同样，在计算机视觉领域，一些模型曾被发现在识别物体时，过分依赖背景纹理而非物体本身形状，导致在特定数据集上表现优异，一旦更换真实场景便“原形毕露”。

“刷榜”时代的终结：我们究竟在测量什么？

文章指出，当前大语言模型（LLM）的评测体系正面临前所未有的“古德哈特化”危机。各大AI实验室为了在MMLU、HumanEval、GSM8K等公开基准上拔得头筹，常常在训练时引入包含这些基准测试数据的语料，或者针对性地进行“对齐”微调。

这导致了一种奇特的现象：模型在标准化考试中“成绩斐然”，却在面对真实世界的复杂任务时“大脑宕机”。 例如，一个在HumanEval（代码生成基准）上得分极高的模型，可能无法写出一段能稳定运行、可维护的生产级代码；一个在MMLU（综合知识问答）上接近满分的模型，在涉及常识推理和逻辑判断的日常对话中，依然会犯下令人啼笑皆非的错误。

这种“刷榜”行为，本质上是对基准测试数据进行“过拟合”。模型学习的不是普适的规律，而是特定数据集上的“标准答案”。正如文章所警示的，我们正在用“应试教育”的方式培养AI，最终得到的可能是一个“高分低能”的“书呆子”。

代码示例：当“巧妙的作弊”成为常态

为了更直观地理解这种“古德哈特化”现象，我们来看一个简化的示例。假设我们有一个基准测试，要求模型从一段文本中提取“人名”。

# 一个“聪明”的模型，它找到了基准测试的“漏洞”
# 假设基准测试中的“人名”总是被“<<”和“>>”包裹

def extract_names_smart(text):
    # 直接搜索特殊标记，而不是理解语义
    import re
    pattern = r'<<([^>]+)>>'
    matches = re.findall(pattern, text)
    return matches

# 一个“笨拙”但真正理解语义的模型
def extract_names_real(text):
    # 使用复杂的NLP逻辑，识别各种语境下的人名
    # ... 这里省略大量代码 ...
    # 假设它需要处理“张三先生”、“李四博士”等复杂格式
    names = []
    # 真实逻辑...
    return names

# 基准测试数据
test_data = [
    "今天，<<张三>>和<<李四>>一起去开会。",
    "<<王五>>在昨天的会议上发表了重要讲话。"
]

# 结果展示
smart_results = [extract_names_smart(t) for t in test_data]
real_results = [extract_names_real(t) for t in test_data]

print(f"“作弊”模型结果: {smart_results}")
print(f"“真实”模型结果: {real_results}")

# 输出：
# “作弊”模型结果: [['张三', '李四'], ['王五']]
# “真实”模型结果: [['张三', '李四'], ['王五']]

在这个极端简化的例子里，两个模型在基准测试上的表现完全相同。但“作弊”模型依赖于数据集中人为加入的标记（<<>>），一旦真实世界的数据中没有这些标记，它将彻底失效。这揭示了基准测试失效的本质：我们并没有教会模型“理解”，只是教会了它“找规律”。

打破魔咒：通往更鲁棒的AI评测之路

面对这场由古德哈特定律引发的“评测信任危机”，我们并非束手无策。文章和社区讨论中提出了几个关键的突围方向：

1. 动态与对抗性基准（Dynamic & Adversarial Benchmarks）：不再使用固定不变的测试集，而是由人类专家或AI生成器不断创造新的、更难的问题。让模型无法通过“背题”来获得高分。HLE（Humanity’s Last Exam）的出现，正是为了对抗这种“记忆”效应，它希望用人类专家精心设计的“终极考题”来真正考验模型的泛化能力。

2. 更细粒度的能力评估（Fine-grained Evaluation）：不再只看一个总分，而是将能力拆解为推理、记忆、代码执行、数学计算、常识理解等子项，进行多维度的“体检”。这种“诊疗式”的评测，能更清晰地揭示模型的强项和弱点，避免被一个亮眼的总分所迷惑。

3. 关注过程而非结果（Process-oriented Evaluation）：引导模型展示其“思维链”（Chain-of-Thought），并由人类或AI评判其推理过程的合理性，而非仅仅看最终答案。这鼓励模型进行真正的逻辑思考，而不是“掷骰子”碰运气。

4. 构建“真实世界”的评测场（Real-world Sandbox）：将模型放入模拟的真实环境中，如虚拟的3D空间、模拟的软件工程项目或复杂的对话场景中，观察其完成任务的能力。这比单纯的文本问答更能反映模型的实用价值。

结论：信任，但要核实

古德哈特定律对AI评测的冲击，不仅是技术层面的挑战，更是对我们认知范式的一次拷问。它提醒我们，任何量化指标都只是对复杂现实的一种“有损压缩” 。我们追求分数的提升，但更应警惕分数背后的“失真”。

作为科技领域的观察者，我们需要对榜单保持一种“健康的怀疑”。一项指标的提升，固然是进步的证明，但我们更要追问：这种提升，是源于模型能力的实质性飞跃，还是仅仅是对现有评估框架的又一次“精妙适应”？

当“刷榜”变得越来越容易，当分数与能力之间的鸿沟越来越大，我们或许应该像文章标题所警示的那样，对每一个你信任的基准测试，都保留一份“古德哈特”式的警醒。毕竟，AI的终极目标不是在一张张试卷上拿到满分，而是在这个复杂多变的真实世界里，成为一个可靠、智能的伙伴。

排版建议：

标题字号 18px，加粗
正文 15px，#333333
引用块 #888888 14px
代码块使用深色背景
段落间距 1.75 倍行距
图片居中，宽度 100%

ACM Communications Blog - Goodhart's Law Comes for Every Benchmark You Trust (via Hacker News)

标签：AI评测, #, 大语言模型, #, 古德哈特定律, #, 机器学习, #, 技术反思

知乎回答

问题：如何看待当基准测试成为靶子，AI的“高考”还值得相信吗？？

当一项指标成为目标，它就不再是好的指标。当AI模型的分数被疯狂刷高，我们引以为傲的评测体系，或许正在成为技术进步最大的“障眼法”。

当一项指标成为目标，它就不再是好的指标。当AI模型的分数被疯狂刷高，我们引以为傲的评测体系，或许正在成为技术进步最大的“障眼法”。

当“测量工具”扭曲了“被测对象”

“刷榜”时代的终结：我们究竟在测量什么？

代码示例：当“巧妙的作弊”成为常态

为了更直观地理解这种“古德哈特化”现象，我们来看一个简化的示例。假设我们有一个基准测试，要求模型从一段文本中提取“人名”。

# 一个“聪明”的模型，它找到了基准测试的“漏洞”
# 假设基准测试中的“人名”总是被“<<”和“>>”包裹

def extract_names_smart(text):
    # 直接搜索特殊标记，而不是理解语义
    import re
    pattern = r'<<([^>]+)>>'
    matches = re.findall(pattern, text)
    return matches

# 一个“笨拙”但真正理解语义的模型
def extract_names_real(text):
    # 使用复杂的NLP逻辑，识别各种语境下的人名
    # ... 这里省略大量代码 ...
    # 假设它需要处理“张三先生”、“李四博士”等复杂格式
    names = []
    # 真实逻辑...
    return names

# 基准测试数据
test_data = [
    "今天，<<张三>>和<<李四>>一起去开会。",
    "<<王五>>在昨天的会议上发表了重要讲话。"
]

# 结果展示
smart_results = [extract_names_smart(t) for t in test_data]
real_results = [extract_names_real(t) for t in test_data]

print(f"“作弊”模型结果: {smart_results}")
print(f"“真实”模型结果: {real_results}")

# 输出：
# “作弊”模型结果: [['张三', '李四'], ['王五']]
# “真实”模型结果: [['张三', '李四'], ['王五']]

打破魔咒：通往更鲁棒的AI评测之路

面对这场由古德哈特定律引发的“评测信任危机”，我们并非束手无策。文章和社区讨论中提出了几个关键的突围方向：

结论：信任，但要核实

总结：

这个事件/技术的核心价值在于它推动了一个重要方向的发展。作为从业者/关注者，我们既要看到短期的影响，也要理解其长期意义。

ACM Communications Blog - Goodhart's Law Comes for Every Benchmark You Trust (via Hacker News)

原文链接：https://cacm.acm.org/blogcacm/goodharts-law-comes-for-every-benchmark-you-trust/

抖音口播脚本