原贴链接

来源：https://arcprize.org/leaderboard。它刚推出的时候，我通过自己的测试确定其泛化推理能力明显弱于O3 mini high。看起来ARC AGI仍然是个事物。公开可获取的推理问题测试（Livebench）的日期为2024 - 10 - 22。我不知道他们现在用什么。假设它仍然使用同类型的斑马推理、谎言网络（只是改变名称、数字和其他参数），那么就很容易进行针对性训练，所以可能不再那么可靠了。在所有模型提供者中，Sam似乎是唯一一个不愿提供详细思维链（COT）的，看起来这是有原因的。

讨论总结

原帖主要分享了Gemini 2.5 Pro Exp在ARC AGI 2上的测试情况，对其可靠性提出疑问。评论者从多个角度展开讨论，包括对测试结果的怀疑，如认为2.5低于2.0 Flash不太合理且结果可能非最终结果；探讨人工智能在理解运动方面的能力，提及ARC - AGI - 3会包含时间维度；对ARC - AGI测试的争议，围绕其是否容易被AI实验室操纵；还涉及到对帖子所在板块的疑惑以及不同模型在特定测试中的表现对比等内容，整个讨论以理性分析为主。

主要观点

  1. 👍 测试结果可能不是最终的，可能存在提示或其他问题
    • 支持理由：2.5结果存在双引号，可能是一种暗示
    • 反对声音：无
  2. 🔥 ARC - AGI的测试容易被AI实验室重现，存在操纵嫌疑
    • 正方观点：AI实验室可内部对克隆进行训练以获取好成绩，测试分数影响获取资金存在优化压力
    • 反方观点：按所说操作很难实现，目前没有证据表明实验室有能力克隆任务类型进行训练，如果能克隆训练模型表现不应是现在这样
  3. 💡 人工智能在理解运动方面存在不足
    • 解释：从解决谜题时对模块运动的理解对比人类和人工智能，认为人工智能表现不佳
  4. 💡 o3 - mini在简单的2x2国际象棋谜题测试中表现优于Gemini 2.5和Pixtral 12b
    • 解释：评论者亲自测试得出的结果
  5. 💡 同意Sam不愿提供详细COT是有原因的
    • 解释：原帖提出后，评论者表示认同

金句与有趣评论

  1. “😂 I don’t think these results are final. Maybe it’s just a prompt or some other issue. There’s a double asterisk on the 2.5 result suggesting so.”
    • 亮点：对原帖测试结果提出合理怀疑，从结果的表示形式上发现疑点。
  2. “🤔 AI’s really suck at understanding motion it seems.”
    • 亮点：直接指出人工智能在理解运动方面的不足，引发对人工智能能力的思考。
  3. “👀 pier4r: I object a bit to ARC - AGI because it is a notable bench that is not that difficult to reproduce for AI labs.”
    • 亮点：开启了关于ARC - AGI测试是否容易被操纵的讨论。
  4. “😂 And why is this in r/ LOCAL LLaMa?”
    • 亮点：对帖子所在板块提出疑问，反映出板块与内容匹配性的问题。
  5. “🤔 Yes, I’ve tried a very simple chess puzzle on 2x2 and only o3 - mini was able to solve it. Gemini 2.5 was as bad Pixtral 12b.”
    • 亮点：用实际测试结果对比不同模型在特定谜题中的表现。

情感分析

总体情感倾向为中性，大家主要在理性地探讨各种观点。主要分歧点在于ARC - AGI测试是否容易被操纵以及模型之间的表现差异。对于ARC - AGI测试的争议，原因在于各方对测试机制、实验室能力等方面的不同理解；而模型表现差异则源于不同的测试场景和标准。

趋势与预测

  • 新兴话题：ARC - AGI - 3包含时间维度后的测试情况。
  • 潜在影响：如果ARC - AGI测试确实存在可操纵性问题，可能影响其作为测试基准的可信度，进而影响相关AI研究方向和资金分配。

详细内容：

标题：关于 ARC AGI 2 测试结果的热门讨论

在 Reddit 上，一则关于“Test results of gemini 2.5 pro exp on ARC AGI 2”的帖子引起了广泛关注。帖子指出，在其最初推出时，通过自身测试发现其泛化推理能力明显弱于 O3 mini high，并提到 ARC AGI 可能存在的问题，还附上了来源链接：https://arcprize.org/leaderboard 。此贴获得了众多点赞和大量评论，引发了一系列热烈讨论。

讨论的焦点主要集中在以下几个方面： 有人认为这些测试结果并非最终定论，可能是提示或其他问题所致。比如，有人说：“有用户指出，2.5 结果上的双星号就暗示了这一点。” 也有人认为 2.5 版本低于 2.0 闪存的情况不太可能。 还有人表示测试数据集是私有的。 有人提出模型还不如我们的大脑复杂，缺乏多种智能类型。比如有用户分享道：“作为一名长期关注此领域的人士，我亲身感受到这些模型在某些方面表现出色，但在其他方面却存在明显的不足。” 对于 ARC-AGI，有人提出异议，认为它对于 AI 实验室来说不难复制，可能存在为获取更多资金而进行优化训练的压力。但也有人反驳，指出当前观察到的情况表明很难做到所说的那样，若可行，会看到推理能力的质的飞跃。 有人认为 AI 在理解运动方面表现不佳，而有人则表示数据集中只有输入和输出状态，不存在运动痕迹。

讨论中的共识在于大家都认为目前的模型有其优势和不足，且仍有很大的改进空间。 特别有见地的观点是有人指出模型在某些特定领域的表现以及与真实世界应用的差距。

总之，关于 ARC AGI 2 的测试结果讨论呈现出多样化和复杂性，反映了人们对 AI 发展的关注和思考。