原贴链接

https://arcprize.org/blog/announcing - arc - agi - 2 - and - arc - prize - 2025（此为一个链接，未包含更多实质内容）

讨论总结

该讨论围绕Arc - AGI - 2新基准展开。有评论者从早期软件代码编译器的发展类比AI发展路径，提到OpenAI免费模型令人意外以及ARC - AGI - 2结果符合成本 - 结果曲线；有人提出一种arc AGI测试来考察LLM，还引发关于测试内容是创造游戏还是玩游戏的讨论；也有人询问Arc - AGI - 2是否为ClosedAI投资项目，还有评论提到特定项目在ARC - AGI - 2上的成果与成本情况等。整体讨论理性且多面。

主要观点

  1. 👍 早期软件代码编译器多为学术兴趣，手动编译成本更低
    • 支持理由：这是一种早期的现象，在软件发展初期手动编译可能在成本上更具优势。
    • 反对声音：无
  2. 🔥 提出一种对人类容易对机器困难的arc AGI测试，且认为LLM无法通过这个测试
    • 正方观点：从人类和机器能力的差异出发，设计这样的测试可以检验LLM的能力。
    • 反方观点：未提及
  3. 💡 有项目将在ARC - AGI - 2达到100%成果，每个任务成本约1美元且适用于后续项目
    • 解释：阐述了某个项目在ARC - AGI系列项目中的成果与成本情况。
  4. 💡 Arc - AGI - 2的结果符合成本 - 结果曲线
    • 解释：根据相关观点和类似的《AlphaCode论文》中的结论得出。
  5. 💡 曾认为AI会遵循类似早期编译器的发展路径，但OpenAI提供免费SotA模型令人惊讶
    • 解释：从早期软件发展路径类比AI发展，OpenAI的免费模型打破原有的设想。

金句与有趣评论

  1. “😂 A long time ago, I read something about how the first software code compilers were mostly of academic interest, since it was cheaper to have a person hand - compile the program for you.”
    • 亮点：用早期软件编译器的情况类比，引出关于AI发展路径的思考。
  2. “🤔 Here is my arc AGI, which is far easier for humans and far more difficult for machines.”
    • 亮点：提出了一种独特的AGI测试概念。
  3. “👀 None of the LLMs will make through. Zero.”
    • 亮点：表达了对LLM在特定测试下能力的强烈质疑。

情感分析

总体情感倾向较为中性，主要分歧点在于对LLM能力的判断（如是否能通过arc AGI测试）以及对Arc - AGI - 2相关项目情况（如是否为ClosedAI投资等）的认知差异，可能是由于大家的知识背景、对技术的理解和期望不同导致的。

趋势与预测

  • 新兴话题：这种以特殊游戏来测试LLM能力的方式可能会引发后续关于更有效测试LLM方法的讨论。
  • 潜在影响：如果更多类似arc AGI的测试被认可，可能会对LLM的发展方向和评估标准产生影响。

详细内容：

标题：关于 Arc-AGI-2 的热门讨论

在 Reddit 上，一则关于“Arc-AGI-2”的帖子引发了众多关注。帖子中提供了相关链接 https://arcprize.org/blog/announcing-arc-agi-2-and-arc-prize-2025 。此帖获得了大量的点赞和评论，引发了关于人工智能发展和测试的热烈讨论。

有人表示，很久以前就认为 AI 会像最初的软件代码编译器一样，起初更多是学术兴趣，成本较高，但 OpenAI 提供免费的先进模型让其感到意外，认为这些结果似乎又回到了那种直观的成本与结果曲线。

有人提出了一个新的测试方式，即让人类设计出一款对 6 岁儿童来说规则简单但对机器困难的全新棋盘游戏，如果语言模型能至少成功走 15 步且无违规，就算通过测试，但目前没有语言模型能做到。有人追问这是让模型设计游戏还是玩游戏。

还有人认为，即使是推理模型，在国际象棋上的表现也很糟糕，比如已被投喂了数百万场游戏的模型，合法移动的准确率仍不理想。但也有人对此保持乐观，认为能达到 95%已经意味着推理在起作用。有人指出大多数推理模型在棋盘游戏中的表现和非推理模型一样糟糕。

有人好奇这是否是 ClosedAI 投资的项目，有人回复完全不同，并提供了相关搜索结果链接FrontierMath 。

另外，有人称 VictorTaelin 的最新项目在 ARC AGI 2 上能达到 100%，且每个任务成本约为 1 美元，并且对 ARC AGI 3、4、5 等也适用。

在这场讨论中，对于语言模型在新游戏测试中的表现以及与以往模型的对比，大家观点各异。有人认为当前模型表现不佳，有人则对其未来发展保持乐观。而对于项目的投资背景和成本效益，也存在不同的看法。但大家都对人工智能的发展表现出了浓厚的兴趣，并进行了深入的思考和交流。