原贴链接

我一直在思考o1 - pro和o3，老实说，我不认为它们内部有什么开创性的东西。据我所见，它们大多使用暴力破解的方法——从思维链推理开始，现在尝试思维树推理——再加上一些巧妙的工程设计。这是有效的，但就大型语言模型（LLM）架构或训练方法而言，感觉并不是一个巨大的飞跃。也就是说，我认为这实际上凸显了本地大型语言模型（LLM）一些令人兴奋的潜力。这表明，通过一些巧妙的优化，即使在显存（VRAM）有限的情况下，我们也能从高端游戏GPU中获得更多。也许这是本地模型开始以有意义的方式追赶的一个迹象。这些模型的基准分数令人印象深刻，但成本缩放数据让我感到怀疑。感觉在炒作和大规模实际可持续性之间存在脱节。好奇是否其他人也有类似的想法，或者有不同的观点？

讨论总结

原帖认为o1 - pro和o3在底层没有突破性进展，多是使用强力方法。评论者们从不同角度进行了讨论，有人认同原帖观点，认为这两个模型缺乏创新实质，更多靠营销手段；也有人提出反对意见，指出存在新的训练方案等创新之处。同时还涉及到本地LLM的潜力、模型的成本规模、AGI相关话题、人类智能与LLM智能的差异以及技术发展趋势等多方面内容，整体氛围比较理性且讨论深入。

主要观点

  1. 👍 o1 - pro和o3缺乏创新，多靠营销
    • 支持理由：从模型本身看不到新内容，更多是营销手段在起作用。
    • 反对声音：有评论者认为o3解决ARC - AGI是开创性的，且可能产生递归自改进情况。
  2. 🔥 LLMs发展一直采用强力方法
    • 正方观点：用大量文本训练模型等都是这种强力方法的体现。
    • 反方观点：有评论者认为不能仅因采用强力方法就否定其价值，强力方法结合足够智能的LLM能产生很好效果。
  3. 💡 本地LLM有潜力
    • 解释：虽然o1 - pro和o3在架构和训练方法上创新不足，但这凸显了本地LLM的潜力，高端游戏GPU经过优化可发挥更多作用。
  4. 👍 不应仅因不是新的LLM架构就否定其创新性
    • 支持理由：测试时计算可能是下一个大的进步方向，当前架构也能有创新发展。
    • 反对声音：无（在本次讨论中未发现明显反对声音）
  5. 🔥 人类大脑也是强力手段的结果
    • 正方观点：不存在通往人类智慧的简单神奇配方，人类大脑是复杂且充满强力作用的结果。
    • 反方观点：无（在本次讨论中未发现明显反对声音）

金句与有趣评论

  1. “😂 如果我们通过“ brute force”治愈癌症，我很确定我们可以接受。”
    • 亮点：以治愈癌症为例表达对强力手段相对宽容的态度。
  2. “🤔 我认为，你是对的。有很多事情可以做，以更好地支持神经网络形态方面递归思维过程的简单工程构建。”
    • 亮点：认同原帖关于神经网络形态中递归思维过程工程构建有改进空间的观点。
  3. “👀 我觉得所有的大型语言模型（LLM）都没有被很好地训练。它们都是暴力方法，随着我们对它们训练能力的提高，情况会变得更好。”
    • 亮点：从LLM整体训练角度补充阐述存在暴力方法的观点。

情感分析

总体情感倾向比较复杂，既有对o1 - pro和o3持否定态度，认为缺乏创新、多靠营销手段的评论者，也有对其持肯定态度，看到其开创性一面的评论者。主要分歧点在于对o1 - pro和o3的创新程度的判断，可能的原因是评论者们从不同的角度看待这两个模型，如模型的性能提升、解决问题的能力、技术发展潜力等。

趋势与预测

  • 新兴话题：测试时计算可能成为新的发展方向，以及模型架构和优化方面的创新对低端设备用户的影响。
  • 潜在影响：如果测试时计算得到发展，可能会对LLM的性能提升和成本控制产生影响；模型架构和优化方面的创新可能会使更多人受益于智能模型，尤其是低端设备用户。

详细内容：

《关于 o1-pro 和 o3 的热门讨论：创新还是蛮力？》

近日，Reddit 上一篇关于 o1-pro 和 o3 的帖子引发了热烈讨论。该帖子指出，从目前来看，这两个模型更多是采用蛮力方法，例如从思维链推理到思维树，再加上一些巧妙的工程手段。虽然有效果，但在 LLM 架构或训练方法上似乎并非重大突破。

此帖获得了众多关注，评论数众多，主要的讨论方向包括对这种发展方式的看法、对未来的预测以及与其他相关技术的比较等。

讨论焦点主要集中在以下几个方面：

有人认为这只是一种概念验证，随着时间推移和硬件改进，未来可能会在家用设备上运行这类模型。也有人指出，从 GPT-4 以来，模型在智能水平和速度方面已经有了显著提升。

关于其是否为创新，观点不一。部分人觉得这只是一种“hacky”的方法，缺乏优雅，人类解决问题所需的资源远远低于此。但也有人认为，能在短时间内从无到有达到现在的水平已经很神奇。

对于未来的发展，有人预测测试时的计算可能是下一个重大突破，而也有人担心其对本地模型的影响，认为在处理复杂任务时速度可能过慢。

还有观点认为，当前的方法存在效率提升的空间，未来可能需要新的架构或技术来实现更智能的发展。

值得一提的是，有人认为开源 AI 是未来的趋势，而有人则认为现有封闭源模型仍有其优势。

在这场讨论中，共识在于大家都关注 AI 技术的发展和创新，以及如何更好地平衡性能和资源消耗。

总之，关于 o1-pro 和 o3 的讨论展现了人们对 AI 发展的热切关注和深入思考，未来的发展方向仍充满未知和挑战。