原贴链接

我就知道在12天中的最后一天OpenAI会发布重大成果。我原本期望是GPT - 4.5或者GPT - 5，但他们发布了o3。如果这是他们能宣布的最好成果，那么可以推断出他们已经从主要扩展预训练转向测试时计算。这与GPT - 5训练中收益递减的传闻相符。开源是否会效仿呢？编辑：鉴于小模型运行速度快得多，在测试时计算时代这会是一个优势吗（大多数开源模型都是小模型）？也许在这个时代根本不需要多个GPU就能获得很好的性能。

讨论总结

原帖提到OpenAI发布o3开启测试时计算扩展时代，并探讨开源是否会跟进，以及小模型在该时代的优势等。评论者们各抒己见，从对o3发布的怀疑，到测试时计算与预训练关系的探讨，还有对测试时计算在本地能力提升、效率、闭源锁定等方面的影响进行了分析，同时也有对未来的预测，整体氛围比较积极，大家都在积极探讨这个新的技术发展方向。

主要观点

  1. 👍 对o3被称为“发布”持怀疑态度
    • 支持理由：担心像SORA那样只是炒作而无实际可用的新模型，建议看到实际可使用的东西再兴奋。
    • 反对声音：无
  2. 🔥 测试时计算与预训练有互补关系
    • 正方观点：两者相互补充能实现高质量合成数据到预训练基础模型改进的循环流程。
    • 反方观点：无
  3. 💡 分布式计算将会得到应用
    • 解释：评论者直接表达了对分布式计算应用前景的看法。
  4. 💡 测试时计算的扩展有助于本地能力的提升
    • 解释：以4090 GPU为例说明利用相关方式可提升本地计算能力。
  5. 💡 测试时计算效率低下
    • 解释：指出会导致闭源锁定、大公司不知如何推动发展等问题。

金句与有趣评论

  1. “😂 Release is a strong word.”
    • 亮点：简洁地表达对原帖用“发布”一词描述o3的质疑。
  2. “🤔 It seems like they should compliment each other. Test time compute -> high - quality synthetic data -> improved pre - trained base - model -> repeat.”
    • 亮点：清晰阐述测试时计算与预训练的互补关系。
  3. “👀 我认为扩展测试时计算将推动本地可能实现的事情。”
    • 亮点：强调测试时计算对本地能力提升的积极意义。
  4. “🤔 test time compute will be such a pain in the ass wrt efficiency.”
    • 亮点：直白地表达测试时计算在效率方面的糟糕情况。
  5. “👍 我很乐意等待一到两分钟的响应，如果这能保证我得到一流的最终输出。”
    • 亮点：表达对测试时计算带来高质量输出的接受态度。

情感分析

总体情感倾向积极，大家对测试时计算这个新方向充满期待并积极探讨。主要分歧点在于对o3发布的定性以及测试时计算的效率问题。对o3发布定性有分歧可能是因为之前有类似炒作的情况让部分人持谨慎态度；对测试时计算效率的分歧可能源于不同的技术视角和对未来发展的不同预估。

趋势与预测

  • 新兴话题：开源模型在测试时计算方面的发展成果、估算测试时计算的论文发表、元学习的重新兴起。
  • 潜在影响：可能会影响人工智能领域模型开发的方向，改变开发人员对测试时计算的重视程度，对开源和闭源模型发展的格局产生影响。

详细内容：

标题：OpenAI 的 O3 发布引发的热议

OpenAI 发布了 O3，这一事件在 Reddit 上引起了广泛关注。原帖作者表示，在 OpenAI 为期 12 天的活动最后一天，本期待 GPT 4.5 或 5，结果迎来了 O3。有人认为这意味着 OpenAI 从主要扩展预训练转向了测试时计算规模，还猜测开源是否会效仿。此帖获得了众多点赞和大量评论。

讨论焦点集中在 O3 的性能、成本以及对行业的影响等方面。有人认为这可能不是一个重大的突破，就像之前的 SORA 情况，在实际使用前不能过于兴奋。有人指出 O3 所需资源巨大，成本高昂，可能难以推广。但也有人表示 O3-mini 更便宜且性能更好。

有用户分享道：“O3 的高性能版本似乎需要大量资源，而‘正常 O3’的成本虽没那么高，但仍很显著。”还有用户提到：“O3 mini 将在 1 月推出，O3 在 2 月/3 月推出。”

对于测试时计算能否在本地应用，观点不一。有人认为它能推动本地可能性，有人则觉得在本地硬件上实现会非常困难且耗时。比如，有用户说：“在 4090 GPU 上，通过批处理，我获得了大约 5 倍的总吞吐量，但由于 VRAM 限制，我只能运行 32b 模型。”但也有人反驳：“测试时计算仍然只是对模型的推断，不是提高吞吐量的更快方式。”

关于成本和效率，有人认为这会带来很大压力，甚至可能导致闭源锁定。但也有人认为随着时间推移，效率提升和硬件发展可能会使情况改善。

总之，这次关于 OpenAI O3 发布的讨论十分热烈，各方观点碰撞，既有对其前景的期待，也有对其面临挑战的担忧。未来 O3 究竟会给行业带来怎样的影响，还有待观察。