原贴链接

Grok 3据称是在100,000个H100 GPU上进行训练的，这大约是GPT - 4系列和Claude 3.5 Sonnet等模型训练使用量的10倍。然而，它们的能力大致相同。Grok 3并不像我们所希望的那样是通用人工智能（AGI）或超级智能（ASI）。在2023年和2024年，OpenAI一直表示他们可以不断增加预训练规模，模型就会神奇地变得更智能（按照‘扩展定律’，图表显示‘直线上升’）。现在所有的焦点都在推理上，突然之间，OpenAI和其他公司都对扩展规模这件事变得非常沉默。说实话，这看起来非常可疑。他们现在不像2020 - 2024年那样制造越来越大的模型，而是在专注于其他事情的同时努力让模型变小。Claude 3.5 Opus从Anthropic博客上被悄悄删除，没有任何解释。有些事情出了问题，而他们正在试图隐瞒。

讨论总结

原帖对基础模型是否遇到扩展瓶颈提出疑问，以Grok 3为例进行阐述。评论者们从不同角度进行讨论，包括模型训练的多个变量、预训练是否有价值、模型能力与GPU数量关系、AGI是否能实现、企业策略、数据质量等多方面，情感倾向多元，既有质疑嘲讽，也有理性分析。

主要观点

  1. 👍 模型扩展还有很多可尝试方向，进展未减缓
    • 支持理由：GPU数量只是众多变量之一，还有很多其他方向可探索。
    • 反对声音：无。
  2. 🔥 AGI不会到来的观点是一种傲慢的表现，因为技术发展难以预测
    • 正方观点：三年前无法预测如今LLMs的发展，除LLM外还有其他探索方向。
    • 反方观点：认为AGI从根本上说是炒作，不会到来。
  3. 💡 目前可能未触及扩展极限
    • 解释：企业正在探索推理对自我提升的极限，需要等待下一代基础模型来明确企业进步方式。
  4. 💡 预训练阶段可挖掘价值所剩不多
    • 解释：指令调整在创新和改进上趋于平稳，模型通过模仿训练数据的智能提升有限。
  5. 💡 规模扩大的收益正在减少
    • 解释：如Grok 3使用大量GPU训练但能力与其他模型相当，各公司不再强调规模扩大。

金句与有趣评论

  1. “😂 Lmao, who besides you and musk thought grok3 would be AGI, nevermind ASI? Lololol”
    • 亮点：以一种嘲讽的方式表达对原帖观点的不认可。
  2. “🤔 I don’t think we’ve hit a wall, more like we have more things to try than is possibly imaginable, and the slowdown of the progress is nowhere near to be seen.”
    • 亮点：理性地指出模型扩展还有很多可能，并未触及瓶颈。
  3. “👀 Bigger is not better. Better is better.”
    • 亮点：简洁地表达对大模型规模观念的转变。
  4. “🤔 It is not magic, it is because the required information is in the training set.”
    • 亮点：对模型变聪明的原因给出合理的解释。
  5. “😂 You got your weekly "are we hitting a wall" post. Thanks.”
    • 亮点：调侃原帖关于是否遇到瓶颈这类话题的常见性。

情感分析

总体情感倾向比较复杂，既有积极乐观（如对未来算法突破抱有希望、认为Grok 3后续版本可能改进），也有消极怀疑（如对AGI的否定、对xAI的批判）。主要分歧点在于基础模型是否达到扩展瓶颈、AGI能否实现。可能的原因是大家掌握的信息不同、对模型发展的期望不同以及看待问题的角度不同。

趋势与预测

  • 新兴话题：推理模型和神经符号人工智能被提及可能是解决当前人工智能发展问题的方向。
  • 潜在影响：如果预训练价值确实所剩不多，企业策略可能会更多地转向从现有模型挖掘价值、强化学习、改进软件提高效率等方面，对人工智能产业发展方向产生影响。

详细内容：

标题：关于基础模型是否已达规模瓶颈的热门讨论

在 Reddit 上，一篇题为“Have we hit a scaling wall in base models? (non reasoning)”的帖子引发了热烈讨论。该帖指出，Grok 3 据称在 100,000 个 H100 GPU 上进行训练，规模远超 GPT-4 系列和 Claude 3.5 Sonnet 等模型，但能力却大致相当，这令人对单纯依靠规模扩展产生质疑，如今各方对规模扩展的态度也变得低调。此帖获得了大量的点赞和众多评论，引发了关于基础模型是否已触及规模瓶颈以及未来发展方向的广泛讨论。

讨论的焦点与观点丰富多样。有人认为我们尚未触及瓶颈，还有无数可尝试的方向，比如通过算法改进来突破，目前的进展放缓并非意味着瓶颈的到来。也有人指出，当前的模型在规模增大时，改进效果相对规模的增加变得不明显，需要根本性的创新来提升。例如，有用户分享道：“作为一名在 AI 领域工作多年的开发者，我亲身经历了模型从简单到复杂的演变。早期，我们对模型的能力期望不高，但随着技术发展，当规模扩展带来的收益逐渐减少时，我们不得不寻求新的突破方向。”

对于是否已达瓶颈，存在不同的看法。有人认为模型规模已达上限，继续扩大规模难以带来显著提升，而应注重数据质量和算法创新。比如有用户提到：“我认为单纯增加模型规模已不可行，如同我们不能仅仅通过增加工厂的面积来提高生产效率，关键在于优化生产流程和提高原材料质量。”但也有人坚信规模仍有提升空间，只是需要更高效的训练方法和更优质的数据。

讨论中也达成了一些共识，即不能仅仅依靠规模扩展，需要综合多种手段来推动模型的发展。同时，一些独特的观点认为，模型的发展不仅取决于硬件和数据，还与人类对智能的理解和定义有关。

总之，关于基础模型是否已达规模瓶颈的讨论尚无定论，但为我们提供了多角度的思考，也让我们对未来 AI 模型的发展充满期待。