原贴链接

The Verge正在附和一些传闻，即德米斯·哈萨比斯（Demis Hassabis）发现Gemini 2的性能“令人失望”。在我看来，这引发了一些有趣的问题。首先，我们在应用于基于Transformer的大型语言模型（LLM）的所谓“扩展定律”方面是否即将达到极限？根据该定律，仅仅因为投入到模型的计算量，新的能力就会出现。如果是这样的话，那么马斯克的xAI为训练Grok 3投入的40亿美元可能会被证明是徒劳的……我们将在今年年底左右看到结果。然后，这将验证扬·勒昆（Yann Lecun）的观点，即大型语言模型对于真正的通用人工智能（AGI）来说是一条死胡同，从而削弱了仅通过扩大当前前沿模型的综合效应，通用人工智能将在2027年左右出现的假设。此外，DeepMind一直处于将强化学习与深度学习相结合的前沿，希望有朝一日能达到一个临界点，从而开启自我改进。哈萨比斯的失望可能只是表明Gemini 2尚未达到这个临界点。此外，OpenAI人才的流失让我相信OpenAI的优势正在迅速削弱，然而如果Gemini 2确实令人失望，山姆·奥特曼（Sam Altman）可能仍有一些回旋余地，并可能进一步推迟“猎户座（Orion）”的全面推出。最后，每个人都在急切地等待伊利亚·苏茨克维（Ilya Sutskever）在他自己的公司中关于人工超级智能（ASI）能够取得什么成果。我一无所知，但抱有很大的希望，也许就像你们中的一些人对他的神奇能力抱有希望一样，哈哈。你们对扩展定律的潜在局限性有何看法？你们认为我们当前的大型语言模型架构是否即将走向死胡同？

讨论总结

原帖以The Verge报道Demis Hassabis对Gemini 2性能失望为由，探讨了LLMs是否达到扩展定律的极限、AGI是否即将到来等话题。评论者们的观点多样，有的质疑The Verge的可靠性，有的认为LLMs有提升空间尚未达到瓶颈，还有人关注当下人工智能功能而不纠结于AGI的制造，也有对模型性能比较、对媒体不信任等观点，整体氛围活跃且多元。

主要观点

  1. 👍 The Verge不是关于消息泄露的可靠来源。
    • 支持理由：以Orion假新闻为例，还有人指出其写电脑指南的作者可能知识不足。
    • 反对声音：无。
  2. 🔥 LLMs有多种提升途径，未达到瓶颈。
    • 正方观点：数据集可改进空间大，算法每周有新技术发表，o1表明还有改进空间。
    • 反方观点：有观点认为LLMs有达到瓶颈的迹象，如GPT5未发布等。
  3. 💡 不必纠结于制造AGI，应关注人工智能能做之事。
    • 解释：当下人工智能功能已经很多，不是AGI也无关紧要，还可避免定义AGI的困难。
  4. 💡 目前技术下AGI是妄想。
    • 解释：模型无法提供宣称功能，距离像人类一样理解交流还很远，未来10年若有AGI不会基于LLMs。
  5. 💡 新的范式o1看起来有前景。
    • 解释：从目前展示和其他公司研究看，用适量资源就能改进模型。

金句与有趣评论

  1. “😂 LiquidGunay：The Verge is hardly a trustworthy source for these kinds of leaks. Especially after the Orion fake news.”
    • 亮点：直接指出The Verge在消息泄露方面不可靠，且用Orion假新闻举例，很有说服力。
  2. “🤔 Dyoakom：I, very much unfortunately, think that we see some signs of LLMs plateauing faster than the experts hoped the scaling laws would last.”
    • 亮点：表达出与部分人认为LLMs未达瓶颈相反的观点，引人思考。
  3. “👀 Just on datasets, the amount of things we know, that are largely missing from existing datasets, and that would result in improvements if effort was put into them, is amazing.”
    • 亮点：强调了数据集在LLMs改进方面的巨大潜力。
  4. “😉 No point in arbitrarily being concerned about making AGI. Focus on what you want your ai to be able to do.”
    • 亮点：提出一种务实的对待AGI的态度。
  5. “🤨 AGI is a delirium with the current state of technology.”
    • 亮点：鲜明地表达了对当前技术下AGI的否定态度。

情感分析

总体情感倾向较为复杂，既有对The Verge等媒体的负面情绪，表现为不信任、质疑；也有对LLMs发展较为乐观的态度，认为还有提升空间未达瓶颈。主要分歧点在于LLMs是否已经接近瓶颈以及AGI是否能在现有技术下实现。可能的原因是大家依据不同的事实或经验，如一些人看到GPT5未发布等现象认为达到瓶颈，而另一些人看到数据集和算法改进空间认为还有发展余地，对AGI的看法也因对当前模型能力的不同评估而不同。

趋势与预测

  • 新兴话题：新范式o1的发展前景、AlphaProof在谷歌的应用潜力。
  • 潜在影响：如果o1真的有效，可能改变LLMs提升的方式；如果谷歌利用AlphaProof进行通用推理成功，可能影响人工智能在通用推理方面的发展方向。

详细内容：

《关于 Gemini 2 表现令人失望的热门讨论》

在 Reddit 上，一个关于 Gemini 2 表现令人失望的帖子引发了热烈讨论。该帖指出，The Verge 传出 Demis Hassabis 对 Gemini 2 的性能感到失望，这一消息引发了诸多有趣的问题。此帖获得了众多关注，评论数众多。

讨论的焦点主要集中在几个方面。有人认为 The Verge 并非此类消息的可靠来源，比如[LiquidGunay]就指出特别是在 Orion 假新闻之后。但也有人觉得可能有一定依据，像[Dyoakom]就表示虽然 Orion 部分是假新闻，但 GPT4.5 可能会发布，而 Claude 3.5 Opus 似乎取消或不再被提及，种种迹象表明可能纯规模带来的回报比预期减少。

也有不同观点。[arthurwolf]认为在数据集和算法方面都有很多改进的途径，几年后再看现在“已达天花板”的评论会觉得可笑。[Jumper775-2]则感觉 LLMs 整体不会长久，多模态发展趋势下可能会有更复杂的模仿大脑功能的 AI 系统。[Jesus359]觉得现在的 LLMs 就像早期的计算机，仍有很多可能性待发掘。[martinerous]指出 LLMs 存在效率问题，抽象能力脆弱，容易被简单的混淆问题难住。[onil_gova]则认为即使是小的改进也能逐渐优化数据集。

还有人觉得没必要过于担心 AGI，应关注当前 AI 能做的事，像[evi1corp]、[JustinPooDough]和[hugo-the-second]都持有这样的观点。

对于 Gemini 2 的表现，大家看法不一。有人期待更多 Demis Hassabis 的公开表态，有人认为 The Verge 不可信。关于未来的发展方向，也存在多种观点，比如将更多技术结合以改进模型等。

那么，LLMs 到底是否已接近发展瓶颈？我们是否能通过现有的架构实现真正的突破？这还有待时间来检验。