原贴链接

我仍然记得在2023年末,人们猜测Mixtral - 8x7b是社区在很长一段时间内,甚至可能是永远能得到的最好的开源权重模型。不久之后,Mistral发布了一篇有争议的博客文章,似乎表明他们正在放弃开源权重——在当时开源权重模型非常少,而Anthropic和OpenAI遥不可及的情况下,这是一个不祥的征兆。但从那以后:Meta发布了优秀的Llama 3系列开源权重模型(虽然不完全是自由软件);与许多人担心的相反,Mistral继续发布开源权重模型,甚至发布了之前仅提供API的Mistral Large的权重,并且现在根据Apache许可证发布了他们最新的Mistral Small,而之前的版本仍在他们的专有MRL下;Yi - 34b从专有许可证转换为Apache许可证;微软一直在宽松许可证下发布许多优秀的小模型;Qwen不知从哪里冒出来,发布了可以在消费级硬件上运行的最佳模型,几乎所有模型都在宽松许可证下;DeepSeek颠覆了整个行业,一个MIT许可的模型现在在风格控制的LMSYS上排名并列第一,与最前沿的、专有的、仅提供API的模型相当。这在一年前是完全无法预见的。现实已经超过了最天真的乐观主义者最疯狂的梦想。一些末日论者甚至预测开源权重模型很快就会被取缔。事实恰恰相反,而且这种情况还在继续。要想知道本来可能会是什么样子,只需看看图像生成模型的世界。在15个月里,只有两个重要的开源权重版本:SD3和Flux.1D。由于Stability的行为,SD3陷入争议,几乎被社区忽视,Flux由于蒸馏而受到限制。这两个模型都受到一定程度的审查,已经成为表情包的素材,而且它们的许可证基本上使它们除了玩乐之外毫无用处。这就是大型语言模型(LLM)世界可能的结局。相反,我们现在处于这样一个世界:我甚至不再下载每个新模型了,因为每周都有多个令人兴奋的版本发布,我根本没有时间去试用所有模型。我现在经常从我的硬盘中删除不久前我还梦寐以求的模型。这太不可思议了。

讨论总结

原帖回顾了过去一年语言模型(LLM)领域开放权重模型的积极发展,如Meta、Mistral等公司的成果,与图像生成模型领域的缓慢发展形成鲜明对比。评论内容广泛,涉及AI竞赛重点在本地AI制造运行、云服务与资本主义的关系、图像生成模型的局限性、对AGI的探讨、对特定模型(如Llama 3)的评价、Mistral公司的开源争议、硬件限制对开源发展的影响等多个方面,既有对原帖观点的支持,也有反对意见,整体氛围积极,大家积极分享观点并探讨未来发展趋势。

主要观点

  1. 👍 AI的竞赛重点在于本地AI的制造与运行
    • 支持理由:评论者RG54415认为这是AI竞赛的核心内容。
    • 反对声音:无。
  2. 🔥 稳定扩散领域需要变革
    • 正方观点:很多人指出稳定扩散存在如提示理解、物理几何理解欠缺等问题,需要变革。
    • 反方观点:无明确反对观点。
  3. 💡 开源是发展的必然方向
    • 支持理由:如评论者提到只有开源模型才是未来,并且从多方面阐述开源的必要性。
    • 反对声音:未发现明确反对观点。
  4. 👍 硬件可用性限制了发展
    • 支持理由:有评论者指出多数最先进的(SOTA)模型过大,无法在普通消费级硬件上运行,云租赁又过于昂贵。
    • 反对声音:无。
  5. 🔥 原帖对图像生成领域的看法过于悲观
    • 正方观点:有评论者指出除原帖提到的Flux模型外,还有AutaFlow、PixArt Alpha等多个图像生成模型,反驳原帖观点。
    • 反方观点:原帖从整体对比角度出发,未明确反驳。

金句与有趣评论

  1. “😂 The whole cloud thing is from a by gone era where capitalism lost the plot by making everything for rent in the cloud.”
    • 亮点:用诙谐的语言表达了对云服务是资本主义寻租行为的看法。
  2. “🤔 need an R1 moment in the stable diffusion space IMO”
    • 亮点:简洁地提出稳定扩散领域需要类似变革性的时刻。
  3. “👀 I now regularly delete models from my hard drive that I would have given my right hand for not too long ago.”
    • 亮点:形象地表达出因为新模型出现,旧模型不再那么重要的现状。
  4. “😂 Watching the movie Matrix all over again.. the agents were just from the future”
    • 亮点:独特地将人工智能模型发展类比为《黑客帝国》中的情节,表达惊叹。
  5. “🤔 No they didn’t. People who have overdosed on YouTube, where everything is either The Best Thing Ever or The Worst Thing Ever and nothing in - between, were unable to comprehend something that wasn’t 100% cheerleading open - source and decided that if it wasn’t 100% perfect, they must be The Enemy.”
    • 亮点:生动地描述了部分人受YouTube极端观点影响误解Mistral公司的情况。

情感分析

总体情感倾向是积极的。主要分歧点在于对图像生成模型发展的评价,原帖认为图像生成模型发展缓慢且问题较多,部分评论者不同意,认为原帖过于悲观,他们指出还有其他图像生成模型被原帖忽略。产生这种分歧的原因是对图像生成模型领域的观察角度和评价标准不同,原帖从开放权重发布数量和存在的问题等方面考量,而反对者则从更多的模型个体发展角度进行反驳。

趋势与预测

  • 新兴话题:如多模态模型缺乏支持导致采用率低、指令模型中的过拟合问题、小模型的停滞以及扩散模型的停滞等,可能会引发后续关于模型改进方向的讨论。
  • 潜在影响:对AI领域相关公司的发展策略、研究方向会产生影响,例如促使公司更加重视模型的创新性、解决硬件限制问题等,也会影响用户对不同类型模型(如开源与闭源)的选择倾向。

详细内容:

标题:Reddit 热门讨论:AI 模型发展的惊喜与争议

过去一年,AI 领域的发展令人惊叹,在 Reddit 上,一个题为“We’ve been incredibly fortunate with how things have developed over the past year”的帖子引发了热烈讨论,获得了大量的点赞和众多评论。

原帖指出,2023 年末人们还认为 Mixtral-8x7b 可能是社区能获得的最好的开放权重模型,然而此后情况发生了巨大变化。包括 Meta 发布优秀的 Llama 3 系列作为开放权重,Mistral 继续发布开放权重模型,Yi-34b 转变许可证,微软发布优秀小模型,Qwen 推出可在消费硬件上运行的最佳模型等等。原帖作者感慨,现实超越了最乐观者的想象,而一年前这完全无法预见。

讨论焦点与观点分析:

  • 关于资本在科技发展中的作用,有人认为资本主义若竞争不足,容易从创造价值转向寻租。但也有人指出,服务器和私人数据中心的运营成本降低,使得硬件价格下降,AI 周期发展迅速。
  • 在 Flux 模型的讨论中,有人认为其 LoRAs 很棒,通过提示能得到几乎任何结果,也有人指出其存在无法使用 CFG、微调困难等问题。
  • 对于图像生成模型,有人认为其缺乏提示理解、物理和几何理解等,英伟达的相关模型在努力解决这些问题。
  • 关于是否能通过翻译实现通用人工智能(AGI),观点不一。有人认为目前没有证据表明翻译能实现 AGI,也有人认为大的上下文窗口具有学习能力。
  • 对于 Mistral 公司,有人认为其网站表述的变化引发了对其开放权重模型策略的质疑,但也有人认为这是过度解读,该公司一直表示致力于开放。

总之,Reddit 上的这场讨论展现了大家对 AI 模型发展的关注和思考,既有对发展的乐观期待,也有对存在问题的担忧和争论。未来 AI 模型的发展究竟会走向何方,仍需持续关注和探讨。