原贴链接

帖子仅包含一个图片链接，无实质内容可翻译

讨论总结

这是一个关于大型语言模型（LLM）成本逐年下降的讨论。原帖作者称特定质量（以MMLU衡量）的LLM成本逐年下降10倍，并给出数据支持。评论者从不同角度进行讨论，包括对成本计算方式的疑问、不同模型成本比较、模型能力对比、基准测试可靠性、盈利情况以及对相关硬件和行业发展的影响等，整体讨论氛围较为热烈且理性。

主要观点

  1. 👍 特定质量的LLM成本逐年下降10倍
    • 支持理由：原帖作者查看互联网档案馆的LLM定价数据得出结论，如2021年11月到现在，达到相同MMLU分数的成本大幅下降。
    • 反对声音：有评论者认为由于多种因素（如训练数据、推理算法、硬件发展等），不能得出这样的结论。
  2. 🔥 不同模型达到相同MMLU分数的成本有很大差异
    • 正方观点：通过列举如llama 2 7b和llama 3 8b等不同模型的成本比较，说明存在差异。
    • 反方观点：无明显反对意见。
  3. 💡 基准测试有一定意义也有局限性
    • 解释：一方面可衡量模型能力，但存在如数据污染等问题，不同模型在实际使用中的表现可能与基准测试结果不同。
  4. 🤔 30亿参数模型与ChatGPT3.5能力有差距
    • 解释：部分人认为不能单纯以参数判断模型能力，ChatGPT3.5在部分任务上表现优于某些模型，但也有人觉得现在小模型在某些情况下比ChatGPT3.5能力强。
  5. 👀 LLMs现在就可能盈利，取决于使用场景和实施细节
    • 解释：有人认为像其他软件一样，LLMs作为工具在某些场景下可以盈利，但也有人对AI公司整体盈利情况表示怀疑，认为要考虑研发和训练成本。

金句与有趣评论

  1. “😂 We looked at LLM pricing data from the Internet Archive and it turns out that for an LLM of a specific quality (measured by MMLU) the cost declines by 10x year - over - year.”
    • 亮点：这是原帖核心观点的直接表述，引发了整个讨论。
  2. “🤔 I do believe the cost has gone down, like every technologies over time. I do not believe a 3b model is as capable as ChatGPT3.5. Benchmarks always say a lot and nothing at the same time.”
    • 亮点：表达了对成本下降的认可以及对模型能力和基准测试的看法，体现了多方面的思考。
  3. “👀 I’ve wondered how VC money is obfuscating the cost of inference.”
    • 亮点：提出了一个独特的视角，即风险投资资金对推理成本的影响。
  4. “😎 Maybe something besides LLM benchmarks could be plotted, like actual model usage.”
    • 亮点：对传统的LLM基准测试提出了补充建议，关注到实际模型使用情况。
  5. “🤯 I’m not rushing to buy anytime soon but yea. The fact that its even close to be considered "consumer" is a miracle.”
    • 亮点：幽默地表达了对消费级硬件接近支持人工智能的看法。

情感分析

总体情感倾向是积极探索型。大部分评论者以理性的态度参与讨论，没有明显的情绪化争吵。主要分歧点在于对原帖中LLM成本下降结论的认可程度以及模型能力对比的看法。认可成本下降结论的人主要依据原帖给出的数据和分析；不认可的人则从更多的技术因素（如训练数据、硬件发展等）考虑。对于模型能力对比的分歧则源于不同的评价标准和实际使用体验。

趋势与预测

  • 新兴话题：关于适合消费者硬件的SOTA AI的发展，以及开源权重模型追赶其他模型的时间。
  • 潜在影响：如果LLM成本持续下降，可能会影响相关企业（如英伟达等硬件供应商）的盈利情况，对人工智能在消费级市场的普及有推动作用，也可能促使行业寻求更准确的模型性能评估方法。

详细内容：

《大型语言模型成本持续下降，引发Reddit热议》

在Reddit上，一则题为“LLM’s cost is decreasing by 10x each year for constant quality (details in comment)”的帖子引发了热烈讨论。该帖子包含一张展示不同大型语言模型成本随时间变化的图表，并提供了相关分析。此帖获得了众多点赞和大量评论。

讨论的主要方向集中在大型语言模型成本下降的趋势、其可持续性、对行业的影响以及性能评估的方法等。

在观点分析中，有人认为大型语言模型的成本确实在逐年大幅下降，比如[appenz]指出通过对互联网存档中的LLM定价数据研究，特定质量的LLM成本每年下降10倍。但也有人提出质疑，如[nver4ever69]表示怀疑大多数LLM提供商为保持竞争力而补贴成本，对盈利性表示不确定。

[Balance-]提到一些小型模型在特定设备上运行更便捷且成本更低，还分享了DeepInfra提供的低价模型链接。而[ortegaalfredo]则从自身经历出发，指出运行小型站点提供LLM服务的成本中，电力和冷却占据了约95%。

对于模型的性能评估，争议不断。[Bite_It_You_Scum]认为MMLU存在数据污染问题，导致评估不准确。

在成本与盈利方面，[Whotea]提供了OpenAI的GPT-4o API盈利数据，表明其在6月和8月的盈利情况。但也有人像[MoffKalast]认为这可能只是现金流为正，未考虑前期巨大的投入。

关于未来发展，[ArsNeph]认为Transformers架构可能已接近极限，单纯增加参数的缩放方式效果渐微，需要新的架构。但[Ansible32]对此持怀疑态度。

总之，Reddit上关于大型语言模型成本下降的讨论丰富多样，既有对趋势的肯定，也有对潜在问题和未来发展的担忧。这一话题的深入探讨为我们理解语言模型行业的现状和未来提供了多维度的视角。