原贴链接

无有效内容可翻译

讨论总结

该讨论围绕不同AI模型的MMLU - Pro得分与推理成本关系图展开。一些评论者针对图表中特定模型（如Qwen、Claude Sonnet 3.5等）的表现进行分析，有的指出模型性价比高或低，有的赞扬特定模型的性能。同时，许多评论者表示希望看到其他未在图表中的模型（如腾讯混元模型、Mistral Large 2等），还有部分评论者对图表本身存在的问题（如坐标轴、对比关键等）提出疑问或批评。整体氛围比较积极，大家积极参与对AI模型相关话题的讨论。

主要观点

  1. 👍 绘制MMLU - Pro分数与推理成本关系图可查看前沿模型
    • 支持理由：可以对比不同公司和组织开发的AI模型在性能和成本上的差异，从而帮助研究人员和企业根据需求和预算选择合适的AI模型。
    • 反对声音：无
  2. 🔥 Qwen模型性价比高
    • 正方观点：从图表得出的结论与普遍观点一致，认为Qwen模型既出色又划算。
    • 反方观点：无
  3. 💡 原图表X轴为对数，不能准确反映模型推理价格差异量级
    • 解释：例如Claude - 3 - Opus比Gemini - 1.5 - Flash贵很多，但原图表不能准确体现，所以给出X轴为线性版本的近似图更能反映差异量级。
  4. 💡 希望看到腾讯混元模型在图表中的展示
    • 解释：据说该模型有着比其他模型更高的mmlu得分，是有520亿活跃参数的混合专家模型。
  5. 💡 Claude Sonnet 3.5有诸多优点
    • 解释：能准确引用库、快速解决错误、不受上下文长度干扰等，是程序员的好朋友。

金句与有趣评论

  1. “😂 Of course, inference cost is very difficult to estimate, especially for smaller models, so I either use the cheapest API cost I can find, or use $0.01 per billion parameters (per million tokens), which is currently a reasonable upper estimate.”
    • 亮点：指出了推理成本难以估计，并给出自己对于小模型推理成本的估算方式。
  2. “🤔 Qwen2.5 is very powerful, and its performance when scaled to 32B is impressive.”
    • 亮点：强调了Qwen2.5模型的强大以及在扩展到32B时的出色表现。
  3. “👀 Big takeaways to me reinforce the common sentiment here: Qwen models are fantastic and a bargain besides, and the new Haiku is very overpriced for what it is.”
    • 亮点：总结了从图表中得到的主要结论，对比了Qwen模型和Haiku模型的性价比。
  4. “😎 Man, Claude Sonnet 3.5 is just so unbelievably good at everything.”
    • 亮点：高度赞扬Claude Sonnet 3.5在各方面的优秀表现。
  5. “🤨 The X - axis is logarithmic, so it doesn’t accurately reflect the magnitude of differences in inference prices between models.”
    • 亮点：指出原图表坐标轴设置导致不能准确反映模型推理价格差异量级的问题。

情感分析

总体情感倾向为积极正面。主要分歧点在于对原图表的看法，部分人认为原图表存在问题（如坐标轴设置、对比关键选择等），而部分人认为原图表能很好地反映相关信息。可能的原因是大家从不同的角度（如不同的模型关注点、不同的分析需求等）去看待这张图表。

趋势与预测

  • 新兴话题：可能会有更多关于未在图表中展示的模型（如腾讯混元模型、Mistral Large 2等）的数据补充与分析，以及更多关于如何改进图表以更好展示模型关系的讨论。
  • 潜在影响：对AI模型开发者来说，可以促使他们根据模型在MMLU - Pro得分与推理成本关系中的表现来优化模型；对使用者来说，可以帮助他们更全面地了解不同模型的性价比，从而选择更合适的AI模型。

详细内容：

《AI模型的MMLU-Pro得分与推理成本大讨论》

在Reddit上，一篇关于不同AI模型的MMLU（Multi-choice Language Understanding）得分与其推理价格关系的帖子引起了广泛关注。该帖子包含一张图表，清晰展示了不同AI模型在这两方面的表现，获得了众多点赞和大量评论。

讨论的焦点主要集中在各个AI模型的性能和成本差异上。有人指出，为了解当前前沿的模型，绘制了MMLU-Pro得分与推理成本的关系图。并表示，推理成本难以准确估计，对于较小的模型尤其如此，要么采用能找到的最便宜的API成本，要么采用每十亿参数0.01美元（每百万个标记）的估算，目前这是一个合理的上限估计。比如，一个7B模型每百万个标记的成本目前略低于0.07美元。还提到MMLU-Pro只是一个基准，主要聚焦于科学推理。

有用户称赞Qwen2.5非常强大，表现出令人印象深刻的扩展能力，一直到32B。也有人指出Phi-3、Gemini 1.5 Flash - 0.02和DeepSeek - V2.5在这个基准上得分也很不错。不过，Claude 3.5 Sonnet虽然在图表中名列前茅，但成本却比70B模型高出一个数量级。

有用户好奇为何没有 llama 405b，也有人认为大多数其他重型开放模型缺失，可能是API供应商提供得不多。还有用户提到，fairydreaming提供了meta - llama - 3_1 - 405b的相关信息，其MMLU-Pro得分是73.3，推理成本为1.79美元/百万个标记，是最贵但性能最好的开放模型。

有人认为一些成本数据有误，比如Gemini 1.5 Pro的价格。也有人期待看到新的Tencent Hunyuan模型、Mistral Large 2、nemotron 70b等模型的相关数据。

对于不同模型，大家看法不一。有人认为Qwen模型出色且性价比高，而Haiku则价格过高。有人觉得Phi在实际应用中表现不佳，不能盲目信任。有人称赞Claude Sonnet 3.5在各方面都极其出色，也有人希望它能具备网络访问和代码运行能力。

关于图表的X轴，有人认为是对数形式，不能准确反映推理价格差异的幅度，而有人认为其添加的垂直线能很好地反映。

讨论中的共识是，Qwen 2.5在性能和成本的平衡上表现出色。而争议点在于不同模型的实际性能、成本数据的准确性以及图表展示方式的合理性。

总的来说，这次关于AI模型的讨论为研究人员和企业在选择合适模型时提供了丰富的参考和思考。未来，我们期待能看到更多更全面准确的模型评估数据，以帮助大家做出更明智的选择。