原贴链接

市面上有众多70B模型，很难确定哪一个性能最佳。模型发布者通常不会提供跨基准的完整对比，所以我决定自己来做。我收集了一些公开可用的基准分数和报告，制作了LLaMA 3.3 70B、LLaMA - Nemotron 70B、Qwen 2.5和Athene V2的对比表。对于找不到的分数，我标记为‘ - ’。以下是我的结果：|基准|MMLU Pro|LLaMA 3.3 70B为68.9、LLaMA Nemotron 70B为62.7、Qwen 2.5为71.6、Athene V2为73.1；|MATH|LLaMA 3.3 70B为77.0、LLaMA Nemotron 70B为71.0、Qwen 2.5为82.3、Athene V2为83.0；|GPQA|LLaMA 3.3 70B为50.5、LLaMA Nemotron 70B为48.0、Qwen 2.5为49.0、Athene V2为53.5；|MBPP|LLaMA 3.3 70B为87.6、LLaMA Nemotron 70B无、Qwen 2.5为84.7、Athene V2无；|BigCode|LLaMA 3.3 70B无、LLaMA Nemotron 70B为24.6、Qwen 2.5为25.4、Athene V2为32.1；|IFEval|LLaMA 3.3 70B为92.1、LLaMA Nemotron 70B为69.3、Qwen 2.5为82.6、Athene V2为83.2；|Chatbot Arena Hard w/ Style Control|LLaMA 3.3 70B无、LLaMA Nemotron 70B为#15、Qwen 2.5为#15、Athene V2为#8。从这些信息来看，LLaMA 3.3与Qwen 2.5相当，在困难推理任务中可能略优于Nemotron。它在IFEval中表现尤其出色。其竞技场排名可能也在#15左右。

讨论总结

原帖对Llama 3.3、Qwen 2.5、LLaMA - Nemotron和Athene V2等70B模型进行了性能比较。评论者们从不同角度展开讨论，有人认可比较结果，也有人对结果提出质疑，如对Athene v2是否值得信任存在争议，还有人对将Qwen和3.3放在一起比较表示意外，并且在模型性能、语言支持、免费使用等方面都有不同的观点和讨论，整体氛围较为热烈且充满观点的碰撞。

主要观点

  1. 👍 Llama 3.3在与Nemotron和Qwen的比较中有较好表现
    • 支持理由：从原帖的比较表格中可看出在多个基准测试中有不错成绩
    • 反对声音：无
  2. 🔥 Athene v2在比较中表现更为突出
    • 正方观点：在多个基准测试中成绩领先
    • 反方观点：有人质疑其是否值得信任，担心在基准测试中有作弊行为
  3. 💡 需要更好的地方和标准基准套件来跟踪性能
    • 理由：当前的比较方式可能存在不足，需要更完善的标准来准确评估模型的性能
  4. 🤔 对Llama 3.3在IFEval上的高分提出不同看法
    • 解释：认为在一般情况下模型遵循指令更重要，尤其是特定事务中
  5. 😎 Llama 3.3可在HuggingChat免费使用
    • 支持理由：原评论者提及
    • 反对声音：无

金句与有趣评论

  1. “😂 Very impressive. Better than Nemotron across the board, and beats Qwen in 3/5 shared benchmarks. The real standout though is Athene v2.”
    • 亮点：简洁地总结了比较结果并指出Athene v2的突出表现
  2. “🤔 Qwen AND 3.3 in a single table? Meta would never”
    • 亮点：表达出对将Qwen和3.3放在同一表格比较的意外
  3. “👀 Well Athene are a line of models from an ex - Berkeley team and LMsys is hosted by UC Berkeley, so I wouldn’t trust arena scores for them since they probably have insider info on what to tune for to game it, but the rest are probably legit.”
    • 亮点：提出对Athene模型信任度的质疑及理由
  4. “😏 I’ll say it (Llama 3.3) is comparable to Qwen 2.5, probably better for English users, but still worse in multilingual aspects than Qwen 2.5.”
    • 亮点：指出Llama 3.3在多语言方面与Qwen 2.5的差距
  5. “🤨 Well, Llama hasn’t been offering competitive models for a long time. And it’s strange, because there seems to be a sincere effort to invest in training technology and hardware”
    • 亮点：对Llama长时间未提供有竞争力模型表示疑惑

情感分析

总体情感倾向较为复杂。大部分评论者比较理性地讨论模型相关的话题，包括对模型性能的认可、质疑等。主要分歧点在于对Athene v2的信任度以及对Llama 3.3某些性能方面的评价。可能的原因是不同评论者对模型的了解程度、使用经验以及个人对不同类型模型性能的期望不同。

趋势与预测

  • 新兴话题：对模型版本文件获取的关注可能会引发后续关于模型发布与获取渠道的讨论。
  • 潜在影响：对模型的比较和评估有助于推动相关模型开发者进一步优化模型性能，也有助于用户在选择模型时做出更明智的决策。

详细内容：

《关于 Llam 3.3 70B 性能的热门讨论》

在 Reddit 上，一则题为“How good is Llama 3.3 70B? I compiled a Comparison Table of Llama 3.3, Qwen 2.5, LLaMA-Nemotron, and Athene V2”的帖子引起了广泛关注，获得了众多点赞和大量评论。该帖作者自行整理了 LLaMA 3.3 70B、LLaMA-Nemotron 70B、Qwen 2.5 和 Athene V2 的一些公开可用的基准分数和报告，并制成了对比表格。

讨论焦点与观点分析：

  • 有人认为 LLaMA 3.3 整体表现出色，比 Nemotron 更优，在某些方面甚至胜过 Qwen。比如[Outrageous_Umpire]表示：“非常出色。全面优于 Nemotron，在 5 个共享基准测试中有 3 个超过 Qwen。但真正突出的是 Athene v2。”
  • 有人对 Athene 表示质疑，像[knvn8]问道：“我们能信任 Athene 吗？没怎么看到对它的讨论。”
  • 有人认为 Qwen 也有其优势，比如[MoreIndependent5967]提到：“Qwen 2.5 72 b 在代码方面更出色！Qwen 2 vl 在图像方面更出色！Qwq 32 b 在推理方面更出色！”
  • 也有人对基准测试的可信度提出看法，[MoffKalast]指出：“Athene 来自前伯克利团队，而 LMsys 由加州大学伯克利分校主办，所以我不太相信它们的 arena 分数，因为它们可能有内部信息来调整以作弊，但其他的可能是合法的。”
  • 关于模型的使用和特点，[AaronFeng47]认为：“它是开放权重，不受 API 限制，为什么不呢？”同时也有人指出 LLaMA 3.3 在多语言支持方面不如 Qwen 2.5。

从这些讨论中可以看出，对于这些模型的性能评价存在多种观点和争议，同时也反映出大家对于更完善的评估标准和更好的性能表现的期待。