原贴链接

https://huggingface.co/blog/wolfram/llm-comparison-test-2024-12-04（帖子仅提供了一个链接，无具体内容可翻译）

讨论总结

这是一个关于25个最先进的大型语言模型（LLM）通过59次MMLU - Pro CS基准测试运行比较/测试的讨论。原帖作者分享测试结果并引发众多评论，大家在欢迎原作者回归的同时，对测试中的各个模型表现、技术细节、存在问题等进行了广泛的交流探讨，整体氛围比较积极，大家积极分享观点和经验。

主要观点

  1. 👍 进行了25个SOTA LLMs的比较/测试并通过59次MMLU - Pro CS基准测试运行。
    • 支持理由：原帖作者分享测试内容，这是整个讨论的基础，许多评论围绕此展开相关话题讨论。
    • 反对声音：无。
  2. 🔥 对推测解码未损害输出质量表示惊讶。
    • 正方观点：SomeOddCodeGuy称原本以为该技术会严重破坏输出质量，但实际并非如此。
    • 反方观点：无。
  3. 💡 所有SOTA模型未能回答特定基准测试第一个问题。
    • 谷歌最新实验模型有时能答对该问题，QwQ模型虽未完全答对但接近答案且推理过程值得关注，然而也有人认为这种低质量刁钻问题不能有效测试模型推理能力。
  4. 👍 QwQ 32B预览版是最佳本地模型。
    • 支持理由：在性能上超越了很多在线模型以及本地的多种更大的模型。
    • 反对声音：无。
  5. 🔥 对量表起始值为50而非0会使Mistral Small的表现看起来更差且具有误导性。
    • 正方观点：stddealer认为这样的量表设置容易让人误解Mistral Small的表现。
    • 反方观点：WolframRavenwolf表示这是常见有效的可视化技术，明确标注量表可让读者正确解读数据。

金句与有趣评论

  1. “😂 It’s been a while, but here’s my latest LLM Comparison/Test: This time I evaluated 25 SOTA LLMs (including QwQ) through 59 MMLU - Pro CS benchmark runs.”
    • 亮点：原帖作者开篇表明进行了新的LLM比较测试，引出整个讨论话题。
  2. “🤔 I’m surprised to see speculative decoding didn’t harm output.”
    • 亮点：表达出对推测解码未损害输出质量的意外，引起关于推测解码的一系列讨论。
  3. “👀 all of that SOTA model failed to answer simple bench first question:”
    • 亮点：提出所有SOTA模型未能回答特定基准测试第一个问题这一现象，吸引大家对模型测试问题有效性的思考。
  4. “😂 Everlier: Exceptional work! One step further, and it can be a survey submission for the scientific journal.”
    • 亮点：高度评价原帖工作成果，认为距离可投稿科学期刊只差一步之遥。
  5. “🤔 I was not satisfied of QwQ, having glitches and weird answers.”
    • 亮点：反映出部分用户对QwQ模型存在问题的看法，为后续对QwQ态度转变的讨论做铺垫。

情感分析

总体情感倾向是积极的，大多数评论者对原帖作者的测试工作表示认可、欢迎，或积极参与到关于LLM相关话题的讨论中，如模型比较、性能测试等。主要分歧点在于部分技术细节上，例如量表起始值是否具有误导性、低质量刁钻问题能否测试模型推理能力等，这些分歧主要源于大家不同的观点立场以及对技术的理解差异。

趋势与预测

  • 新兴话题：关于如何更好地进行模型测试、展示测试结果以及新模型的潜力挖掘等话题可能会引发后续讨论，例如像如何判定模型是否值得深入研究等问题。
  • 潜在影响：对LLM领域的发展可能会产生积极影响，促使更多人关注模型的性能、技术原理，以及不同模型之间的比较，有助于推动LLM技术的进一步发展。

详细内容：

标题：Reddit 热门 LLM 比较与测试讨论

近日，Reddit 上一则关于 25 种 SOTA LLMs 的比较与测试的帖子引发了广泛关注。该帖子由 [WolframRavenwolf] 发布，包含了通过 59 次 MMLU-Pro CS 基准运行对这些模型的评估，获得了众多用户的热烈讨论，点赞数和评论数众多。

讨论的焦点主要集中在各个模型的性能表现、特点以及实际应用体验等方面。比如，有人一直是 Mistral 的粉丝，而 QwQ 因其独特性也吸引了不少关注。对于如何提示 QwQ 进行思考，用户们也分享了各自的方法。

有用户分享道：“我一直是 Mistral 的大粉丝，最初开始这组基准测试是想看看新老 Mistral Large 的比较情况（非常喜欢他们面向 RP 的微调）。但现在 QwQ 引起了我的注意，因为它是一个如此独特的模型。”

关于如何提示 QwQ 以获得更好的结果，[No_Afternoon_4260] 表示：“我所做的是详细解释我的项目，要求它迈出第一步，然后只给它关键字以推进步骤。我觉得如果你影响它按照你的方式制作软件，它比让它按照自己的方式更容易出错。”

对于 Speculative Decoding 技术，有人提出了疑问和困惑。[SomeOddCodeGuy] 说：“我原本以为一个 0.5b 的模型尝试预测 32 - 123b 模型的输出会导致糟糕的结果，但实际情况并非如此，这其中的神奇之处让我感到惊讶。”

[WolframRavenwolf] 在回复中解释道：“更大的模型永远不会妥协。最终的输出正是它在没有推测解码时会输出的令牌。如果预测错误，它只是意味着大模型必须从出错的点重新进行采样。草案模型的选择只影响吞吐量。”

在模型的实际应用中，也有用户分享了自己的经历。[badabimbadabum2] 提到：“刚刚试用了 qwq:32b-preview-q8_0 与 Ollama ，有时会在文本中间给我中文单词。这正常吗？用翻译器翻译后它确实是一个单词。”

而对于模型的局限性，[balianone] 认为：“所有那些 SOTA 模型都未能回答第一个简单的基准问题。”但 [drtrivagabond] 反驳道：“我希望你知道这些低努力的技巧问题并不能真正测试模型的推理能力。你的问题很糟糕。”

在这场热烈的讨论中，用户们各抒己见，既有对模型表现的惊喜，也有对其不足的思考。而关于未来模型的发展，大家都充满了期待。