原贴链接

自72B指令型发布以来我就在使用，在x4 RTX 3060 12GB配置下速度约为15t/s。我在P40 24GB（在Ollama中运行速度接近10t/s）上部分使用过Qwen 2.5 32B指令型，我的72B指令型在exl2+tabbyapi中为4.0bpw。我目前正在使用个人定制网站为自己和一些开发人员处理API调用。我想知道是否有人能告诉我32B指令型编码员与72B指令型编码员的编码能力。我知道基准测试，但轶事信息往往更可靠。如果它在编码方面至少能与72B相当，我可以在我的网站管理面板上添加一个切换标签，以便在我想要测试时在两者之间切换，因为32B的推理速度会快得多。真的对结果很感兴趣。我看过一些视频声称它不擅长工具调用或自动化。

讨论总结

原帖围绕Qwen 2.5 32B instruct和72B instruct编码能力比较展开，希望得到二者编码能力对比的信息。评论者给出了多种回应，包括建议原帖作者亲自尝试并反馈结果、分享自己的测试计划和结果、提及32B在某些方面的优势以及目前测试难以得出结论等，大家都在理性探讨技术相关话题。

主要观点

  1. 👍 建议原帖作者亲自尝试并反馈结果
    • 支持理由：很多人会对结果感兴趣。
    • 反对声音：无
  2. 🔥 在C#编程使用场景下，72B在遵循指令方面的优势使其更优
    • 正方观点：通过特定测试，72B每次都获胜。
    • 反方观点：有观点认为32B instruct可能略好但需更多测试。
  3. 💡 32B和72B的coder代码基准测试有显著差异，但目前测试还难以得出结论
    • 解释：目前仍在广泛测试中。
  4. 💡 32B coder未经过工具调用方面的训练
    • 解释：由评论者bbsss指出。
  5. 💡 72B是最好的开源工具调用模型
    • 解释：评论者bbsss在测试对比后得出。

金句与有趣评论

  1. “😂 Try it and report back. I’m sure plenty of other people would be interested in what you find out.”
    • 亮点：简洁地给出建议并表明很多人会关注结果。
  2. “🤔 I will probably settle with a exl2 + tabbyapi with a Qwen 2.5 32B instruct 5.0 bpw 32k context, and compare it to my usual Qwen 72B instruct 4.0 bpw 32k context.”
    • 亮点：详细列出比较测试的配置。
  3. “👀 32B is convenient though because it can fit on a single 24gb GPU at q4/5.”
    • 亮点：指出32B在GPU适配方面的便利性。

情感分析

总体情感倾向比较中性，大家主要是理性地探讨技术问题。主要分歧点在于32B和72B instruct哪个在编码能力等方面更优，原因是不同的人有不同的使用场景和测试结果，有的还处于测试未完成状态。

趋势与预测

  • 新兴话题：32B coder是否可以进行工具调用可能会引发后续讨论。
  • 潜在影响：对Qwen模型的优化和使用者在不同场景下选择合适的模型有一定的参考意义。

详细内容：

标题：Qwen 2.5 32B Coder instruct 与 72B instruct 的性能大讨论

在 Reddit 上，有一个关于 Qwen 2.5 32B Coder instruct 与 72B instruct 性能对比的热门帖子引发了众多关注。该帖子获得了大量的点赞和评论。原帖中，发帖人介绍了自己使用 72B instruct 和 Qwen 2.5 32B instruct 的情况，并表示想了解这两者在编码能力上的差异，因为他在考虑是否在自己的网站管理面板添加切换选项以进行测试。这一话题引发了大家的热烈讨论，核心问题在于这两种模型在编码能力、工具调用、速度等方面的表现究竟如何。

在讨论中，有人认为应该亲自尝试然后报告结果，肯定会有很多人感兴趣。还有人表示可能会选择使用 exl2+tabbyapi 搭配 Qwen 2.5 32B instruct 5.0 bpw 32k 上下文，并与常用的 Qwen 72B instruct 4.0 bpw 32k 上下文进行比较。

有人觉得 Coder 32B instruct 似乎比 72B instruct 稍好，但需要更多测试。也有人指出自己主要用于 C#，如果 32B 在编码上稍好，但在遵循指令上稍差，对自己来说可能更糟。而且有人通过大量的并排测试发现 72B 每次都表现更好，但也提到 32B 仍是一个快速且有用的模型。

有人分享个人经历称，使用 Qwen 32B coder 在 RTX 3090 上能达到 37t/s 的速度。还有人表示在 128G M3 Max 40 核上 4 位 MLX 版本能达到约 18 t/s。

有人认为 Qwen 32B coder 明显优于 Qwen 72B instruct，没有不同的争论。但也有人指出代码基准对于 Coder 更高，目前还难以定论，且 32B coder 在工具调用方面的训练还不确定。

讨论中的共识在于大家都希望通过更多的实际测试和比较来得出更准确的结论。特别有见地的观点是，不能仅仅依据初步的测试结果就轻易下结论，需要综合考虑多种因素和更多深入的测试。这场讨论丰富了大家对 Qwen 2.5 这两种不同模型的认识，但最终的定论还需更多的实践和研究。