原贴链接

尽管Qwen团队已经明确说明了如何在HF（Hugging Face）上设置QwQ-32B，但我仍然看到一些人对如何正确设置感到困惑。所以，这里将所有设置整合在一张图片中：https://llminfo.image.fangd123.cn/images/767vpzn7g0ne1.png!/format/webp。来源：系统提示：https://huggingface.co/spaces/Qwen/QwQ-32B-Demo/blob/main/app.py，定义了format_history函数用于格式化历史记录；generation_config.json：https://huggingface.co/Qwen/QwQ-32B/blob/main/generation_config.json，其中包含如重复惩罚为1.0、温度为0.6、top_k为40、top_p为0.95等设置。

讨论总结

这是一个关于QwQ - 32B推荐设置的讨论。原帖给出了QwQ - 32B的相关设置内容，评论者们从不同角度提出了各种问题，包括配置与模型评价的关系、特定设置与功能的关联、某些参数的疑问以及在不同运行环境下的设置问题等，同时也存在一些对推荐设置的争议，但整体讨论氛围比较理性。

主要观点

  1. 👍 原帖是好帖
    • 支持理由：可以给对QwQ - 32B设置有疑惑的人提供帮助。
    • 反对声音：无
  2. 🔥 很多人因错误配置而认为模型不好是不可信的
    • 正方观点：Qwen团队分享了模型的最佳配置，不应因错误配置否定模型。
    • 反方观点：无
  3. 💡 QwQ - 32B的温度设置存在与之前认知的差异
    • 正方观点：之前推荐的温度与原帖给出的不同。
    • 反方观点：官方推荐使用0.6和TopP = 0.95是为避免无尽重复，还有其他官方依据。
  4. 💡 帖子中的设置对部分人造成负面影响
    • 正方观点：有人使用新设置后出现思考时间变长和答案错误等问题。
    • 反方观点：无

金句与有趣评论

  1. “😂 Good post!”
    • 亮点：简洁地表达了对原帖的认可。
  2. “🤔 Unbelievable how many people jump on conclusions that the model is bad when running it with wrong configurations.”
    • 亮点：指出很多人因错误配置而否定模型是不合理的。
  3. “👀 ForsookComparison：I thought they recommended temperature == 0.5?”
    • 亮点：引出了关于温度设置与之前推荐值不同的讨论。
  4. “😉 These settings messed up QwQ for me.”
    • 亮点：表达了新设置带来的负面影响。
  5. “🤓 AaronFeng47：[https://huggingface.co/Qwen/QwQ - 32B#usage - guidelines] Use Temperature = 0.6 and TopP = 0.95 instead of Greedy decoding to avoid endless repetitions.”
    • 亮点：针对温度设置的疑问给出官方文档解释。

情感分析

总体情感倾向比较中性，既有对原帖的认可，也有对原帖中设置的质疑和否定。主要分歧点在于QwQ - 32B的设置是否合理有效，可能的原因是不同用户在不同使用场景下对设置的需求和体验不同。

趋势与预测

  • 新兴话题：不同版本（如量化版本）或不同运行环境（如ollama）下QwQ - 32B的正确设置。
  • 潜在影响：如果能解决这些设置相关的疑问，将有助于提高QwQ - 32B在不同用户群体中的使用效果，推动相关技术在不同场景下的应用。

详细内容：

标题：关于 QwQ 32B 的推荐设置引发的热门讨论

在 Reddit 上，有一篇关于 QwQ 32B 设置的帖子引起了众多关注。尽管 Qwen 团队在 HF 上已经明确说明了如何设置 QWQ-32B，但仍有不少人对如何正确设置感到困惑。于是，发帖者提供了一张包含所有设置的图片，并附上了相关的来源链接，如https://huggingface.co/spaces/Qwen/QwQ-32B-Demo/blob/main/app.py 以及https://huggingface.co/Qwen/QwQ-32B/blob/main/generation_config.json。此贴获得了大量的点赞和评论，引发了一系列热烈的讨论。

讨论的焦点主要集中在以下几个方面： 有人称赞道：“好帖子！难以置信很多人在错误配置的情况下就得出模型不好的结论。Qwen 团队明明在模型说明中清晰地分享了最优配置。” 有人提出疑问：“这会给我缺失的‘思考’标签，从而将思考与最终输出分开吗？” 有人咨询：“我如何强制它使用恰当的格式？我正在使用量化版本。” 有人询问：“对于编码，温度设置为 0 可以吗？” 有人表示：“这些设置把我的 QwQ 搞乱了。默认设置在开放网络 UI 上运行得很好，但每次我使用这些设置就不行了。” 有人质疑：“0.6 和 0.95 的温度及 top_p 设置，也适用于 R1 - distill 家族吗？顶部 k 值 40 - 60 是新的吗？”

在讨论中，也存在一些争议。有人认为“温度 0.6 和 top_p 0.95 是从随意得出的”，但也有人指出“QWQ 的官方页面建议使用 0.6 和 Bartowski 提到量化在 0.5 时效果更好，到底哪个是对的？”

同时，也有一些共识。比如大家都希望能够找到最适合自己需求的正确设置参数。

总的来说，关于 QwQ 32B 的推荐设置在 Reddit 上引发了广泛而深入的讨论，大家各抒己见，为找到最佳的设置方案贡献着自己的想法和经验。