原贴链接

我尝试了Deepseek R1 Qwen Distills 32B、14B、8B（llama）、7B和1.5B。14B以下的模型表现有点差，14B的还可以。不知道是否有人有类似经历，但从基准测试（例如Oobabooga和Open - llm排行榜）来看，14B以下似乎在智能/推理方面有严重缺失。不可否认Deepseek R1很棒，Qwen 32B蒸馏版确实是我用过的最好的模型之一，但也要指出小模型表现不太好。这只是我试用小模型的经验，显然是主观的。如果有人想分享他们的经验也很好。也许我遗漏了某些东西。

讨论总结

原帖作者尝试了Deepseek R1 Qwen Distills的不同参数量模型，认为14B以下的模型表现不佳，14B表现尚可。评论者们从不同角度展开讨论，包括自己的测试结果（如不同规模模型在不同指标上与基础版的比较）、使用特定模型时的正确方式、使用不同模型带来的速度提升、模型在特定任务（如创意头脑风暴）中的表现、模型通用性以及对原帖结论的疑问（如是否需要大型模型进行推理、是否调整了提示温度等）。整体讨论氛围理性，多为分享观点和探讨问题。

主要观点

  1. 👍 Deepseek R1蒸馏模型14B以下表现欠佳
    • 支持理由：原帖作者测试得出该结论，部分评论者如phenotype001也表示一定程度的认可。
    • 反对声音：无。
  2. 🔥 Deepseek R1 32b使用特定系统提示后回答逻辑问题正确率提高
    • 正方观点：评论者Admirable - Star7088通过自己的使用发现了这一现象。
    • 反方观点：无。
  3. 💡 除数学外，Deepseek R1蒸馏模型在几乎所有指标上表现比基础模型更差
    • 支持理由：有评论者通过大量测试得出这一结果。
    • 反对声音：无。
  4. 🤔 7B模型在数学方面表现还不错，但整体14B以下表现较“笨”
    • 正方观点：phenotype001指出7B模型数学方面表现，同时也认可原帖14B以下模型表现不佳观点。
    • 反方观点：无。
  5. 😕 存在关于是否应使用用户角色替代系统来解释问题的疑问
    • 正方观点：Neither - Rip - 3160提出疑问。
    • 反方观点：无。

金句与有趣评论

  1. “😂 对我来说，R - 1蒸馏模型也不值得，在我的测试中：”
    • 亮点：直接表达对模型的态度，引出自己的测试内容。
  2. “🤔 当我开始使用这个系统提示时，R1 32b回答逻辑问题比以前更准确。”
    • 亮点：说明特定系统提示对模型回答逻辑问题正确率的积极影响。
  3. “👀 新的COT输出已成为我用作创意头脑风暴的非常好的助手。”
    • 亮点：体现了模型在创意头脑风暴方面的作用。
  4. “😉 7B still holds up on math, but yeah.”
    • 亮点：补充7B模型在数学方面的表现情况。
  5. “🧐 所以主要的结论是你需要一个大型模型来进行推理?”
    • 亮点：概括原帖内容并提出关于模型推理和大小关系的疑问。

情感分析

总体情感倾向为理性探讨，有一定的否定态度但并不强烈。主要分歧点在于模型的表现情况，如14B以下模型是否真的表现不佳，部分评论者从不同角度提出可能影响模型表现的因素（如系统提示方式、是否调整温度等），可能的原因是大家对模型的期望不同以及使用场景和测试方式的差异。

趋势与预测

  • 新兴话题：关于模型表现不佳是否是因为未调整温度等性能影响因素可能会引发后续讨论。
  • 潜在影响：如果证实某些因素确实对模型性能影响较大，可能会影响该模型在相关领域（如创意头脑风暴、数学运算等）的使用策略，也可能促使开发者对模型进行优化调整。

详细内容：

标题：关于 Deepseek R1 模型性能的热门讨论

在 Reddit 上，有一个关于 Deepseek R1 模型的讨论引起了众多关注。原帖作者表示自己尝试了 Deepseek R1 Qwen Distills 从 32B 到 1.5B 等不同规模的模型，认为 14B 以下的模型表现欠佳，14B 还算可以。此帖获得了大量的点赞和评论，引发了关于模型性能的深入探讨。

讨论的焦点主要集中在不同规模模型的性能表现。有人指出，在自己的测试中：

  • 8B 比基础模型弱（排名第 107 对比第 84）。
  • 14B 比基础模型弱（排名第 80 对比第 62）。
  • 32B 比基础模型稍好（排名第 54 对比第 59）。
  • 70B 比基础模型弱，由于想法臃肿，在本地几乎无法使用（排名第 26 对比第 18）。

有用户分享道：“我同意你的看法。我发现 32B 和 70B 缺乏智能，不善于遵循提示并且审查严格。目前来看不值得。”

也有用户认为 32B 对于编码很棒，还有用户提到使用特定的系统提示能让 R1 32b 在逻辑问题上回答得更正确。

同时，有人表示 DeepSeek-R1-Distilled-Qwen-1.5B 和 7B 是基于 Qwen2.5-Math，所以通用性较差。

在这场讨论中，大家对于 Deepseek R1 模型不同规模的性能评价存在争议。有人认为小模型性能差，不值得使用；也有人发现了一些提升模型性能的方法和适用场景。但整体来看，对于小模型性能不佳这一点存在一定的共识。

那么，在未来的应用中，我们该如何根据实际需求选择合适的模型规模，以及如何进一步优化模型性能，是值得深入思考的问题。