原贴链接

另外，是否有使用不同CPU对pp和tg进行比较的数据？

讨论总结

该讨论源于一个关于DeepSeek R1的1.58和2.51bit量化以及不同CPU下pp和tg比较数据的帖子。评论者们从多个方面进行了回应，包括分享相关资源、给出性能数据、进行技术探讨（如量化、硬件配置等）以及处理器选择等内容，整体氛围专注于技术交流。

主要观点

  1. 👍 提供相关主题的已有帖子资源
    • 支持理由：方便提问者查找更多信息。
    • 反对声音：无。
  2. 🔥 提供2.51位DeepSeek R1在不同CPU上的性能数据
    • 正方观点：有助于了解不同CPU下的运行情况。
    • 反方观点：无。
  3. 💡 1.58b对应的量化是Q1，KTransformers仅支持到Q2
    • 解释：依据GitHub文档得出结论。
  4. 💡 KTransformers支持动态量化
    • 解释：有用户运行相关配置得出结论。
  5. 💡 KTransformers不支持像llama.cpp那样的纯CPU推理，需要至少1个CUDA GPU且显存≥16GB
    • 解释：用户根据自己的运行经验指出。

金句与有趣评论

  1. “😂 These are the main posts about it that I’ve seen:”
    • 亮点：直接给出相关主题的主要帖子资源。
  2. “🤔 smflx：I have a post on 2.51bit DeepSeek R1 performances on various CPUs using llama.cpp & kTransformer. 18t/s on Epyc 9534, 14t/s on 2P Xeon 6426Y, 8.8 t/s on Xeon w5 - 3435X, 7.4 t/s on TR 5955wx.”
    • 亮点：详细给出特定版本在不同CPU上的性能数据。
  3. “👀 LetterRip：1.58b is Q1, KTransformers only supports down to Q2”
    • 亮点：明确指出1.58b的量化与KTransformers支持量化的关系。

情感分析

总体情感倾向为中性，主要分歧点较少，大家更多是在分享信息、交流技术知识，原因是这是一个比较技术向的话题，参与者主要目的是解决关于DeepSeek R1的量化、性能等相关技术问题。

趋势与预测

  • 新兴话题：在性价比方面EPYC Milan和Xeon处理器的进一步比较。
  • 潜在影响：对想要深入了解DeepSeek R1在不同硬件配置下运行情况的用户有指导意义，可能会影响他们在硬件选择方面的决策。

详细内容：

标题：关于 DeepSeek R1 的量化版本及不同 CPU 性能比较的热门讨论

近日，Reddit 上一则题为“Has anyone ran the 1.58 and 2.51bit quants of DeepSeek R1 using KTransformers?”的帖子引发了众多网友的热烈讨论。该帖子获得了较高的关注度，众多用户纷纷发表了自己的看法。帖子主要探讨了 DeepSeek R1 使用 KTransformers 的相关情况，以及不同 CPU 下的性能比较数据。

在讨论中，各种观点精彩纷呈。有人分享道：“我有一篇关于 2.51bit DeepSeek R1 在各种 CPU 上使用 llama.cpp 和 kTransformer 的性能表现的帖子。18t/s 在 Epyc 9534 上，14t/s 在 2P Xeon 6426Y 上，8.8 t/s 在 Xeon w5-3435X 上，7.4 t/s 在 TR 5955wx 上。”还有用户提出疑问：“kTransformer 在 Epyc 上与 llama.cpp 相比如何？”回答是：“大概快 2 倍，因 CPU 而异。你可以查看我的帖子。链接已在其他人的评论中给出。”

关于 1.58b 版本，有人指出“1.58b 是 Q1，KTransformers 只支持低至 Q2”，但也有人反驳称其支持 Q2 动态量化，并且运行良好。有用户分享自己使用“R1-UD-Q2_K_XL”达到 15 tok/sec 好几天了，同时指出使用 KTransformers 至少需要 1 个具有 16GB VRAM 及以上的 CUDA GPU，因为它不像 llama.cpp 那样支持纯 CPU 推理。

在讨论中，也存在一些共识。比如大家普遍认为相关的性能测试和数据分享对决策很有帮助。特别有见地的观点是关于不同 CPU 在处理 DeepSeek R1 时的性能差异分析，这为大家提供了更深入的了解和参考。

总之，这场关于 DeepSeek R1 及不同 CPU 性能的讨论，为相关技术爱好者和从业者提供了丰富的信息和思考方向。