原贴链接

Deepseek R1已发布，看起来是本地大型语言模型（LLM）的最佳模型之一。我在一些GPU上对它进行了测试，以查看它能达到多少每秒处理的事务数（tps）。测试是在Ollama上运行的。输入提示：如何{构建一台电脑|构建一个网站|构建xxx}？思考： - deepseek - r1:14b可以在任何GPU上运行，且性能差距不显著。 - deepseek - r1:32b在具有约24GB显存的单个GPU上运行效果更好：RTX 3090性价比最高，RTX Titan也可以接受。 - deepseek - r1:70b在两块RTX 3090（17tps）上性价比最高。然而，与RTX 6000 ADA（19tps）或RTX A6000（12tps）相比，它的电力成本翻倍。 - M3 Max 40GPU有高内存，但对于deepseek - r1:70b仅能提供3 - 7tps。它噪音大，GPU温度高（>90°C）。

讨论总结

原帖发布了Deepseek R1在不同GPU上的硬件基准测试结果，包括不同版本的Deepseek R1在多种GPU上的每秒事务处理量（tps）等性能数据。评论者们的讨论主题主要围绕这些测试结果展开，有的表示感谢和认可，有的分享自己在其他硬件上测试该模型的相关数据和经验，也有针对原帖测试方式提出疑问或反对的情况，整体讨论氛围较为积极且专注于Deepseek R1模型与硬件相关话题。

主要观点

  1. 👍 原帖的基准测试有价值
    • 支持理由：提供了关于Deepseek R1在不同GPU上的性能数据，对了解模型在不同硬件上的表现有帮助
    • 反对声音：无
  2. 🔥 不同硬件上模型性能数据的分享很有用
    • 正方观点：有助于对比不同模型在不同硬件上的性能差异
    • 反方观点：无
  3. 💡 对原帖测试方式存在疑问
    • 例如在对比GPU价格与整台计算机时可能忽略计算机整体配置需求，以及测试不同GPU性能时使用不同模型的合理性等方面提出疑问
  4. 💡 关注模型在特定硬件上的运行情况
    • 如特定硬件能否运行特定模型、运行速度、电源稳定性等方面

金句与有趣评论

  1. “😂 Exactly what I was looking for, thank you”
    • 亮点：直接表明原帖内容符合自己需求并表达感谢，体现原帖对部分读者的实用性。
  2. “🤔 really a good, quick, must - have benchmarking. Thanks man”
    • 亮点：简洁地对原帖的基准测试给予高度评价并表示感谢。
  3. “👀 Great, but another one comparing prices for a GPU with whole computers -.-”
    • 亮点：明确表达对原帖比较方式的不满，引出关于测试方式合理性的思考。

情感分析

总体情感倾向是积极的，大多数评论者对原帖表示认可、感谢，认可原帖的测试价值。主要分歧点在于原帖的测试方式是否合理，如GPU价格与整台计算机比较以及不同GPU测试时模型的一致性等方面。可能的原因是不同评论者从不同角度看待模型的硬件测试，有的关注结果数据，有的则对测试过程的科学性更为在意。

趋势与预测

  • 新兴话题：在硬件资源有限（如16GB的RAM和CPU）的情况下Deepseek模型的运行可能性，以及特定大模型运行所需的硬件条件。
  • 潜在影响：有助于推动对Deepseek R1模型硬件适配性的进一步研究，为用户在选择合适硬件运行该模型时提供更多参考依据。

详细内容：

《Deepseek R1 硬件基准测试在Reddit引发热烈讨论》

近日，Reddit上一则关于Deepseek R1（Ollama）硬件基准测试的帖子引发了众多关注。该帖子介绍了在不同GPU上对Deepseek R1进行测试的结果，获得了大量点赞和众多评论。

讨论的焦点主要集中在不同型号GPU运行Deepseek R1的性能表现以及成本效益等方面。有人指出，“deepseek-r1:14b”能在任何GPU上运行，性能差距不明显；“deepseek-r1:32b”在单张具有约24GB VRAM的GPU（如RTX 3090）上运行效果更佳，RTX Titan也能接受；“deepseek-r1:70b”在2 x RTX 3090的组合下性价比最高，但电力成本是RTX 6000 ADA或RTX A6000的两倍。同时，“M3 Max 40GPU”内存虽高，但运行“deepseek-r1:70b”时的性能只有3 - 7 tps，且噪音大、GPU温度高（> 90°C）。

有用户分享了详细的测试数据，如[PositiveEnergyMatter]给出的一系列关于不同模型和配置的测试结果。还有用户如[lakySK]测试了M4 Max 128GB，发现其性能较M3 Max有提升，并给出了具体的测试数据和分析。

也有人提出疑问，如[Armym]询问6xA100是否足以运行相关模型。[DaleCooperHS]则询问16GB VRAM能否运行特定模型，[Joehua87]回复称能在1 x RTX 4070 Ti Super 16G上运行“deepseek - r1:32b”。

对于测试结果，大家看法不一。有人认为这是非常好且及时的基准测试，也有人担心模型的一致性、与其他模型的对比以及可能存在的问题。

总的来说，这次关于Deepseek R1硬件基准测试的讨论为大家提供了丰富的信息和多样的观点，有助于更全面地了解不同硬件配置在运行该模型时的表现。