原贴链接

帖子仅包含一个视频链接，无具体内容可翻译

讨论总结

本讨论围绕DeepSeek R1 671B本地运行展开，主要涉及硬件相关话题，如不同硬件设备（CPU、GPU等）在运行该程序时的性能表现、速度情况、硬件之间的搭配合理性等。大家分享自己的设备运行数据、对不同工具框架的看法，同时也存在一些疑问与推测。

主要观点

  1. 👍 60%任务转至GPU的实际速度未达预期
    • 支持理由：原评论者的自身感受与预期对比
    • 反对声音：无
  2. 🔥 GPU读取模型迅速，合理分配模型至GPU和CPU可提升速度
    • 正方观点：GPU的特性决定其读取模型快，合理分配资源能利用此优势提升速度
    • 反方观点：无
  3. 💡 k - transformers框架有助于提高速度
    • 解释：该框架可将重复的层、张量放到机器的快速部分，类似搭积木
  4. 💡 Llama.cpp目前运行模型的可控性不足
    • 解释：在当前情况下，运行模型时的可控性较差，但未来可能会改进
  5. 💡 推荐使用ktransformers来加快DeepSeek R1 671B的运行速度
    • 解释：有人推荐此工具并认为能加快运行速度

金句与有趣评论

  1. “😂 I thought having 60% offloaded to GPU was going to be faster than this.”
    • 亮点：表达出对GPU任务转移速度未达预期的惊讶
  2. “🤔 The GPUs read the model instantly. You put half the model in the GPU.”
    • 亮点：简单明了地阐述了GPU读取模型的优势和一种资源分配思路
  3. “👀 If you want better speed, you want the k - transformers framework since it allows you to position repeated layers, tensors, to fast parts of your machine like legos.”
    • 亮点：形象地解释了k - transformers框架提升速度的原理
  4. “😎 Llama.cpp currently runs the model with less control, but we might see options upstreamed/updated in the future.”
    • 亮点：指出Llama.cpp目前的不足以及对未来的期待
  5. “🤨 Try using [https://github.com/kvcache - ai/ktransformers](https://github.com/kvcache - ai/ktransformers) ktransformers, it should speed it up.”
    • 亮点：直接推荐工具并表明其作用

情感分析

总体情感倾向较为中性，主要是围绕技术问题进行讨论。分歧点在于不同硬件搭配和工具使用是否能达到预期的速度提升效果，原因是大家使用的硬件设备、运行环境等各不相同，导致对各种设置的效果有不同的体验和预期。

趋势与预测

  • 新兴话题：Apple硅芯片机器在DeepSeek R1 671B运行方面的适用性和速度。
  • 潜在影响：如果能够确定某些硬件或设置在运行DeepSeek R1 671B时具有显著优势，可能会影响相关用户对硬件的选择，也可能促使开发者针对不同硬件进行优化。

详细内容：

标题：关于 DeepSeek R1 671B 本地运行的热烈讨论

在 Reddit 上，一个关于“DeepSeek R1 671B 运行本地”的帖子引起了众多用户的关注和热烈讨论。该帖子包含了一个视频链接：https://v.redd.it/mdorhzv876je1/DASH_720.mp4?source=fallback ，获得了大量的点赞和众多评论。

讨论的核心问题主要集中在不同硬件配置下 DeepSeek R1 671B 的运行速度，以及如何优化以提高性能。

有人认为将部分模型置于 GPU 中能使 CPU 读取速度提升两倍，但也有人指出使用 k - transformers 框架能进一步提升速度，相关链接为：https://github.com/ggerganov/llama.cpp/pull/11397 。还有人分享了使用 ktransformers 的经验：“尝试使用https://github.com/kvcache-ai/ktransformers ktransformers，它应该能加快速度。”

有人的 CPU 仅有设置速度更快，达到了近 3 t/s，比如“我的 7950x 搭配 192Gb ddr5 双通道，速度很快。”但也有人认为老旧的 CPU 会成为瓶颈，比如“你真的需要新的 CPU，搭配这么旧的处理器，5 个 3090 简直是浪费，会严重限制性能。”

对于 M2 Ultra 的性能，大家看法不一。有人说“M2 Ultra 运行速度很快，每秒能处理 14 - 16 个 token，且推理时功耗仅 66w。”但也有人质疑其速度，“3 t/s 比 GPU 慢多了，A M2 Ultra 能达到 14 - 16t/s。”

有人分享了自己在不同硬件和配置下的测试结果，比如“我用 2 个 3090 到 11 个进行了一些测试，直到能够卸载约 44/62 层，速度才达到 6 - 10 t/s 。”

还有人探讨了量化和非量化 kv 缓存、内存通道、DDR 速度等因素对性能的影响。

总之，这场讨论充分展示了大家在探索 DeepSeek R1 671B 本地运行性能优化方面的热情和深入思考。