原贴链接

文章链接:https://digitalspaceport.com/how - to - run - deepseek - r1 - 671b - fully - locally - on - 2000 - epyc - rig/

讨论总结

这个讨论围绕在2000美元的EPYC服务器上本地运行Deepseek R1 671b展开。涉及硬件方面如SSD和RAM对运行的影响、硬件价格对比,还探讨了模型性能、标题是否存在混淆等技术问题,以及本地运行和使用在线服务在性价比、拥有权方面的优劣等,整体讨论氛围理性且具有一定的技术深度。

主要观点

  1. 👍 分享关于运行Deepseek R1的相关帖子链接
    • 支持理由:为有兴趣运行Deepseek R1的人提供更多信息资源。
    • 反对声音:无。
  2. 🔥 2000美元的服务器用于运行Deepseek R1 671b成本相对较低
    • 正方观点:与英伟达显卡价格相比,服务器价格有优势。
    • 反方观点:无。
  3. 💡 付费订阅不拥有任何东西,公司可能随意操作,倾向本地
    • 解释:订阅服务存在风险,本地运行更能自主掌控。
  4. 💡 在线服务花费2000美元可获取较多内容且麻烦少
    • 解释:从便捷性和内容获取量的角度看,在线服务有优势。
  5. 💡 在线服务虽便宜但不属于自己是遗憾的
    • 解释:强调拥有权的重要性,虽然在线服务性价比看似高,但缺少拥有感。

金句与有趣评论

  1. “😂 Just noodling on the cheapest way to play around with this hah. Not practical really, but fun!”
    • 亮点:表达以低成本方式运行Deepseek R1更多是出于趣味探索。
  2. “🤔 damn just a nvidia graphics card costs more than that”
    • 亮点:通过对比突出2000美元服务器运行Deepseek R1在成本上的优势。
  3. “👀 Owners of that system are going to get some great news today also as they can hit between 4.25 to 3.5 TPS (tokens per second) on the Q4 671b full model.”
    • 亮点:给出了该系统在模型性能方面的好消息。
  4. “😉 I think on this build you are limited by the RAM to that 16k context.”
    • 亮点:指出了构建时受RAM限制的情况。
  5. “🤓 You’re missing the point. If you pay for subscriptions you don’t own anything. Which means companies like adobe can charge any amount or enforce any policy they like.”
    • 亮点:阐述了订阅服务在拥有权方面的弊端。

情感分析

总体情感倾向比较理性中立。主要分歧点在于选择本地运行还是在线服务,一方认为在线服务性价比高且麻烦少,另一方则强调本地运行有拥有权且避免公司随意操作的风险。可能的原因是大家从不同的需求角度出发,如成本、便利性、自主性等。

趋势与预测

  • 新兴话题:不同硬件配置下的模型运行效率可能会引发后续讨论。
  • 潜在影响:对深度学习模型在本地运行的推广和优化有一定的参考意义,也会影响用户在选择本地运行或在线服务时的决策。

详细内容:

《关于在 2000 美元 EPYC 服务器上本地运行 DeepSeek R1 671b 的热门讨论》

在 Reddit 上,一篇题为“How To Run Deepseek R1 671b Fully Locally On a $2000 EPYC Server”的帖子引发了热烈讨论。该帖子附带的链接为:https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ ,获得了众多关注,评论数众多,讨论主要围绕服务器配置与性能展开。

讨论焦点与观点分析: 有人指出,在 AI 设备中,不是 SSD 而是 RAM 起到关键作用,因为 96GB 的 RAM 充当了 SSD 的大缓存,减少 RAM 量会导致性能急剧下降。也有人表示自己有 128G 的 RAM,不担心这方面的限制。

在个人经历和案例分享方面,有人提到了一些关于使用 SSD 和 RAM 运行 R1 的相关帖子链接:https://old.reddit.com/r/LocalLLaMA/comments/1idseqb/deepseek_r1_671b_over_2_toksec_without_gpu_on/ 、 https://old.reddit.com/r/LocalLLaMA/comments/1iczucy/running_deepseek_r1_iq2xxs_200gb_from_ssd/

有人认为,拥有特定系统的用户今天会得到好消息,因为在 Q4 671b 全模型上能达到每秒 4.25 到 3.5 个令牌。但也有人质疑 Q4 是否是完整模型,认为标题容易造成混淆。

关于硬件配置,有人提出,如果 64 核的 Rome 运行在 100%,是否意味着 DDR4 2400 不是瓶颈?还有人分享了自己使用不同配置服务器的经历,如使用 R720xd 服务器、R730 服务器等,涉及到内存通道、频率、核心数等方面。

在讨论中,有人认为对于家庭使用,尝试在大型模型上使用 GPU 有些过度,二手服务器用于 CPU 推理就不错。也有人表示服务器相关的情况与普通 PC 不同,不同的 CPU 有不同的内存通道数量。

此外,关于是选择本地搭建还是使用在线服务也有争论。有人认为在线服务方便且费用可能更低,而有人则坚持本地搭建,认为这样能拥有更多自主权,不受制于公司政策,同时也有人担心使用在线服务的隐私问题。

这场讨论展示了大家对于服务器配置和模型运行方式的不同看法和丰富经验,为相关技术爱好者和从业者提供了有价值的参考和思考。