原贴链接

你好，正在寻求一些关于本地托管DeepSeek R1的硬件选择的提示/方向（我的预算最多40k美元）

讨论总结

原帖询问在40k美元预算下搭建运行deepseek r1的机器有哪些选择。评论者们给出了各种各样的建议，包括硬件选择（如二手RTX 8000 GPU、Mac设备、Supermicro工作站等）、考虑成本效益（如使用API可能更划算、不同硬件组合的性价比）、系统建设（如等待Project Digits、采用云部署等）等方面，同时也存在一些争议点，例如Mac设备运行速度的快慢等。

主要观点

  1. 👍 可以在eBay等地方寻找二手RTX 8000 GPU用于搭建
    • 支持理由：16个RTX 8000 GPU花费32k美元可提供768GB显存来运行R1的量化版本，剩余8k美元可用于购买GPU服务器机箱和网络硬件连接设备。
    • 反对声音：无
  2. 🔥 使用API对于单个用户更便宜且性价比更高，企业则可考虑自建系统
    • 正方观点：API可节省成本，企业自建系统便于数据管理等。
    • 反方观点：无
  3. 💡 原帖应明确性能要求以及是否运行完整模型
    • 解释：这有助于更精准地给出硬件选择建议。
  4. 💡 可以等待Project Digits以满足需求
    • 解释：四个Project Digits将有512gb显存。
    • 反对声音：对于可连接数量存在不同观点。
  5. 💡 用Mac设备运行模型可节省大量资金
    • 支持理由：如2台Mac Studio M2 Ultra能节省30k以上。
    • 反对声音：在多用户场景下速度会很慢，不适合企业使用。

金句与有趣评论

  1. “😂 You might be able to find 16 rtx 8000 48gb gpus for about 2k each used if you look around for a while on places like eBay.”
    • 亮点：提供了一种具体的硬件获取途径和价格参考。
  2. “🤔 使用一个API对于单个用户来说更便宜且更具成本效益。”
    • 亮点：从成本效益角度给出了不同用户的选择建议。
  3. “👀 2 mac studio m2 ultra’s. You saved more than 30k. You are welcome.”
    • 亮点：直观地展示了使用Mac设备在成本节省方面的优势。
  4. “😂 With an ethernet switch and llama.cpp you can connect as many as you like.”
    • 亮点：针对设备连接数量提出一种不同观点。
  5. “🤔 It’s split by layer so each device gets it’s own portion of the model.”
    • 亮点：解释了模型在多设备间的分配方式。

情感分析

总体情感倾向比较中立，主要是在提供建议和分享观点。分歧点在于不同硬件选择的优劣，如Mac设备的运行速度是否适合不同场景、硬件组合的性价比等。原因是大家从不同的角度（如个人用户、企业用户、性能、成本等）出发来考虑问题。

趋势与预测

  • 新兴话题：随着对成本效益的深入探讨，可能会引发关于不同硬件组合在未来AI发展中的性价比变化的讨论。
  • 潜在影响：如果更多人采用成本效益高的硬件方案，可能会影响deepseek r1相关应用在本地的普及程度，也可能影响硬件市场的供需关系。

详细内容：

标题：4 万美元预算搭建 DeepSeek R1 主机，Reddit 热议多样方案

在 Reddit 上，一则关于“我有 4 万美元预算，需要搭建能运行 DeepSeek R1 的机器，我有哪些选择”的帖子引发了热烈讨论。该帖获得了众多关注，评论数众多。

帖子主要探讨了在 4 万美元预算内如何选择硬件来搭建本地运行 DeepSeek R1 的设备。讨论方向包括不同显卡的选择、服务器机箱、网络硬件的配置，以及对性能、成本、适用性等方面的考量。

核心问题和争议点在于如何在有限预算内实现最优配置，以满足不同的使用需求，例如是个人测试还是企业级服务。

在讨论中，有人认为如果在 eBay 上寻找，或许能以约 2000 美元的价格买到 16 个 RTX 8000 48GB 显卡，这样 32000 美元可用于 768GB 的 VRAM，剩下 8000 美元可用于购买两个 GPU 服务器机箱和快速网络硬件。但也有人指出，如果是为整个团队或公司提供服务，这样的配置可能会动力不足。

有用户提到这是一个 370 亿参数的模型，并非密集型，所以不需要 768GB。还有用户提供了相关硬件的性能参数和计算分析，并给出链接。

有人认为使用 API 对于单个用户更便宜且更具成本效益，但对于企业而言，拥有自己的系统可能是更好的选择。同时也有人考虑到投资 4 万美元搭建系统，还需考虑电力消耗成本和系统寿命，以及未来是否需要更多投入升级。

一些用户分享了个人经历和案例，比如有人测试过将多台不同显卡的电脑连接起来，性能约为最弱环节的 90%。

有人提出等待 Nvidia 6000 Ada 继任者，还有人认为 Mac 工作室的方案可行，也有人对此表示怀疑。

总之，Reddit 上的讨论展现了对这一问题的多种观点和深入思考。