原贴链接

大家好，我的学校给了我一笔1500美元的一次性拨款用于大型语言模型（LLM）研究。我想用这笔钱买一套设备（完成研究后设备归我，所以我不想使用云服务）。目前我花1500美元能买到的（GPU、CPU、电源等）性能最高的整套设备是什么呢？如果有必要的话，我自己也愿意再出200 - 300美元。能源成本不是问题，我也愿意购买一些二手部件。我是新手，所以任何帮助我都会感激的！我希望能运行Llama 3.3 70B并最大限度地提高吞吐量/秒（t/s）。谢谢！

讨论总结

原帖作者获得1500美元的学校资助（必要时可自掏200 - 300美元）用于LLM研究，想购买包括GPU、CPU、电源等在内的设备来运行Llama 3.3 70B并最大化t/s，在能源成本不是问题且部分零件可购买二手的情况下，询问怎样配置性能最高。评论者们积极给出各种建议，主要围绕硬件构建和配置展开，涉及不同的硬件组合、预算分配方式等，整体讨论氛围较为积极务实。

主要观点

  1. 👍 若要运行70B类模型双3090是必要的
    • 支持理由：如果能够运行70B类模型是绝对的关键点，双3090能满足需求，多个评论者都有类似推荐。
    • 反对声音：无。
  2. 🔥 可考虑CPU推理
    • 正方观点：CPU推理时增加内存成本低，在令牌生成速度慢但可处理大文本，还可节省GPU资金等待新技术推出。
    • 反方观点：有评论者指出CPU因吞吐量限制难以达成有意义的成果。
  3. 💡 推荐u/CM0RDuck的构建方案
    • 支持理由：没有特别阐述，但表示如果可行就选择这个方案。
    • 反对声音：无。
  4. 💡 1500美元运行70B模型较难
    • 支持理由：列举了如在eBay上找设备等三种可选方案，说明难度较大。
    • 反对声音：无。
  5. 💡 推荐Cascade Lake Xeons（LGA3647）为AVX - 512最便宜的选择
    • 支持理由：阐述该CPU每个CPU有6通道DDR4 - 3200且最多28核（24核性价比最高），ECC DDR4 - 3200价格是普通无缓冲DIMM的一半等优势。
    • 反对声音：无。

金句与有趣评论

  1. “😂 如果能够运行70B类模型是绝对的关键点，那么双3090是必须的，这已经使你的预算达到2x700 = 1400美元。”
    • 亮点：清晰阐述双3090在满足运行70B模型上的必要性以及在预算中的占比。
  2. “🤔 最 重 要 的 是 显 卡 当 然 了 。”
    • 亮点：简单直接地强调了显卡在硬件配置中的重要性。
  3. “👀 对于那笔钱在波斯尼亚和黑塞哥维那你可以买到2台具有32GB内存和4GB显卡以及i9处理器的笔记本电脑。当然是由组装部件（非原装）。”
    • 亮点：提供了不同地区在预算内可购买到的设备情况，体现地区差异。

情感分析

总体情感倾向为积极。大家都在积极为原帖作者出谋划策，没有明显的分歧点。可能的原因是原帖是寻求技术设备构建方面的建议，评论者们主要从技术层面回应，较少涉及有争议性的话题，且目标都是为了帮助原帖作者构建合适的设备。

趋势与预测

  • 新兴话题：在有限预算下采用CPU推理的可行性以及如何优化。
  • 潜在影响：对其他有类似预算限制进行LLM研究的人员在设备构建方面有参考价值，可能影响相关硬件二手市场的供需关系，促使硬件卖家调整针对LLM研究需求的产品供应策略。

详细内容：

标题：1500 美元如何打造高性能电脑配置用于 LLM 研究

在 Reddit 上，有一则颇受关注的讨论帖。一位学生因学校给予的 1500 美元用于 LLM 研究的一次性拨款，希望购买一套性能强劲的电脑配置（包括 GPU、CPU、电源等），并表示愿意自掏 200 - 300 美元。该帖子获得了众多回复和热烈讨论。

讨论的焦点主要集中在如何在预算内实现最优配置。有人建议采用“Ws-570 ACE pro MB，从 eBay 购买戴尔 OEM 版的双 RTX 3090s，128GB 内存，锐龙 9，2TB NVMe 硬盘，Phantek enthoo pro 2 机箱”的方案。也有人认为如果要运行 Llama 3.3 70B 模型，双 3090 是必须的，仅显卡就花费约 1400 美元，还需考虑不低于 100 美元的电源。

有用户分享道：“我有双 3090 每张 500 欧元，i5 14600kf 200 欧元，z690 Taichi 主板 100 欧元，64GB DDR5 内存 200 欧元，二手机箱 50 欧元，990pro 90 欧元，最重要的当然是 GPU 啦。或许像我这样的优惠不太好找，取决于你所在的地区，价格可能更便宜。我这套大概 1700 欧元。”

还有人提到：“对于 AVX - 512，最便宜的选择是 Cascade Lake Xeons（LGA3647），其平台已相当便宜。每个 CPU 提供 6 通道的 DDR4 - 3200 和多达 28 个核心。”

然而，也有人直言：“我认为真正的答案是不行，你的钱不足以以可用的方式运行该模型。要么再找 1000 美元，要么习惯运行小于 70B 的模型。”

在这场讨论中，大家对于如何在有限预算内满足需求存在不同观点和建议，但都在努力为这位同学出谋划策，以实现性价比最优的配置。