原贴链接

嗨，我是一名生物医学人工智能领域的博士后研究员，刚刚获得了5000英镑的硬件成本资助。我想要一台台式机来微调并推理大参数语言模型。这些都是私人健康数据，所以本地部署是关键！理想情况下，也能有足够的能力本地托管并运行用于实时患者交互应用的推理，所以要尽量减少延迟。我想在价格范围内最大化计算能力以适应未来需求——这将是一个新建学术部门的主力机器。我看到过很多不同预算下的CPU/GPU组合的讨论。目前我在想，使用两块RTX 4090是否可行，或者这对大多数主板/机箱来说是不是性能过剩/太紧凑了。或者我是否应该等到2025年英伟达的下一代GPU产品？同样，新的配备M3/4芯片和大统一内存的苹果产品看起来不错，但我想知道这些是否不如自己组装一台Linux/Windows机器划算。我只是想就这种情况下如何最好地利用这笔钱寻求一些建议——我在硬件方面经验很少（非常习惯于使用破旧过时的大学电脑！）（我也做一点计算机视觉、人工智能搜索和图网络研究——但主要重点是大语言模型）

讨论总结

原帖是一位生物医学AI领域的博士后研究人员，有5000英镑的硬件预算用于构建单机桌面设备来微调及推理大型参数语言模型（LLM），且数据为私人健康数据所以强调本地运行和低延迟。评论主要围绕着该预算下各种硬件的推荐、不同硬件的优缺点、性价比等方面展开，有支持和反对不同硬件选择的声音，整体讨论氛围比较理性务实。

主要观点

  1. 👍 苹果电脑不适合用于实时患者交互应用中的LLM推理
    • 支持理由：其极慢的提示处理速度使得在实际应用中不可用，除非运行小模型。
    • 反对声音：无。
  2. 🔥 3090在英伟达推出特定产品前是最佳选择
    • 正方观点：在特定显存或新特性推出前，性价比等综合考虑下3090更优。
    • 反方观点：有观点认为4090等也可考虑，4090性能可能更好。
  3. 💡 4090用于AI不值得
    • 解释：相比3090在AI方面提升不大且价格贵，性价比不高。
  4. 💡 可以用AMD Threadripper 3000/5000 PRO系列构建服务器并搭配二手RTX3090
    • 解释：在预算有限的情况下是一种较好的搭建方式。
  5. 💡 硬件选择取决于需求
    • 解释：不同的研究需求对硬件要求不同，如M3/4看似简单但不够强大，在某些需求下不合适。

金句与有趣评论

  1. “😂 Then forget about Macs. While they are good for personal usage when speed doesn’t matter, their extremely slow prompt processing will make it unusable for real life applications unless you are running a small model like 8B.”
    • 亮点：直接点明苹果电脑在这种场景下的劣势。
  2. “🤔 3090 will remain to be best offer until Nvidia pushes out a consumer card with 48gb Vram or they invent some new feature that makes it worth getting the new gen.”
    • 亮点：给出3090成为最佳选择的条件。
  3. “👀 4090 is a waste of money. They aren’t that good over 3090 for AI.”
    • 亮点：简洁地表达对4090用于AI的否定态度。
  4. “😂 I would deck out a M4 Max with >64GB VRAM. Oh, wait… you want to fine tune?”
    • 亮点：先推荐后意识到不适合微调需求，有反转感。
  5. “🤔 people thinking that nvidia gpus are so much faster than Apple Silicon (i am not a apple fanboi): gpus are significantly faster in batch mode (serving many clients in parallel) but barely faster when doing single requests”
    • 亮点：客观比较了Nvidia GPU和苹果芯片在不同请求模式下的速度差异。

情感分析

总体情感倾向是比较中性理性的。主要分歧点在于不同硬件的选择上，例如3090和4090的优劣比较，苹果电脑是否可用等。原因是不同硬件在不同应用场景下（如是否用于实时患者交互、不同模型大小的推理或微调等）各有优缺点，大家基于自己的经验和对硬件性能的理解来发表观点。

趋势与预测

  • 新兴话题：RTX 6000 ada可能成为新的讨论点，因其有48GB显存可能运行大模型，但之前未被提及。
  • 潜在影响：如果大家更多地关注到RTX 6000 ada这种未被提及的硬件，可能会改变一些人在类似预算下的硬件构建思路，影响硬件市场相关产品的关注度和销售情况。

详细内容：

£5000 预算，如何构建最优 LLM 硬件？

在 Reddit 上，一篇题为“£5000 LLM rig budget - what is the best setup for the money?”的帖子引起了广泛关注。该帖子获得了众多回复和讨论，点赞数和评论数众多。

这位身为生物医学 AI 领域的博士后研究员，刚获得 5000 英镑的硬件经费，想要一台能在本地微调并推理大型参数语言模型的桌面设备，由于涉及私人健康数据，本地化至关重要，还希望能满足实时患者互动应用的需求，以尽量减少延迟。他在不同硬件配置，尤其是 CPU 和 GPU 组合的选择上存在困惑，比如是选择 2 个 RTX 4090 还是等待英伟达 2025 年的新 GPU 产品，又或者是选择苹果新推出的 M3/4 芯片等。

讨论焦点与观点分析：

在讨论中，众多观点纷纷涌现。有人认为，考虑到实时应用和速度需求，应放弃苹果的 Mac 产品。对于是否等待英伟达新 GPU 产品，大家看法不一。不少人认为 3090 是目前性价比最高的选择，相比 4090 在 AI 方面表现出色，尤其是在 LLM 处理中，VRAM（显存）往往是瓶颈而非计算能力。比如，有用户分享道：“我在 eBay 上以约 600 英镑的价格买到了二手的 3090。” 也有人提到 3090Ti 与 3090 的差异，认为对于推理和训练，差别不显著，不值得为 Ti 版本多花钱。 还有用户建议选择 AMD 的线程撕裂者平台搭配多个 3090 显卡。但也有人提出不同看法，认为 4090 在某些方面具有优势。

共识方面，大家普遍认为在有限预算下，要充分考虑硬件的性能、价格和适用性。特别有见地的观点如 3090 在特定场景下的优势，丰富了讨论的深度。

总之，关于如何在 5000 英镑预算内构建最优的 LLM 硬件，Reddit 上的讨论丰富而多元，为这位研究者提供了众多有价值的参考。