原贴链接

这套设备将纯粹用于运行本地大语言模型，并与我的Mac台式机来回发送数据（我将把台式机升级到今年晚些时候推出的新款Mac Pro，它本身就很强大）。我经常编程，我喜欢那种超快速推理模型的想法，不需要通过外部网络发送任何数据，而且我认为在未来一年内会有一些惊人的优化和精简。如果有必要，预算可能会再增加5000到10000美元。不管怎样，请给点建议！

讨论总结

原帖作者有25,000美元（必要时可增加5 - 10,000美元）预算，想要购买用于运行本地大型语言模型（LLM）的机器，主要用于编码和快速推理模型。评论者们从不同角度给出了各种建议，包括硬件的推荐、性价比的分析、预算的规划等。一些人认为构建本地设备性价比不高，不如使用API或云服务，也有人对原帖主投入高额资金表示质疑，同时也有许多人针对原帖需求给出了具体的硬件设备组合推荐。

主要观点

  1. 👍 推荐特定主板用于运行本地LLM并搭配一定数量的GPU
    • 支持理由：主板有特定的插槽和通道数，可满足与GPU的搭配需求，如dazzou5ouh推荐主板https://www.asrockrack.com/general/productdetail.asp?Model=ROMED8 - 2T#Specifications并阐述了相关规格
    • 反对声音：Wrong - Historian认为7个GPU是浪费的，要获得张量并行的全部好处需要2^N个GPU（4个或8个）
  2. 🔥 目前使用API比自己构建设备更高效
    • 正方观点：规模经济和风险投资偏好等因素使得API性价比更高，如drumttocs8提出
    • 反方观点：如果有闲钱或者把这当作爱好，自己构建设备也可行，如Regular_Boss_1050回应
  3. 💡 硬件和软件发展迅速，无特定需求可选择订阅或云服务
    • 解释：Cergorach认为硬件和软件更新换代快，现在购置设备可能很快过时，除非有特定需求，否则选择订阅或云服务更明智
  4. 💡 在预算内推荐购买8个3090组成的设备用于运行本地LLM
    • 解释：性价比很高，能得到192GB高带宽显存，还剩下15000美元可用于其他方面，如某评论者推荐
  5. 💡 预算充足时可考虑使用API积分或云端部署GPU
    • 解释：Low - Opening25认为这样可以使用多年，在硬件更新换代时可能更具优势

金句与有趣评论

  1. “😂 dazzou5ouh：This motherboard https://www.asrockrack.com/general/productdetail.asp?Model=ROMED8 - 2T#Specifications”
    • 亮点：这是一个具体的主板推荐，为想要构建本地LLM运行设备的人提供了一个硬件选择方向。
  2. “🤔 drumttocs8：At this point economy of scale paired with VC appetite means paying for API is several factors more efficient for a consumer than building your own.”
    • 亮点：从经济和投资的角度分析了使用API比自己构建设备更高效的原因。
  3. “👀 Low - Opening25：if you have $24k to burn through, just use API credits or deploy GPUs in the cloud, it will last you for years”
    • 亮点：提出一种与多数硬件构建不同的思路，强调了API积分或云端部署GPU的长期使用价值。
  4. “😂 segmond：你可以用约4000美元买到二手的a6000，5个就是20000美元。这就有240GB的显存。”
    • 亮点：给出了一种具体的硬件购置组合及相应的显存情况，对有预算限制的人有参考价值。
  5. “🤔 Cergorach：Development on both the hardware and the software side is going so fast that unless you have very specific hard needs, go either with subscriptions for proprietary models OR run the OS models in the cloud.”
    • 亮点：概括性地阐述了硬件和软件发展速度对设备购置决策的影响。

情感分析

总体情感倾向较为复杂。一部分人对构建本地LLM设备持积极态度，热情地给出各种硬件推荐和配置方案；另一部分人则持怀疑或否定态度，认为性价比低、容易过时或者质疑原帖主是否有足够资金投入。主要分歧点在于对本地设备构建的必要性和性价比的看法，这可能是由于大家的经济考量、对技术发展速度的预估以及对LLM设备使用场景的不同理解所导致的。

趋势与预测

  • 新兴话题：随着硬件发展，如AMD和Nvidia即将推出的LLM推理硬件，可能会引发关于新硬件在本地LLM运行中的性能、性价比等方面的后续讨论。
  • 潜在影响：如果更多人认为使用API或云服务性价比更高，可能会影响本地LLM设备的市场需求，同时也会促使硬件供应商更加关注云服务提供商的需求或者进一步优化本地设备的性价比。

详细内容：

标题：25000 美元预算，如何打造本地 LLM 机器引发 Reddit 热议

在 Reddit 上，有一个关于“25000 美元预算如何获取最佳的本地 LLM 机器”的帖子引起了广泛关注。原帖中，发帖者表示这台机器将专门用于运行本地 LLM，并与自己的 Mac 台式机进行数据交互，且预算有可能增加 5000 至 10000 美元。

此帖获得了大量的点赞和众多评论，引发了一系列激烈的讨论。主要的讨论方向包括不同硬件配置的选择、性价比的考量、云计算与本地部署的优劣对比等。

文章将要探讨的核心问题是：在给定的预算下，如何选择最适合且性能最优的硬件配置来满足需求，以及本地部署和云计算两种方案的权衡。

讨论焦点与观点分析

在讨论中，各种观点层出不穷。有人认为 7 块 GPU 是浪费的，为充分发挥张量并行的优势，应选择 2、4 或 8 块 GPU。也有人分享了自己运行特定型号的经历，比如[jeffwadsworth]表示用 HP Z8 G4 运行 4 位精度效果不错，还喜欢 80K 上下文。

对于硬件选择，有人推荐使用特定型号的 GPU，如[segmond]建议购买 5 块二手 A6000，围绕强大的 EPYC 平台进行构建。但也有人指出某些新型号在软件支持方面存在问题，如[drulee]提到不推荐使用某些型号用于生产准备。

有趣的观点如[UseHugeCondom]提出为什么主板设置 7 个插槽而不是 8 个。

在关于云计算与本地部署的讨论中，有人认为在特定情况下云计算更具成本效益和灵活性，如[drumttocs8]表示从规模经济和风险投资需求来看，为消费者支付 API 费用比自行构建更高效。但也有人强调本地部署在数据隐私方面的优势，比如[random_guy00214]担心数据被外部访问和存储。

此外，有人分享了实际的构建案例和遇到的问题，如[Conscious_Cut_6144]在使用 16 块 3090 时遇到 BIOS 检测问题。

总之，讨论中既有对硬件配置的深入探讨，也有对不同部署方式的利弊权衡，观点丰富多样。其中，关于数据隐私和成本效益的讨论形成了一定的共识，前者关系到敏感信息的保护，后者则影响决策的合理性。一些独特的观点如对插槽数量的疑惑，丰富了讨论的趣味性和深度。