原贴链接

我想要搭建一个本地大语言模型（LLM），看到英伟达显卡的价格时我差点疯了。所以我决定用低成本配件来搭建。配置如下：在二手市场花50美元买了华硕的CROSSHAIR V FORMULA - Z主板、4条8GB的Ballistix Sport DDR3 1600 MT/s内存（共32GB）以及AMD FX - 8350八核处理器。我这么考虑是因为它有4个PCIe插槽。我自己有机箱、电源和1TB固态硬盘。在易趣上，我花80美元买了2个P102 - 100显卡。我选这个显卡是因为内存带宽对LLM性能很关键。接着介绍了不同显卡的内存带宽情况，如NVIDIA GeForce RTX 3060不同版本、RTX 3060 Ti、4000系列等显卡的内存接口、内存量和带宽。P102 - 100有10GB内存、320bit内存总线和440.3GB的内存带宽。对比发现，如果只是为了运行本地LLM所需的内存带宽和核心数，没必要花700 - 1200美元买更好的显卡，80美元的P102 - 100就够了，每个P102 - 100有3200个核心和440GB带宽。总成本130美元的这个配置可以运行家庭助手、在GPU上运行更快的语音模型、用Phi - 4 - 14B辅助、用llama3.2 - 3b做音乐助手，响应时间不到1秒，不需要OpenAI，运行无额外成本，甚至因为用太阳能逆变器所以没有电费。然后给出了一些模型的测试数据，如llama3.2:1b - instruct - q4_K_M等不同模型的每秒处理令牌数和大小。最后提到这个配置虽然在图像生成方面很慢（ComfyUI生成1024x765的图像要2分钟以上），但总共130美元就能运行27B的模型已经很不错了，如果你只是想玩玩，没必要花几千美元。

讨论总结

原帖作者分享了以130美元低成本构建本地大型语言模型（LLM）的过程，包括硬件选择和性能测试结果等。评论者们大多对此表示赞赏，讨论涉及到多个方面，如硬件设备相关（如对P102 - 100卡的评价、对不同显卡的比较、硬件获取等）、模型运行（如不同模型的运行速度、多卡使用等）、性价比的探讨、个人类似经历分享，也有对设备在图像生成、图像识别等方面性能的疑问。整体氛围积极，大家在原帖的基础上进行信息交流与观点分享。

主要观点

  1. 👍 原帖低成本构建本地LLM很棒
    • 支持理由：很多评论者认可这种低成本的构建方式，觉得很有趣、性价比高，还能满足玩大型模型的需求。
    • 反对声音：无。
  2. 🔥 不同地区构建成本可能不同
    • 正方观点：如FPham提到在他所在地区，130美元的构建成本可能无法重复实现，因为其他成本因素（运输、税收等）会增加最终成本。
    • 反方观点：Boricua - vet认为只要管理好预期就可重复实现。
  3. 💡 3060显卡在AI运行方面的表现
    • 有观点认为3060能胜过帕斯卡时代的显卡，但也有数据表明在运行特定模型时，12GB的RTX 3060每秒获得12个令牌，4060 ti 16G每秒获得23个令牌。
  4. 💡 在特定条件下不需要顶级主板来构建
    • 解释：如果所有处理和生成都在显存中进行，不需要顶级主板，有评论者以自己使用旧CPU和慢DDR3的成果为例。
  5. 💡 多卡使用对运行大模型的影响
    • 一方面探讨利用多个便宜的卡运行70B模型的可能性，另一方面指出运行大模型时增加卡不能增加可用显存，多卡理论上可使模型运行速度加快，但多数情况不会将模型拆分到卡间且不会增加速度，还可使用vllm进行并行化部署。

金句与有趣评论

  1. “😂 In a cave, with scraps!”
    • 亮点：以一种诙谐幽默的方式形容原帖作者用低价拼凑硬件设备的情况，生动呼应低成本构建主题。
  2. “🤔 The 12GB 3060 is the best card for AI, if you don’t have enough money.”
    • 亮点：指出在资金不足时12GB的3060对于AI运行的适用性。
  3. “👀 This should be the go to post for people asking for hardware recommendations.”
    • 亮点：强调原帖对于寻求硬件推荐的人的参考价值。
  4. “😂 I have one of these cards, and I regret not buying another one. You got a great deal!”
    • 亮点：表达对作者抢到好交易的羡慕之情。
  5. “🤔 It should still run those YOLO models pretty well though afaik.”
    • 亮点：对低成本构建设备运行YOLO模型的性能表示乐观。

情感分析

总体情感倾向是积极正面的。主要分歧点在于不同地区构建低成本本地LLM的可重复性以及部分硬件（如3060显卡）的性能评价。可能的原因是各地的成本构成因素不同，以及不同人对硬件性能的衡量标准和使用场景不同。

趋势与预测

  • 新兴话题：如特定模型（qwen 32b）在特定条件下的运行方式，不同硬件（如Mac mini m1）运行LLM的性能等可能会引发后续讨论。
  • 潜在影响：对于那些想要低成本体验本地LLM运行的用户具有一定的启发和参考价值，可能促使更多人尝试用低成本构建自己的本地LLM，也可能影响相关硬件在LLM运行场景下的市场关注度。

详细内容：

《低成本搭建本地 LLM 引发 Reddit 热议》

在 Reddit 上，一则关于“Budget AKA poor man Local LLM”的帖子引起了广泛关注。该帖主分享了自己以 130 美元的低成本搭建本地 LLM 的经历，获得了大量点赞和众多评论。帖子主要内容是帖主因 Nvidia 显卡价格过高，转而选择价格低廉的二手硬件，如 P102-100 显卡等，最终成功搭建了能运行多种模型且响应时间短、成本低的本地 LLM 系统。

讨论焦点主要集中在成本效益、性能表现以及应用场景等方面。有人认为这是一个很棒的尝试，为想尝试更大模型但又不想花费巨额资金的人提供了思路。比如，有用户分享道：“作为一名在硅谷工作了 10 年的软件工程师，我亲身经历了技术行业的快速变革。在 2015 年，我所在的初创公司还在为基础设施烦恼，但到了 2020 年，我们已经完全依赖云服务。这种转变不仅提高了效率，还彻底改变了我们的工作方式和团队结构。”也有人对其图像生成能力和响应速度表示了不同看法。

有人认为 2 分钟的图像生成时间虽长，但考虑到成本几乎可以忽略不计，图像质量也不错。但也有人质疑如 Gemma 27B 模型 12 tk/s 的速度在生成较长响应时是否过慢。

还有用户提到，如果想尝试类似搭建，需要关注市场动态，及时获取优惠信息。比如有用户提供了一个相关的案例分享链接：https://www.reddit.com/r/LocalLLaMA/comments/1f57bfj/poormans_vram_or_how_to_run_llama_31_8b_q8_at_35/ 。

在讨论中，对于能否使用多张 P102-100 显卡运行更大模型，观点不一。有人认为理论上可以提高速度，但不会增加可用 VRAM；也有人认为这并非普遍适用，实际成本可能远超预期。

总的来说，这次关于低成本搭建本地 LLM 的讨论展现了技术爱好者们在追求性价比和创新应用方面的探索，为更多人提供了有价值的参考和思考方向。