原贴链接

YouTube上只有几个视频展示了人们购买旧服务器硬件，并将一堆核心、内存和CPU内存拼凑成价格实惠的PC。有没有公司或个人以此为生（或作为副业）呢？我没有1万到5万美元来购买带有多个高端GPU的家庭服务器。

讨论总结

原帖寻求构建能处理70B本地大型语言模型（LLMs）且成本不高的PC的相关帮助。评论者们纷纷分享自己的经验或给出建议，提到了各种硬件配置（如不同型号的GPU、CPU、主板等）、不同设备（包括苹果的Mac系列、戴尔服务器等）在运行70B本地LLMs时的情况，如运行速度、所需显存、内存大小、成本花费等，整体氛围较为积极，大家积极分享干货。

主要观点

  1. 👍 可以利用低成本组件构建满足需求的设备
    • 支持理由：多位评论者分享了低成本构建服务器或电脑的经验，如有人用不到1000英镑组装有80GB显存的设备，也有人提到以2500美元购买二手M1 Ultra Mac Studio可运行相关模型。
    • 反对声音：有观点认为构建成本很高，如处理70B以上模型需要多个GPU，这会花费很多钱，且开源和企业级LLM存在差距。
  2. 🔥 不同设备在运行70B本地LLMs时有不同的表现和性价比
    • 正方观点：许多评论者指出如MacBook Pro、Mac mini等苹果设备在不同配置下可运行70B本地LLMs，价格相对有优势；还有人提到一些旧服务器硬件或特定型号的GPU组合也能实现运行且成本较低。
    • 反方观点：部分人认为苹果设备在处理速度上可能较慢，或者存在如内存分配给GPU有限等问题；也有人觉得某些硬件配置虽然能运行但性能过剩。
  3. 💡 不同量化程度对运行70B本地LLMs的影响
    • 解释：有评论者提到不同量化程度下运行70B模型所需的显存不同，如8位量化约需70GB显存，16位版本则需140GB显存。

金句与有趣评论

  1. “😂 Mac studio m1 ultra comes in 128gb and can handle it. Should be nowhere near 10k”
    • 亮点：直接点明了Mac studio m1 ultra价格相对较低且能处理相关任务，对比原帖提到的高额花费，具有很强的吸引力。
  2. “🤔 I built mine for about $2200USD but with 2xMI50 so only 32Gb VRAM total”
    • 亮点：给出了自己构建服务器的具体花费和配置情况，为其他人提供了实际参考。
  3. “👀 Bring me two 3090s and a clapped out 10 year old dell PC and I can have you up and running in about 5 minutes.”
    • 亮点：用一种比较夸张的方式表达利用3090显卡和旧电脑就能快速实现运行，强调了某些硬件组合的有效性。

情感分析

总体情感倾向积极，大家都在积极分享自己的知识和经验，以帮助原帖作者或者其他有类似需求的人。主要分歧点在于不同硬件设备的选择和性价比，以及构建成本的高低。产生分歧的原因是不同用户对于硬件的性能、成本、使用场景等方面有不同的需求和考量。

趋势与预测

  • 新兴话题：等待AMD AI 395+ miniPCs的推出及其定价，以及英伟达将推出的3000美元设备的更多细节和使用情况。
  • 潜在影响：如果AMD的新产品价格合适，可能会改变人们在构建处理70B本地LLMs的PC时的硬件选择；英伟达设备如果软件解锁付费等问题得到解决，也可能成为热门选择，影响相关市场的发展。

详细内容：

《谁能打造能运行 70B 本地 LLM 的电脑？Reddit 热门讨论》

在 Reddit 上，有一个关于打造能处理 70B 本地 LLM 电脑的热门话题引起了众多网友的热烈讨论。该帖子获得了极高的关注度，众多网友纷纷分享自己的见解、经历和观点。

讨论的主要方向包括各种可行的硬件配置方案、不同设备的性能表现以及成本考量等。核心问题在于如何在有限的预算内构建出能够高效运行 70B 本地 LLM 的电脑。

有人分享道：“我用 I9-9900K 搭配 2 个 NVIDIA 3090 显卡，加上二手配件，总共花费约 1700 美元，能运行 70B Q4 量化。”还有人表示：“买一台 Older Dell Xeon p910 再加上 512GB 内存，能运行 full deepseek，总共花费约 1000 美元。”

有人认为 Mac 系列产品是不错的选择，比如“买一台配备 Max 或 Ultra 处理器且有足够内存的 Mac Studio 就行。”但也有人觉得自行组装的 PC 更具性价比，比如“用 2 个 3090 显卡加上合适的主板、CPU 等组件，虽然成本较高，但性能出色。”

此外，还有各种独特的观点和建议。比如有人提到：“可以利用旧电脑加上一些配件和改造来实现。”

总体而言，讨论中的共识是在追求运行 70B 本地 LLM 的同时，需要综合考虑性能、成本和自身需求。而特别有见地的观点如巧妙利用二手配件或特定型号的组合来降低成本并满足需求，丰富了整个讨论。

希望通过这次的讨论，能让大家对如何打造能运行 70B 本地 LLM 的电脑有更清晰的认识和思路。