原贴链接

大约一年前，我在一台配备3090 TI的PC上使用Ooboabooga w/ webUI，模型大小从7B到30B不等。由于这是我主要的PC（32:9显示器的游戏电脑），有时不太可靠，因为我没有完全使用显卡的全部VRAM。

现在我想重新审视本地模型，看到一些已经取得的进展，但我想在我的网络中使用一台专用机器，专门用于推理/运行模型（不进行训练）。我不确定我的选择有哪些。

我还有另外两台机器，但我认为它们不太适合用于这个目的。我有一台运行数十个Docker的unRAID服务器，没有物理空间放置GPU。我还有一台AM4台式机，配备3080显卡，本来朋友要拿走但一直没来取。

我愿意调整设备。我考虑过购买一个eGPU，并将我的3090ti添加到我的unRAID服务器中，或者购买一个兼容Oculink的迷你PC来使用我的3090ti。或者干脆买一台二手的Mac Studio。

讨论总结

本次讨论主要围绕如何在本地搭建大型语言模型（LLM）服务器展开，涵盖了硬件配置、性能优化、成本分析和隐私保护等多个方面。参与者分享了各自的硬件配置和使用经验，讨论了不同GPU和内存组合的优缺点，以及如何通过软件工具如llama.cpp、vLLM等提升模型加载和推理速度。此外，讨论还涉及了隐私保护的重要性，以及自建环境带来的控制权和乐趣。总体上，讨论氛围积极，参与者提供了丰富的实践经验和有价值的建议。

主要观点

  1. 👍 使用家庭服务器进行本地LLM推理

    • 支持理由：配置灵活，成本可控，适合个人和小团队使用。
    • 反对声音：硬件配置复杂，维护成本高。

  2. 🔥 高性能硬件配置

    • 正方观点：高性能硬件如3090显卡、大容量内存和SSD能显著提升模型加载和推理速度。
    • 反方观点：高性能硬件成本高，不适合预算有限的用户。

  3. 💡 隐私保护的重要性

    • 解释：本地运行LLM可以完全避免隐私泄露的风险，无需支付月费，且在没有互联网连接的情况下也能正常工作。

  4. 🚀 小型模型的优势

    • 解释：随着技术的发展，小型模型（如7B模型）在性能上已经可以与大型模型竞争，且资源消耗更低。

  5. 🛠️ 自建环境的乐趣

    • 解释：自建LLM服务器不仅能满足个性化需求，还能带来成就感和技术探索的乐趣。

金句与有趣评论

  1. “😂 Setup looks janky AF, but since it’s downstairs in the basement I don’t really care - as long as it doesn’t burn down the house I’m ok with that.”

    • 亮点：幽默地表达了对于硬件配置的随意态度，只要不引发火灾即可。

  2. “🤔 More control over what the ai does/knows, zero chance of privacy leaks, doesn’t cost a monthly fee, works without an internet connection.”

    • 亮点：简洁明了地总结了本地LLM服务器的四大优势。

  3. “👀 I am amazed at the Qwen2.5 7B models and just how good they are.”

    • 亮点：对小型模型性能的惊讶和认可，反映了技术进步带来的惊喜。

情感分析

讨论的总体情感倾向积极，参与者普遍对本地LLM服务器的搭建和使用充满热情。主要分歧点在于硬件配置的选择和成本控制，部分用户倾向于高性能硬件以提升性能，而另一些用户则更注重成本效益和小型模型的应用。这种分歧可能源于个人需求和预算的不同。

趋势与预测

  • 新兴话题：小型模型和低成本硬件的结合可能会成为未来讨论的热点，尤其是在资源有限的环境下。
  • 潜在影响：随着本地LLM服务器的普及，数据隐私和安全性将得到更多关注，相关技术和法规可能会进一步发展。

详细内容：

标题：人们在本地 LLM 服务器上的多样选择

在 Reddit 上，有一个关于“人们在本地 LLM 服务器上使用什么配置”的热门讨论，获得了众多用户的关注和参与，评论数众多。原帖作者之前使用 Ooboabooga 与 webUI 搭配，但由于显卡资源分配问题，体验不太稳定。现在他想重新探索本地模型，考虑专门为推理和运行模型设置一台机器，却不确定有哪些选择。

讨论焦点与观点分析： 有人使用常规家庭服务器进行推理，配置包括华硕 A320 主板、锐龙 7 3700、32GB 内存、NVMe 和 SATA SSD 存储等，还运行着两块 3090 和一块 4060TI 显卡。不过，大型模型加载时间较长，而且需要注意显卡散热和潜在的故障问题。 有人展示了精心设计的计算机机箱内部结构，配置了多块高性能显卡，还详细介绍了连接方式和主板的 PCIe 通道情况。 还有人分享了使用不同型号显卡和处理器的配置，如 3080 Ti、14900K 等，并表示效果良好。 一些用户提到了数据隐私、对硬件的控制以及无需月费等使用本地服务器的优势。

例如，有用户表示：“我使用常规家庭服务器进行推理，虽然设置看起来有点简陋，但只要房子不被烧掉我就无所谓。” 也有人提出：“3080 只有 10GB VRAM 意味着只能运行小型模型，但小型模型一直在改进。”

讨论中的共识在于大家都在根据自身需求和预算来寻找最适合的本地 LLM 服务器配置，同时也都重视数据隐私和对硬件的自主控制。

总之，这个讨论为那些想要搭建本地 LLM 服务器的人们提供了丰富的参考和多样的思路。