原贴链接

最近我得到了一个无法抗拒的报价。6块挖矿后的3090显卡，每块460美元。这是个很好的时机，因为我本来就计划投资本地设备用于编码和个人用途。所以设备已经启动并运行了，但我正在向社区寻求好的建议，哪种软件最适合这个设备。目前，我只有安装了LM Studio的Windows系统，只是为了确保一切正常运行。然而，事情发展得很快，而且没有很多对新手友好的手册。目前还不清楚哪种确切的设置/后端/前端是最好的。我的想法是能够轻松切换量化模型（Llama 70B、Mistral large、Qwen 72B、DeepSeek v2.5），并通过一些不错的聊天用户界面从我的主电脑远程使用它们，并且在这种设置下拥有最佳的吞吐量/速度（t/s）。非常感谢任何建议。

讨论总结

原帖作者以较幸运的方式买到6个3090显卡，用于本地编码和个人用途，寻求推理软件设置建议。评论者们围绕这个话题展开讨论，其中包括有8x3090设置的人分享自己的软件设置博客文章，有人对原帖作者的购买过程表示疑惑，也有人针对硬件方面如PCIe连接、电源供应、温度设置等给出建议，同时在软件推荐方面也给出了多种选择，整体氛围积极且充满技术交流。

主要观点

  1. 👍 有8x3090设置的人分享软件设置博客文章
    • 支持理由：可以为原帖作者提供参考，有类似硬件设置的软件设置经验分享。
    • 反对声音：无。
  2. 🔥 挖矿机的PCIe 1x连接会限制3090的GPU性能
    • 正方观点：从硬件连接特性出发，这种连接方式会对性能有影响。
    • 反方观点：无。
  3. 💡 tabbyAPI适合6块3090显卡的设置
    • 理由：因为vLLM和aphrodite - engine对于6块3090显卡在张量并行上存在限制，而tabbyAPI没有。
  4. 🤔 在Windows系统下运行会损失t/s，可以尝试双系统启动
    • 支持理由：Windows系统有开销，双系统启动可对比出更好的运行方式。
    • 反对声音：无。
  5. 😎 推荐尝试ollama.com网站解决软件设置问题
    • 支持理由：简单直接提供一个可能解决软件设置问题的方向。
    • 反对声音：无。

金句与有趣评论

  1. “😂 XMasterrrr: Hey, I have an [8x3090 setup](https://ahmadosman.com/blog/serving - ai - from - the - basement - part - i/), and I wrote about the software side of things in - depth in a blogpost here: https://ahmadosman.com/blog/serving - ai - from - the - basement - part - ii/”
    • 亮点：主动分享自己相似硬件设置下的软件设置经验，通过博客文章为原帖作者提供详细参考。
  2. “🤔 nero10579：A mining rig will have only pcie 1x connections which will bottleneck the gpus.”
    • 亮点：从硬件连接特性出发指出可能存在的性能瓶颈，为原帖作者的硬件使用提供了一个重要考虑因素。
  3. “👀 kryptkpr：tabbyAPI will let you TP across 6 cards, that’s likely your best bet because you don’t have a power of 2 so vLLM and aphrodite - engine will only give you TP with 4 of those cards”
    • 亮点：在软件推荐方面，根据显卡数量和不同软件在张量并行上的特性，给出针对性建议。
  4. “😉 NickNau: the person from who I grabbed those was just like "I am leaving for vacation in 2 hours. come and take all of them if you want, cuz later price will be normal again" :D so it was just a pure luck”
    • 亮点：解释自己买到3090显卡是因为运气好，卖家急于度假低价出售，让读者了解购买背景。
  5. “💡 infiniteContrast: Undervolt them and set a temperature limit of 65°C. A "slow" card is still better than a broken card.”
    • 亮点：在硬件保护方面给出了具体的显卡使用建议，强调保护显卡的重要性。

情感分析

总体情感倾向为积极。主要分歧点在于原帖作者购买3090显卡的过程是否可疑，但这只是小部分人的看法，大多数人都专注于为原帖作者提供关于6个3090显卡的推理软件设置建议或者硬件使用建议。可能的原因是原帖的主要目的是寻求技术相关建议，大家更倾向于在技术层面进行交流分享。

趋势与预测

  • 新兴话题：可能会有更多关于不同软件在奇数个显卡上进行张量并行优化的讨论。
  • 潜在影响：如果关于硬件和软件设置的优化建议得到广泛传播和应用，可能会提高拥有多个3090显卡用户的设备使用效率，同时也可能影响到相关硬件和软件的市场需求。

详细内容：

标题：关于 6 张 3090 推理软件设置的热门讨论

最近，在 Reddit 上有一个帖子引起了大家的广泛关注。帖子的作者表示以 460 美元每张的价格获得了 6 张二手 3090 显卡，原本就计划投资用于本地编程和个人用途，现在设备已运行起来，但正在寻求关于适配软件的好建议。目前只有普通的 Windows 系统和 LM Studio，还不清楚当下哪种确切的设置、后端和前端是最佳的，希望能够轻松切换量化模型并通过良好的聊天 UI 远程使用，追求最佳的每秒处理事务数。此帖获得了众多的回复和讨论，点赞数和评论数众多。

讨论的焦点主要集中在以下几个方面： 有人分享了自己 8 张 3090 显卡设置的相关博客链接，并表示愿意回答具体问题。有人讲述了购买显卡时的幸运经历，卖家急于在两小时内处理，纯属运气好。还有人认为这有点可疑，但作者表示看到卖家带着东西和孩子出现时，觉得不太像骗局。也有人对作者的设置表示称赞和感谢。

关于技术方面，有人提出如何连接最后一张 GPU，以及主板是否支持某些功能，还有人讨论了不同软件的适配性，比如 tabbyAPI 适用于 6 张卡，而某些基于 vLLM 的软件在卡的数量上有限制。

在电源方面，有人使用双 PSU 时遇到功率挑战，而作者使用三个 850W 的 PSU。

有人建议设置 ollama、openwebui 和 cloudflare tunnel 用于认证。

有人提到可以对显卡进行降压、设置温度限制等操作，也有人指出在 Linux 中降压有限制。

大家的共识在于要谨慎处理显卡设置和电源等问题，以保证系统的稳定运行。

特别有见地的观点是要注意电源的稳定性，避免功率尖峰对设备造成损害。

总之，这个关于 6 张 3090 显卡推理软件设置的讨论十分热烈，为有类似需求的人提供了丰富的参考和建议。但最终如何选择和操作，还需要根据个人的实际情况来决定。