原贴链接

仅包含一个图片链接https://llminfo.image.fangd123.cn/images/lav3msh9zshe1.jpeg!/format/webp，无具体内容可翻译

讨论总结

该讨论围绕一个四GPU设置展开。原帖作者分享了自己使用4个3060 12gb玩AI模型的经历，随后评论者们从不同角度发表看法，包括硬件的散热、配置、成本、性能等方面，既有分享自身类似设备情况的，也有对原设置提出疑问和建议的，整体氛围比较积极，大家互相交流各自的经验和见解。

主要观点

  1. 👍 在Ubuntu 24.04上使用4个3060 12gb运行AI模型首次运行成功
    • 支持理由：作者亲自体验并分享。
    • 反对声音：无。
  2. 🔥 4个3060 12gb在Deepseek R1 70b模型下每秒仅4个token速度较低
    • 正方观点：作者运行结果显示速度不理想。
    • 反方观点：有根据3060的带宽理论计算得出此速度合理。
  3. 💡 可尝试exl2等方式提高运行速度
    • 支持理由：其他评论者根据经验提出可能有效的解决办法。
    • 反对声音：无。
  4. 👍 显卡在主板特殊设置下以特定PCIe模式运行且温度未过高（如最热的显卡在推理时为60度）
    • 支持理由：原作者给出运行时温度数据。
    • 反对声音：无。
  5. 🔥 GPU彼此靠近会影响其寿命
    • 正方观点：从GPU布局角度提出可能影响寿命。
    • 反方观点：有展示类似设备散热良好者，未认可此观点。

金句与有趣评论

  1. “😂 Getting 4 tokens per sec on Deepseek R1 70b. A bit disappointing tbh as I expected more. Or is that a good start?”
    • 亮点：真实表达对运行速度的感受，既失望又疑惑是否算好的开始。
  2. “🤔 Llama.cpp doesn’t perform very well in tensor parallel. Try vLLM, or some of the options TyraVex listed, you will get noticeably better performance.”
    • 亮点：针对性能不佳的情况提出可能的解决办法。
  3. “👀 Hottest one is 60 degrees during inference. i am as surprised as you lol, fans are silent so far”
    • 亮点：通过描述温度和风扇状态，给人一种意外的感觉。
  4. “😂 The fish is a few grams”
    • 亮点：在讨论成本时幽默地提及鱼的重量，增添轻松氛围。
  5. “🤔 I was on WSB when it mattered. I tried to warn people, but they didn’t listen. Greatest failure in my life.”
    • 亮点：话题突然转到个人经历，分享在WSB的故事。

情感分析

总体情感倾向为积极好奇。主要分歧点在于对四GPU设置的散热和性能方面。部分人认为散热存在问题且性能较低，而另一些人则通过分享自己类似设备的良好情况表示否定。可能的原因是大家的设备硬件条件、使用场景和期望不同。

趋势与预测

  • 新兴话题：如何低成本地将多个显卡组合在一起用于本地AI设置。
  • 潜在影响：对想要构建多GPU设置用于AI相关工作的人有参考价值，可能影响硬件设备的选择和布局。

详细内容：

标题：Reddit 热门讨论：罕见的 Quad GPU 配置引发热烈交流

在 Reddit 上，一则“我还没见过多少 Quad GPU 配置，所以这是一个”的帖子引起了众多网友的关注。该帖子展示了一个 Quad GPU 的设置，包含 4 个 3060 12GB 显卡，还附上了相关图片的链接（https://i.redd.it/lav3msh9zshe1.jpeg）。此帖获得了大量的点赞和评论，引发了关于硬件配置、性能表现、散热问题以及成本等多方面的热烈讨论。

讨论的焦点和观点丰富多样。有人分享了自己使用 4 个 3060 显卡的体验，称安装 Ollama 在 Ubuntu 24.04 上首次运行就成功了，不过在 Deepseek R1 70b 上每秒仅获得 4 个令牌，对这个结果感到有点失望，并询问这是否是一个好的开端。有用户指出可能是 PLX PCIe 交换机发挥了作用，如果 GPU 不同时通信，效果确实不错，可惜 Broadcom 收购 PLX 后终止了该项业务。还有用户建议尝试 exl2，称自己的 2 个 3090 显卡在相同情况下运行效果很好，速度能达到每秒 16 个令牌左右。也有人提到可以试试 TabbyAPI，称其速度比其他的更快。

有人对散热表示担忧，而分享者称最热的显卡在推理过程中为 60 度，风扇至今保持安静。还有人关心是否存在灰尘问题以及电源插座的情况。关于性能瓶颈，有人认为可能不是 PCIe 3.0 8x 的问题，也有人建议降低 GPU 电压和对视频内存进行超频来提高速度。此外，对于模型的选择和量化方式也有诸多讨论。

在成本方面，分享者详细列出了构建这个 Quad GPU 配置的各项花费，总计约 1000 英镑。这一成本引发了网友们的讨论，有人认为价格相当不错。

总的来说，这次关于 Quad GPU 配置的讨论充分展现了硬件爱好者们的热情和专业，为有类似想法的人提供了丰富的参考和思考。但关于如何进一步优化性能、降低成本以及解决潜在问题，仍有待更多的探索和实践。