原贴链接

（帖子仅为一图片链接，无实质可翻译内容）

讨论总结

原帖进行了使用4张RTX 3090显卡对MLC LLM和Mistral Large Instruct 2407 q4f16_1在150 - 350瓦下的功率缩放测试。评论者们的讨论围绕该测试展开，有表达对数据喜爱和硬数据重要性的，有分享自己类似测试情况的，还有对硬件性能优化如降压操作在不同系统下的可行性进行讨论的，也有对测试提出加入其他项目进行比较的建议，整体氛围比较积极，充满技术交流的感觉。

主要观点

  1. 👍 对分享的数据表示喜爱并重视硬数据
    • 支持理由：在之前相关话题中有争议性说法，硬数据更能说明问题
    • 反对声音：无
  2. 🔥 MLC LLM速度快且GPU使用率高
    • 正方观点：在使用过程中确实有这样的表现，速度快且能使GPU使用率稳定在100%左右
    • 反方观点：无
  3. 💡 降压比降功率限制更有效，但单卡降压操作较麻烦
    • 支持理由：从操作经验来看，降压效果好但操作难度大
    • 反对声音：无
  4. 🤔 在Linux下进行降压操作虽可行但较麻烦且不能改变实际电压
    • 正方观点：有人指出在Linux下有方法操作，只是比Windows下麻烦，且不能改变实际电压但能接近相同效果
    • 反方观点：有人认为NVIDIA在Linux驱动中不像在Windows中那样提供降压能力，可能无法操作
  5. 😎 建议在基准测试中加入Ollama和vLLM以进行比较
    • 支持理由：可以看到三种解决方案的每秒标记比较，有助于完善测试
    • 反对声音：无

金句与有趣评论

  1. “😂我总是怀疑（之前的说法），但硬数据才是王道。”
    • 亮点：强调了数据在技术讨论中的重要性。
  2. “🤔我喜欢MLC LLM。它速度快且始终能使所有GPU使用率达到100%左右。”
    • 亮点：直接阐述了MLC LLM的优点。
  3. “👀SomeoneSimple：Undervolting the RTX 3090 is significantly more efficient than lowering the power limit, but seeing how its already a pain in the butt with a single card via MSI Afterburner, I assume its a non - starter with multiple cards, and/or on Linux (?).”
    • 亮点：提出降压比降功率更有效，同时指出单卡降压麻烦并推测多卡或Linux下不可行。
  4. “😎Could you also include Ollama and vLLM in your benchmarks? It would be super helpful to see tok/s comparison across all three solutions on your 4x3090 setup (MLC LLM, Ollama, vLLM).”
    • 亮点：对原测试提出合理的补充建议。
  5. “💡看起来和我对单个3090的发现相似。”
    • 亮点：将单个3090的情况与4个RTX 3090的测试结果相联系。

情感分析

总体情感倾向是积极正面的。主要分歧点在于在Linux系统下是否能进行降压操作，可能的原因是不同评论者对Linux系统下NVIDIA驱动功能的理解和操作经验不同。

趋势与预测

  • 新兴话题：将显卡功耗限制在特定值获取更多数据点。
  • 潜在影响：可能会让更多人关注硬件功耗优化操作，在相关硬件性能测试中更加注重数据量的积累和多项目的比较。

详细内容：

标题：关于 RTX 3090 多卡功率缩放测试的热门讨论

在 Reddit 上，一则关于使用 4 张 RTX 3090 进行功率缩放测试的帖子引发了热烈讨论。该帖子获得了众多关注，点赞数和评论数众多。原帖主要围绕使用 MLC LLM 和 Mistral Large Instruct 2407 q4f16_1 对 150 - 350 瓦特功率范围的测试展开。

讨论的焦点主要集中在多个方面。有人对测试数据表示赞赏，认为其提供了有力的参考。比如有人提出疑问：“这些 4 张卡是在同一个电源上运行吗？如果是，那 340 瓦是 4 张卡的总功率吗？”还有人分享了自己的服务器设置，如“我运行 3 张 RTX 3090 在一个 1300W 电源上，主板和一张 RTX 3090 以及两张 AMD MI60 在另一个 1300W 电源上。” 有人提到了自己的电路条件，“我很幸运，在服务器柜旁边有一个 240V@40A（约 9600W）的插座。”

对于功率设置和效率问题，有用户表示：“对于运行 4 张 3090 卡，你将需要一个大于 1600W 的电源，但这在很大程度上取决于电源的质量。”还有人认为降压 RTX 3090 比降低功率限制更有效率，但在 Linux 系统中操作相对困难。

在讨论中，也有关于不同模型和工具的比较与探讨。比如有人提到“我还没尝试直接比较它们。我认为基于我看到的其他基准测试，MLC LLM 更快。”

总之，这场讨论为 RTX 3090 多卡运行的功率设置和效率优化提供了丰富的观点和经验分享，让参与者们都受益匪浅。