原贴链接

简而言之，能否通过降低GPU频率大幅节省电费，同时不影响推理速度？目前我使用的是一块强大的Nvidia GPU，但在进行大量推理时，电费显著增加。我希望能再添置1-2块性价比高的GPU来运行更大模型，但担心电费飙升。有人在帖子中提到，Nvidia企业级服务器GPU的高价并不因其更高的能效而合理，因为可以通过降低消费级GPU频率达到同样效果。这是否属实？3090或4090能降到多少瓦特而不严重影响推理速度？如何操作？我有一定技术基础，但从未进行过降频或超频操作。

讨论总结

本次讨论围绕如何通过降频和降压来减少GPU的电力消耗，同时尽量不影响推理速度展开。作者最初对降频和降压的概念感到困惑，随后得到了其他用户的建议和经验分享。讨论集中在降频和降压的实际效果、操作方法以及可能的影响上。多位用户分享了他们在不同型号GPU上进行降频和降压的经验，包括使用MSI Afterburner工具的具体操作和实际效果。讨论中还涉及了不同操作系统（如Linux和Windows）下GPU调整的差异，以及通过调整GPU设置来降低功耗的可能性。总体氛围较为技术性和实用，参与者积极分享个人经验和见解。

主要观点

  1. 👍 降频和降压的有效性

    • 支持理由：多位用户分享了通过降频和降压成功降低功耗的经验，且对性能影响较小。
    • 反对声音：部分用户指出在某些情况下，降压可能会影响特定功能（如浏览器GPU加速和OBS录制）。

  2. 🔥 操作系统的差异

    • 正方观点：Windows系统下可以通过MSI Afterburner进行有效的降频和降压操作。
    • 反方观点：Linux系统下进行降压操作较为困难，效果有限。

  3. 💡 内存带宽的影响

    • 解释：有观点指出，GPU推理任务主要受内存带宽限制，尤其是高端Nvidia显卡。

  4. 🌟 实际测试数据的重要性

    • 解释：多位用户提供了实际测试数据，展示了不同功耗限制对推理速度的影响。

  5. 📈 节能模式的实用性

    • 解释：有用户通过切换到节能模式显著降低了GPU功耗，提供了实际案例。

金句与有趣评论

  1. “😂 Or maybe it’s undervolting that I’m interested in. I’m not sure whether that’s synonymous with underclocking, honestly.”

    • 亮点：作者对降频和降压概念的困惑，引发了后续的详细讨论。

  2. “🤔 You could use both. Semiconductor performance doesn’t scale up linearly with power.”

    • 亮点：简洁明了地解释了降频和降压的原理。

  3. “👀 Nvidia’s flagship cards tend to have massive power headroom. As long has you’re not crazy unlucky in the silicon lottery there are usually substantial free power reductions to be had.”

    • 亮点：指出Nvidia旗舰显卡的功耗调整潜力。

  4. “📊 Simple power limiting appears to have significant, but linear, effects past 80% of TDP.”

    • 亮点：通过实际数据展示了功耗限制的效果。

  5. “🔧 I wonder if it’s possible to flip the Afterburner profile via something like an API?”

    • 亮点：提出了通过API调节GPU性能的有趣想法。

情感分析

总体情感倾向是积极和实用的，参与者普遍希望通过降频和降压来节省电费和降低热量，同时对性能的影响保持关注。主要分歧点在于不同操作系统下操作的可行性和具体效果，以及降压对特定功能的影响。讨论氛围较为友好，大家乐于分享经验和建议。

趋势与预测

  • 新兴话题：通过API调节GPU性能的可能性，以及在不同操作系统下进行GPU优化的方法。
  • 潜在影响：这些讨论可能会推动更多用户尝试降频和降压操作，促进相关工具和技术的进一步发展，从而在保证性能的前提下实现更高效的能源利用。

详细内容：

标题：降低 GPU 频率以节省电力成本的热门探讨

在 Reddit 上，一个题为“Underclocking GPUs to save on power costs?”的帖子引起了广泛关注。该帖作者表示，目前仅使用一块强大的 Nvidia GPU，但在进行大量推理时，高额的电费令人担忧。作者考虑再购置 1 到 2 块有价值的 GPU 运行更大的模型，同时对可能产生的巨额电费有所顾虑，并询问能否通过降低 GPU 频率来大幅节省电费且不严重影响推理速度。此帖获得了众多点赞和大量评论，引发了热烈的讨论。

讨论的焦点主要集中在以下几个方面： 有人指出可以同时使用降压和降频。半导体性能与功率并非线性增长，最后的 10%到 20%的性能提升往往需要大幅增加功率，所以若愿意接受稍低的性能，可以进行降压和降频。 有用户分享，Nvidia 的旗舰卡通常有很大的功率余量。比如自己将 4090 的功率从 450 瓦降低到 350 瓦，没有任何性能损失，但这可能是运气好。 还有用户表示自己对 3060 进行了降压操作，在办公室主要是为了减少热量，没有看到每秒令牌数有巨大差异。有人对 3090 进行了简单的功率限制测试，发现提示处理和文本生成与功率限制呈线性变化。 有人认为 80%似乎是一个理想的平衡点，但不知道如何永久设置。

一些用户也分享了个人经历，比如有人将 3090 降压后，频率最高 1.6GHz，电压约 750mv，最大功率从 350 瓦降至 250 瓦，推理速度不变。还有用户表示将 RTX 3090 的峰值功耗从 860 瓦降至 720 瓦。

在讨论中，也存在不同观点和争议。有人认为在 Linux 上不能真正降压，而在 Windows 上操作虽可行，但会影响推理速度。有人则认为在 Linux 上可以通过设置功率限制来达到类似效果。

特别有见地的观点如，有用户提出要找到理想的平衡点，还需考虑 GPU 空闲时的功耗，因为即使在空闲状态，GPU 也会消耗一定功率。

总的来说，关于是否能通过降低 GPU 频率来节省电力成本以及如何操作，大家各抒己见，但尚未形成完全统一的结论。