原贴链接

我想分享一些我在不同功耗限制范围内运行 RTX3090 进行多种推理任务（包括 LLM、视觉模型、文本到语音和扩散模型）的结果。

在深入讨论结果之前，如果你更喜欢视频形式，我有一个关于这个主题的完整视频：https://www.youtube.com/watch?v=vshdD1Q0Mgs

TLDR/W:

将你的 3090 功耗限制调至 250W-300W。这样做可以获得出色的性能并节省 100W 的功耗。根据你的推理任务，你可能还可以进一步降低功耗。

数据

我收集了大量数据。你可以在这里自行查看：https://benchmarks.andromeda.computer/videos/3090-power-limit

我将指出一些更有趣的结果：

  • llama3-8B - 双图表，生成 tps 和生成 tps/watt。还有 ttft（首次生成时间）

  • gemma2-27B - 双图表，生成 tps 和生成 tps/watt。还有 ttft（首次生成时间）

  • sdxl-base-1.0 - 双图表，计算时间到图像，平均 iter/sec/watt。还有变化率！

学习心得

  • 我认为这些数据中最有趣的结果之一是，如果你持续运行某个工作负载，确实有必要为该工作负载找到一个合适的功耗限制。特别是如果你试图达到某些指标。我认为没有理由不进行功耗限制，它能够提高效率和计算密度，如果你需要的话。

  • 事实证明，较小的模型需要更少的资源！

基准测试

所有这些数据都是通过我一直在编写的基准测试捕获的。它仍在很大程度上进行中。当它能够更容易地被任何人运行时，我将分享更多关于它的细节。我很快会分享更多来自更多 GPU 的结果。我已经测试了很多（不是专门针对功耗）

基准测试代码：https://github.com/andromeda-computer/bench

未来我计划让这个基准测试成为任何人都可以在他们的硬件上运行并提交结果到网站的东西。这样我们就能成为一个更有见识的社区。

讨论总结

本次讨论主要围绕RTX3090显卡在不同功率限制下的性能表现展开。参与者分享了在多种推理任务（如LLM、视觉模型、文本到语音和扩散模型）中调整功率限制的实验结果，普遍认为将功率限制在250W-300W可以获得出色的性能同时节省电力。讨论还涉及了在VRAM中同时加载多个模型的可行性、不同操作系统下的性能差异、以及驱动和模型版本对性能的影响。此外，社区对开发通用基准测试工具表现出浓厚兴趣，希望借此更好地优化硬件性能。

主要观点

  1. 👍 将RTX3090的功率限制设置在250W-300W
    • 支持理由：在多种推理任务中表现出色，同时节省电力。
    • 反对声音：部分用户认为过度降低功率可能不适合所有使用场景。
  2. 🔥 在VRAM中同时加载多个模型
    • 正方观点：提高资源利用率，尤其适合小模型。
    • 反方观点：需考虑实际应用中的功率限制问题。
  3. 💡 不同操作系统下的性能差异
    • Linux可能在某些推理任务上比Windows表现更好。
  4. 💡 驱动版本和模型版本对性能的影响
    • 使用较旧版本的模型可能会带来性能提升。
  5. 💡 开发通用基准测试工具
    • 社区对这些性能数据和测试结果有持续的兴趣和需求。

金句与有趣评论

  1. “😂 Necessary-Donkey5574：Tokens per Joule (tps/w) interests me! Thanks for your work.”
    • 亮点：直接表达了对效率指标的兴趣。
  2. “🤔 gofiend：Just to add on to this, I’ve found that you can idle your GPU (3090 in my case also) down to ~30-40W even with a model fully loaded into RAM.”
    • 亮点：分享了在低功率下的实际应用经验。
  3. “👀 Inevitable-Start-653：Nice work! Thank you for sharing the information, stuff like that this just isn’t googlable and ai would not be able to answer a question about this either.”
    • 亮点：强调了此类信息的价值和难以通过常规方式获取。

情感分析

讨论总体情感倾向积极，多数用户对分享的性能测试结果表示赞赏和感谢。主要分歧点在于功率限制的具体设置，部分用户认为过度降低功率可能不适合所有使用场景。

趋势与预测

  • 新兴话题：开发通用基准测试工具，以便更多人可以参与测试并分享结果。
  • 潜在影响：通过优化功率限制和资源管理，提高GPU的能效和计算密度，对相关领域或社会有积极影响。