原贴链接

我白天只有一台配备4个16Gb V100的设备在运行，现在正在寻找一种低功耗的GPU以便能全天24小时运行。需要在ollama上运行14B模型以及immich图像识别。它用于2U服务器，所以理想情况下是涡轮风扇卡，但也能够改装RTX风扇。P100的闲置功耗为40W，对于24小时运行来说太高了，P4只有8Gb。大多数具有16Gb内存的RTX并不便宜。12Gb的卡运行14B模型会很吃力。基本上是类似半价的Tesla T4或者A2这样的，但不必和它们一样好或者一样小。因为在类似的预算下，我不妨再加一点钱，然后等待全新的RTX50xx或者新的RX9070，理论上它们的闲置功耗应该在10W左右。我已经找了一段时间了，这样的GPU存在吗？还是我在寻找一种不存在的东西呢？

讨论总结

原帖作者寻求300美元左右、低闲置功耗的16Gb GPU，用于运行14B模型和图像识别任务。评论者们提出了各种可能的GPU选项，如二手市场的选择、改装显卡等，并对不同GPU的性能、功耗、价格、显存容量等方面进行了讨论，部分观点存在争议。

主要观点

  1. 👍 二手市场可能买到16GB的GPU
    • 支持理由：一些评论者表示如果幸运可以在二手市场买到符合显存要求的GPU。
    • 反对声音：无。
  2. 🔥 若预算提高到400美元，改装2080ti 22g有最佳性价比
    • 正方观点：性价比在改装后相对较高。
    • 反方观点：会降低性能/美元比，并且在某些平台价格较高。
  3. 💡 推荐4060 ti（16GB）符合低功耗和300美元左右预算要求且性能不错
    • 支持理由：其低功耗且推理性能还不错。
    • 反对声音：可能已停产且现在价格变高，难以以合适价格找到。
  4. 💡 推荐P102 - 100，价格便宜且闲置功耗约6W
    • 支持理由：价格便宜且闲置功耗低，适合24/7运行服务器。
    • 反对声音：只有10GB VRAM，有一定局限性。
  5. 💡 A770在特定条件下闲置功耗低，可作为额外GPU使用，但不能作为显示GPU
    • 支持理由：在开启L1s和ASPM时闲置功耗低。
    • 反对声音：不同版本闲置功耗有差异，部分版本功耗较高，且没有CUDA。

金句与有趣评论

  1. “😂 If you are lucky, you can get a used 16gb GPU, but forget about low - idle power, dedicated GPUs seldom have low - idle power.”
    • 亮点：直接指出在二手市场找低闲置功耗16GB GPU的难点。
  2. “🤔 If you can find it cheap maybe a 4060 ti with 16 GB. Low power consumption and still decent inference performance”
    • 亮点：推荐4060 ti并点明其低功耗和不错的性能。
  3. “👀 What about the P40? P102 - 100 are even cheaper but only 10GB VRAM.”
    • 亮点：提出了两种GPU选择并指出其中一种显存的不足。

情感分析

总体情感倾向为中性。主要分歧点在于不同GPU的推荐上，例如对于A770的评价有好有坏，有的推荐它在特定条件下的低功耗优势，有的指出其版本间的功耗差异、无CUDA等问题。原因在于不同用户对于GPU的需求不同，有的注重功耗，有的注重性能或是否有CUDA等。

趋势与预测

  • 新兴话题：在选择GPU时架构新旧的权衡。
  • 潜在影响：对于GPU市场来说，用户在购买GPU时可能会更加综合地考虑架构、功耗、性能、价格等多方面因素，促使GPU制造商在设计和定价时更加注重这些因素的平衡。

详细内容：

标题：寻找价格约 300 美元、低闲置功耗的 16Gb GPU，是否可行？

在 Reddit 上，有用户发帖询问能否找到价格在 300 美元左右、低闲置功耗的 16Gb GPU，引发了热烈讨论。该帖获得了众多关注，评论数众多。帖子中，用户表示自己白天使用 4x V100 16gb 设备，现想找个低功耗 GPU 全天运行，用于运行 14B 模型和 immich 图像识别，还提到了不同型号 GPU 的功耗、性能及价格等情况。

讨论焦点与观点分析： 有人指出幸运的话能找到二手的 16Gb GPU，但别指望低闲置功耗，专用 GPU 很少有低功耗的。Quadro 系列一般功耗较低，A4000 虽是 16GB，但 300 美元很难买到。关于“低闲置”的定义也有人讨论，如有人的 Tesla M40 在加载权重时空闲功率为 18W，P102 - 100 在加载权重时空闲功率为 8W。 在价格 300 - 400 美元范围内，一些旧的 AMD 显卡可以考虑，但没有 CUDA；改装的 2080 Ti 22GB 价格在 300 - 400 美元，但可靠性存疑；也可以选择更便宜的 2 张 P102 - 100 显卡，牺牲一点速度。 价格低于 500 美元的范围内，P40 较老，对 LLM 的 T/s 还行，但对图像相关如 SD 不好。 价格 700 - 800 美元范围内，有 4060 ti 16gb、T4、A2、RTX A4000 等选择，或者等待 RTX50xx 或 RX9070 价格稳定。 有人分享自己的经历，如有人的 2 张改装 2080Ti 显卡，英伟达 - smi 报告一张显卡闲置 1W，另一张 29W；还有人提到 4060 ti 16GB 功耗低但价格不好找。 有人推荐 P40，称其闲置功率低，还有人提到 Radeon Mi50/Radeon VII 等显卡的情况。 也有观点认为 RTX 4000 SFF 闲置功耗低但价格超 300 美元。 还有人讨论了 Jetson 系列，认为其性能较低但功耗低，也有人认为其性价比不如其他选择。 有人建议选择 Mac mini M4，认为其闲置功耗低，但也有人认为其性能和内存速度不够。

讨论中的共识是都在努力寻找符合需求的 GPU，但在具体型号和价格上存在较大分歧。特别有见地的观点如有人提出根据需求综合考虑性能和功耗，不能只追求低闲置功耗。

总之，关于寻找价格约 300 美元、低闲置功耗的 16Gb GPU 的讨论十分热烈，各种观点和建议层出不穷，但仍未得出明确的最佳选择。