原贴链接

我想分享一下我使用P102-100 10GB VRAM Nvidia挖矿GPU的经验，我仅以$40的价格购得。本质上，它是P40，但只有10GB的VRAM。它使用GP102 GPU芯片，并且VRAM速度稍快。虽然我更倾向于P40，但它们目前售价约为$300，我没有额外的现金。

我正在运行Llama 3.1 8B Q8，它使用了10240MB可用VRAM中的9460MB，仅留下一点空间用于上下文。该卡的默认功耗为250瓦，如果我将功耗调至150瓦，性能会下降约1.5 tk/s。根据nvidia-smi显示，空闲功耗在7到8瓦之间，我已通过Kill-A-Watt仪表确认。空闲功耗对我来说至关重要，因为我面临加州臭名昭著的高电价。

在Ollama下运行时，这些GPU在模型加载期间会飙升至60瓦，并在活动时达到功率限制。之后，它们会在30秒内降至约60瓦，然后回落至8瓦。

我需要超过10GB的VRAM，所以我安装了两张这样的卡在AM4 B550主板上，配备Ryzen 5600G CPU和32GB的3200 DDR4 RAM。我已经有了系统组件，所以这些成本没有计算在内。

当然，$40的GPU也有缺点。接口是PCIe 1.0 x4，速度非常慢——相当于PCIe 3.0 x1的速度。加载模型需要额外几秒钟，但推断速度仍然比使用CPU快得多。

我确实需要升级我的电源以支持这些GPU，所以我花了$100购买了一个1000瓦的电源，使我的总成本达到$180用于20GB的VRAM。

我相信有些人会认为P102-100是一个糟糕的选择，但除非你能提出一个更便宜的方法以$80获得20GB的VRAM，我认为这个设置是合理的。我计划在负担得起时升级到3090，但目前这个解决方案是可行的。

我也是Runpod的常客，并将继续使用他们的服务，但我想要一个能处理24/7项目的设备。我甚至还有第三张P102-100卡，但目前还没有插槽。我的主板支持分叉，所以让所有三张GPU运行是计划中的。

这个周末的任务是让Flux运行起来。我会尝试Q4版本，但我期望不高。

讨论总结

本次讨论主要围绕使用P102-100 10GB VRAM Nvidia挖矿GPU运行Llama 3.1 8B Q8的经验展开。用户们对这种低成本的VRAM解决方案表示赞赏，并讨论了其性能优化、电力消耗以及未来升级的可能性。尽管存在一些技术限制，如PCIe 1.0 x4接口速度慢，但多数用户认为这是一个性价比高的临时解决方案。讨论中还涉及了其他GPU的比较和性能测试，以及对初学者的实际应用帮助。

主要观点

  1. 👍 使用P102-100 10GB VRAM GPU作为廉价替代方案
    • 支持理由：低成本，满足基本需求，性价比高。
    • 反对声音：PCIe 1.0 x4接口速度慢，影响加载速度。
  2. 🔥 通过调整功率，优化性能和电力消耗
    • 正方观点：降低功率可节省电力，适应高电价地区。
    • 反方观点：降低功率会牺牲部分性能。
  3. 💡 安装两张GPU以满足VRAM需求
    • 解释：通过双卡配置，实现20GB VRAM，满足更高需求。
  4. 👀 PCIe 1.0 x4接口速度慢，但推理速度仍快于CPU
    • 解释：尽管接口速度慢，但GPU的推理性能优于CPU。
  5. 🚀 计划未来升级到3090s
    • 解释：当前解决方案是临时性的，未来将升级到更高性能的显卡。

金句与有趣评论

  1. “😂 just use q6”
    • 亮点：简洁直接的建议，反映了用户对简化配置的偏好。
  2. “🤔 Why? You can even use Q8 on 8GB VRAM if you keep the KV cache on CPU.”
    • 亮点：提出了在有限资源下优化使用的方法。
  3. “👀 you’re both wrong btw, just use Q4 or Q5_K_S, the difference between Q4 and Q8 is so negligible sometimes Q4 and Q5 comes on top in benchmarks”
    • 亮点：通过基准测试数据，挑战了常规观点。

情感分析

讨论的总体情感倾向积极，多数用户对低成本解决方案表示赞赏和支持。主要分歧点在于性能优化和电力消耗的平衡，以及对未来升级的期待。可能的原因是用户对性价比和经济性的重视，以及对技术进步的乐观态度。

趋势与预测

  • 新兴话题：可能引发后续讨论的新观点包括更多关于低成本GPU的性能测试和比较，以及如何在有限资源下优化模型运行。
  • 潜在影响：这种低成本的VRAM解决方案可能会激发更多关于经济实惠硬件配置的讨论，尤其是在预算有限的用户群体中。

详细内容：

标题：低价打造高效 VRAM 配置，Reddit 热议不断

在 Reddit 上，一则关于以低成本构建 VRAM 配置的帖子引起了广泛关注。该帖子的作者分享了自己使用仅 40 美元的 P102-100 10GB VRAM Nvidia 挖矿 GPU 来运行 Llama 3.1 8B Q8 的经历，此帖获得了众多点赞和大量评论。

帖子中，作者详细介绍了这套配置的情况。在 VRAM 使用方面，该模型占用 9460MB，空闲功耗约 7 - 8 瓦，考虑到加州的高电价，这一点对作者很关键。作者还提到，将显卡功率从 250 瓦调至 150 瓦会损失约 1.5 tk/s 的性能。由于需要更多 VRAM，作者在 AM4 B550 主板上安装了两块这样的显卡，并为系统升级了 1000 瓦的电源，总成本达 180 美元。

讨论中，观点各异。有人建议直接使用 Q6；也有人认为使用 Q4_0+iMat 或者 Gemma 2 9B @ Q4_0+iMat 是最佳选择；还有人指出在 8GB VRAM 下，只要将 KV 缓存放在 CPU 上，甚至可以使用 Q8。对于电源选择，有人通常购买 Seasonic，也有人因预算和时间限制选择了 Aresgame AGT1000 且表示目前效果不错。

此外，还有用户提到了 CMP 100-210 与 P100 的比较，以及 BIOS 相关的问题。也有新手表示很喜欢阅读这样实用的本地配置介绍。

这场讨论的核心争议点在于如何在有限预算下实现最优的 VRAM 配置方案。有人认为作者的选择明智，也有人提出了不同的建议。但大家在追求性价比方面达成了一定共识，都希望以更低的成本获得更好的性能。

总的来说，这一话题引发了大家对低成本高性能 VRAM 配置的深入探讨，为广大爱好者提供了丰富的参考和思考。