原贴链接

所有部件应该在本月26日前送达。以下是我的部件清单：

GPU：3xRTX ZOTAC RTX 3090 主板：ASROCK Romed 2T-8（7x PCIE Lanes） CPU：AMD Epyc 7302 内存：128GB PC4-2666 存储：1TB三星SATA SSD 电源：EVGA Supernova 1600 G+

我原本打算只买两张3090，因为不知为何这些显卡的价格一夜之间飙升（从550美元涨到大约700美元），但我设法抢到了一张被列为“损坏”的显卡，实际上只是因为其中一个风扇坏了，我向卖家确认了它确实能正常工作，并成功将其纳入预算。如果有任何散热问题，我可以轻松更换，因为我有这方面的经验。

我的计划是使用Ubuntu Server和VLLM无头运行。将有一个专门的Llama 3.1 70b Q4实例运行（如果所有卡上有空间，则使用Q6），以及另一个可以在第三张卡上轻松更换的模型。

我还计划进行训练/微调。

讨论总结

本次讨论主要围绕一位Reddit用户花费3000美元购买3张RTX 3090显卡的硬件配置展开。讨论内容涵盖了硬件配置的合理性、AI开发的应用、量化技术的选择、噪音问题的处理以及成本效益的考量。参与者们分享了各自的经验和见解，讨论了不同模型在不同硬件上的性能表现，以及如何优化硬件配置以提高效率。此外，还有用户对使用云服务与自建硬件的成本效益进行了比较。整体讨论氛围较为技术性，涉及多个专业领域，为其他有类似需求的用户提供了有价值的参考。

主要观点

  1. 👍 硬件配置的合理性

    • 支持理由：3张RTX 3090显卡的配置在AI开发中具有显著的性能优势。
    • 反对声音：有用户质疑主板仅支持7条PCIe通道，每张显卡只能以2x的速度运行，认为配置不合理。

  2. 🔥 AI开发的应用

    • 正方观点：3090显卡在AI模型训练和推理中表现出色，适合高性能计算需求。
    • 反方观点：有用户认为使用云服务可能更为便捷和经济。

  3. 💡 量化技术的选择

    • 解释：讨论了Q4、Q6等量化技术对模型性能和内存占用的影响，建议根据硬件配置选择合适的量化方法。

  4. 👀 噪音问题的处理

    • 解释：Zotac RTX 3090显卡噪音极大，建议通过降频处理减少噪音。

  5. 💰 成本效益的考量

    • 解释：讨论了自建硬件与使用云服务的成本效益，认为自建硬件在长期使用中可能更具成本优势。

金句与有趣评论

  1. “😂 PM_ME_YOUR_OPCODES：What are you going to do with it?”

    • 亮点：幽默地询问硬件配置的用途，引发更多讨论。

  2. “🤔 Uncle___Marty：量化模型在某些情况下表现更好，存在一个最佳量化点。”

    • 亮点：提供了量化技术在AI开发中的实用见解。

  3. “👀 human358：Man I got one Zotac 3090 and it’s the noisiest card I’ve ever had. One pushing temps is already jet engine levels can’t fathom 3.”

    • 亮点：生动描述了3090显卡的噪音问题，引发共鸣。

  4. “💡 Salty-Garage7777：Part of me hopes that the bubble bursts and the GPU prices plunge so that everyone can have their own affordable LLM. 😜”

    • 亮点：表达了对GPU价格下降的期望，反映了大众对高性能硬件的渴望。

  5. “🔧 ViennaFox：Will you be undervolting the GPU’s? A single 1600 watt power supply gives me pause with three 3090’s.”

    • 亮点：提出了对电源供应器的担忧，提供了实用的硬件建议。

情感分析

讨论的总体情感倾向较为积极，多数用户对硬件配置和AI开发表现出浓厚的兴趣。然而，也有部分用户对硬件配置的合理性和成本效益提出了质疑，显示出一定的担忧和谨慎。主要分歧点在于自建硬件与使用云服务的成本效益比较，以及硬件配置的实际性能表现。

趋势与预测

  • 新兴话题：量化技术在AI开发中的应用可能会引发更多讨论，特别是如何选择合适的量化方法以优化性能。
  • 潜在影响：随着AI技术的普及，高性能硬件的需求将持续增长，硬件配置的合理性和成本效益将成为更多人关注的焦点。

详细内容：

标题：花费 3000 美元打造 3x3090 电脑配置引发的热议

一位网友在 Reddit 上分享了自己花费 3000 美元构建的 3x3090 电脑配置，帖子迅速引起了众多关注，收获了大量点赞和众多评论。原帖详细列出了各个硬件组件，并阐述了自己的使用计划，包括使用 Ubuntu Server 和 VLLM 进行无显示器运行，以及运行特定的模型和进行训练/微调等。

讨论的焦点主要集中在以下几个方面： 有人推荐尝试 TensorRT-LLM，称其在安培系列上速度很快，并且文档详细易遵循，只需创建引擎文件即可。有人询问其对大多数模型的支持情况。还有人关心运行速度和每秒处理的令牌数。 对于量化方式，有人提到 Q4 是个不错的选择，也有人讨论了诸如 AWQ、GPTQ 等量化方式以及它们的支持情况。 关于电脑配置的实际使用体验，有人表示 Zotac 3090 显卡噪音较大，建议降频。有人提到 SATA SSD 在加载模型时会达到 100%占用。还有人对处理器性能、电源供应、显卡降压等问题进行了探讨。 在模型选择方面，有人认为 Mistral-Large 量化后表现出色，但存在许可证限制。

有用户分享道：“作为一名在硬件领域摸索多年的爱好者，我曾经也尝试过类似的高端配置，但在实际运行中遇到了不少散热和兼容性的问题。” 有人指出：“使用自己组装的电脑可能在长期来看更具成本效益，但云提供商的 GPU 服务在便利性上有优势。”

讨论中的共识是大家都对这一高配置电脑表现出了浓厚兴趣，并期待看到实际运行效果。特别有见地的观点如对不同量化方式和模型性能的深入分析，丰富了讨论内容。

总的来说，这次关于 3x3090 电脑配置的讨论展示了网友们在硬件和模型应用方面的深入思考和多样见解。但最终这一配置能否达到预期效果，还需实际运行来验证。