原贴链接

我想要组建一个主要用于运行编码模型的AI服务器。我正在努力降低成本，所以我会使用手头的一些备用零件，而且我现在没有4000加元（加拿大的价格）去购买2个RTX 3090。我有机会以1800美元左右的价格购买2个RX 7900 XT。用以下硬件购买两个RX 7900 XT是否值得呢？我的目标是对于300亿参数的模型至少达到15t/s，如果在更大模型上能达到这个速度就更好了。CPU：英特尔i7 - 6850K；主板：华硕x99 - Deluxe II；内存：32GB。操作系统：考虑使用运行LXC容器的Proxmox设置，或者我也可以用Ubuntu服务器，我不会使用Windows。软件：打算使用ollama和open - webui。我读到过关于AMD显卡和ROCm支持情况的不同报道，不过我读到的很多评论都是一年多以前的了。如果有正在使用RX 7900 XT或者XTX的人能评论一下他们的使用体验和性能就好了。还有，多AMD显卡是否被支持呢？

讨论总结

原帖作者想以较低成本构建AI服务器，考虑使用RX 7900 XT，询问是否值得。评论者们从不同角度给出观点，包括与英特尔A770的对比、AMD显卡的性能和性价比、软件支持情况、不同显卡在不同操作系统下的表现等，整体讨论氛围较为理性，大家根据自己的经验和了解提供有用信息。

主要观点

  1. 👍 2x7900xtx用于运行模型较好
    • 支持理由：如果不用于训练只是运行模型是不错的选择。
    • 反对声音：无。
  2. 🔥 AMD驱动在VM方面存在问题，对LXC能否无问题运行表示怀疑
    • 正方观点：作者亲身经历AMD驱动状况不佳，在Proxmox下使用VM有问题。
    • 反方观点：有评论称新的驱动和ROCm运行时已经解决了大部分问题。
  3. 💡 2x英特尔A770设置运行良好，价格便宜
    • 解释：可以用较低价格实现较好的运行效果。
  4. 💡 对于推理工作，7900xt性价比很高
    • 解释：在Windows 11的LM Studio下即插即用，新驱动和ROCm运行时已解决大部分问题，花费1300美元可获得40GB显存。
  5. 💡 1800美元购买40GB显存性价比高
    • 解释：相较于其他选择更划算。

金句与有趣评论

  1. “😂 我有2x7900xtx，如果不用于训练，只是运行模型，它很棒。”
    • 亮点：直接表明7900xtx在特定用途下的优势。
  2. “🤔 我不确定Proxmox + LXC，AMD驱动一团糟。”
    • 亮点：指出AMD驱动在特定环境下可能存在的问题。
  3. “👀 7900xt是人工智能性价比之选只要做推理工作。”
    • 亮点：明确7900xt在人工智能推理工作中的性价比。
  4. “😎 2x7900xtx使用rocm时在Qwen 32b Q4下大约为35 - 45t/s。”
    • 亮点：给出了7900xtx在特定模型下的性能数据。
  5. “💪 仅2个7900xtx的价格，你可以买4个A770并且还有钱买支持它的好主板。”
    • 亮点：通过对比凸显出A770在价格方面的优势。

情感分析

总体情感倾向比较中立客观。主要分歧点在于AMD显卡的驱动情况和性价比，一部分人认为AMD显卡存在驱动问题且性价比不高，而另一部分人则觉得新驱动解决了很多问题且性价比不错。原因在于大家使用的环境、对硬件性能的需求以及所掌握的价格信息不同。

趋势与预测

  • 新兴话题：可能会有更多关于不同硬件在推测性推理方面的表现以及软件对其支持情况的讨论。
  • 潜在影响：对想要构建AI服务器的用户在硬件选择上有一定的参考价值，可能影响AMD、英特尔等硬件在AI服务器市场的销售情况。

详细内容：

标题：关于 RX 7900 XT 预算构建的热门讨论

在 Reddit 上，有一个关于构建 AI 服务器的热门讨论帖。发帖者正考虑以控制成本的方式组建一台 AI 服务器，主要用于运行编码模型，由于资金有限，打算利用手头的一些闲置零件，并且无法承担 2 张 RTX 3090s 高达 4000 加元的价格（加拿大）。目前有机会以约 1800 美元购买 2 张 RX 7900 XTs，想知道搭配以下硬件是否值得：CPU 为 Intel i7-6850K，主板为 ASUS x99-Deluxe II，RAM 为 32GB，操作系统考虑 Proxmox 搭配 LXC 容器或者 Ubuntu 服务器，软件打算使用 ollama 和 open-webui。此帖获得了众多关注和讨论。

讨论的焦点和观点丰富多样。有人表示拥有 2 张 7900xtx，如果只是运行模型而非用于训练，效果不错，但不太确定 Proxmox + LXC 的组合，因为 AMD 驱动存在问题，尝试虚拟机直通时遇到了系统冻结的情况，还认为如果主板支持，对于预算构建来说，4 张 A770 是个不错的选择，Intel 在软件支持方面表现更好。也有人指出 7900XTX 很棒，vLLM 现在支持多 AMD 设备，ROCm 也在不断改进。还有人分享自己拥有双 7900xt 卡，在 Windows 11 上使用 LM Studio 运行效果良好，但设置过程十分繁琐，ROCM 6.3 表现出色但运行设置需要大量工作。另外，有人提到 AMD GPU 如今在 llama.cpp 中应得到了良好支持，1800 美元能获得 40GB 的 VRAM 是很划算的。

有人提问在 30B 或更大模型上 7900s 和 A770s 的性能表现如何。有人分享在不同情况下的性能数据，例如运行 Qwen 2.5 72B 时的速度等。还有人提到在 Windows 上 AMD 用于推理不错，但其他方面 Linux 搭配 AMD 或 CUDA 更好，也有人对训练和微调提出疑问。

总的来说，对于 RX 7900 XT 构建 AI 服务器是否值得，大家观点不一。有人认为性价比高，设置虽难但值得；有人则更倾向于其他选择，认为软件支持等方面存在问题。这一讨论反映了在选择硬件构建 AI 服务器时的复杂性和多样性。