原贴链接

我之前因为文档和支持的缺乏，完全不考虑将AMD的GPU（除了mi300x）用于AI，不过这是2022 - 2023年的情况了。现在情况如何呢？

讨论总结

该讨论主要聚焦于AMD GPU用于本地AI的情况。从不同用户使用不同型号AMD GPU（如MI50、MI100、W7900、RX7800等）的经验出发，探讨其在各种软件中的运行情况、性价比以及ROCM的支持情况等，整体氛围比较理性客观。

主要观点

  1. 👍 在Ubuntu下，MI50使用相关软件首次运行顺利
    • 支持理由：评论者亲身经历表示没有任何麻烦。
    • 反对声音：无
  2. 🔥 旧的Instinct (MI100) GPU工作基本良好，但前沿项目运行不稳定
    • 正方观点：多个常规项目能正常运行说明基本工作良好。
    • 反方观点：无明确反对，只是阐述了前沿项目不稳定情况。
  3. 💡 现在AMD GPU（可能除mi300x之外）对于本地AI而言情况是可用的
    • 解释：根据评论者简单回应推测现在可用。
  4. 💡 W7900在ROCM 6.3.2支持表中为绿色应能正常使用
    • 解释：根据支持表颜色判断其正常使用情况。
  5. 💡 7900XTX在推理速度上与3090存在差距，W7900性价比目前不高
    • 解释：通过速度对比及价格分析得出。

金句与有趣评论

  1. “😂 我有2个MI50s，在Ubuntu一切首次运行就正常工作，没有任何麻烦。”
    • 亮点：直接表明MI50在Ubuntu下运行顺利的情况。
  2. “🤔 运行大多数流行模型应该就还可以（例如Qwen 2.5 GPTQ），尽管可能仍然存在一些这样那样的注意事项，如量化支持有点受限。”
    • 亮点：对运行流行模型情况做了客观描述。
  3. “👀 2023年，支持真的很糟糕，即使在Linux上。”
    • 亮点：强调了2023年时AMD GPU在AI方面支持差的情况。

情感分析

总体情感倾向为中性，主要分歧点较少。大部分评论者都是在客观陈述自己使用AMD GPU在本地AI方面的体验，包括好的方面（如某些GPU运行部分项目正常）和不好的方面（如性价比不高、部分GPU性能较慢等），没有明显的争论或情绪化表达。可能的原因是大家都是基于自己的技术体验在分享信息，而不是在推销或者贬低AMD GPU在AI方面的应用。

趋势与预测

  • 新兴话题：随着软件改进，AMD GPU性能提升的可能性以及对性价比的影响。
  • 潜在影响：如果AMD GPU在本地AI方面的性能和性价比不断提升，可能会对AI硬件市场格局产生影响，促使更多人选择AMD GPU进行本地AI相关工作。

详细内容：

《关于 W7900 GPU 用于本地 AI 的热门讨论》

在 Reddit 上，一篇关于“W7900 GPU 是否适用于本地 AI”的帖子引发了热烈讨论。该帖获得了较高的关注度，众多用户纷纷发表观点。主要讨论方向集中在 W7900 GPU 在本地 AI 应用中的性能、支持情况以及与其他 GPU 的比较等方面。文章将要探讨的核心问题是 W7900 GPU 在本地 AI 领域的可用性和性价比。

在讨论中，有人分享说自己有 2 个 MI50s，在 Ubuntu 系统中首次使用就一切顺利，适用于 ollama、llama.cpp 和 comfyui 等。也有人表示拥有一组旧的 Instinct（MI100）GPU，像 vLLM、MLC-LLM、TabbyAPI、stable diffusion、RVC、XTTS 等都能运行，但前沿应用则表现不稳定，有时需要更换 CUDA 库为自行编译的 ROCm 变体。

还有人提到有针对 Navi31/32/44/48 的预构建 vLLM Docker 镜像，并且指出运行大多数流行模型还算可以，但仍存在一些局限，比如量化支持有限，多 GPU 并行需要特定模块。

有人认为 W7900 GPU 早就可用，只是需要很多调试，在一些细节上存在问题，但主要工具和库能运行。

有用户表示，7900XTX 速度约为 3090 的一半，不过也有人认为是 10%到 15%的差距。还有用户指出 A6000 价格约 4200 美元，而 W7900 价格在 2400 到 3200 美元，目前性价比不高，但随着软件优化可能会改善。

一位用户分享了自己使用 RX7800 的经历，称 2023 年初支持很差，设置和编译 Llamacpp 困难，2024 年在 Fedora 上运行 LLM 情况有所改善，但图像生成仍慢，安装 vLLM 未成功。

总体而言，讨论中对于 W7900 GPU 在本地 AI 应用中的表现存在不同看法。部分用户认为其性能有待提升，价格性价比不高；但也有用户认为随着软件优化和支持改进，其前景可期。