原贴链接

你好，我喜欢玩大型语言模型（LLM）并做相关实验。现在我有一块RTX 3070，凭借其8GB显存，我能运行相对较小的模型。此外，我是个游戏玩家且使用Linux。许多Linux用户认为AMD显卡因驱动支持更好而更适合在Linux上玩游戏。我一直在关注一块有20GB显存的RX 7900 XT，但我想知道它在大型语言模型（LLM）方面的性能如何。据我所知，CUDA（英伟达的一项技术）是英伟达GPU在大型语言模型（LLM）方面强大的原因，我这么说对吗？AMD的情况是怎样的呢？如果我决定买一块AMD显卡，我不想失去使用大型语言模型（LLM）和AI模型的能力。

讨论总结

该讨论围绕着使用AMD GPU运行大型语言模型（LLMs）展开。原帖作者拥有RTX 3070，在考虑购买AMD RX 7900 XT用于LLMs，想了解AMD GPU在LLMs方面的性能等情况。评论者们分享了自己使用AMD或Nvidia显卡运行LLMs的经验、进行了性能对比，还对AMD显卡的软件支持情况展开了讨论，观点有正面也有负面。

主要观点

  1. 👍 RX 7900XT和RTX 3070性能差异大。
    • 支持理由：有用户亲自体验过这两款显卡，感受到性能上存在很大差异。
    • 反对声音：无。
  2. 🔥 AMD的Rocm对推理支持很棒。
    • 正方观点：有用户提到Rocm对推理支持很棒，甚至能使用Flash Attention。
    • 反方观点：也有用户指出在Windows上可能不工作，在Linux对消费级GPU支持不佳。
  3. 💡 不同显卡运行特定LLM模型速度不同。
    • 解释：多位用户通过不同显卡的测试，如在rx6600（xt）、RTX 3060等显卡上运行不同LLM模型，发现速度有差异。
  4. 💡 7900XTX在运行某些模型时利用率最高50%。
    • 解释：这是用户在使用过程中的实际观察结果。
    • 反对声音：无。
  5. 💡 存在AMD显卡软件支持是否真的改善的争议。
    • 正方观点：有用户提到AMD在开发ROCm技术，感觉软件支持在变好。
    • 反方观点：有用户分享了自己使用AMD GPU时遇到的软件问题，如软件包更新、编译等问题，觉得软件支持并未改善。

金句与有趣评论

  1. “😂 我有3070，现在我有7900XT。性能上的差异是巨大的。”
    • 亮点：直接表达了两款显卡性能差异巨大，简洁明了。
  2. “🤔 Rocm支持推理最近非常棒，你甚至可以使用Flash Attention。”
    • 亮点：肯定了AMD的Rocm技术在推理方面的优秀表现。
  3. “👀 我的7900xtx硬件能力足够。如果看纸面规格，它至少应该和3090一样快。但现实是软件跟不上硬件。”
    • 亮点：指出了AMD显卡存在硬件和软件不匹配的问题。
  4. “😂 我在rx6600xt上运行ollama，网址是https://github.com/likelovewant/ollama - for - amd”
    • 亮点：提供了一种在AMD显卡上运行特定程序的实例。
  5. “🤔 我会强烈推荐购买二手的3090，它价格相近且显存多20%，软件支持也更好。”
    • 亮点：从性价比和软件支持方面给出了显卡购买建议。

情感分析

总体情感倾向比较复杂。部分用户对AMD GPU在LLMs方面的表现持乐观态度，认为其性能不错且技术如Rocm在不断进步；而另一部分用户则有负面情绪，在软件支持、实际运行效率等方面对AMD GPU不满。主要分歧点在于AMD显卡的软件支持是否改善以及与Nvidia显卡相比在LLMs运行上的优劣。可能的原因是不同用户的使用场景、硬件配置以及对显卡功能的期望不同。

趋势与预测

  • 新兴话题：AMD GPU如何进一步优化软件支持以更好地运行LLMs，以及如何提升与Nvidia显卡竞争的能力。
  • 潜在影响：如果AMD能够解决软件支持等问题，可能会改变用户在选择GPU用于LLMs时的倾向，也可能影响到AMD在人工智能相关领域的市场份额。

详细内容：

标题：AMD GPU 在 LLM 应用中的表现引发 Reddit 热议

在 Reddit 上，一则关于“使用 AMD GPU 运行 LLM”的讨论引起了广泛关注。原帖作者表示自己是一名喜欢尝试 LLM 实验的玩家，目前拥有 RTX 3070 显卡，但其 8GB 的 VRAM 只能运行相对较小的模型。由于 Linux 用户认为 AMD 显卡在该系统上的游戏体验更好，所以作者对拥有 20GB VRAM 的 RX 7900 XT 产生了兴趣，但不确定其在 LLM 方面的表现如何，尤其考虑到 Nvidia 的 CUDA 技术在 LLM 领域的强大影响力。该帖子获得了众多回复和讨论。

在讨论中，主要观点呈现出多样化。有人认为从 RTX 3070 换到 7900XT 性能提升巨大，Rocm 对推理的支持近来表现出色。但也有人表示，7900XTX 硬件虽有潜力，但软件跟不上，如与 3060 相比，7900XTX 甚至在一些情况下表现不佳，因为 3060 有更好的支持。还有用户指出 AMD 的软件已经有所改进。

在个人经历和案例分享方面，有用户称使用 2 个 7900 XTX 和 llama3.3 70B 能达到 12toks/s，而使用两个 3090 则能达到 16toks/s。也有人表示用 3 个 3090 能达到约 12-13 t/s。

有趣的观点包括有人询问是否只使用 LLM，还是会使用不同模型用于比如 TTS、图像生成等。

总体而言，关于 AMD GPU 在 LLM 应用中的表现，讨论存在较大争议。有人认为其表现不错，特别是在软件改进后；但也有人认为与 Nvidia 显卡相比，在支持和性能方面仍有差距，建议选择二手的 3090 显卡。到底 AMD 显卡在 LLM 领域是否是一个可行的选择，还需要根据个人需求和实际情况来综合判断。