原贴链接

只是想知道像 7800XT 这样的产品是否有用，还是纯粹浪费。

讨论总结

本次讨论围绕“在Linux系统上使用AMD显卡进行推理是否是一个好选择”的主题展开，特别是关于7800XT显卡的实用性。评论中提到了VRAM的重要性，ROCm和Vulkan在AMD显卡上的表现差异，以及不同软件对ROCm的支持情况。此外，讨论还涉及了AMD显卡在性价比方面的优势，以及在某些AI应用如语音识别方面存在的问题。总体来看，虽然AMD显卡在Linux环境下的设置相对复杂，但在性价比和VRAM方面有明显优势，尤其是在不需要依赖CUDA生态系统的场景中。

主要观点

  1. 👍 AMD显卡在Linux环境下的设置相对复杂
    • 支持理由：需要特定的Linux发行版和配置，如ROCm的支持。
    • 反对声音：Docker和Ollama:ROCM的设置过程相对简单。
  2. 🔥 VRAM容量是选择显卡的关键因素
    • 正方观点：VRAM对于大型模型推理至关重要。
    • 反方观点：某些软件对ROCm的支持有限，不如CUDA生态系统成熟。
  3. 💡 AMD显卡在性价比方面有优势
    • 解释：尤其是在VRAM方面，AMD显卡提供了更高的性价比。
  4. 🚀 对于LLM推理，Vulkan可能比ROCm更快
    • 解释：Vulkan在某些场景下提供了更好的性能。
  5. 🌟 使用AMD显卡进行LLMs推理设置简单且运行良好
    • 解释：Koboldcpp_ROCm和LMStudio_ROCm是快速启动的好方法。

金句与有趣评论

  1. “😂 If it’s supported by what you’ll be using it’s not so bad because you just need to install Linux, pull a docker image and you’re done.”
    • 亮点：简化了AMD显卡在Linux上的设置过程。
  2. “🤔 I suppose ROCm is still better for ingesting large prompts.”
    • 亮点：指出了ROCm在处理大型提示时的优势。
  3. “👀 AMD is better for more VRAM per money if you don’t need to use software that only supports CUDA.”
    • 亮点：强调了AMD显卡在VRAM性价比方面的优势。

情感分析

讨论的总体情感倾向较为积极，大多数用户认为AMD显卡在Linux环境下进行推理是可行的，尤其是在性价比和VRAM方面。然而，也存在一些担忧，如设置复杂性和某些软件对ROCm的支持不足。主要分歧点在于AMD显卡的性能和兼容性，以及与NVIDIA显卡的比较。

趋势与预测

  • 新兴话题：社区正在努力为ROCm实现Flash Attention，这可能会改善AMD显卡在某些AI应用中的表现。
  • 潜在影响：随着更多用户和开发者探索AMD显卡在Linux上的推理应用，可能会推动更多软件和工具的支持，从而提升整体生态系统的成熟度。

详细内容：

标题：AMD 在 Linux 上用于推理是否是好选择？在 Reddit 引发热议

在 Reddit 上，一则关于“Is AMD a good choice for inferencing on Linux?”的帖子引起了广泛关注。原帖主要探讨了像 7800XT 这样的 AMD 产品在 Linux 系统上用于推理是否有用还是浪费。该帖获得了众多点赞和大量评论，引发了多个方向的讨论。

文章将要探讨的核心问题是：AMD 在 Linux 系统上进行推理的性能、设置难度以及与其他产品的对比等。

在讨论中，有人表示 AMD 设置起来有点麻烦，但还可以。还有人提到如果被使用的软件支持，安装 Linux 并拉取相关的 docker 镜像就可以完成，无需像 Nvidia 那样安装专有驱动，有时这会导致一些问题。有人通过测试发现，在某些情况下，ROCm 在处理大型提示时表现更好，但在其他方面，Vulkan 的计算速度可能更快。也有人指出 Vulkan 不支持某些量化，而 ROCm 处理上下文的时间较长。

有人分享说 AMD 在每单位资金能获得的 VRAM 方面更有优势，如果不需要使用仅支持 CUDA 的软件的话。但也有人认为质量比每秒处理的令牌数更重要。

有人表示使用 docker 和 ollama:rocm 在 Linux 上设置比较容易，也很稳定，但加载超出可用内存的大型模型时会出现问题。

有人提到在特定机器上使用支持的 Linux 发行版就没问题，但在其他发行版上可能会有困难。

有人对比了 AMD 和 Nvidia 显卡的性能和价格，并希望看到 7800 XT 与 4060 Ti 16 GB 的推理基准测试。

有人指出使用 AMD 可能会无法使用一些 CUDA 特定的好东西，但也有人表示某些功能并非 CUDA 专属，在 ROCm 上也能运行。

总之，对于 AMD 在 Linux 上用于推理是否是好选择，大家观点各异，尚无定论。有人觉得不错，有人则认为存在诸多问题。这取决于个人的具体需求和使用场景。