原贴链接

系统情况：CPU为Ryzen 9 3950x，内存64gb 3200mhz ddr4，主板x470 Asrock (PCIE3)，GPU1为Rx 6800 (16gb)，速度约500gb/s，GPU2为Rx 6700 (12gb)，速度约300gb/s。一些随机查询的评分基准测试，使用特定命令测试，给出不同GPU单独使用和一起使用时的测试结果，如不同情况下的prompt eval time、eval time等指标，发现使用两个GPU时性能显著降低，询问如何解决这个问题。

讨论总结

原帖作者指出将AMD GPU与Llama cpp结合时性能显著变慢，并列出系统配置与不同GPU使用场景下的性能测试结果，寻求解决办法。评论者们从不同角度提出建议，如使用特定模式实验、运行Vulkan内核等，但原帖作者按照建议进行测试后结果并未改善。同时，还涉及到关于GPU运行相关程序时的一些技术探讨，如GPU运行llamacpp的构建方式等内容。整体氛围比较理性，专注于技术层面的探讨和问题解决。

主要观点

  1. 👍 [使用特定模式实验解决性能下降问题]
    • 支持理由：[这是针对性能下降问题提出的一种可能的解决办法]
    • 反对声音：[测试结果显示这样做没有达到预期效果]
  2. 🔥 [尝试运行Vulkan内核解决问题]
    • 正方观点：[Llama.cpp开发者将优先发展Vulkan且与ROCM性能相似]
    • 反方观点：[单卡时Vulkan性能稍差，测试结果显示与之前几乎相同]
  3. 💡 [认为性能下降可能是软件而非硬件问题]
    • [解释：根据自己类似的双GPU测试结果得出的推测]

金句与有趣评论

  1. “🤔 Mushoz: Try experimenting with –split - mode row versus –split - mode layer.”
    • 亮点：[这是针对原帖性能问题最早提出的解决建议]
  2. “👀 1ncehost：I have an amd card but haven’t run multiple. Did you try running the vulkan kernels? Llama.cpp devs have said they are prioritizing vulkan over rocm going forward and they seem to deliver similar performance.”
    • 亮点：[提供了关于Vulkan内核的相关信息以及与ROCM的比较]
  3. “😂 badabimbadabum2：I think the problem might be the software, not hardware.”
    • 亮点：[从不同角度推测性能下降的原因]

情感分析

[总体情感倾向为中性，大家都在理性地探讨技术问题。主要分歧点在于各种解决性能下降问题的建议是否有效，可能的原因是不同的硬件和软件环境会对结果产生影响。]

趋势与预测

  • 新兴话题：[继续探究性能下降是软件还是硬件问题的具体原因]
  • 潜在影响：[如果确定是软件问题，可能会促使相关软件开发者优化代码；如果是硬件问题，则可能影响AMD GPU在类似应用场景中的使用。]

详细内容：

标题：AMD GPU 组合使用在 Llama cpp 中性能显著下降，寻求解决办法引热议

在 Reddit 上，一篇题为“Significantly slower performance when combining AMD GPU’s with Llama cpp - anyone able to assist to figure out why?”的帖子引发了众多关注。该帖子详细列出了系统配置，包括 Ryzen 9 3950x 的 CPU、64gb 3200mhz ddr4 的内存、x470 Asrock 的主板等，还展示了不同 GPU 单独使用和组合使用时的跑分情况。在使用两只 GPU 时，性能大幅下降，几乎只有较慢 GPU 单独运行时速度的一半。此帖获得了大量的点赞和评论，大家主要围绕如何解决这一问题展开了讨论。

在讨论中，观点纷呈。有人建议尝试不同的拆分模式，如“–split-mode row”与“–split-mode layer”，但效果似乎不佳。有用户提出可以运行 vulkan 内核，虽然之前在单卡上 vulkan 表现稍差，但仍值得一试，然而尝试后结果依旧不理想。还有人认为连接速度无关紧要，问题可能出在软件而非硬件上。有人指出 vulkan 支持通用，无需额外驱动，但速度不是最快。也有人表示不知道如何用 GPU 运行 llamacpp，通过交流了解到可以用 hip hipblas 来使用 rocm。

这场讨论中的共识在于大家都在积极探讨可能的解决办法，努力寻找提升性能的途径。特别有见地的观点如认为问题可能出在软件，为解决问题提供了新的思考方向。但目前仍未找到有效的解决办法，这个话题还在持续讨论中。