原贴链接

AMD的Adrenalin 25.3.1驱动在发布说明中提到了’AMD Radeon™ RX 7000系列的AI性能改进’，同时Adobe Lightroom Denoise或DaVinci Resolve等应用也有较大百分比的性能提升。由于我已经安装了之前的WHQL推荐驱动，所以我决定在koboldcpp中进行测试。结果发现性能也有不错的提升。如果还没有下载的话，值得下载。#硬件测试设置 #操作系统：Microsoft Windows 11 Professional (x64) Build 26100.3194 (24H2) #CPU：Intel Core Ultra 7 265K #GPU：AMD Radeon RX 7900 XT (20GB) #主板：ASRock Z890I Nova WiFi (BIOS 2.22) #磁盘：Lexar SSD NM800PRO 2TB #内存：64GB (2×32GB DDR5 6400 CL32) #安全启动、BitLocker和HVCI启用 #软件测试设置 #软件：koboldcpp 1.83.1 #模型：phi - 4 - q4 #上下文大小：16384 #BLAS批处理大小：512 #线程：8 #GPU层数：43/43 #后端：Vulkan和ROCm相关的性能对比表格（包含不同驱动版本下各项指标如处理时间、处理速度、生成时间、生成速度、总时间的对比）

讨论总结

原帖主要分享了AMD新驱动在koboldcpp中的性能提升情况，并详细列出了硬件和软件测试设置以及不同后端下的各项指标对比。评论内容较为多元，有指出原帖拼写错误并得到修正的互动，有对新驱动性能提升表示认可的积极回应，还有原本对新驱动持观望态度者因帖子而改变想法，以及关于显卡选择与运行AI模型相关的讨论，包括VRAM影响等方面。

主要观点

  1. 👍 原帖存在拼写错误需要修正。
    • 支持理由：原帖中“Backend: Vulcan”应为“Backend: Vulkan”。
    • 反对声音：无
  2. 👍 对AMD新驱动在koboldcpp中的性能提升表示认可。
    • 支持理由：新驱动带来了如处理速度等多方面的提升。
    • 反对声音：无
  3. 👍 看到性能提升相关帖子前对新驱动持观望态度，现在因为这个帖子而改变想法。
    • 支持理由：原帖提供的性能提升数据让人有了尝试的想法。
    • 反对声音：无
  4. 💡 考虑购买特定显卡用于运行本地模型。
    • 解释：如在5070ti和9070xt之间犹豫，想用于运行32GB或16GB本地模型。
  5. 💡 VRAM对运行模型有重要影响但不是唯一因素。
    • 解释：不同显卡的其他性能也会影响模型运行速度。

金句与有趣评论

  1. “😂 FastDecode1: Live long and prosper.”
    • 亮点：以一种幽默风趣的方式回应对拼写错误修正的感谢。
  2. “👍 fallingdowndizzyvr：Sweet.”
    • 亮点：简洁地表达了对AMD新驱动性能提升的积极态度。
  3. “👀 Thrumpwart：Nice! I was holding off on this driver in until I saw a post like this.”
    • 亮点：体现出原帖对观望者态度的影响。
  4. “💡 lmvg: I’m between buying a 5070ti and 9070xt do you think AMDs card is decent enough to run some local 32GB or 16GB models?”
    • 亮点：引出了关于显卡选择与运行模型能力的讨论。
  5. “💡 snmnky9490: VRAM isn’t the only thing that matters. A faster card will run the model faster, but without enough VRAM it can’t run it at all.”
    • 亮点：阐述了VRAM与其他因素在运行模型时的关系。

情感分析

总体情感倾向为积极，主要分歧点较少。原帖分享性能提升是积极的内容，大部分评论也是积极回应，如认可性能提升、对修正表示感谢等，仅有在显卡对于AI适用性方面存在一些较为中性的观点，认为当前一代显卡对于AI来说存在不足，但也没有引发激烈的争论。

趋势与预测

  • 新兴话题：关于不同显卡运行AI模型的具体表现及优化可能会引发后续讨论。
  • 潜在影响：如果关于显卡运行AI模型的讨论深入，可能会影响消费者在选择显卡时的决策，对显卡市场产生一定影响。

详细内容：

《AMD 新驱动在 koboldcpp 中带来显著性能提升，引发热烈讨论》

在 Reddit 上，一篇关于 AMD 新驱动的帖子引发了众多关注。该帖子提到 AMD 的 Adrenalin 25.3.1 驱动在发布说明中提及了“AMD Radeon™ RX 7000 系列的 AI 性能改进”，且在诸如 Adobe Lightroom Denoise 或 DaVinci Resolve 等应用中有较大的性能提升百分比。作者在已安装此前 WHQL 推荐驱动的情况下，测试了该新驱动在 koboldcpp 中的表现，发现也有不错的性能提升。此贴获得了大量点赞和众多评论。

讨论的焦点主要集中在显卡性能与 VRAM 等方面。有人指出，VRAM 并非唯一关键因素，更快的显卡能让模型运行更快，但如果 VRAM 不足则根本无法运行。若优先运行大型模型，可能需要多张显卡，如 4 张 4090 卡，才能达到较大的 VRAM 容量，但这也需要相应的主板、CPU 和电源支持。也有人认为，当前这一代显卡对于 AI 来说都不够理想，大量的快速 VRAM 最为重要，只有 4090 和 5090 能超越 3090，然而 4090 性价比不高，5090 又不切实际。还有人表示，当前的 GPU 并非专为 batch=1 的 LLM 推理而设计，但其在批量推理方面表现出色，例如使用 3090 和 7B 模型，一次发送 200 个提示时能获得 2000 t/s 的吞吐量。

讨论中的共识在于大家都关注到了显卡性能提升对于相关应用的重要性。特别有见地的观点是关于不同显卡在不同场景下的性能表现分析，这丰富了大家对于显卡选择和应用的理解。