原贴链接

我买了这个8700G只是为了做实验——由于亚马逊的配送失误，我最终得到了一块闲置的主板，手头有一块电源和硬盘，所以就买了一块8700G和64GB的6000MHz DDR5内存，知道集成显卡可以访问32GB的内存，这使得它成为迄今为止能够访问超过8GB内存的最便宜的基于GPU的LLM系统，而且差距相当大。

首先，在8700G的780M上让这个系统工作起来很麻烦。我不得不在这里找到一个修改过的ollama库：https://github.com/likelovewant/ollama-for-amd/wiki，这需要一些认真的谷歌搜索技巧才能找到，它使集成显卡在Windows中工作，而不限制它可以使用的内存量到默认分配（大约512MB）。我首先尝试了LM Studio（不支持），尝试在WSL中运行（导航AMD RoCm不是为胆小的人准备的），经过大约6个小时的努力，找到了上面链接的修改过的应用程序，我让它和llama3.1一起工作了。

我有一些与CPU和其他GPU的比较。最近我尝试了几个LMStudio的版本，它们启用了OpenCL GPU卸载，但现在不再工作了（只是说没有找到GPU），在我的llama3测试中，速度比CPU还慢。所以下面是我使用相同的提示在以下系统上使用LLama3.1 7b和64k上下文长度的测试结果：

780M集成显卡 - 11.95 tok/s

8700G CPU（8核/16线程zen4） - 9.43 tok/s

RTX 4090 24GB - 74.4 tok/s -

7950x3d CPU（16核/32线程3D vcache在一个芯片上） - 8.48 tok/s

我还尝试了最大128k上下文长度，它在4090上溢出了GPU内存并转到了共享内存，导致以下速度：

780M集成显卡 - 10.98 tok/s

8700G - 8.14 tok/s

7950x3d - 8.36 tok/s

RTX 4090 - 44.1 tok/s

我认为很酷的是，非量化的llama3.1 7b版本在最大上下文大小下可以完全适应780M。4090虽然性能大幅下降，但仍然非常快。运行更大上下文大小时，内存消耗大约为30GB，4090不得不溢出到共享系统内存，因此速度减慢。运行较小上下文大小时，内存消耗大约为18GB。当运行GPU时，GPU利用率固定在100%，在CPU上我发现超过16线程后没有加速，所以8700G显示100%利用率，而7950x3d显示50%。我没有尝试在x3d芯片上运行，但可能会在另一个时间尝试。我想尝试一些70b模型的量化版本，但那些需要较小的上下文大小才能运行，我确定。

讨论总结

本次讨论主要聚焦于使用Ryzen 8700G处理器进行LLama3.1模型的测试和性能分析。参与者分享了在不同硬件配置下的测试结果，特别是集成显卡（IGP）的表现，以及与其他高端CPU和GPU的对比。讨论中还涉及了软件支持、内存管理、量化模型测试等话题，以及对未来技术发展的期待。

主要观点

  1. 👍 Ryzen 8700G在LLama3.1模型上的表现
    • 支持理由：通过特定的软件修改，成功在780M IGP上运行LLama3.1，性能表现优于某些CPU配置。
    • 反对声音：AMD在软件支持方面存在不足，尤其是在加速LLM在iGPU上的应用。
  2. 🔥 集成显卡（IGP）的性能优势
    • 正方观点：780M IGP在处理LLama3.1时表现出色，尤其是在高上下文长度下。
    • 反方观点：大上下文长度测试中，GPU内存溢出导致性能下降。
  3. 💡 未来量化模型测试的期待
    • 解释：作者计划尝试量化版本的LLama3.1，以进一步优化性能。

金句与有趣评论

  1. “😂 Have you tried running LLM via Vulkan using jan.ai or GPT4All”
    • 亮点：探索在iGPU上更有效地运行LLM的新方法。
  2. “🤔 I’ll give cortex a try, looks interesting, if for no other reason than to see what directML can do.”
    • 亮点：对新技术的好奇和尝试精神。
  3. “👀 Similar experience on older igpus too - they tend to be about as fast as the cpu they’re bundled with.”
    • 亮点：对集成显卡性能的客观评价。

情感分析

讨论的总体情感倾向较为积极，参与者对Ryzen 8700G的性能表现表示赞赏，并对未来技术发展持乐观态度。主要分歧点在于软件支持和内存管理，部分用户对AMD在这方面的表现表示不满。

趋势与预测

  • 新兴话题：量化模型测试和内存超频技术可能引发后续讨论。
  • 潜在影响：Ryzen 8700G在LLM推理中的应用可能推动集成显卡技术的发展，对相关领域或社会产生积极影响。