原贴链接

嗨，大家好。我一直在尝试在我的RX 6700 XT AMD GPU上运行Llama 3.2（30亿参数）。几周前终于设置好了，现在分享给像我一样预算低且有AMD GPU库存的人。### 创建虚拟环境python -m venv source s/bin/activate### 在Linux上安装ROCM* sudo apt update* sudo apt install “linux - headers - $(uname - r)” “linux - modules - extra - $(uname - r)”* sudo usermod - a - G render,video $LOGNAME # 将当前用户添加到render和video组* wget https://repo.radeon.com/amdgpu - install/6.2.2/ubuntu/noble/amdgpu - install_6.2.60202 - 1_all.deb* sudo apt install./amdgpu - install_6.2.60202 - 1_all.deb* sudo apt autoremove* sudo apt update* sudo apt install amdgpu - dkms rocm#### 卸载单版本安装* sudo amdgpu - install –uninstall#### 卸载特定ROCM版本* sudo amdgpu - install –uninstall –rocmrelease = <release - number>#### 卸载所有ROCM版本* sudo amdgpu - install –uninstall –rocmrelease = all#### 安装wheels包所需的依赖项sudo apt updatesudo apt install libjpeg - dev python3 - dev python3 - pip pip3 install wheel setuptools#### 安装torch、torchvision和torchaudio* pip3 install –pre torch torchvision torchaudio –index - url https://download.pytorch.org/whl/nightly/rocm6.2/#### 查看GPU进程* sudo apt install nvtop* 在终端运行：nvtopOR* watch - n 1 rocm - smi### 可选#### 使用MIOpen kdb文件与ROCM PyTorch wheels（可选）* wget https://raw.githubusercontent.com/wiki/ROCm/pytorch/files/install_kdb_files_for_pytorch_wheels.sh### 结束可选* 重启终端* export HSA_OVERRIDE_GFX_VERSION = 10.3.0OR* 在你的python脚本顶部 “from os import putenv; putenv(“HSA_OVERRIDE_GFX_VERSION”, “10.3.0”);“运行你的模型为半精度（bfloat16或.half()）

讨论总结

原帖是关于在Linux系统下设置AMD GPU来运行llama的操作指南，包括创建虚拟环境、安装ROCM、相关软件包、torch等以及查看GPU进程等步骤。评论主要有以下几个方面：一是在Fedora系统下进行类似设置的操作步骤及版本匹配问题；二是新显卡发布消息并对其散热、性能等方面展开讨论；三是对原帖中安装nvtop用于AMD GPU提出质疑并展开技术讨论；四是针对原帖作者运行的模型进行询问并给出其他可参考的模型。总体氛围是技术爱好者之间的交流分享。

主要观点

  1. 👍 在Fedora系统下设置AMD GPU运行相关程序有特定步骤
    • 支持理由：评论者详细分享了在Fedora下从系统安装到软件安装的一系列步骤。
    • 反对声音：无
  2. 🔥 新发布的华擎2槽位7900XTX显卡有多种特点和疑问点
    • 正方观点：该显卡在加拿大性价比不错，有实用价值，ROCM改进可能提升性能。
    • 反方观点：对其散热方式存疑，软件支持方面表现让人怀疑。
  3. 💡 原帖中关于安装nvtop用于AMD GPU可能有误
    • 支持理由：nvtop可能是用于NVIDIA GPU，AMD GPU可能应用radeontop。
    • 反对声音：nvtop有更广泛含义，AMD在其支持列表首位且对AMD GPU也适用。
  4. 🌟 原帖作者运行llama3.2 3B param模型，有一定性价比
    • 解释：虽然t/s不是最佳，但硬件成本与结果的性价比可以接受。
  5. 🤔 qwen2 VL是可参考的7b vision模型且有人认为优于llama3.2
    • 解释：在视觉任务方面表现不错，有人明确表示更倾向于它。

金句与有趣评论

  1. “😂 Nice guide.”
    • 亮点：简洁地表达了对原帖指南的认可。
  2. “🤔 Hijacking to inform everyone [Asrock has released a 2 - slot 7900XTX!!!!](https://www.asrock.com/Graphics - Card/AMD/Radeon%20RX%207900%20XTX%20Creator%2024GB/)”
    • 亮点：以一种幽默的方式引出新的话题（显卡发布）。
  3. “👀 不要你是说radeontop吗？Nvtop是用于NVIDIA GPU的。Radeontop是用于AMD GPUs的。”
    • 亮点：直接提出对原帖内容的质疑点。
  4. “💡 Ok - Still - 8713: llama3.2 3B param model. t/s not the best but the cost of hardware to result is fine.”
    • 亮点：原帖作者对自己运行模型情况的说明。
  5. “😎 Noxusequal: You should have a look at qwen2 VL and molmo both 7b vision models which seem to be on paar with llama 11b in vision tasks.”
    • 亮点：提供了新的模型参考并与原模型进行比较。

情感分析

总体情感倾向是积极的，大家在分享技术经验、讨论硬件产品和模型。主要分歧点在于新显卡的性能、软件支持方面的看法以及原帖中安装nvtop是否适用于AMD GPU。可能的原因是不同用户有不同的使用体验和技术背景。

趋势与预测

  • 新兴话题：RDNA 4和RDNA 5架构相关信息可能会引发后续讨论。
  • 潜在影响：如果ROCM不断改进提升AMD显卡性能，可能会影响用户在选择GPU时的倾向，对AMD在GPU市场份额和在LLM领域的应用有积极影响。

详细内容：

标题：在 Linux 上设置 AMD GPU 运行 llama 的热门讨论

最近，一个关于在 Linux 上设置 AMD GPU 运行 llama 3.2 3B 参数的帖子引起了广泛关注。该帖子获得了众多的浏览和大量的评论。原帖详细介绍了一系列复杂的设置步骤，包括创建虚拟环境、安装 ROCM 等操作。

讨论的焦点主要集中在以下几个方面： 有人分享了在 Fedora 系统上的设置方法，并提到选择 Fedora 是因为其能为用户打包相关内容。 关于性能，有人指出 AMD GPU 相比 4090 和 3090 在推理方面速度较慢，但也有人认为 ROCM 一直在改进，未来可能超越 3090。还有人对 AMD 在 ROCm 和整体软件支持方面的表现持怀疑态度，认为其在顶级游戏硬件竞争方面的决策影响了升级路径。 有用户讨论了相关的模型运行和每秒处理的任务数等问题。

比如，有用户分享道：“我确实希望 AMD 能够抓住机会，但我对他们在 ROCm 方面的过往表现以及整体软件支持仍有些怀疑。”

也有人提供了相关的链接来支持自己的观点。

讨论中的共识在于认识到 AMD 在某些方面仍有待提升，但也对其未来发展持有一定期待。

特别有见地的观点是，有人认为随着 ROCM 的不断改进，AMD 可能在未来实现速度的显著提升。

总之，关于在 Linux 上设置 AMD GPU 运行 llama 的讨论丰富多样，既有实际的操作经验分享，也有对性能和未来发展的深入思考。