原贴链接

我读到过不同的帖子，有人说他们成功了，但也有人说它无法工作。我尝试按照标准的ROCm说明来让它工作，但这破坏了所有依赖于mesa的东西，结果非常糟糕…

然后我读到至少有一个人说我不需要通过AMD的仓库或安装程序安装当前的ROCm，而是可以使用Ubuntu的标准仓库来让它工作…

总之…我只是想知道是否有人能确认他们已经让AMD 6700xt成功运行了，如果有的话，使用的是什么Linux发行版和ROCm版本？

目前我的安装抛出了以下错误：

rocBLAS错误：无法初始化Tensile主机：未找到设备

我的组里有render和video，并且rocminfo返回了我的显卡详情，我也能让PyTorch确认使用rocm版本的torch支持cuda。

我使用以下命令从主分支编译：`make GGML_HIPBLAS=1 AMDGPU_TARGETS=gfx1030`，我对编译软件或Linux并不陌生，所以无法自己解决这个问题非常令人沮丧。

哦，如果有人好奇，我正在使用以下命令运行CLI：

`./llama-cli -m ../gguf/mistral-7b-instruct-v0.1.Q5_K_M.gguf -p “Hi” -n 24`

感谢阅读，我真的希望有人能帮忙。

讨论总结

本次讨论主要集中在AMD 6700xt显卡在Ubuntu 24.04系统上与ROCm和llama.cpp的兼容性问题上。用户们分享了各自的安装经历和遇到的困难，包括环境变量设置错误、依赖问题和特定的错误信息。部分用户成功解决了问题，并分享了详细的解决方案，如正确设置HIP_VISIBLE_DEVICES和HSA_OVERRIDE_GFX_VERSION环境变量，以及使用Ubuntu的标准仓库进行安装。讨论中还提到了使用LMstudio作为替代方案，该工具支持Vulkan作为加速器。总体上，讨论反映了用户在配置高性能计算环境时的常见挑战和解决策略。

主要观点

  1. 👍 环境变量HIP_VISIBLE_DEVICES的设置错误导致GPU设备无法被识别
    • 支持理由：通过安装libhipblas0-tests进行测试，发现并解决了问题。
    • 反对声音：无
  2. 🔥 使用Ubuntu的标准仓库安装ROCm
    • 正方观点：部分用户成功通过这种方式解决了兼容性问题。
    • 反方观点：仍有用户遇到问题，未能解决。
  3. 💡 设置HSA_OVERRIDE_GFX_VERSION=10.3.0环境变量
    • 解释：确保兼容性，避免特定版本问题。
  4. 👍 使用LMstudio替代ROCm
    • 支持理由：LMstudio支持Vulkan作为加速器，解决了部分用户的兼容性问题。
    • 反对声音：无
  5. 🔥 错误信息“rocBLAS error: Could not initialize Tensile host: No devices found”
    • 正方观点：讨论中多次提及，是用户普遍遇到的问题。
    • 反方观点：无

金句与有趣评论

  1. “😂 Nvm, after months I finally solved it… Turns out despite the AMD GPU being the second device in rocm, this is wrong: export HIP_VISIBLE_DEVICES=2…”
    • 亮点：用户历经数月终于解决问题的喜悦和分享。
  2. “🤔 I’m on the exact same setup, and everything worked directly by following the install instructions with the only exception of having to set the gfx version override.”
    • 亮点：用户分享了成功配置的经验，强调了设置环境变量的重要性。
  3. “👀 i gave up on rocm with my 6700xt on windows, i am now using LMstudio which has the latest llamacpp that supports vulkan as an accelerator”
    • 亮点：用户分享了替代方案，展示了LMstudio的优势。

情感分析

讨论的总体情感倾向较为积极，尽管用户普遍遇到兼容性问题，但通过分享经验和解决方案，多数用户表现出解决问题的决心和乐观态度。主要分歧点在于具体的安装方法和环境变量设置，部分用户成功通过特定方法解决了问题，而其他用户仍在尝试中。

趋势与预测

  • 新兴话题：LMstudio作为ROCm的替代方案，可能会引发更多用户尝试和讨论。
  • 潜在影响：随着更多用户分享成功配置的经验，AMD 6700xt与ROCm在Ubuntu 24.04上的兼容性问题有望逐步得到解决，推动高性能计算环境的普及。

详细内容：

标题：关于在 Ubuntu 24.04 上使 AMD 6700xt 与 ROCm 协同工作的热门讨论

在 Reddit 上，有一则关于能否让 AMD 6700xt 在 Ubuntu 24.04 上与 ROCm 成功配合工作的帖子引发了广泛关注。该帖收到了众多回复和讨论，原帖作者表示自己尝试了多种方法但都遇到了问题，比如按照标准 ROCm 说明操作却搞砸了依赖 mesa 的部分，还提到自己编译时遇到的状况以及运行相关命令后的错误提示。

这一话题引发了多个方向的讨论。有人分享自己经过数月努力终于解决问题的经历，指出尽管 AMD GPU 在 rocm 中是第二个设备，但“export HIP_VISIBLE_DEVICES=2”这个设置是错误的。还有人详细列举了运行相关命令后应出现的内容，并建议通过指定“-ngl 43”来将所有层都转移到 GPU 上，还提到可以通过特定方式查看 GPU 利用率和 VRAM 使用率。也有人表示自己在相同设置下，按照安装说明操作一切顺利，只是需要设置 gfx 版本覆盖，并且使用了 amdgpu 安装脚本，没有用到 HIP_VISIBLE_DEVICES，因为其使用的是没有集成显卡的英特尔 CPU。

有用户提到自己在 Windows 上使用 6700xt 与 rocm 时选择了放弃，现在使用支持 Vulkan 作为加速器的 LMstudio。不过也有人表示自己一开始就只是为了在 GPU 上运行 Mistral 所以自然选择了 ROCm，并未考虑 Vulkan 的可能性。

讨论中的共识在于大家都在积极探索让 AMD 6700xt 与 ROCm 在不同环境下成功配合工作的方法。其中一些特别有见地的观点，如详细的解决步骤和不同情况下的应对策略，丰富了整个讨论。但对于如何设置才能达到最佳效果，目前仍存在争议。

希望这些讨论能为同样面临类似问题的人提供一些有价值的参考和思路。