原贴链接

我弄清楚了如何使用 llama.cpp 在多个 AMD GPU 上进行推理，并想尝试微调，结果发现他们在两周前的提交中取消了微调支持 two weeks ago。

你们现在用什么进行微调？我有四块 AMD GPU（AMD RX 7900 XTX）。

谢谢！

讨论总结

本次讨论主要围绕Llama CPP项目移除对微调的支持展开，用户们分享了他们在微调方面的经验，包括使用Llama-Factory、PEFT、Axolotl、Unsloth等工具的尝试，以及对微调效果的不同看法。讨论还涉及了微调的成功案例、使用的硬件（如CPU和GPU）、以及微调过程中的具体问题和结果。总体上，讨论热度较高，用户们积极寻求和分享替代方案。

主要观点

  1. 👍 Llama CPP的微调功能实际上并未有效工作
    • 支持理由：有用户尝试使用Llama-Factory进行微调，但未成功。
    • 反对声音：有用户表示通过特定提交和GGUF可以获得有效结果。
  2. 🔥 用户寻求使用AMD GPU进行微调的解决方案
    • 正方观点：其他用户推荐了几个GitHub项目，包括PEFT、Axolotl和Unsloth。
    • 反方观点：有用户询问是否有基于ROCm的解决方案。
  3. 💡 MMAgeezer提供了AMD官方文档链接，指导如何使用torchtune进行多GPU微调
    • 解释：该评论得到了一定的正面反馈，有用户表示感谢并计划尝试该方法。

金句与有趣评论

  1. “😂 kryptkpr：That fine-tune never really worked.”
    • 亮点：直接指出微调功能的问题，引发讨论。
  2. “🤔 __galahad：I looked at these options, and it seems they’re all CUDA-based. Any ROCM-based ones?”
    • 亮点：提出对基于ROCm解决方案的需求，引发进一步讨论。
  3. “👀 MMAgeezer：Check here for the AMD docs about fine-tuning with multiple GPUs using torchtune: https://rocm.docs.amd.com/en/latest/how-to/llm-fine-tuning-optimization/multi-gpu-fine-tuning-and-inference.html"
    • 亮点：提供具体解决方案，受到用户欢迎。

情感分析

讨论的总体情感倾向较为积极，尽管Llama CPP移除了微调支持，但用户们积极寻求替代方案，并分享了多种工具和方法。主要分歧点在于微调效果和使用的硬件（CPU vs GPU），以及不同工具的兼容性（如ROCm vs CUDA）。

趋势与预测

  • 新兴话题：基于ROCm的微调解决方案可能会成为后续讨论的热点。
  • 潜在影响：找到有效的微调工具和方法将对相关领域的研究和应用产生积极影响。