嗨,大家好。我刚接触大型语言模型(LLM)/小型语言模型(SLM)的微调,正在尝试弄清楚人们通常使用哪些工具来进行这项操作。到目前为止,我所看到的有以下一些选择:1. Hugging Face TRL(例如,SFT、PPO等);2. Unsloth AI;3. 无代码工具,如Together AI、Predibase、FinetuneDB;4. 还有其他的吗?
讨论总结
这是一个关于微调模型框架使用的讨论。发帖者询问大家常用的微调模型框架有哪些,评论者们纷纷给出了自己的答案,包括推荐各种不同的框架如axolotl、Torchtune、MLX LM、Kiln、openpipe.ai等,还提及了不同框架的相关特性,如axolotl在30b及以上需要多GPU支持、Unsloth多GPU支持仍在测试阶段、openpipe.ai在定价和模型质量方面的优势等,整体讨论氛围积极,大家分享信息,没有明显的争执。
主要观点
- 👍 axolotl可作为微调模型的框架选项
- 支持理由:有使用者将其作为默认选项且推荐
- 反对声音:无
- 👍 Unsloth在多GPU支持方面虽处于测试阶段但较好
- 正方观点:有使用者体验过觉得不错
- 反方观点:无
- 🔥 Torchtune可用于微调模型
- 正方观点:有评论者推荐并给出官网链接
- 反方观点:无
- 💡 MacOS系统可使用MLX LM进行模型微调
- 解释:有评论者提到并给出参考链接
- 💡 Kiln是新且有趣的工具
- 解释:有评论者推荐并表达观点
金句与有趣评论
- “😂 7pot:[axolotl](https://github.com/axolotl - ai - cloud/axolotl)?”
- 亮点:引出axolotl这个框架选项
- “🤔 SuperChewbacca:That’s what I used. I needed multi GPU support. Unsloth is still in beta for multi GPU, but it’s very nice.”
- 亮点:分享使用axolotl的原因及Unsloth多GPU支持的情况
- “👀 DinoAmino:Torchtune”
- 亮点:直接推荐Torchtune
- “😎 Felladrin:对于使用MacOS系统的人来说,可以利用MLX LM进行微调(包括LoRA、QLoRA和Full)。”
- 亮点:指出特定系统下的微调工具
- “🤩 Fuzzdump:[Kiln](https://github.com/Kiln - AI/Kiln) is new and interesting”
- 亮点:推荐新工具并给出评价
情感分析
总体情感倾向积极,大家主要是分享自己使用或了解的微调模型框架相关的信息,没有明显的分歧点,可能是因为大家都处于分享经验和知识的目的参与讨论。
趋势与预测
- 新兴话题:新工具如Kiln等可能会引发更多人去尝试和探索,也可能会有更多关于特定系统下微调模型工具的挖掘。
- 潜在影响:对模型微调领域的发展有推动作用,让更多人了解到不同的框架和工具,有助于提高模型微调的效率和质量。
详细内容:
《最佳模型微调框架大讨论,众人各有所好》
在 Reddit 上,有这样一个热门帖子引起了大家的关注,标题为“Best frameworks for fine-tuning models—what’s everyone using?”,截至目前已经获得了众多点赞和大量评论。帖子的主要内容是发帖者作为模型微调的新手,试图了解大家通常使用哪些工具,列举了一些选项,包括 Hugging Face TRL、Unsloth AI、像 Together AI、Predibase、FinetuneDB 这样的无代码工具等等,并询问是否还有其他选择。
这个帖子引发了热烈的讨论,焦点集中在不同框架的特点和优势上。有人提到了 axolotl,有人表示自己使用过,因为需要多 GPU 支持,Unsloth 虽仍在多 GPU 支持的测试阶段,但体验不错。也有人称自己长期以来一直默认使用 axolotl。还有人提到了 Torchtune,并有人询问使用 Torchtune 是否有优势。对于 MacOS 用户,有人指出可以使用 [Fine - Tuning with MLX LM](https://github.com/ml - explore/mlx - examples/blob/main/llms/mlx_lm/LORA.md) 。新出现的 Kiln 也引起了关注,有人觉得生成合成数据很有趣。此外,还有人推荐 https://openpipe.ai ,称其在无代码工具类别中价格更有优势,在内部测试中生成的模型质量也更高。
在这场讨论中,大家各抒己见。有人看重多 GPU 支持,有人关注框架的易用性和生成数据的效果。而对于新出现的工具,大家也充满好奇和期待。不过,对于哪个框架最优,尚未形成完全一致的看法,这也反映了模型微调领域的多样性和不断发展的特点。
总之,通过这场讨论,我们可以看到在模型微调框架的选择上,大家有着丰富的经验和不同的偏好,也为新手提供了更多的参考和思考。
感谢您的耐心阅读!来选个表情,或者留个评论吧!