原贴链接

在ChatGPT出现之前，我有时会微调大型语言模型（LLMs），但自从有了ChatGPT，我基本上只使用提示。我想知道：

  • 在什么情况下，对像llama这样的模型进行微调（不需要天文数字的预算！）比仅仅使用提示输入到像ChatGPT这样的大型模型更有意义？
  • 在对llama进行微调时，通常需要多少数据才能获得不错的结果？（我在这里只是想要一个大致的数量级估计。）

提前感谢！

讨论总结

本次讨论主要围绕在特定情况下微调大型语言模型（如 Llama）与使用提示（prompting）之间的选择，以及微调所需的数据量和资源需求。讨论中涉及了多种微调方法和工具的使用体验，包括使用 OpenAI 和 Google 的微调服务、在 Google Colab 上使用库如 Unsloth 进行微调，以及在本地 GPU 上进行微调的可行性和限制。此外，讨论还涉及了微调的量化版本（如 LoRA）在资源有限情况下的应用，以及提示工程在实际应用中的优势和局限性。总体而言，讨论氛围较为专业，参与者对微调的时机和必要性表示了浓厚的兴趣，并希望有更多专业知识的人能够解答这一问题。

主要观点

  1. 👍 微调 Llama 需要大约 2000 个指令示例
    • 支持理由：根据 LIMA 论文，微调需要大约 2000 个指令示例。
    • 反对声音：实际应用中可能需要更多数据。
  2. 🔥 提示工程通常能带来最大的收益
    • 正方观点：提示工程在大多数情况下能满足需求。
    • 反方观点：对于特定任务，提示工程可能不足以满足需求。
  3. 💡 微调不适用于知识扩展，而是用于修改模型行为
    • 解释：微调应使用精确代表使用场景的数据集，以避免过拟合或破坏其他功能。
  4. 💡 微调时应使用精确代表使用场景的数据集
    • 解释：以避免过拟合或破坏其他功能。
  5. 💡 使用 LoRA 技术可以显著减少微调所需的参数数量
    • 解释：LoRA 技术在资源有限的情况下非常有用。

金句与有趣评论

  1. “😂 AutomataManifold：Finetuning works with ~2000 instruction examples, if we go by the LIMA paper.”
    • 亮点：引用权威论文，提供具体数据支持。
  2. “🤔 Fit_Fold_7275：提示工程通常能带来最大的收益。”
    • 亮点：强调提示工程在实际应用中的优势。
  3. “👀 No_Afternoon_4260：微调不适用于知识扩展，而是用于修改模型行为。”
    • 亮点：明确微调的适用范围和目的。
  4. “👀 W_A_J_W：I’ve had good results finetuning Llama 70B, with only a few dozen thousand rows of data.”
    • 亮点：分享实际微调经验，提供参考数据。
  5. “👀 thequirkynerdy1：Thanks! How long does it take to finetune a llama with their Colab?”
    • 亮点：关注微调所需的时间和资源。

情感分析

讨论的总体情感倾向较为专业和理性，参与者对微调的时机和必要性表示了浓厚的兴趣，并希望有更多专业知识的人能够解答这一问题。主要分歧点在于微调所需的数据量和资源需求，以及提示工程在实际应用中的优势和局限性。可能的原因是参与者对微调的具体应用场景和效果存在不同的理解和经验。

趋势与预测

  • 新兴话题：微调的量化版本（如 LoRA）在资源有限情况下的应用。
  • 潜在影响：微调技术的进一步普及和应用，可能会推动更多开发者尝试在本地 GPU 上进行微调，从而降低微调的门槛和成本。

详细内容：

《关于模型微调与提示的热门讨论》

在 Reddit 上，有一篇题为“ When to prompt vs finetune, and how much data for finetuning? ”的帖子引起了广泛关注。该帖获得了众多点赞和大量评论，主要探讨了在模型训练中何时选择微调（finetune）模型如 llama 与仅仅使用提示（prompt）输入到像 ChatGPT 这样的大型模型，以及在微调 llama 时通常需要多少数据才能获得较好结果等问题。

在讨论中，各方观点精彩纷呈。有人指出，根据 LIMA 论文，微调大约需要 2000 个指令示例。也有人表示，在某些情况下，少至 100 多个示例就取得了成功，并提供了相关链接https://www.patched.codes/blog/a-comparative-study-of-fine-tuning-gpt-4o-mini-gemini-flash-1-5-and-llama-3-1-8b。

有人认为，使用 OpenAI 和谷歌的微调，如果数据格式正确，时间会很短；但如果在自己的环境中使用像 Unsloth 这样的库进行调整，时间则取决于个人的熟悉程度。还有人提到，微调 llama3.1-8B 可以在具有 16GB 内存的免费 Google Colab t4 上使用 qlora 完成。

关于能否在本地 GPU 或节点上进行扩展的问题，有人认为这取决于所训练模型的大小。有人表示，在自己的经验中，提示工程带来的收益最大。通常先进行提示工程找到最佳提示，如果不够再进行少量微调（约 1000 个样本），对于小型模型，可能还需要一些高质量的合成数据。

也有人认为微调并非适用于知识扩展，而是用于修改模型的“行为”，这更像是一种技艺，开发者的经验可能和数据集的质量同样重要。还有人提到，典型的 LoRA 训练的参数约为模型参数的千分之一，比如 70 亿参数的模型微调可能涉及训练 700 万参数。

总的来说，这次讨论中对于模型微调与提示的选择以及所需数据量没有一个明确的统一答案，取决于多种因素，包括模型大小、任务需求、数据质量和个人经验等。这也反映了模型训练领域的复杂性和多样性，需要开发者根据具体情况灵活选择和尝试。