原贴链接

你好！

碰巧我有一些芬兰语的故事收集在一个raw.txt文件中，我已经手动清理了大部分无意义的内容，并使用NP++将它们整理得…还算整齐。

现在我想要应用这个文件的模型是：LumiOpen/Poro-34B-chat

这个.txt文件相当小，只有259KB，包含1662行和265,000个字符。

这个模型已经在芬兰语上进行了训练，并且做得相当好。但我希望为了个人使用再完善一点。

我有一台相当强大的家用电脑，但我了解到，例如使用oobabooga训练一个LoRA文件会导致损失，这基本上会因为训练参数的限制而破坏模型结果。

我知道存在GGUF和AWQ格式的量化版本模型，但我了解到这些模型无法被训练。

那么，关于我的选择有什么建议吗？Runpod训练和量化？用另一个经验丰富的模型包装的翻译器？

提前感谢！

讨论总结

本次讨论主要围绕如何微调一个已经用芬兰语训练过的大型语言模型（LLM），特别是针对名为 “LumiOpen/Poro-34B-chat” 的模型。用户拥有一个包含芬兰语故事的 txt 文件，并希望进一步优化模型以供个人使用。讨论中，用户表达了对使用 oobabooga 进行训练可能导致模型质量下降的担忧，并寻求关于训练和量化的具体建议。此外，用户还提到了模型的量化版本无法训练的问题，并询问了使用Runpod进行训练和量化的可能性，以及使用翻译器包装另一个经验丰富的模型的建议。

主要观点

  1. 👍 微调大型语言模型
    • 支持理由：用户拥有一个包含芬兰语故事的 txt 文件，希望用于微调模型。
    • 反对声音：使用 oobabooga 进行训练可能导致模型质量下降。
  2. 🔥 训练参数限制
    • 正方观点：用户担心训练参数限制会导致模型质量下降。
    • 反方观点：建议使用16位适配器进行训练，并将其转换为AWQ格式。
  3. 💡 量化和训练选项
    • 用户询问关于使用Runpod进行训练和量化的建议。
    • 用户考虑使用翻译器包装另一个经验丰富的模型。

金句与有趣评论

  1. “😂 Curious, why does oobabooga ruin models with training?”
    • 亮点：用户对oobabooga的影响表示好奇，引发了对训练参数限制的讨论。
  2. “🤔 Try Unsloth. They’ve got a bunch of examples that’ll walk you through the process.”
    • 亮点：建议使用Unsloth进行训练，提供了具体的解决方案。
  3. “👀 +1 train in unsloth. Mere adapter in 16 bit and convert to Awq”
    • 亮点：建议使用16位适配器进行训练，并将其转换为AWQ格式，以避免训练参数限制导致的损失。

情感分析

讨论的总体情感倾向较为积极，用户们对如何微调模型提出了具体的建议和解决方案。主要分歧点在于训练参数的限制和如何避免模型质量下降。用户们对新技术和工具（如Unsloth）表现出兴趣，并寻求更有效的训练方法。

趋势与预测

  • 新兴话题：使用16位适配器和AWQ格式进行训练可能会成为未来微调大型语言模型的新趋势。
  • 潜在影响：这些新的训练方法可能会提高模型质量，特别是在处理特定语言（如芬兰语）的微调任务时。