原贴链接

嘿，大家好！现在你们可以使用Unsloth对Phi - 4进行超过128K上下文长度的微调了！这比在48GB GPU上Hugging Face + FA2的11K长12倍。Phi - 4微调Colab：[https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Phi_4 - Conversational.ipynb](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Phi_4 - Conversational.ipynb)。我们之前也宣布了Phi - 4的漏洞修复，现在将公布细节。但是，在这之前，有些人好奇我们的修复是否真的有效？是的！我们修复后的Phi - 4上传显示出明显的性能提升，在[开放大语言模型排行榜](https://huggingface.co/spaces/open - llm - leaderboard/open_llm_leaderboard#/?search = phi - 4)上甚至比微软的原始上传得分更高。https://llminfo.image.fangd123.cn/images/d8hew26e06ce1.png!/format/webp。有些人甚至进行了测试，在以下方面显示出极大的改进结果：示例1：多项选择任务，https://preview.redd.it/qx50pkq706ce1.png?width = 1579&format = png&auto = webp&s = 437da2cabdbf98ef5a8b8cbdc5592907a20e2316；示例2：ASCII艺术生成，https://preview.redd.it/ircz0pnc06ce1.png?width = 1433&format = png&auto = webp&s = 16c770a0fd58a469af3b98216844447845b98ada。#漏洞修复细节1. 标记器修复：Phi - 4错误地使用<|endoftext|>作为结束符（EOS），而不是<|im_end|>。2. 微调修复：使用合适的填充标记（例如<|dummy_87|>）。3. 聊天模板修复：除非指定，否则避免添加助手提示以防止服务问题。4. 更多详情在我们的博客：https://unsloth.ai/blog/phi4或者tweet。|Phi - 4上传（包含我们的漏洞修复）|：| - |：|[GGUFs](https://huggingface.co/unsloth/phi - 4 - GGUF)包括2、3、4、5、6、8、16位|：|[Unsloth动态4位](https://huggingface.co/unsloth/phi - 4 - unsloth - bnb - 4bit)|：|[原始16位](https://huggingface.co/unsloth/phi - 4)|。有关所有其他模型上传，请查看[我们的文档](https://docs.unsloth.ai/get - started/all - our - models)。我知道这篇文章有点长，但我希望它能提供有用信息，如果有任何问题，请随时提问！

讨论总结

原帖主要讲述了Phi - 4可使用Unsloth进行大于128K上下文长度的微调及Bug修复相关内容。评论者们针对模型在IFEval分数增加的原因、指令遵循能力、如何进行微调操作、预训练工具选择、是否能在特定硬件上运行等方面展开讨论，有的表达认可，有的提出疑问或好奇，整体讨论氛围比较积极，大家都在探索Phi - 4模型的相关特性和功能。

主要观点

  1. 👍 对原帖中的工作成果表示认可
    • 支持理由：原帖展示了Phi - 4的成果如微调及Bug修复，多个评论者表示工作很棒、是一项成就等。
    • 反对声音：无。
  2. 🔥 对IFEval分数增加的原因表示好奇
    • 正方观点：原论文提到模型遵循指令是弱点，现在分数增加，所以好奇是否与聊天模板漏洞有关等。
    • 反方观点：无。
  3. 💡 对模型微调中的妥协表示好奇
    • 解释：想知道如在FP16下14B模型在单个H100上进行微调时做了哪些妥协。
  4. 💡 对phi - 4与unsloth继续预训练的兼容性存疑
    • 解释：不同的人从VRAM需求以及phi - 4的模型性质方面考虑认为可能兼容或不兼容。
  5. 💡 对128K上下文长度下的Phi - 4微调所需GPU内存和使用技术表示好奇
    • 解释：有人希望原帖作者详细阐述在128K上下文长度下微调需要多少GPU内存，是否使用LoRA或者QLoRA技术等。

金句与有趣评论

  1. “😂 Good work! I’m intrigued by the increase in IFEval score?”
    • 亮点：简洁表达了对原帖工作认可的同时，也表明对分数增加的好奇。
  2. “🤔 Iirc, the original paper mentioned that the model’s biggest weakness was following instructions.”
    • 亮点：为后续关于分数增加与指令遵循能力相关的讨论提供依据。
  3. “👀 Were the chat template bugs causing it to follow instructions poorly?”
    • 亮点：提出关于分数增加与指令遵循能力的一种可能原因。
  4. “🤔 I’ve had maybe 2 people say that it increased it by giving acutally correct outputs which is really interesting!”
    • 亮点：给出了分数增加的一种可能解释。
  5. “😉 How might the model creators have messed up their own chat template?”
    • 亮点：对模型创造者的操作提出疑惑，引发更多思考。

情感分析

总体情感倾向为积极，大多数评论者对原帖的工作成果表示认可，对原帖分享的内容感到兴奋或者认为是很棒的成就。主要分歧点在于一些技术细节方面，如模型的分数增加原因、微调中的妥协、预训练兼容性等，这可能是由于评论者们不同的技术背景、使用需求和对模型的期望导致的。

趋势与预测

  • 新兴话题：是否为其他模型创建动态量化版本、制作Kaggle用于无微调且有更大上下文的phi4。
  • 潜在影响：如果能够解决模型目前存在的一些疑问，如指令遵循能力提升、预训练兼容性等问题，可能会使Phi - 4在自然语言处理领域得到更广泛的应用；若制作更多教程视频，可以帮助更多新手入门微调等操作。

详细内容：

标题：Phi-4 模型的重大更新与热门讨论

最近，Reddit 上一个关于 Phi-4 模型的帖子引起了广泛关注。该帖介绍了 Phi-4 现在可以使用Unsloth进行超过 128K 上下文长度的微调，这一消息获得了众多点赞和大量评论。

帖子中还提到了之前宣布的 Phi-4 模型的 bug 修复细节，包括令牌解析器修复、微调修复、聊天模板修复等。同时，还展示了修复后的 Phi-4 模型在多项任务中的性能提升，如在Open LLM Leaderboard上的得分优于微软的原始上传。

讨论的焦点主要集中在以下几个方面： 有人好奇聊天模板的 bug 是否导致模型遵循指令不佳，对此有用户表示这有可能。 有人询问模型创建者为何会弄乱自己的聊天模板。 有用户分享了自己使用 12GB VRAM 的 4070ti 运行相关模型的经历，称其效果不错。 还有人提出关于继续预训练的问题，比如 Unsloth 是否适合，以及是否有更合适的工具。

有用户指出每个数据集的格式可能不同，但一般来说问题和答案对是最好的，并提供了相关文档的链接。 有人想知道如果不想微调，只想获得扩展的上下文大小是否可行，得到回复可以手动通过 YaRN 扩展，如果需求广泛，会考虑上传具有更长上下文的 Phi-4 模型。

有人询问进行调优所做出的妥协，比如在 FP16 中 14B 模型无法在单个 H100 上进行完整微调。 有人好奇 128K 上下文长度是否通过 haystack 或类似工具得到确认有效。

对于这些讨论，有人认为此次 Phi-4 模型的更新是一项了不起的成就，也有人期待更多的教程和优化。那么，Phi-4 模型未来还会带来怎样的惊喜，让我们拭目以待。