原贴链接

嗨，大家！llama.cpp今天增加了对Phi-4 - mini的支持，我们还发现并修复了Phi-4 - mini中4个与标记化相关的问题。聊天模板最大的问题是结束符（EOS）标记被设置为<|endoftext|>，但应该是<|end|>！GGUFs位于：[https://huggingface.co/unsloth/Phi-4 - mini - instruct - GGUF](https://huggingface.co/unsloth/Phi-4 - mini - instruct - GGUF)。其他版本包括16位版本也在[https://huggingface.co/collections/unsloth/phi - 4 - all - versions - 677eecf93784e61afe762afa](https://huggingface.co/collections/unsloth/phi - 4 - all - versions - 677eecf93784e61afe762afa)上的Hugging Face中。动态4位bitsandbytes版本位于[https://huggingface.co/unsloth/Phi-4 - mini - instruct - unsloth - bnb - 4bit](https://huggingface.co/unsloth/Phi-4 - mini - instruct - unsloth - bnb - 4bit)。较大的Phi - 4 14B也存在标记化问题，我们之前已经修复过，那些错过的人可以查看，微软在两周前使用了我们的修复。谢谢！

讨论总结

原帖主要讲述了Phi - 4 - mini的Bug修复以及GGUFs等资源的情况。评论中，有对公司发布模型时弄错模板表示疑惑的，也有对模型相关工作表示感谢的，还有对动态量化等技术问题存在疑惑的，整体氛围积极且多为技术交流探讨。

主要观点

  1. 👍 对公司发布模型弄错模板感到疑惑
    • 支持理由：同一公司训练模型却在发布时弄错模板令人费解
    • 反对声音：无
  2. 🔥 之前已修复但新版本忘记添加补丁
    • 正方观点：解释了之前推送过修复补丁，但在新的版本中忘记添加的情况
    • 反方观点：无
  3. 💡 确定结束标记依靠过往经验和部分自动化
    • 解释：从过去的修复经验中获得直觉，部分可以自动化来确定正确的结束标记
  4. 💡 在快速发展低风险领域这种错误不意外
    • 解释：基于20年运维/系统管理经验，认为这种错误在这种领域比较常见
  5. 💡 不是Phi团队的错而是最后的里程碑环节的问题
    • 解释：认为Phi团队是很棒的，可能是最后的里程碑环节出了问题

金句与有趣评论

  1. “😂 I don’t understand how the same company that trained a model could get the template wrong when they publish the model?”
    • 亮点：直接表达对公司发布模型时弄错模板的疑惑
  2. “🤔 They actually pushed in our bug fixes a while ago..and forgot to add the fixes in the new ones 😅😅”
    • 亮点：解释了之前修复但新版本忘记添加补丁的情况
  3. “👀 As someone who’s done devops/sysadmin for 20yrs I am not surprised.”
    • 亮点：以自身多年经验表明对这种错误不惊讶

情感分析

总体情感倾向为积极，主要分歧点在于对模型发布时出错原因的看法，可能的原因是大家从不同的角度（如技术、管理、经验等）去看待这个问题。

趋势与预测

  • 新兴话题：Phi - 4 - mini的imatrix量化版本是否会推出。
  • 潜在影响：如果Phi - 4 - mini不断优化改进，可能会在相关的技术应用领域（如自然语言处理等）有更好的表现。

详细内容：

标题：Phi-4-mini 的 Bug 修复及相关讨论

近日，Reddit 上一则关于 Phi-4-mini 的帖子引起了广泛关注。该帖称 llama.cpp 如今已为 Phi-4-mini 提供支持，并修复了 4 个与 tokenization 相关的问题。帖子中还提供了多个相关链接，如 GGUFs 的链接https://huggingface.co/unsloth/Phi-4-mini-instruct-GGUF等。此帖获得了众多用户的参与，评论数众多，引发了热烈的讨论。

讨论的焦点主要集中在以下几个方面： 有人提出不理解为何训练模型的公司在发布模型时会弄错模板，这种情况似乎经常发生。也有人表示之前的 bug 修复已被采用，但新的问题又出现了。还有人询问如何确定正确的结束标记，以及如何在不知微软模板对错的情况下进行判断。有人认为在这样快速发展且风险较低的领域出现问题不足为奇，并指出问题可能出在最后阶段的检查和模型运行方面。也有人质疑是否存在招聘不当的情况。

例如，一位有 20 年 devops/sysadmin 经验的用户表示：“作为一名从事了 20 年相关工作的人，我对此并不惊讶。尤其是在这样一个快速发展、低风险的领域。”

对于动态量化的问题，有用户好奇其具体方式和相关算法是否公开。有人分享了基准测试结果，显示“指令遵循”分数有提升，但部分分数减半。

同时，也有用户对修复工作表示感谢，还有人就模型的使用和量化等技术问题进行了交流和探讨。

通过这些讨论可以看出，Phi-4-mini 的相关问题引发了大家的深入思考和广泛交流，不仅关注技术层面的修复和改进，也对背后的原因和影响进行了分析。