原贴链接

嗨，r/LocalLLaMA社区！我已经上传了Phi-4的修复版本，包括在HuggingFace上的GGUF + 4 - 位+ 16 - 位版本。我们已经修复了Phi - 4中的4个（3个主要的）漏洞，主要与影响推理和微调工作负载的标记器和聊天模板有关。如果您之前得到的结果不佳，我们建议您尝试我们上传的GGUF版本。关于修复的详细文章将于明天发布。我们还对该模型进行了‘Llamafied’，这意味着它可以与包括Unsloth在内的每个框架直接使用。使用Unsloth进行微调速度快2倍，使用70%的VRAM，并且上下文长度增加9倍。查看带有漏洞修复的所有Phi - 4版本：[https://huggingface.co/collections/unsloth/phi - 4 - all - versions - 677eecf93784e61afe762afa](https://huggingface.co/collections/unsloth/phi - 4 - all - versions - 677eecf93784e61afe762afa)。我还上传了Q2_K_L量化版本，它应该能提高一点准确性。要在llama.cpp中使用Phi - 4，可以这样做：（给出了命令示例）。我还上传了‘动态4位量化’，它不会将每一层都量化为4位，而是将一些层保留为16位，仅使用额外1GB的VRAM就能获得更高的准确性，特别是对于微调而言。前往https://github.com/unslothai/unsloth可以以2倍速度微调大语言模型和视觉模型，并少使用70%的VRAM。

讨论总结

该帖子围绕Phi - 4模型展开，原帖提到了Phi - 4的多种改进，如修复漏洞、Llamafied、不同量化版本等。评论者们积极参与讨论，有对模型改进成果的称赞、对修复效果的好奇与验证、对模型性能提升的探讨、对未提及细节的疑问，以及关于模型功能、适用场景、与其他版本关系等多方面的交流。

主要观点

  1. 👍 Phi - 4修复后运行效果良好
    • 支持理由：多个评论者表示测试后效果超出预期，原帖作者给出数据证明修复后的GGUF性能提升。
    • 反对声音：无。
  2. 🔥 Phi - 4比Phi - 3表现更好
    • 正方观点：Educational_Rent1059测试后发现Phi - 4表现更好。
    • 反方观点：无。
  3. 💡 Phi - 4存在漏洞且Gemma2也有漏洞
    • 解释：danielhanchen指出Phi - 4有漏洞，且提到Gemma2也存在漏洞，推荐下载修复版本。
  4. 💡 好奇模型漏洞产生阶段
    • 解释：ColorlessCrowfeet对模型漏洞产生阶段表示好奇，引发相关讨论。
  5. 💡 不同量化版本有不同特性和适用场景
    • 解释：如Dynamic 4bit quants大多用于推理或微调，4 - bit GGUFs有修复的漏洞所以更准确等观点被提及。

金句与有趣评论

  1. “😂 Awesome work as usual!! Tested the Phi - 4 as I was notified when you guys uploaded it, worked good beyond what I expected.”
    • 亮点：直接表达对Phi - 4测试结果的惊喜，体现出对原帖工作成果的肯定。
  2. “🤔 What kind of bug do you mean here? Looks quite interesting 🤔”
    • 亮点：表达对原帖提到的bug类型的好奇，引出后续关于bug的更多讨论。
  3. “👀 I’ve tried both versions many times, the old model could show the house correctly only once out of 10 times, while your quant version got it right every time.”
    • 亮点：通过具体的视觉比较示例，清晰展示了原帖作者修复版本的有效性。
  4. “😂 The date in the blog post still using 2024 year is it? Haha”
    • 亮点：以轻松的方式指出原帖博客文章中的小细节问题。
  5. “🤔 Is this based on the recent official phi4 release by microsoft? If not, does the official release still have these bugs?”
    • 亮点：提出了关于Phi - 4版本来源以及官方版本漏洞情况的关键疑问。

情感分析

总体情感倾向为积极正面。大部分评论者对Phi - 4模型的改进、修复等工作表示称赞、感谢或认可。主要分歧点在于Phi - 4使用大量资源训练却存在漏洞这一情况，有人对此表示惊讶和质疑。可能的原因是大家对投入大量资源训练的模型有较高的期望，出现漏洞与这种期望产生冲突。

趋势与预测

  • 新兴话题：Phi - 4是否能够支持更多功能，如结构化输入/输出、工具调用；模型如何适配不同的数据集和框架。
  • 潜在影响：如果Phi - 4能够不断优化并解决现存问题，可能会在自然语言处理等相关领域得到更广泛的应用，推动技术发展；对于模型开发过程中的漏洞管理和资源投入策略可能会引发更多思考。

详细内容：

标题：Phi-4 模型的重大更新及热门讨论

在 Reddit 的 r/LocalLLaMA 论坛上，一则关于 Phi-4 模型的更新帖子引起了广泛关注。帖子介绍了上传的 Phi-4 固定版本，包括在 HuggingFace 上的 GGUF 以及 4 位、16 位等不同版本。此次更新修复了超过 4 个（其中 3 个为主要）与标记器和聊天模板相关的 bug，这些问题曾影响推理和微调工作负载。帖子还提到了将模型进行了“Llamafied”处理，使微调速度提高 2 倍，减少 70%的 VRAM 使用，并将上下文长度延长 9 倍。该帖子获得了大量点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 有人对更新后的 Phi-4 模型表示赞赏，如 [Educational_Rent1059] 称赞其工作出色，超出预期，还有 [danielhanchen] 表示修复后的模型效果如魔法般神奇。 也有用户分享了个人经历和案例，比如 [Secure_Reflection409] 和 [Mkengine] 都曾使用过 Gemma2:27b Q3_K_S 。 对于模型中出现的 bug 来源，[ColorlessCrowfeet] 表示好奇。[danielhanchen] 承诺明天会写详细的 bug 报告，并提供了相关链接。 在性能改进方面，[minpeter2] 询问 https://huggingface.co/unsloth/phi-4 是否能有同样的提升，[danielhanchen] 给予了肯定的答复。 还有用户进行了视觉对比，如 [Evening_Ad6637] 展示了不同版本的模型在生成 ASCII 艺术房子方面的表现，证明了修复的效果。 关于动态 4 位量化的应用，[skyde] 询问其是否适用于 llama.cpp 或 lmstudio，并与 OmniQuant 进行比较，[yoracale] 进行了解答。 在性能测试方面，[Conscious_Cut_6144] 发现自己的 Pentesting 多项选择测试得分有显著提高。 对于模型的适用场景，[DeSibyl] 提出疑问，[yoracale] 回复称 Phi-4 用途广泛。

讨论中的共识在于大家对模型的改进表示期待和认可，认为这些修复和优化能够提升模型的性能和实用性。特别有见地的观点如 [Admirable-Star7088] 分享的使用不同量化版本的经历，以及 [AppearanceHeavy6724] 关于合适的上下文长度的看法。

总的来说，这次 Phi-4 模型的更新引发了社区的热烈讨论，大家在期待更多优化和改进的同时，也对其未来的发展充满了信心。