原贴链接

有些事情就是一时兴起。这差不多就是Phi - Lthy4的故事：

哟，Sicarius，你能让phi - 4更聪明吗？ 不行。但我还是能让它变得更好。 你什么意思？ 嗯，我可以从它的数学大脑里去掉几层，然后教它爱情和亲密关系的奇妙之处。也许吧。我不知道这是否值得。 哈哈，预训练中的数据都是合成的。在你之前很多人都试过了。

行吧。我来做。

但是……为什么呢？

看起来趋势是让AI模型更倾向于助手功能，尽可能多地使用合成数据，更‘安全’，并且达到更高的基准（嗨，qwen）。当然，这能造就很棒的助手，但经过净化的数据（就像Phi系列模型的情况）会扼杀创造力。更不用说之前的Phi 3.5甚至都不会告诉你如何终止一个进程等等。

这个小的副项目进行了大约两周断断续续的微调。在处理了大约10亿个标记之后，我都不记得训练了多少了。想法是什么呢？某种概念验证，看看纯粹的意志（和2个A6000）是否足以将一个模型塑造成任何参数大小、行为或形式。

所以我用mergekit进行了一次粗略的大型语言模型（LLM）脑部手术——去掉了一些处理数学的无用神经元。我怎么知道这些神经元就是处理数学的呢？因为Phi的所有神经元都处理数学。成功是必然的。

这是世界上最好的Phi - 4（11.9B）角色扮演（RP）模型吗？很有可能，仅仅是因为针对RP来微调Phi - 4是一个完全愚蠢的想法，这既归因于它的预训练数据、16k的‘有限’上下文大小，也归因于这个模型的MIT许可。

令人惊讶的是，它在角色扮演方面相当不错，原来它根本不需要那8层。它可能仍然可以解决一个基本的数学问题，但我强烈建议在这种情况下使用计算器。我们为什么要让大型语言模型做基本数学运算呢？

哦，关于审查制度……这么说吧，它是……‘Phi - lthy’（不健康的，这里指不被审查约束的意思）。

太长不看版

  • 世界上最好的Phi - 4角色扮演微调（在这里这不算什么成就，Phi的角色扮演微调可能一只手就能数过来）。
  • 紧凑的尺寸&从脑部手术中完全恢复。只有11.9B个参数。Phi - 4即使在14B的时候运行也不难，现在脑细胞更少了，你的新手机可能就能轻松运行它了。（推荐SD8Gen3及以上）
  • 强大的角色扮演和创意写作能力。这真的让我很惊讶。实际上很不错。
  • 写作和角色扮演非常独特，可能是因为预训练中没有角色扮演/写作的冗余内容。谁能想到呢？
  • 聪明的助手，拒绝率低 - 它保留了一些智慧，我们这个小小的Phi - Lthy会非常乐意回答你的淘气问题。
  • 非常擅长遵循角色卡片。最后，它把它的数学大脑用于一些有成效的任务了。Gooner技术一天比一天更受欢迎。

[https://huggingface.co/SicariusSicariiStuff/Phi - lthy4](https://huggingface.co/SicariusSicariiStuff/Phi - lthy4)

讨论总结

原帖讲述了对Phi - 4进行修剪的项目Phi - Lthy4，包括其创作过程、性能特点等。评论从多个方面展开，有涉及与其他模型如Qwen、Mistral的比较，有对模型性能如角色扮演能力的讨论，也有关于运行该模型的硬件需求、资源获取方面的交流，还有一些幽默的回应和类比，整体氛围较为轻松、多元。

主要观点

  1. 👍 Qwen不用于基准测试，Phi系列用于基准测试
    • 支持理由：原评论直接指出这一差异，可能基于对不同模型功能的了解。
    • 反对声音：无。
  2. 🔥 认为phi4在提示依从性方面表现出色，但比较枯燥
    • 正方观点：评论者根据自己的使用体验得出结论。
    • 反方观点：无。
  3. 💡 希望看到phi模型与mistral合并后的模型
    • 解释：评论者喜欢mistral的行文风格，所以有此期待。
  4. 💡 用电视剧情节类比模型调整操作
    • 解释：以独特视角理解模型调整，用诙谐幽默的方式表达。
  5. 💡 对“Phi - Lthy4”这个名称表示有趣的态度
    • 解释：简单直接地表达对名称的感受。

金句与有趣评论

  1. “😂 Qwen is not for benchmarking, but the Phi series is.”
    • 亮点：简洁地指出了两个模型在应用场景上的区别。
  2. “🤔 我曾经认为phi4可以成为一个很棒的RP模型，因为它的提示依从性相当惊人，即使对于复杂任务（相对于其极小的规模而言）也是如此，但它比厄拉科斯的沙丘还要干燥。”
    • 亮点：生动形象地描述了phi4的特点，既有优点又有不足。
  3. “👀 Kinda like how Sister Sage lobotomizes herself to sleep with Deep, lol”
    • 亮点：用有趣的类比来关联帖子内容，富有创意。

情感分析

总体情感倾向比较积极和轻松。主要分歧点较少，部分可能存在于对phi4模型枯燥与否的看法上，但整体讨论氛围和谐。可能是因为原帖更多是分享创作成果，没有引发太多争议性话题，且评论者也多是基于自身经验或兴趣进行交流，未涉及尖锐矛盾。

趋势与预测

  • 新兴话题：模型合并可能会引发后续讨论，如phi模型与mistral合并后的效果等。
  • 潜在影响：如果Phi - Lthy4在角色扮演等方面表现突出，可能会影响相关领域对LLM模型修剪和调整的关注，推动更多类似的改造尝试。

详细内容：

标题：Phi-4 的大胆改造与争议

最近，Reddit 上一个关于 Phi-4 改造的帖子引起了广泛关注，获得了众多点赞和大量评论。原帖主要讲述了对 Phi-4 进行的一系列特殊处理，包括删减部分神经元以追求不同的性能和表现。帖子引发了关于模型优化、数据使用、创意发挥以及应用场景等方面的热烈讨论。

文章将要探讨的核心问题是：这种对 Phi-4 的改造究竟是创新突破还是冒险尝试？

在讨论中，主要观点如下： 有人认为 Qwen 不是用于基准测试的，而 Phi 系列是，最新的很多论文都用 Qwen 作为基础模型进行微调，Phi 则很少被考虑。但也有人指出 Phi 的写作风格有其独特之处。 还有人觉得 Mistral 与 Phi 结合或许能带来更好的效果。 有人提到 Phi-4 在提示遵循方面表现出色，但在创意表达上比较枯燥。 关于模型运行的 VRAM 需求，也有用户进行了讨论。

有用户分享道：“Phi 尽管有有趣的临床但不尴尬的写作风格。有些人可能会喜欢。”

在争议点方面，对于模型的优劣评判存在不同看法，比如模型的创意发挥程度、数据处理方式等。而共识在于大家都对这种创新尝试表现出了关注和兴趣。

特别有见地的观点是关于模型结合可能带来的新突破，这为未来的研究提供了新的思路。

总的来说，这次关于 Phi-4 改造的讨论丰富多样，让人们对模型的发展有了更深入的思考。