原贴链接

很惊讶这个模型没有得到更多讨论。未量化的模型适用于大多数消费级GPU，只需要7.7GB显存。38亿的大小甚至为充足的上下文留出了空间，并且在不进行复杂量化操作的情况下使微调更易于处理。原始模型的基准测试似乎也与GPT 3.5 turbo的质量相似。当然，现在明显落后了，但通过一些提示工程就足以很好地完成工作，而且再次强调，在这里微调是个很好的选择。如果你正在构建项目，这个模型似乎是一个非常可靠的选择。所以我想我的问题是……如果你没有强大的GPU，你为什么不使用这个模型呢？

讨论总结

这个讨论围绕Phi 3.5 mini模型展开，主题是探究该模型不被更多讨论的原因。主要观点包括模型自身存在多种问题如编码能力差、写作风格枯燥、审查严格等，面临众多新模型竞争，在不同使用场景下存在各种缺陷，但也有评论指出它在数据处理方面表现出色以及在显存等方面存在优势，整体氛围对该模型评价较为负面，但也存在不同声音。

主要观点

  1. 👎 Phi 3.5 mini刚推出时有问题所以不流行
    • 支持理由：如编码能力不强、写作风格枯燥等问题。
    • 反对声音：有观点认为其在特定任务如数据处理方面表现不错。
  2. 🔥 Phi 3.5不被更多讨论是因为自身不足
    • 正方观点：它在很多任务上表现不佳，如语法检查等。
    • 反方观点：未量化模型适合多数消费级GPU算是优势。
  3. 💡 Phi 3.5 mini模型因安全性问题而失败
    • 解释：安全性导致几乎阻止所有请求，且现在有其他模型填补市场。
  4. 👍 Phi 3.5 mini模型在分析或数据处理类型的工作表现非常出色
    • 支持理由：评论者以自身工作经验为证。
    • 反对声音：但不适合编码或特定角色扮演。
  5. 👎 模型基准测试表现与实际性能不符
    • 解释：与Llama 2等模型相比实际性能差。

金句与有趣评论

  1. “🤔 While Phi 3.5 in general had pretty good MMLU - Pro scores (so good on knowledge), it struggled a bit with coding, so it didn’t make for a good coder”
    • 亮点：指出模型在知识方面得分不错但编码能力弱。
  2. “😂 It’s writing is as dry as a rock in the desert, so creative writers weren’t overly interested in it either”
    • 亮点：形象地描述写作风格枯燥。
  3. “👀 It was so censored that every time someone brought it up, the conversation devolved into jokes about refusing to respond to them”
    • 亮点：强调审查制度对话题走向的影响。
  4. “🤔 我试图用它进行短文本片段的拼写和语法检查，它绝对失败了。”
    • 亮点：以个人使用经历说明模型的失败之处。
  5. “😏 该模型失败因它过于注重安全性，它几乎阻止了所有请求。”
    • 亮点：点明安全性问题对模型失败的影响。

情感分析

总体情感倾向为负面，主要分歧点在于Phi 3.5 mini模型是否有价值。负面原因在于模型在多个方面存在问题如性能、审查等；正面方面则是部分人看到其在特定任务（如数据处理）的优势，以及未量化模型在GPU适配方面的优点。

趋势与预测

  • 新兴话题：对Hermes 3 3B的兴趣可能引发后续关于该模型的讨论。
  • 潜在影响：可能影响相关用户在模型选择上更谨慎考虑各方面因素，促使模型开发者改进Phi 3.5 mini类似模型的不足。

详细内容：

标题：Phi 3.5 mini instruct 模型引发的热议

Phi 3.5 mini instruct 模型未获得预期的大量讨论，此帖引起了众多关注，评论众多。原帖认为该模型能适配多数消费者 GPU，仅需 7.7GB VRAM，3.8B 的规模为充足的上下文留出空间，无需量化操作即可调试，原始模型基准测试与 GPT 3.5 turbo 质量相似。但原帖也提出疑问，若没有强大的 GPU 支持，为何不使用这个模型？

讨论焦点与观点分析：

  • 有人指出它刚推出时存在问题，如今已被超越。如在编码方面表现吃力，不适合编码工作；写出来的内容缺乏创意，不受创意写作者青睐；审查严格，常引发拒绝回应的笑话；面临众多竞争，如 Llama 3.2 3B 及 Qwen2.5 模型等。
  • 有用户认为微软基于基准训练可能存在虚假陈述，对其说法不再信任。
  • 一位用户分享自己用该模型进行短文本拼写和语法检查的经历，结果很糟糕，引入的错误比修正的还多，尝试多种提示均未改善。
  • 有人认为就像其他 4B 模型一样，它表现不佳。每个人的使用场景不同，Qwen 模型的优势在于适用性强。
  • 有人觉得因为是微软的产品所以不看好，认为其产品通常规格不错但实施欠佳。
  • 有人指出Phi 系列在家用用户中普遍不受欢迎，不符合多数家用场景，但在解决商业问题时有用。
  • 有人认为该模型对于分析或数据处理工作表现出色，但不适合编码或某些特定场景。
  • 有用户提供链接称某模型比 Phi 3.5 - Mini 好很多。
  • 有人质疑为何要运行未量化的模型，可采用量化操作节省 VRAM 或选择更好的模型。
  • 有人认为尽管该基础模型规模小，但需要更多上下文时，内存需求增加很快，不如 Llama 3.2 等竞争对手。

总之，对于 Phi 3.5 mini instruct 模型，大家观点各异，有人觉得在特定领域表现不错，有人则认为其在多方面存在不足。