原贴链接

Phi-3.5-mini-instruct (3.8B)

Phi-3.5 mini 是一个轻量级的、最先进的开源模型，基于用于 Phi-3 的数据集——合成数据和筛选后的公开可用网站——专注于高质量、推理密集型数据。该模型属于 Phi-3 模型系列，支持 128K 令牌上下文长度。该模型经过严格的增强过程，结合了监督微调、近端策略优化和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

Phi-3.5 Mini 拥有 3.8B 参数，是一个仅解码器的密集 Transformer 模型，使用与 Phi-3 Mini 相同的分词器。

总体而言，该模型仅用 3.8B 参数就实现了与更大模型相似的多语言语言理解和推理能力。然而，它在某些任务上仍然受到其尺寸的根本限制。该模型没有足够的容量存储太多事实知识，因此用户可能会遇到事实错误。然而，我们相信这种弱点可以通过增强 Phi-3.5 与搜索引擎来解决，特别是在 RAG 设置下使用模型时。

Phi-3.5-MoE-instruct (16x3.8B) 是一个轻量级的、最先进的开源模型，基于用于 Phi-3 的数据集——合成数据和筛选后的公开可用文档——专注于高质量、推理密集型数据。该模型支持多语言，并具有 128K 上下文长度（以令牌计）。该模型经过严格的增强过程，结合了监督微调、近端策略优化和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

Phi-3 MoE 拥有 16x3.8B 参数，在使用 2 个专家时具有 6.6B 活跃参数。该模型是一个混合专家解码器仅 Transformer 模型，使用词汇大小为 32,064 的分词器。该模型旨在广泛用于英语的商业和研究用途。该模型为需要以下条件的通用 AI 系统和应用提供用途：

  • 内存/计算受限环境。
  • 延迟受限场景。
  • 强大的推理能力（尤其是数学和逻辑）。

MoE 模型旨在加速语言和多模态模型的研究，作为生成式 AI 功能构建块使用，并需要额外的计算资源。

Phi-3.5-vision-instruct (4.2B) 是一个轻量级的、最先进的多模态开源模型，基于包括合成数据和筛选后的公开可用网站的数据集——专注于高质量、推理密集型数据，无论是文本还是视觉。该模型属于 Phi-3 模型系列，多模态版本具有 128K 上下文长度（以令牌计），可以支持。该模型经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

Phi-3.5 Vision 拥有 4.2B 参数，包含图像编码器、连接器、投影器和 Phi-3 Mini 语言模型。

该模型旨在广泛用于英语的商业和研究用途。该模型为需要以下条件的具有视觉和文本输入功能的通用 AI 系统和应用提供用途：

  • 内存/计算受限环境。
  • 延迟受限场景。
  • 一般图像理解。
  • OCR
  • 图表和表格理解。
  • 多图像比较。
  • 多图像或视频片段摘要。

Phi-3.5-vision 模型旨在加速高效语言和多模态模型的研究，作为生成式 AI 功能构建块使用。

来源：Github 其他近期发布：tg-channel

讨论总结

Reddit用户对微软最新发布的Phi-3.5系列模型表现出高度兴趣和积极响应。讨论主要集中在模型的性能、应用场景、微调难度和硬件需求等方面。用户们对新模型的发布表示感谢，并探讨了模型的潜在应用和与其他模型的比较。Phi-3.5的不同版本，包括Mini、MoE和Vision版本，以及它们在不同场景下的应用潜力受到关注。此外，用户们还讨论了其他模型如Wizard、Cohere和DeepSeek-Coder-V3的发布情况，显示出对AI模型更新和发展的关注。用户对模型的实际效果和应用前景持有期待和好奇，同时也对模型的微调难度和硬件需求表示关注。

主要观点

  1. 👍 Phi-3.5模型的发布受到了用户的积极响应。

    • 支持理由：用户对新模型的性能和应用潜力表示期待。
    • 反对声音：部分用户对模型的微调难度和硬件需求表示担忧。

  2. 🔥 用户希望未来能有更多关于Wizard或Cohere等模型的更新。

    • 正方观点：用户对AI模型的更新速度和质量表示关注。
    • 反方观点：部分用户认为现有模型已经满足需求，对新模型的期待不高。

  3. 💡 讨论了Phi-3.5模型在不同应用场景下的优势和限制。

    • 支持理由：用户认为模型在多语言支持和推理能力方面表现出色。
    • 反对声音：部分用户指出模型在某些任务上受限于其大小，可能出现事实错误。

  4. 👀 用户对AI模型的更新速度和质量表示关注。

    • 支持理由：用户希望模型能够不断更新，以适应新的应用需求。
    • 反对声音：部分用户认为更新速度过快可能导致模型不稳定。

  5. 🚀 提到了其他模型如DeepSeek-Coder-V3和QwenCoder的期待。

    • 支持理由：用户对新模型的性能和应用潜力表示期待。
    • 反对声音：部分用户认为现有模型已经满足需求，对新模型的期待不高。

金句与有趣评论

  1. “😂 Dark_Fire_12：Thank you, we should have used this wish for Wizard or Cohere though.”

    • 亮点：用户对新模型的发布表示感谢，并表达了对其他模型的期待。

  2. “🤔 ipechman：NO SHOT IT WORKED.”

    • 亮点：用户对模型的实际效果感到惊喜。

  3. “👀 Beb_Nan0vor：The prophecy is true.”

    • 亮点：用户对新模型的发布表示兴奋，认为这是一个预言的实现。

  4. “😅 ffgg333：I can’t wait for the finetoons, open source Ai is advancing fast.”

    • 亮点：用户对开源AI的快速发展表示兴奋和期待。

  5. “🚀 PermanentLiminality：The 3.5 mini is now in the Ollama library.”

    • 亮点：用户对新模型加入Ollama库表示兴奋和期待。

情感分析

讨论的总体情感倾向是积极的，用户对微软发布的Phi-3.5系列模型表现出高度兴趣和积极响应。主要分歧点在于模型的微调难度和硬件需求，部分用户对此表示担忧。可能的原因是用户希望模型能够更容易地适应不同的应用场景，并且能够在不同的硬件环境下高效运行。

趋势与预测

  • 新兴话题：用户对模型的微调难度和硬件需求表示关注，未来可能会有更多关于如何优化模型以适应不同硬件环境的讨论。
  • 潜在影响：Phi-3.5系列模型的发布可能会推动AI技术的发展，尤其是在多语言支持和推理能力方面。同时，模型的商业化应用也可能成为一个新的趋势。

详细内容：

标题：Phi-3.5 发布引发 Reddit 热议

近日，Phi-3.5 模型发布，在 Reddit 上引起了广泛关注。该帖介绍了 Phi-3.5 的多个版本，包括 Phi-3.5-mini-instruct、Phi-3.5-MoE-instruct、Phi-3.5-vision-instruct 等，还提供了相关的链接和详细的模型参数及性能说明。此帖获得了众多用户的评论和讨论，大家对其性能、应用场景、与其他模型的比较等方面发表了不同的看法。

在讨论中，观点多样。有人称赞 Phi-3.5-MoE 模型性能出色，在多个基准测试中表现优异，甚至能与 GPT-40-mini 相媲美。比如有用户分享道：“在大致一半的基准测试中，它完全可以与最先进的 GPT-4o-mini 相媲美，在其余测试中也差距不大，考虑到这个模型很可能轻松适配大量消费级 GPU，这确实令人印象深刻。”但也有人对 Phi 系列模型提出质疑，认为其缺乏情感洞察和创意写作能力，在实际应用中表现不如预期。例如有人表示：“在我最近对 Phi 3 Medium 和 Nemo 的测试中，Phi 3 所吹嘘的推理能力并不能实现基本的指令。”

关于模型的适用性，有人认为 MoE 模型在 CPU 上运行效果好，只需 64GB 内存和现代 CPU 就能快速运行。但也有人指出 MoE 模型调优困难。

对于模型能否在特定硬件上运行，用户们也展开了讨论。比如有用户询问 GTX 卡是否支持，有人回答称当模型适配后就可以运行，而 llama.cpp 可以在旧设备上运行。

此外，关于模型的存储和更新，有人是“模型囤积者”，不愿删除旧版本，也有人会根据使用情况进行清理。

总的来说，Phi-3.5 的发布在 Reddit 上引发了热烈讨论，大家对其性能和应用前景看法不一，但都表现出对新技术的关注和期待。