原贴链接

https://x.com/_akhaliq/status/1836544678742659242

讨论总结

讨论主要围绕Microsoft的“GRIN: GRadient-INformed MoE” 16x6.6B模型展开，涵盖了模型的参数分配、共享机制、技术细节、性能评估以及与其他模型的比较。评论者们对模型的参数数量、激活参数的计算方式、模型架构中的共享层提出了疑问和解释。主要讨论点包括模型的参数分配、激活专家的数量、参数共享机制、上下文窗口的设置、内存需求和推理速度。此外，评论者还对模型的命名和参数描述方式存在混淆，尤其是“3.8b”部分。总体上，讨论氛围较为技术性，涉及多个专业领域的知识。

主要观点

  1. 👍 Microsoft的“GRIN: GRadient-INformed MoE” 16x6.6B模型实际上是16x3.8B模型，有6.6B激活参数。

    • 支持理由：模型架构中的专家（experts）共享注意力层，但MLP部分不共享。
    • 反对声音：参数共享机制使得激活的专家数量少于总参数数量。

  2. 🔥 模型的命名和参数描述方式存在混淆，尤其是“3.8b”部分。

    • 正方观点：模型的命名和参数描述方式需要更清晰。
    • 反方观点：模型的命名和参数描述方式已经足够清晰。

  3. 💡 GRIN模型使用SparseMixer-v2进行梯度估计，不使用专家并行和令牌丢弃，强调长上下文和多语言能力。

    • 解释：GRIN模型的训练方法与其他模型有所不同，强调长上下文和多语言能力。

  4. 🚀 模型的内存需求和推理速度是讨论的重点。

    • 解释：评论者们讨论了不同量化级别下的内存需求，以及DDR4内存的性价比。

  5. 🤔 评论者对模型的审查机制表示担忧。

    • 解释：评论者担心Microsoft的产品会过度审查内容，影响用户体验。

金句与有趣评论

  1. “😂 its 16x3.8b with 6.6b active parameters ^”

    • 亮点：简洁明了地指出了模型的参数分配问题。

  2. “🤔 I would have liked to see a comparison to Phi-3.5-MoE-Instruct - because on the outside it looks basically the same to me.”

    • 亮点：提出了对模型性能比较的期望。

  3. “👀 extremely interesting, but "max_position_embeddings": 4096, "sliding_window": 2047”

    • 亮点：指出了模型参数设置的技术细节。

  4. “😂 I am really happy to see a lot of recent MoE’s. To my taste they are almost as good as an equivalent dense model with significantly better inference speeds.”

    • 亮点：表达了对模型性能的赞赏。

  5. “🤔 be skeptical of LLM benchmarks.”

    • 亮点：提醒大家对基准测试结果保持怀疑态度。

情感分析

讨论的总体情感倾向较为技术性和中立，大部分评论者对模型的技术细节和性能表现进行了深入讨论。然而，也有部分评论者对模型的审查机制表示担忧，认为过度审查可能会影响用户体验。总体上，讨论氛围较为积极，但也存在一些对模型性能和参数设置的质疑。

趋势与预测

  • 新兴话题：模型参数共享机制、上下文窗口设置、内存需求和推理速度。
  • 潜在影响：随着模型技术的不断发展，未来可能会出现更多关于模型优化和性能提升的讨论。此外，模型的审查机制也可能成为未来讨论的热点。

详细内容：

标题：Microsoft 的“GRIN: GRadient-INformed MoE”模型引发Reddit热议

近日，Reddit上关于Microsoft的“GRIN: GRadient-INformed MoE” 16x6.6B模型的讨论十分热烈。该帖子https://x.com/_akhaliq/status/1836544678742659242吸引了众多用户参与，评论数众多。

讨论的焦点主要集中在模型的参数设置、性能、应用场景、 censorship 等方面。有人指出，对于模型中“16x3.8b 与 6.6b 活跃参数”的关系感到困惑。比如，有用户问道：“6.6B 不是 3.8B 的整数倍，如果有 2 个专家处于活跃状态，那缺失的 1B 参数去哪了？”还有人解释道：“专家并非整个模型，它们共享注意力层但不共享 MLP 部分。模型的 MLP 部分包含大部分参数，且根据模型架构，有 10% 到 40% 是共享的。”

关于模型的性能，有人好奇其运行所需的最小内存要求。有用户估计 Q4 大概需要 50GB，也有人认为对于 42B 模型，在 bf16 权重下约 84GB，在 4bpw 下应约 21GB。

在 censorship 方面，有用户分享了自己的遭遇，称该模型对一个无害的银行场景提示给出了长篇的道德说教，这引发了广泛讨论。有人认为微软此举是为了避免法律风险和诉讼，因为在商业世界中需要谨慎行事。但也有人质疑，为何在免费开放权重的 MIT 许可模型中也要进行如此严格的审查，认为这降低了模型的整体质量和实用性。

此外，用户还对模型的训练时间、能否微调、在 llama.cpp 中的支持情况等问题进行了探讨。

总的来说，这次关于Microsoft“GRIN: GRadient-Informed MoE”模型的讨论展示了大家对新技术的关注和思考，也反映了在技术发展过程中面临的各种挑战和争议。