我们介绍OLMoE，一个完全开源、利用稀疏Mixture-of-Experts（MoE）的最新语言模型。OLMoE-1B-7B拥有70亿参数，但每个输入令牌仅使用10亿参数。我们在5万亿令牌上对其进行预训练，并进一步适应以创建OLMoE-1B-7B-Instruct。我们的模型在具有相似活跃参数的所有可用模型中表现最佳，甚至超过较大的模型，如Llama2-13B-Chat和DeepSeekMoE-16B。我们展示了关于MoE训练的各种实验，分析了我们模型中的路由，显示出高度专业化，并开源了我们工作的所有方面：模型权重、训练数据、代码和日志。
- 模型: https://huggingface.co/collections/allenai/olmoe-66cf678c047657a30c8cd3da
- 论文: https://arxiv.org/html/2409.02060v1
- 数据: https://hf.co/datasets/allenai/OLMoE-mix-0924
- 代码: https://github.com/allenai/OLMoE
- 日志: https://wandb.ai/ai2-llm/olmoe/reports/
讨论总结
OLMoE模型作为一个全开源的稀疏MoE语言模型，引起了Reddit用户的广泛关注。讨论主要集中在模型的开源性、性能表现、微调速度、参数选择以及在不同设备上的应用潜力。用户对模型的开放性和详细的技术文档表示赞赏，同时也提出了对模型微调速度和硬件利用率的担忧。此外，用户对模型的未来发展表示期待，希望看到更多关于模型在实际应用中的表现和改进。
主要观点
- 👍 OLMoE模型是真正开源的
- 支持理由：模型附有详细的论文支持，所有相关资源如模型权重、训练数据、代码和日志均已开源。
- 反对声音：部分用户对模型在微调速度上的表现表示担忧。
- 🔥 OLMoE模型在微调速度上不具备优势
- 正方观点：用户分享了使用Deepseek V2 Lite Coder进行微调的经验，指出其CPU占用率高，GPU利用率低，微调速度不理想。
- 反方观点：无明显反对声音，但有用户希望未来的MoE模型在微调速度上能与激活参数数量成正比。
- 💡 OLMoE模型的参数选择受到赞赏
- 7B参数的模型适合笔记本电脑的RAM，提供1B模型的处理速度，量化后可以达到每秒30-50个token，而且不需要GPU，非常适合作为本地助手使用。
- 🌟 用户对OLMoE模型的技术支持表示兴趣
- 询问是否有计划支持llama.cpp/GGUF格式，回复中提到正在开发VLLM支持，并考虑GGUF格式。
- 🚀 用户对OLMoE模型的未来发展表示期待
- 希望看到更多关于模型在实际应用中的表现和改进，特别是多轮对话和系统提示/角色扮演方面的提升。
金句与有趣评论
- “😂 FullOf_Bad_Ideas：I would love to have a MoE where finetune speed scales with number of activated parameters.”
- 亮点：体现了用户对模型微调速度的期待和关注。
- “🤔 Ylsid：Note that it’s being compared with previous generations, but this is still very important research and hopefully can be replicated with more training”
- 亮点：强调了研究的重要性，并期待未来能有更多训练来复制其成果。
- “👀 -p-e-w-：That’s a fantastic choice of parameter counts: 7B parameters easily fit into any laptop’s RAM, and you get the speed of a 1B model, which when quantized can be 30-50 tokens/s without a GPU.”
- 亮点：赞赏了模型的参数选择，并强调了其在本地运行的便利性。
- “🎉 innominato5090：Hello 👋 one of the authors here. Nice to see excitement about the release, lmk if you have any question!”
- 亮点：体现了开发者对社区反馈的积极态度和开放交流的精神。
- “💭 catlordX3：I’d like to see a self improving model. Maybe I’m just dumb, but there’s gotta be a way.”
- 亮点：提出了对自改进模型的设想，展示了用户对模型未来发展的创新思考。
情感分析
讨论的总体情感倾向是积极的，用户对OLMoE模型的开源性和性能表示赞赏。主要分歧点在于模型的微调速度和硬件利用率，部分用户对这些方面表示担忧。可能的原因是用户希望模型在实际应用中能够更加高效和便捷。
趋势与预测
- 新兴话题：自改进模型和实时更新参数的功能可能会引发后续讨论，用户对这些创新功能表示兴趣。
- 潜在影响：OLMoE模型的开源性和高性能可能会对相关领域产生积极影响，特别是在推动更多开源研究和实际应用方面。
详细内容：
《关于 OLMoE 的热门讨论：开源语言模型的创新与争议》
近日，Reddit 上关于 OLMoE 这一全新的开源语言模型的讨论热度颇高。原帖介绍了 OLMoE，称其为一个利用稀疏混合专家（MoE）的先进语言模型，具有 70 亿参数但每次输入仅使用 10 亿活跃参数。该模型在 5 万亿个标记上进行了预训练，并进一步适配为 OLMoE-1B-7B-Instruct，还开源了模型权重、训练数据、代码和日志等所有方面，并附上了相关链接。此帖获得了众多关注，引发了一系列热烈讨论。
讨论的焦点主要集中在以下几个方面： 有人认为他们对比的是 Deepseek v1 16B MoE 而非更好的 Deepseek V2 Lite 16B MoE。有人非常喜欢其开放程度以及背后的优质论文。有人分享了在进行微调时的经历，比如使用 3090ti 显卡，GPU 利用率仅 50%，微调速度不尽人意，损失下降很快稳定，不知原因。也有人指出 OLMoE 微调速度仅比 OLMo 7B 快约 20-40%，怀疑是 HF 生态系统中微调的初始实现不够完善。还有人提到 OLMoE 与前代模型的比较，以及对其在不同设备和场景下的应用和改进的期待。
有人表示，70 亿参数能轻松装进笔记本电脑内存，且速度如 10 亿模型，量化后无需 GPU 就能达到 30-50 个令牌/秒，是天生的本地助手。有人好奇是否会添加对 llama.cpp/GGUF 的支持，作者回复正在努力。有人对其后续行为进行了一般性评论，如在多轮对话、代码/推理、系统提示/角色扮演等方面的表现。
也有人认为它与前代模型比较是市场营销策略，还有人将其与其他模型如 Gemma2、Mistral 7B 等进行性能对比和讨论。更有用户期待看到自我改进的模型，比如在回答错误时能实时更新参数。
总之，关于 OLMoE 的讨论展现了大家对这一开源语言模型的高度关注和多样的看法，无论是技术细节还是应用前景，都有待进一步的探索和实践来验证。
感谢您的耐心阅读！来选个表情，或者留个评论吧！