公告--即将支持 (8B参数) MiniCPM-V-2.5 @llama.cpp。文本、图像和视频聊天

原贴链接

上下文学习

调试技能

模型: https://huggingface.co/spaces/openbmb/MiniCPM-V-2_6
llama.cpp PR: https://github.com/ggerganov/llama.cpp/pull/7599
Github: https://github.com/OpenBMB/MiniCPM-V?tab=readme-ov-file

您现在可以使用他们分叉版本的 llama.cpp 和 ollama 或使用 transformers 来运行它。

ps: 糟糕的许可?

讨论总结

本次讨论主要围绕新发布的MiniCPM-V-2.5模型展开，涉及模型的支持、使用方法、代码更新和模型转换等多个方面。社区成员积极参与，提供了详细的命令行操作指南、模型转换和量化步骤，以及对模型性能的期待。整体氛围积极，用户对新模型的发布表示兴奋，并期待进一步的应用和优化。

主要观点

1. 👍 PR已经被合并
   • 支持理由：社区对新版本的支持和认可，鼓励开发者更新代码库。
   • 反对声音：无
2. 🔥 用户询问如何使用MiniCPM-V-2.6模型
   • 正方观点：提供了多种使用该模型的方法和命令行操作指南。
   • 反方观点：无
3. 💡 将模型转换为GGUF格式并量化
   • 解释：用户询问是否可以仅转换为GGUF格式，而不进行量化，提供了详细的转换和量化步骤。

金句与有趣评论

1. “😂 capivaraMaster：The PR is merged, time git pull :D”
   • 亮点：简洁幽默地表达了代码更新的必要性。
2. “🤔 LyPreto：like i said— check the links out and read through them.”
   • 亮点：强调了查阅文档的重要性，提供了实用的建议。
3. “👀 a_beautiful_rhind：Ends up devolving into only the bot making images but I can say "send me a picture of your desk" and get a flux gen back :P”
   • 亮点：生动地描述了与模型交互的体验，展示了模型的图像生成能力。

情感分析

讨论的总体情感倾向积极，用户对新模型的发布表示兴奋和期待。主要分歧点在于模型的具体使用方法和代码更新，但社区成员通过提供详细的操作指南和转换步骤，有效解决了这些问题。

趋势与预测

• 新兴话题：模型转换和量化方法的进一步优化和普及。
• 潜在影响：新模型的发布和社区的支持可能会推动相关技术的应用和发展，特别是在图像生成和文本交互领域。