原贴链接

嗨！我们已经能够让Qwen2.5 VL在llama.cpp上运行了！目前还不是官方的，但通过自定义构建很容易上手。相关说明在https://github.com/ggml-org/llama.cpp/issues/11483#issuecomment-2676422772。在接下来的几天里，我们将在这里上传量化数据以及测试/性能评估：https://huggingface.co/IAILabs/Qwen2.5 - VL - 7b - Instruct - GGUF/tree/main。原始16位和Q8_0以及mmproj模型已经上传。第一印象相当不错，不仅在质量方面，在速度方面也是如此。我们将随时发布更新和更多信息！

讨论总结

这个讨论主要围绕Qwen2.5 VL在llama.cpp上运行这一事件展开。其中涉及到人们对llama - server是否支持Qwen2.5 VL的疑问，还有人表达了对llama - server多模态支持的期待。部分人在等待llama - cpp - python支持Qwen2 VL，同时也有人对相关人员的工作表示喜爱、感谢和认可。此外，还出现了使用提醒功能的情况，以及对Qwen2.5 VL技术方面如量化格式等的询问和解答。

主要观点

  1. 👍 询问llama - server是否会支持Qwen2.5 VL
    • 支持理由：希望得到支持以便更好地使用Qwen2.5 VL相关功能。
    • 反对声音：无。
  2. 🔥 支持工作已经进行一段时间但无预计完成时间，将提供新API
    • 正方观点：这是对之前疑问的回应，让大家知道目前的工作进展情况。
    • 反方观点：无。
  3. 💡 表达对llama - server多模态支持的期待
    • 解释：等待多模态支持已经有一段时间，体现出对该功能的强烈需求。
  4. 💡 好奇支持的阻碍因素
    • 解释：想了解背后的原因，有助于推动支持工作的进行。
  5. 💡 正在等待llama - cpp - python支持Qwen2 VL
    • 解释：显示出对llama - cpp - python支持Qwen2 VL的期待。

金句与有趣评论

  1. “😂 Are you planning to update llama - server to support it as well? Would really love that.”
    • 亮点：直接表达了对llama - server支持Qwen2.5 VL的期待。
  2. “🤔 This has been a work in progress for a while now. I don’t think there is an ETA though, so we need a workaround for the time being.”
    • 亮点：告知了目前的工作进展和面临的情况。
  3. “👀 It seems like every other day there’s a new cool VLM to play with while I’m still waiting for llama - cpp - python to support Qwen2 VL 🙃”
    • 亮点：既表达了对新视觉语言模型不断出现的感慨，又体现出等待中的无奈。
  4. “👍 Calcidiol：Thanks for the good work!”
    • 亮点：简单直接地表达了对作者工作的感谢。
  5. “💡 Ragecommie：Best approach would be to experiment, and see what works best on your device.”
    • 亮点：针对技术操作给出了合理的建议。

情感分析

总体情感倾向是积极的。主要分歧点较少，大家基本都在围绕Qwen2.5 VL相关的技术发展和支持表达自己的看法。可能的原因是这是一个相对小众的技术话题，参与者大多是对相关技术感兴趣的人，所以态度较为一致。

趋势与预测

  • 新兴话题：可能会进一步探讨不同量化格式在各种设备上的最佳应用方案。
  • 潜在影响：如果Qwen2.5 VL相关的支持和优化能够顺利进行，可能会推动llama - server和llama - cpp - python等相关项目在视觉语言模型方面的发展，为相关技术爱好者提供更多的使用可能性。

详细内容：

标题：Qwen2.5 VL 7B Instruct GGUF 及相关基准的热门讨论

最近，在 Reddit 上有一则关于 Qwen2.5 VL 7B Instruct GGUF 的帖子引起了广泛关注。该帖子称已经能够让 Qwen2.5 VL 在 llama.cpp 上运行，虽然还不是官方的，但通过自定义构建就可以轻松实现。相关的操作说明可参考这里。接下来的几天，将会上传相关的量化数据，并在https://huggingface.co/IAILabs/Qwen2.5-VL-7b-Instruct-GGUF/tree/main进行测试和性能评估。目前原始的 16 位和 Q8_0 以及 mmproj 模型已上线，初步印象相当不错，不仅质量出色，速度也很快。此帖获得了众多点赞和大量评论，引发了大家对于该模型的热烈讨论。

讨论的焦点主要集中在以下几个方面： 有人询问是否计划更新 llama-server 以支持该模型，并表示非常期待。有人表示这是一项正在进行中的工作，虽然目前还没有确切的时间，但会在接下来的几天在项目中为 cli 提供另一个 API，链接为：https://github.com/Independent -AI-Labs/local -super -agents ，该 API 将与 OpenAI API 兼容并基于 Open WebUI Pipelines。还有人好奇支持该模型的具体阻碍是什么，认为如果 llama.cpp 的核心已经支持视觉模型，将该功能纳入服务器似乎并非难事。也有人表示已经等待 llama -server 的多模态支持长达 6 个月。

在讨论中，大家各抒己见。有人认为虽然不知道具体的时间，但相信最终会实现支持。也有人认为在服务器中实现支持可能存在诸多困难，需要更多的时间和努力。

总的来说，这次关于 Qwen2.5 VL 7B Instruct GGUF 的讨论展示了大家对新技术的关注和期待，也反映了在技术发展过程中面临的挑战和不确定性。