原贴链接

不是我的工作。所有功劳归于HimariO。链接：https://github.com/ggerganov/llama.cpp/pull/10361。给那些好奇的人说一下，它仍需被批准，但如果你们想的话已经可以测试HimariO的分支了。

讨论总结

原帖提到有人在llama.cpp创建了Qwen2VL支持的拉取请求，目前还需批准但可测试相关分支。评论者们从不同角度进行了讨论，包括提醒不要发无意义评论、对Qwen和Llama模型多模态实现和性能的比较、对拉取请求批准后的展望、拉取请求可能被拒的原因、相关技术进展等，整体氛围比较积极，大家对这件事大多持正面态度。

主要观点

  1. 👍 可以对帖子做出反应，但不要发表无意义的“+1”评论
    • 支持理由：订阅该主题的人会被无意义评论刷屏。
    • 反对声音：无。
  2. 🔥 Qwen的多模态实现比llama快，Qwen模型更好
    • 正方观点：未详细阐述，只是表达观点。
    • 反方观点：无。
  3. 💡 希望当前的拉取请求不被拒绝
    • 支持理由：无（只是表达希望）。
    • 反方观点：无。
  4. 🤔 部分拉取请求被拒是因为提交者不愿持续支持，llama.cpp相关人员对拉取请求有了新要求
    • 支持理由：有被拒拉取请求的实例。
    • 反方观点：无。
  5. 😎 开发者拒绝不承诺维护的PR是一种特权，但在可维护代码和有支持（哪怕是漏洞百出的支持）之间平衡很难
    • 支持理由：从开源软件特性等多方面分析。
    • 反方观点：无。

金句与有趣评论

  1. “😂 isr_431: Just reminder, feel free to react to the post but don’t comment something meaningless like ‘+1’ because everyone subscribed to the thread will be constantly spammed.”
    • 亮点：对避免无意义评论给出了合理的解释。
  2. “🤔 Qwen gets faster multimodal implementation than llama.”
    • 亮点：简单直接地对比了Qwen和llama的多模态实现速度。
  3. “👀 mrjackspade：Fingers crossed this one doesn’t get rejected too”
    • 亮点：表达了对拉取请求的期待。
  4. “😎 那是他们的特权，但我认为要达成良好平衡是很棘手的。”
    • 亮点：理性地看待开发者拒绝不承诺维护PR的特权以及背后的平衡问题。
  5. “😄 finally! Please give likes (to pull request, not to my comment) :)”
    • 亮点：表现出对拉取请求的兴奋且正确引导点赞对象。

情感分析

总体情感倾向是积极的。主要分歧点较少，只是在开发者拒绝不承诺维护的PR这一问题上有不同看法，一部分人认为这是合理的特权，另一部分人认为需要在可维护代码和有支持之间达成更好的平衡。可能的原因是大家从不同角度看待这个问题，一方从项目管理的角度出发，另一方从开源软件的开放性和包容性角度出发。

趋势与预测

  • 新兴话题：qwen - vl 72b与微调合并后的无审查状态及相关有趣应用。
  • 潜在影响：对模型的发展和融合可能产生积极影响，促使更多开发者关注Qwen2VL相关的开发进展，推动相关技术在不同应用场景中的尝试和创新。

详细内容：

标题：llama.cpp 中为 Qwen2VL 支持创建的拉取请求引发热烈讨论

最近，Reddit 上一则关于有人在 llama.cpp 中为 Qwen2VL 支持创建了拉取请求的帖子引起了众多关注。该帖子获得了大量的点赞和评论，大家围绕这个话题展开了热烈的讨论。

帖子中提到，此工作并非发帖人所为，所有功劳归 HimariO 所有，并附上了相关链接：https://github.com/ggerganov/llama.cpp/pull/10361 。还提到虽然仍需等待批准，但感兴趣的人已经可以测试 HimariO 的分支。

讨论的焦点主要集中在以下几个方面： 有人指出 Exllamav2 支持 pixtral 和 qwen2 vl；有人认为 Qwen 比 llama 有更快的多模态实现，Qwen 模型更好；还有人提到了一些相关的示例脚本和链接，比如在 repo 中的示例脚本（https://github.com/turboderp/exllamav2/blob/dev/examples/multimodal.py ）以及支持 Tabby 的 PR （https://github.com/theroyallab/tabbyAPI/pull/246） 。

有用户分享道：“从记忆中，ggerganov 曾拒绝合并 VLLM PR，它只是在自己的文件夹中复制粘贴了剪辑代码。” 还有用户表示：“最近我看到的情况是，一些东西被拒绝是因为人们不愿意致力于支持它。他们只是想提交一个 PR 然后就跑。llama.cpp 的人不再接受这种做法。如果你提交 PR，就必须致力于维护它。”

讨论中也存在一些共识，比如大家都对新的支持和选项表示期待。

特别有见地的观点如：“一方面你不想有无法维护的代码，另一方面，对一个很酷的架构有有缺陷的支持总比完全没有支持好。毕竟这是自由开源软件，其他开发者总是可以合作来解决问题。” 这个观点丰富了讨论，让大家更全面地思考代码维护和新模型支持之间的平衡。

总的来说，这次关于 llama.cpp 中 Qwen2VL 支持的讨论展现了技术爱好者们对新技术的热情和对开源项目发展的关注。未来这一支持能否顺利通过批准并得到良好的维护，让我们拭目以待。