原贴链接

https://github.com/ggerganov/llama.cpp/issues/9643

讨论总结

本次讨论主要围绕Llama-3.2视觉模型在llama.cpp中的支持缺失展开。评论者们讨论了Ollama独立开发支持、替代工具如mistral.rs、ExllamaV2和vLLM的性能比较，以及项目维护和发展的挑战。讨论中涉及了CPU推理的优势、VRAM需求、开源项目如何吸引和保留顶尖人才等问题。总体情感倾向为关注和期待，但也存在对项目进展缓慢的失望和担忧。

主要观点

  1. 👍 Llama-3.2视觉模型在llama.cpp中尚未得到支持
    • 支持理由：项目负责人ggerganov认为增加多模态支持需要更多具备软件架构技能的人参与。
    • 反对声音：有评论者认为项目进展缓慢，可能导致项目失去相关性。
  2. 🔥 Ollama已经开始独立开发对Llama-3.2视觉模型的支持
    • 正方观点：Ollama的独立开发可能加速视觉模型的支持。
    • 反方观点：有评论者担心Ollama可能不再只是一个简单的包装器。
  3. 💡 mistral.rs等工具在支持最新模型方面表现优于llama.cpp
    • 解释：评论者指出mistral.rs等工具在性能和支持最新模型方面优于llama.cpp。
  4. 💡 ExllamaV2和vLLM在性能上优于llama.cpp，但需要更多VRAM
    • 解释：评论者讨论了ExllamaV2和vLLM在性能上的优势，但也指出它们需要更多的VRAM。
  5. 💡 llama.cpp的优势在于其CPU推理能力
    • 解释：评论者认为llama.cpp的CPU推理能力是其主要优势，适合内存充足但VRAM不足的用户。

金句与有趣评论

  1. “😂 It’s worth noting that Ollama has actually started working on supporting it themselves, independently of llama.cpp.”
    • 亮点：Ollama的独立开发行动引起了广泛关注。
  2. “🤔 Llama.cpp used to be the best game in town, but it’s been eclipsed by stacks like vllm and exllamav2.”
    • 亮点：评论者对llama.cpp的地位变化进行了有趣的比喻。
  3. “👀 The advantage of llama.cpp has always been its superior CPU inference.”
    • 亮点：强调了llama.cpp在CPU推理方面的优势。
  4. “😂 Plot twist: ggerganov isn’t allowed access to the models thanks to the EU.”
    • 亮点：讽刺的评论引发了有趣的讨论。
  5. “🤔 Are there any quantized variants of the vision model?”
    • 亮点：直接的技术问题引发了进一步的讨论。

情感分析

讨论的总体情感倾向为关注和期待，但也存在对项目进展缓慢的失望和担忧。主要分歧点在于对llama.cpp未来发展的看法，一些人认为其优势在于CPU推理，而另一些人则认为其需要加快对新模型的支持。可能的原因包括项目维护者的数量不足、资金支持以及开源项目如何吸引和保留顶尖人才等问题。

趋势与预测

  • 新兴话题：Ollama的独立开发可能引发后续讨论，关注其未来发展方向。
  • 潜在影响：llama.cpp的支持缺失可能促使更多用户转向其他替代工具，影响其在开源社区的地位。

详细内容：

标题：Llama-3.2 视觉模型在 llama.cpp 中的支持现状引发激烈讨论

Llama-3.2 视觉模型目前在 llama.cpp 中尚未得到支持，此话题在 Reddit 上引发了广泛关注。原帖https://github.com/ggerganov/llama.cpp/issues/9643 吸引了众多用户参与讨论，各方观点激烈交锋。

讨论焦点主要集中在 llama.cpp 的发展现状、性能对比以及未来走向等方面。有人认为 llama.cpp 曾经是佼佼者，但已被 vllm 和 exllamav2 等超越，几乎没有再使用的必要，因为其他模型功能更全、性能更强。但也有人指出，llama.cpp 在 CPU 推理方面一直有优势，如果模型能适配 VRAM，Exllama 和 vLLM 确实更快，可对于一些硬件条件有限的用户，llama.cpp 仍是唯一选择。

有用户分享道：“对于 llama.cpp 与 ExllamaV2 和 Llama-3.1 70B 8bpw exl2 的性能对比，我用 llama.cpp 每秒能处理 8 - 9 个 token，而用 ExllamaV2 则能达到 17 - 20 个 token，速度几乎快了一倍。”还有用户说：“我有很多内存，但 VRAM 很少，所以 llama.cpp 和类似的程序如 mistral.rs 是我处理大型模型的几乎唯一选择。我没有足够的 VRAM 去使用 Exllama 模型。”

关于 llama.cpp 的未来，观点也各不相同。有人觉得它逐渐走向衰落，若不支持新模型，应明确告知用户；也有人认为这只是一个人的业余项目，能发展到现在已经不易。有人提到：“ggml.ai 是由 Georgi Gerganov 创立的公司，有资金支持，若需要更多开发者，获取资金似乎不难。”但也有人对此表示怀疑，认为任务艰巨。

总的来说，这次讨论展现了用户对 llama.cpp 的复杂态度和不同期望，也反映了开源项目在发展过程中面临的诸多挑战。究竟 llama.cpp 能否克服困难，跟上时代步伐，还需拭目以待。