原贴链接

你好！我想知道，为什么Pixtral仍未在Hugging Face（HF）上完整发布呢？已经有纯文本版本了，但视觉模型还没有……

讨论总结

原帖对Pixtral在HF上未完全发布（只有纯文本版本，视觉模型未发布）表示疑惑。评论者从多方面进行了探讨，包括Llama.cpp与视觉模型的不兼容、项目可能失去贡献者、Ollama与Llama.cpp的关系、相关软件的功能与更新、模型的支持与受限情况等，整体氛围以理性的技术交流为主。

主要观点

  1. 👍 Llama.cpp与视觉模型存在不兼容情况
    • 支持理由：多位评论者如kuzheren提到llama.cpp不喜欢视觉模型，mikael110指出Llama.cpp不支持Pixtral和很多视觉模型，Arkonias也表示It’s a vision model, support won’t be coming to llama.cpp for a long time。
    • 反对声音：无。
  2. 🔥 项目可能失去贡献者或发展动力
    • 正方观点：SlowScientist1843提出疑问Has the project lost its contributors or momentum?并给出PaliGemma类似情况的github链接。
    • 反方观点：无明确反对，更多是在讨论其他相关技术点。
  3. 💡 Ollama独立于Llama.cpp增加了对Llama 3.2 Vision的支持
    • 解释：Thellton提到ollama diverged from llamacpp when llamacpp dropped support for vision models in the llamacpp server.exe, which means they have maintained that functionality in their ‘fork’ of llamacpp’s functionality。
  4. 💡 Exllamav2发布了0.2.4版本且支持Pixtral
    • 解释：Lemgon - Ultimate指出Exllamav2 just released a new version (0.2.4) with Pixtral support!
  5. 💡 Pixtral模型在ollama的规划内但缺少推理代码
    • 解释：有评论者提到Allegedly it’s on ollama‘s map, but the lack of inference code that is able to run it quantized is rlly killing this otherwise great model :c。

金句与有趣评论

  1. “😂 kuzheren: llama.cpp doesn’t like vision models…”
    • 亮点：简洁地指出了Llama.cpp与视觉模型之间存在问题，这是理解Pixtral未完全发布的一个关键因素。
  2. “🤔 mikael110：There’s no point making a GGUF if there’s no software to run it.”
    • 亮点：从软件运行的角度，阐述了制作GGUF在缺乏运行软件时是没有意义的，加深对Pixtral未发布情况的理解。
  3. “👀 Lemgon - Ultimate: Exllamav2 just released a new version (0.2.4) with Pixtral support!”
    • 亮点：提供了关于Exllamav2版本更新且支持Pixtral的重要信息，对原帖的疑问给出了部分积极回应。
  4. “🤔 Thellton：ollama diverged from llamacpp when llamacpp dropped support for vision models in the llamacpp server.exe, which means they have maintained that functionality in their ‘fork’ of llamacpp’s functionality.”
    • 亮点：清晰地解释了Ollama和Llama.cpp在视觉模型支持方面产生分歧的情况。
  5. “😔 Allegedly it’s on ollama‘s map, but the lack of inference code that is able to run it quantized is rlly killing this otherwise great model :c”
    • 亮点：表达出对Pixtral模型因缺少推理代码而发展受限的惋惜，反映出模型面临的问题。

情感分析

总体情感倾向是比较中性的，主要是理性地探讨技术问题。分歧点在于对模型未完全发布的原因探讨，例如是因为技术本身（如Llama.cpp不支持）还是项目发展相关（如失去贡献者或缺乏推理代码等）。可能的原因是这是一个技术相关话题，评论者更多是从技术角度去分析和解答原帖的疑问。

趋势与预测

  • 新兴话题：随着Exllamav2支持Pixtral版本的发布，后续可能会有更多关于Exllamav2在使用Pixtral方面的讨论，以及Tabby是否会支持Pixtral的跟进讨论。
  • 潜在影响：如果更多软件支持Pixtral，可能会对视觉模型相关的技术应用产生推动作用，促进视觉模型在更多场景下的使用。

详细内容：

标题：关于 Pixtral 在相关平台支持情况的热门讨论

在 Reddit 上，一则题为“Still no Pixtral GGUF?”的帖子引起了广泛关注。该帖子表达了对完整 Pixtral 仍未在 HF 发布的疑惑，特别是其视觉模型部分。此帖获得了众多的点赞和大量的评论。

帖子引发的主要讨论方向集中在为何 llama.cpp 对视觉模型支持不佳，以及 Ollama 与 llama.cpp 之间的关系等。核心问题在于 Pixtral 何时能得到更广泛的支持。

讨论焦点与观点分析： 有人指出，“Llama.cpp 不喜欢视觉模型……”。有人提出疑问，“这个项目是不是失去了贡献者或者发展动力？PaliGemma 支持的情况也是一样。” 并提供了相关链接：https://github.com/ggerganov/llama.cpp/pull/7553 。 有人表示，“如果没有软件能运行，制作 GGUF 就没有意义。Llama.cpp 不支持 Pixtral 或过去一年发布的其他大多数视觉模型。这里有个追踪支持情况的问题：https://github.com/ggerganov/llama.cpp/issues/9440 ，但别抱太大希望。” 有人称，“Ollama 自行添加了对它的支持（https://github.com/ollama/ollama/pull/6963 ），独立于 llama.cpp。Llama.cpp 仍然不支持。” 有人认为，“ollama 在 llama.cpp 服务器的.exe 中放弃对视觉模型的支持时就与之分道扬镳，意味着他们在自己的‘分支’中保留了这一功能。说实话，我觉得 ollama 有点像寄生虫，他们似乎对做贡献不感兴趣。” 有人感叹，“是啊，很遗憾 llama.cpp 是 ollama 引擎的核心，但在他们的 github README 底部只得到了一个轻描淡写的提及，感觉不太对劲。” 有人提到，“值得一提的是，即使在 README 中的这点提及也是在人们施压后才加上的。他们还基本上劫持了本应更好归因的 PR。” 有人指出，“Ollama 是一家在加拿大注册的盈利公司。如果他们正在寻求投资或收购，不愿承认大部分功能来自其他项目就说得通了。” 有人说，“因为 llama.cpp 不想保留视觉支持（更倾向于完全从头重做）。”

可以看出，对于 Pixtral 及相关模型的支持情况，大家各有看法，讨论十分热烈。但目前仍未有明确的解决方案或统一的共识。