原贴链接

从HF（Hugging Face）加载Ollama中的量化版本，但我得到的全是汉语。我看到一些YouTube用户也得到了和我一样的结果。这是一个Llams.cpp视觉支持的问题，还是我遗漏了什么？我在任何人的Ollama库中也还没看到（解决办法），所以我想我只能等了。🤷‍♂️。我知道我可以运行vLLM，但由于某些原因，在我的环境中我无法让它与WSL（Windows Subsystem for Linux）良好协作。任何帮助都非常感谢。我使用的命令是Ollama run hf.co/bartowski/QVQ - 72b - Preview - GGUF:Q4_K_M

讨论总结

帖子作者在Ollama中运行特定量化模型得到的是汉语而非期望的英语，询问是平台支持问题还是自己操作有误。评论者们从多个方面进行讨论，包括模型兼容情况、可能的解决思路、不同平台运行结果对比等，整体氛围是积极探索解决问题的。

主要观点

  1. 👍 Ollama不支持Qvq相关内容
    • 支持理由：有人认为Qvq基于qwen2 - vl，而Ollama不支持它，Llama.cpp在命令行界面（cli）中支持。
    • 反对声音：无
  2. 🔥 Llama.cpp在cli中支持Qvq相关内容
    • 正方观点：有人指出Qvq基于qwen2 - vl，Llama.cpp在cli中支持它。
    • 反方观点：无
  3. 💡 Ollama支持很多视觉模型但不支持Qwen系列有些奇怪
    • 解释：在探讨Ollama对不同模型的支持情况时，有人觉得它支持很多视觉模型却不支持Qwen系列是奇怪的现象。
  4. 💡 Qwen系列刚被合并到llama.cpp不久
    • 解释：在讨论中提到Qwen系列几天前才被合并到llama.cpp。
  5. 💡 希望Qwen系列能很快被Ollama支持
    • 解释：因为Qwen系列已被合并到llama.cpp，所以希望Ollama也能尽快支持。

金句与有趣评论

  1. “😂我相信Qvq基于qwen2 - vl，而Ollama不支持它。Llama.cpp支持它在cli。”
    • 亮点：明确指出了不同平台对Qvq相关内容的支持情况。
  2. “🤔奇怪的是他们支持这么多视觉模型，但不支持Qwen系列。”
    • 亮点：提出了关于Ollama模型支持情况的疑惑。
  3. “👀它几天前才被合并到llama.cpp，所以希望它很快会来到Ollama。”
    • 亮点：表达了对Qwen系列被Ollama支持的期待。

情感分析

总体情感倾向是积极探索的。主要分歧点在于对Ollama不支持Qvq相关内容的疑惑以及对不同平台支持情况的不同看法。可能的原因是大家对模型的特性、平台的兼容性等方面的知识掌握程度和理解角度不同。

趋势与预测

  • 新兴话题：可能会继续探索Ollama如何支持Qwen系列或者如何调整才能输出英语。
  • 潜在影响：如果能解决这个问题，可能会影响到使用该模型的用户，提高Ollama在相关领域的实用性。

详细内容：

标题：关于 Bartowski Q4_K_M 量化模型在 Ollama 中只输出中文的讨论

最近，Reddit 上有一个热门帖子引起了大家的关注。帖子中提到，加载了来自 HF 的 Bartowski Q4_K_M 量化模型在 Ollama 中，但得到的全是中文。这位发帖者观看了一些 YouTubers 的相关内容，发现他们也有相同的结果。还提出这是 Llams.cpp 视觉支持的问题，还是自己有所遗漏。并且表示目前在任何人的 Ollama 存储库中都未看到相关解决办法，只能等待。该帖子获得了不少的关注和评论。

在众多评论中，主要观点如下： 有人认为 Qvq 是基于 qwen2-vl，而 Ollama 不支持。Llama.cpp 在 cli 中支持。 也有人表示奇怪的是，支持那么多视觉模型但不支持 Qwen 系列。 还有人提到它刚合并到 llama.cpp 几天，希望很快能在 Ollama 中得到支持。

有人分享自己的经验说，不确定 qvq 是否与 qwen2-vl 有不同的 mmproj 模型，但为 qwen2-vl 配对 mmproj guff 模型对自己是有效的。 有人给出创建 ollama 模型的方法，有人表示会尝试，但也有人说这种方法对自己无效。 有人提到中文在翻译中能说得通，也有人表示在 llama.cpp 中运行只看到英文，还有人表示尝试后没有用。

讨论中的争议点在于对于该模型只输出中文的原因究竟是什么，以及如何解决这个问题。目前的共识是都在等待有效的解决方案。其中一些独特的观点，如对不同模型的特性分析，丰富了整个讨论。

总之，关于这个话题的讨论还在继续，大家都期待能早日找到有效的解决办法。