原贴链接

更新至 koboldcpp-1.73

从 MiniCPM 官方 Huggingface 下载两个文件：

  1. MiniCPM-V-2_6-gguf 的量化 GGUF 版本

  2. mmproj-model-f16.gguf

对于不熟悉设置视觉模型的人：

步骤（在模型文件中）：

  1. 在 Model 中附加量化的 GGUF 文件

  2. 在 LLaVA mmproj 中附加 mmproj-model-f16.gguf 文件

image

讨论总结

本次讨论主要聚焦于MiniCPM-V 2.6与KoboldCpp的整合问题，用户普遍反映该版本在图像处理和文本检测方面存在缺陷，尤其是在KoboldCpp环境中无法有效使用。讨论中还涉及了模型兼容性、审查限制以及对GPT 4 All系统的期待。用户建议等待更合适的支持版本，或尝试其他模型以解决当前问题。

主要观点

  1. 👍 MiniCPM-V 2.6在KoboldCpp中无法检测文本和压缩图像
    • 支持理由：用户报告称该版本在KoboldCpp中表现不佳，无法有效执行其功能。
    • 反对声音：有用户在llamacpp中测试并发现其工作良好。
  2. 🔥 可能是因为2.6版本尚未得到适当支持
    • 正方观点：用户推测当前问题可能是由于版本尚未得到充分支持。
    • 反方观点：无明确反对意见，但有用户建议尝试其他模型。
  3. 💡 建议尝试启用图像设置中的“保存高分辨率”选项
    • 解释：有用户提出可能通过调整设置来改善图像处理效果，但目前该选项无效。

金句与有趣评论

  1. “😂 Only images are compressed and it can’t detect text, something is wrong with that, minicpm is capable of 1344x1344, at this stage in koboldcpp it is useless.”
    • 亮点：直接指出了MiniCPM-V 2.6在KoboldCpp中的主要问题。
  2. “🤔 I’m really hoping these get seamlessly incorporated into GPT 4 All.”
    • 亮点：表达了用户对未来整合的期待。
  3. “👀 Any tips on how to uncensor these models anyone please?”
    • 亮点：提出了一个关于模型审查限制的实际问题。

情感分析

讨论的总体情感倾向较为中性，用户在技术问题上表现出一定的挫败感，尤其是在遇到兼容性和功能性问题时。然而，也有用户对未来可能的改进和整合表示期待。主要分歧点在于当前版本的有效性和未来版本的潜力。

趋势与预测

  • 新兴话题：用户对MiniCPM-V 2.6与KoboldCpp的整合以及与GPT 4 All的兼容性表现出高度关注。
  • 潜在影响：改进的整合可能会显著提升图像处理和文本检测的效率，对相关技术领域产生积极影响。

详细内容：

标题：MiniCPM-V 2.6 与 KoboldCpp 的适配情况引发Reddit热议

近日，一则关于“MiniCPM-V 2.6 Now Works with KoboldCpp (+Setup Guide)”的帖子在Reddit上引发广泛关注，获得了众多用户的点赞和大量评论。帖子主要介绍了如何将MiniCPM-V 2.6与KoboldCpp进行适配，并提供了相关文件的下载链接和详细的设置步骤。

讨论的焦点主要集中在MiniCPM-V 2.6与KoboldCpp适配后的使用效果上。有人指出，目前只有图像被压缩且无法检测文本，这个问题导致在KoboldCpp中目前该功能无用。有人猜测可能是对2.6版本支持不当，因为llamacpp在两天前就已经支持。但也有人测试后表示在llamacpp-cli-cpm中运行效果很好。还有用户提到在图像设置中启用“save high res”可能有用。

也有用户希望这些模型能够无缝融入GPT 4 All，期待它能对图像给出详细描述并传递给其他模型。有人询问如何解除这些模型的审查限制，有人分享使用minicpm mmproj，并以Einstein v7作为模型能减少审查限制，但也有人表示尝试使用其他模型时提示需要正确的minicpm gguf文件。

还有用户强调MiniCPM是专门用于单图像和视频理解的模型，Llama 3.1 8B不具备视觉能力，应该根据模型的特定用途来使用，不能轻易否定，并提供了模型卡的链接进一步说明。

总的来说，关于MiniCPM-V 2.6与KoboldCpp的适配效果，大家观点不一，仍存在较多争议和探讨的空间。是技术支持尚未完善，还是用户使用方法不当？这一问题仍有待进一步的研究和实践来解答。