原贴链接

仅提供了Koboldcpp v1.80发布的GitHub链接：https://github.com/LostRuins/koboldcpp/releases/tag/v1.80，无更多可翻译内容

讨论总结

[这是关于Koboldcpp v1.80版本的讨论。有用户指出其与llama.cpp相比存在质量下降、在Mac上无法运行等问题，也有对其功能限制如自定义上下文大小的讨论，同时还有用户对该版本更新内容给予正面评价，以及涉及API图像传输方式和与Qwen2 - VL功能对比等话题]

主要观点

  1. 👍 Koboldcpp v1.80存在质量下降问题
    • 支持理由：与raw llama.cpp比较，对相同图像的描述Koboldcpp存在明显质量下降且会产生幻觉，多次测试结果稳定
    • 反对声音：无
  2. 🔥 Koboldcpp应在主界面提供自定义上下文大小功能
    • 正方观点：这样对新手用户友好，有助于提高软件吸引力，与Ooba相比Koboldcpp在这方面缺乏灵活性
    • 反方观点：想设置任意上下文大小的用户是少数，随意设置可能导致模型出错且难以察觉
  3. 💡 Koboldcpp v1.80在Mac上无法正常运行
    • 支持理由：运行时会抛出特定错误，而相同环境下llama.cpp运行正常
    • 反对声音：无
  4. 🤩 Koboldcpp v1.80是一次很棒的更新
    • 支持理由：包含更多TTS后端、latex、大量修复和优化并加入qwen2vl
    • 反对声音：无
  5. 😕 关心Koboldcpp v1.80的API图像传输方式
    • 支持理由：运行环境中Kobold所在机器与图像文件机器分离，传输方式影响适用性
    • 反对声音：无

金句与有趣评论

  1. “😂 我将Koboldcpp中的Qwen2 - VL 72b与raw llama.cpp进行了比较，发现Koboldcpp存在明显的质量下降情况。”
    • 亮点：直接指出Koboldcpp与其他软件比较后的质量问题。
  2. “🤔 Kako05：Kobold is a great software, but I don’t understand the resistance to improving its options. It already includes 10 advanced checkboxes, so limiting context customization only makes it harder for newbie users.”
    • 亮点：表达出对Koboldcpp功能限制的疑惑和对新手用户体验的关注。
  3. “👀 Doesn’t work on Mac. It throws an error: ggml_metal_encode_node: error: unsupported op ‘ROPE’ ggml/src/ggml - metal/ggml - metal.m:1263: unsupported op”
    • 亮点：明确指出Koboldcpp在Mac上运行时的错误。
  4. “😎 What an all round great update.”
    • 亮点：对Koboldcpp v1.80版本更新给予正面评价。
  5. “🤓 SomeOddCodeGuy: On the API, are images sent as a filepath or base64 encoded string?”
    • 亮点：提出关于Koboldcpp API图像传输方式的关键问题。

情感分析

[总体情感倾向较为复杂，既有正面评价也有负面评价。正面评价主要集中在对更新内容的认可，如包含更多功能、修复和优化等。负面评价主要在与其他软件对比存在质量下降、在Mac上无法运行以及功能限制等方面。主要分歧点在于Koboldcpp功能是否足够完善以及与其他类似软件对比的优劣，可能是因为不同用户的使用需求和期望不同导致的]

趋势与预测

  • 新兴话题：[Koboldcpp功能完善方向可能成为后续讨论话题，如是否会根据用户反馈改进自定义上下文大小功能等]
  • 潜在影响：[如果Koboldcpp根据用户反馈改进功能，将提高用户体验，在相关软件竞争中可能占据更有利地位；若不改进，可能会流失部分用户]

详细内容：

《Koboldcpp v1.80 发布引发的热烈讨论》

近期，Reddit 上关于“Koboldcpp v1.80 发布并支持 Qwen2-VL”的话题引发了众多关注。该帖子https://github.com/LostRuins/koboldcpp/releases/tag/v1.80 获得了大量的点赞和评论。讨论主要围绕着该版本的性能、图像处理等方面展开。

在讨论中，有人指出将 Qwen2-VL 72b 在 Koboldcpp 中与 llama.cpp 对比，发现 Koboldcpp 存在质量下降的情况。比如，对于相同的图像和提示，llama.cpp 能给出完美的图像描述，而 Koboldcpp 却出现幻觉。还有人提到使用内置 GUI 时图像会被缩小到低分辨率，可能是导致问题的原因。

也有人分享了自己的尝试经历，如有人尝试了“Interrogate”功能，成功地描述了图像。还有人在使用过程中遇到了各种问题，比如无法在 Mac 上运行，会出现“ggml_metal_encode_node: error: unsupported op ‘ROPE’”等错误。

关于能否设置自定义上下文大小的问题也引发了争议。有人认为应该在用户友好的主界面中加入这一选项，方便新手用户使用，而目前的限制使得软件对目标受众的吸引力降低，增加了使用的难度和困惑。但也有人认为不能随意设置，以防出现模型损坏等问题。

总的来说，这次关于 Koboldcpp v1.80 的讨论，既展现了用户对新功能的期待，也反映了在使用过程中遇到的各种实际问题和不同观点的碰撞。