原贴链接

大家好，我是LostRuins，刚刚发布了KoboldCpp的新版本，有一些相当大的更新值得分享：添加共享多人模式，现在多个参与者可以协作并共享同一会话，轮流与人工智能聊天或共同创作故事。也可以用于轻松地在线或在本地网络中的多个设备间共享会话。添加了对Ollama和ComfyUI API的模拟：KoboldCpp旨在一次性服务所有流行的人工智能相关API，为此，除了现有的A1111/Forge/KoboldAI/OpenAI/Interrogation/Multimodal/Whisper端点外，它现在还模拟兼容的Ollama聊天和补全API。这将允许仅支持一个特定API的业余项目被无缝使用。推测性解码：由于最近在llama.cpp中添加的推测性解码似乎很受关注，我也在KoboldCpp中添加了自己的实现。无论如何，请在https://github.com/LostRuins/koboldcpp/releases/latest查看此版本。

讨论总结

KoboldCpp 1.79发布了共享多人、API模拟、推测性解码等功能。多数评论者表达了积极态度，如赞赏、认可，也有人存在不理解用途或对特定功能好奇、有疑问的情况，还有部分评论与技术细节相关如模型的协作、兼容性等。

主要观点

  1. 👍 KoboldCpp功能强大且此次更新很棒。
    • 支持理由：多人模式、API模拟等新功能的增加，如teddybear082对多人模式代码编写惊叹，murlakatamenka肯定Ollama API模拟的重要性。
    • 反对声音：无。
  2. 🔥 KoboldCpp在某些方面是最好的选择。
    • 正方观点：如Eisenstein强调其在不影响系统等情况下运行推理服务器等优点，XtremeBadgerVII称其为“the goat”。
    • 反方观点：无。
  3. 💡 多人模式有吸引力但存在小问题。
    • 解释：Awwtifishal认为koboldcpp多人模式基本正常工作，但聊天模式存在用户名字显示问题。
  4. 💡 推测性解码概念及相关技术探讨。
    • 解释：如henk717解释其原理，kulchacop提到大小模型词汇表相似才有加速效果等。
  5. 💡 对KoboldCpp的功能存在疑问和误解。
    • 解释：如emprahsFury质疑是否在不同API之间路由请求，GayFluffHusky对命令行指定模型文件夹有疑问。

金句与有趣评论

  1. “😂 One Kobo To Rule Them All 🔥”
    • 亮点：用诙谐表述暗示KoboldCpp很厉害。
  2. “🤔 While I’m mostly a singleplayer chatter, multiplayer/co - op in role play and text adventures with friends could be fun to try out!”
    • 亮点：表达虽然单人聊天为主，但对多人功能的兴趣。
  3. “👀 Right now I can’t even imagine how you coded multiplayer, really cool!”
    • 亮点：对多人模式代码编写表示惊叹。
  4. “😂 Koboldcpp is the goat”
    • 亮点：简洁表达对Koboldcpp的高度赞赏。
  5. “🤔 I still don’t understand what is kobold for. Is it a chatbot?”
    • 亮点：直接表达对Kobold用途的不理解。

情感分析

总体情感倾向为积极。大部分评论者对KoboldCpp 1.79版本发布表示赞赏、认可、感谢等积极态度，分歧点主要在于部分用户对一些功能存在疑问或误解，例如多人模式中的小问题、API的相关使用等，可能是因为新功能刚发布，用户还在探索和熟悉的过程中。

趋势与预测

  • 新兴话题：推测性解码在不同硬件条件和模型组合下的效果和可行性可能会引发后续讨论。
  • 潜在影响：如果KoboldCpp的功能不断完善和被认可，可能会吸引更多用户使用，对相关AI聊天或模型运行领域产生推动作用。

详细内容：

《KoboldCpp 1.79 版本引发Reddit热议》

近日，Reddit上关于KoboldCpp 1.79版本的讨论热度颇高。原帖由LostRuins发布，介绍了这个版本的多项重大更新，包括新增的共享多人模式、对Ollama和ComfyUI API的模拟以及推测解码等功能。该帖子获得了众多关注，点赞数和评论数众多，引发了广泛的讨论。

讨论焦点主要集中在以下几个方面： 有人对推测解码表示好奇，比如IONaut询问“什么是推测解码？我还没听说过。”henk717解释道：“它是当你使用一个较小的同类型模型来预测大模型接下来可能的行为。如果预测正确，你可以提前一点获得更快的生成。如果预测错误，就必须丢弃错误数据，无法获得加速。所以基本上是运行像Llama 8B和Llama 70B这样的组合，试图加速70B。” 对于模型的兼容性和运行环境，大家也各抒己见。例如Specific-Goose4285表示：“编译Llama.cpp和KoboldCpp的步骤没有太大区别。”但也有人指出不同之处。 在多人模式方面，Admirable-Star7088分享道：“虽然我大多是单人聊天，但和朋友在角色扮演和文本冒险中的多人合作可能会很有趣！” 还有用户讨论了KoboldCpp的用途和特点，Outrageous_Cap_1367问道：“我还是不明白Kobold是干什么的。它是聊天机器人吗？”henk717回应：“KoboldCpp是Llamacpp的分支，有自己的API服务器。它提供了多种API支持，还捆绑了一个轻量级的UI前端。”

讨论中的共识是KoboldCpp的功能丰富且不断更新完善。独特的观点如Eisenstein称：“这是唯一一个无需折腾系统或安装依赖项，跨平台且‘即开即用’，带有集成UI前端和全功能API的项目。它涵盖文本模型、视觉模型、图像生成和语音！”丰富了讨论内容。

总的来说，KoboldCpp 1.79版本的更新在Reddit上引起了热烈反响，用户们从不同角度进行了深入探讨，为开发者和其他感兴趣的人提供了丰富的参考和思考。