原贴链接

我想要一个同时运行模型和UI的应用。使用Ollama时，我必须分别运行ollama和web ui。有没有其他应用可以做到这一点？

讨论总结

本次讨论主要聚焦于寻找能够同时运行模型和用户界面的Ollama替代方案。参与者推荐了多种应用，如Koboldcpp、TextGenWebUI、Chatbox、LM Studio等，这些应用不仅支持多操作系统，还提供了集成模型和UI的解决方案。讨论中还涉及了操作系统兼容性、终端操作、API兼容性等技术细节，以及用户对现有解决方案的反馈和建议。总体上，讨论氛围积极，用户们分享了各自的使用经验和技术见解，共同探讨了如何更高效地运行模型和用户界面。

主要观点

  1. 👍 Koboldcpp是一个无需安装的单文件应用，自带用户界面
    • 支持理由：不仅支持Windows和Linux，也支持MacOS，MacOS有实验性版本，即将在GitHub上发布，这些版本无需编译和Python环境。
    • 反对声音：在MacOS上运行Koboldcpp需要通过终端操作。
  2. 🔥 koboldcpp是一个有效的Ollama替代方案
    • 正方观点：koboldcpp在lm studio停止工作后表现良好，AMD GPU在当前版本2.31中恢复正常工作。
    • 反方观点：lm studio已停止工作。
  3. 💡 可以使用简单的批处理脚本或GitHub上的开源项目来整合模型和UI
    • 解释：Ollama支持使用自定义模型，只需提供GGUF文件或修改Modelfile，在Mac上，除了Ollama，还可以尝试LMStudio、AnythingLLM和Enchanted UI等应用。
  4. 🌟 Chatbox应用支持将Ollama作为后端运行
    • 解释：由于Ollama API与OpenAI兼容，用户可以通过配置主机-端口和API令牌来使用ChatGPT。
  5. 🚀 推荐使用gpustack作为Ollama的替代方案
    • 解释：gpustack提供集群/协作功能，可能满足发帖者希望在一个应用中同时运行模型和UI的需求。

金句与有趣评论

  1. “😂 fish312：Koboldcpp is a single file that doesn’t need installing and comes with a built in ui”
    • 亮点：简洁明了地介绍了Koboldcpp的特点，即无需安装且自带UI。
  2. “🤔 Evening_Ad6637：I think you should try Jan or Msty”
    • 亮点：直接推荐了两个应用，简洁有效。
  3. “👀 PavelPivovarov：I’m using Chatbox which can use ollama as a backend.”
    • 亮点：介绍了Chatbox应用的功能，即可以将Ollama作为后端运行。

情感分析

讨论的总体情感倾向积极，用户们热情分享各自的使用经验和推荐的应用。主要分歧点在于不同应用的兼容性和操作便捷性，部分用户对某些应用的UI和功能表示不满。可能的原因是用户对应用的期望不同，以及技术细节的复杂性。

趋势与预测

  • 新兴话题：集成模型和UI的应用可能会继续受到关注，特别是那些支持多操作系统和简化操作流程的解决方案。
  • 潜在影响：这些讨论可能会推动相关应用的开发和改进，特别是在用户体验和功能集成方面。

详细内容：

标题：寻找替代 Ollama 的一体化模型运行与 UI 方案

在 Reddit 上，有一个热门讨论帖“Alternatives to Ollama?”引起了众多用户的关注，获得了大量的点赞和评论。原帖作者表示希望能找到一个模型运行和 UI 在一起的应用，因为使用 Ollama 时需要分别运行 ollama 和 web ui，感觉不太方便，希望大家能提供其他选择。

讨论焦点与观点分析： 有人提到 Koboldcpp 是一个无需安装且自带 UI 的单文件。但也有人指出它可能不支持 MacOS，不过也有人表示在 Mac 上可以运行，只是需要使用终端。还有人提到 MacOS 在 Github 的相关页面有实验性版本，虽然仍需在终端运行，但跳过了编译步骤和对 Python 的需求。 有人认为 koboldcpp 在 lm studio 停止工作后表现出色。对于 AMD GPU，当前版本已能正常运行。也有人推荐了诸如 Enchanted UI 等适用于 Mac 的应用，或者可以尝试安装 llama.cpp。 有人提到通过创建模型文件可以在 Ollama 中安装任何 GGUF，还可以使用 LMStudio 来增加模型的上下文大小。也有人建议可以试试 Chatbox，因为它能将 Ollama 作为后端。 对于不同的选择，大家各抒己见。有人认为像 Llamafile 这样的一体化文件很方便，只需双击就能打开自带模型和 UI 的应用；但也有人指出在 Windows 上使用 Llamafile 可能存在很多问题。还有人提到诸如 Msty、TextGenWebUI 等应用，并对它们的优缺点进行了讨论。

在这场讨论中，大家分享了众多的选择和经验，为寻找替代 Ollama 的一体化方案提供了丰富的参考。但对于不同的应用，仍存在一些争议和不确定性，比如某些应用在特定操作系统上的支持情况，以及其功能的完整性和易用性等。