原贴链接

大家好，

我已经使用 WebUI 一段时间了，它的确有了很大的进步。当他们不再提供开箱即用的 LiteLLM 模型时，我感到很失望，但他们的维护者给出了一个很好的理由，说明为什么应该将它们分开。我相对容易地包含了它们。我知道它有内存泄漏和关于它在ollama上运行的抱怨等问题。我通常只是用openai运行它，并添加Bedrock访问网关以访问AWS上的模型。很高兴他们遵循相同的格式。

问题是我想在WebUI和LiteLLM之间使用相同的用户基础。本质上，我想使用LiteLLM的速率限制、费用监控等功能，这是WebUI所缺少的。

我正在寻找一个能提供两者最佳特性的项目。我知道LiteLLM也有一个前端，我需要看看。问题就像你们大多数人一样，我们都在关注不同的问题。

我更专注于一个复杂的分析平台，没有时间深入研究。我希望社区中有人能提供一个建议，提供WebUI和LiteLLM的开箱即用（或最小设置）功能。

要求： 在用户级别/团队管理模型、API密钥、费用、跟踪使用情况、速率限制、集成、SSO集成等。轻松添加来自HuggingFace和其他提供商的模型也很好。用户可以通过API调用模型到代理服务器（https://demo.litellm.ai），并在UI中管理工作区/聊天，以便不太懂技术的人使用。网页浏览的附加功能是锦上添花。

我假设所有这些都存在，或者有人有一个结合了这些功能的项目。也许答案是LiteLLM或WebUI只需稍作调整。

请告诉我你们在用什么，哪些项目符合这些要求。谢谢！

编辑1： 只是想补充一下，我已经检查并使用了许多不同的项目。也许在某个时候我会添加它们，但正在寻找一个能满足我在要求中提到的所有条件的项目。

LibreChat： 在另一个帖子中发现的。看起来可能是一个不错的竞争者。似乎拥有我从前端要求的大部分内容。它缺少一些在要求中提到的额外的锦上添花的功能。我看到它提到了LiteLLM，所以认为它在后端具有所有功能，但还没有建立实例。

与这个帖子无关，但可能对另一个用例有用： Langfuse： 我在GitHub上搜索使用LiteLLM的项目，发现了langfuse。看起来很有趣。我有一个自己的项目用于评估模型和反馈循环，但我真的很喜欢他们这里开箱即用的东西和堆栈跟踪。设置起来更容易，不需要我为每个项目都参与——团队中有很多活跃的项目。这不符合我在这个帖子中寻找的要求，但它是一个非常有用的东西。

其他类似讨论： https://www.reddit.com/r/LocalLLaMA/comments/18xnsar/what_all_front_ends_exist_for_connecting_to_llm/ https://www.reddit.com/r/LocalLLaMA/comments/1dad0rh/what_is_your_preferred_frontendbackend_these_days/ https://www.reddit.com/r/LocalLLaMA/search/?q=back+and+front+end&type=link&cId=fd8a6479-8fcc-4e29-b132-73f6e5ec36c0&iId=631ca316-d1d1-4a93-bc50-636c01dbd329

稍后会更新——现在是一些会议时间。

讨论总结

帖子主要讨论了寻找一个能够满足复杂需求的开源项目，该项目需要集成前端和后端功能，包括用户管理、API集成、费用监控等。作者提到了WebUI和LiteLLM的使用经验，并寻求社区的建议。评论中有人推荐了LangGraph-GUI项目，并有人使用RemindMeBot设置提醒。

主要观点

  1. 👍 寻找集成前端和后端的开源项目
    • 支持理由：需要一个项目来管理用户、API密钥、费用监控等。
    • 反对声音：目前没有明确的反对声音，主要是寻求建议。
  2. 🔥 推荐LangGraph-GUI项目
    • 正方观点：该项目使用ReactFlow前端和Flask后端，通过Docker Compose部署。
    • 反方观点：无明确反对意见，但需要进一步验证是否满足所有需求。
  3. 💡 使用RemindMeBot设置提醒
    • 解释：SeekingAutomations使用RemindMeBot设置7天后提醒，以便再次查看帖子。

金句与有趣评论

  1. “😂 SeekingAutomations：Remind me! 7 days”
    • 亮点：使用RemindMeBot设置提醒，展示了Reddit社区的实用工具。
  2. “🤔 HomunMage：see my LangGraph-GUI https://github.com/LangGraph-GUI/LangGraph-GUI”
    • 亮点：推荐了一个结合前端和后端的开源项目，为寻求解决方案的用户提供了灵感。

情感分析

讨论的总体情感倾向是积极的，主要集中在寻求解决方案和技术推荐上。没有明显的争议点，大多数评论都是为了帮助作者找到合适的开源项目。

趋势与预测

  • 新兴话题：开源项目的前后端集成解决方案可能会引起更多关注。
  • 潜在影响：找到合适的开源项目可能会对开发者的项目管理和部署方式产生积极影响。