原贴链接

你好。我知道有一些工具，如LMStudio、GPT4all或者Jan，但它们的目的是便于本地使用大型语言模型（下载量化版本并设置本地推理环境）。我想知道是否存在这样一种工具，它侧重于创建一个可以通过外部服务器端点进行配置的好用的工具。我的使用场景如下：在我们组织中，我们非常重视隐私，所以我们正在购买一些GPU并设置aphrodite服务器来提供大型语言模型服务。然后，为了让终端用户能够使用它们，有一个好用的聊天界面以及诸如文件上传、基本的检索增强生成（RAG）、聊天记录等功能，我们可以使用像open webui这样的网络界面，或者如果有的话，利用现有的桌面工具。在做决定之前，我希望能全面了解现有的工具。你知道是否有一些工具适合我们的使用场景吗？

讨论总结

原帖作者想为注重隐私、自行设置服务器的组织寻找可配置外部服务器端点的开源桌面工具，以方便终端用户使用LLMs，在决定使用某种工具前希望全面了解现有工具。评论者们纷纷推荐各种工具，如Msty、AnythingLLM、Ollama、openwebui、LibreChat等，并阐述了这些工具的特点、用途、使用方式等，也有评论者分享自己正在开发相关工具。整体氛围积极，大家都在尽力为原帖作者提供有用信息。

主要观点

  1. 👍 推荐Msty、AnythingLLM可满足原帖需求
    • 支持理由：是支持外部端点和RAG的桌面应用
    • 反对声音：无
  2. 👍 推荐Open - WebUI符合要求
    • 正方观点：未详细阐述，与原帖需求相关
    • 反方观点：无
  3. 🔥 推荐LibreChat完全开源且高度可配置
    • 正方观点：支持多用户且有安全保障，可通过特定方式在企业内部网提供服务，支持多种可定制的API格式
    • 反方观点：存在不支持网页访问的情况
  4. 💡 推荐https://github.com/dezoito/ollama - grid - search用于评估和比较模型与提示组合的响应
    • 解释：评论者自制并使用该工具，可能符合原帖需求
  5. 💡 推荐solo - server工具可能符合提问者使用场景
    • 解释：可用于组织内部重视隐私情况下与LLMs交互

金句与有趣评论

  1. “👍 Eugr: Msty, AnythingLLM - these are desktop apps that support external endpoints and RAG.”
    • 亮点：直接推荐符合原帖需求的工具并点明工具特性
  2. “🤔 clduab11: To piggyback, also an AnythingLLM user here (via Docker, LM Studio as my back - end);”
    • 亮点：以自身使用经历说明AnythingLLM的使用方式
  3. “👀 Peribanu: LibreChat is completely OpenSource and highly configurable.”
    • 亮点：简洁点明LibreChat的重要特性

情感分析

总体情感倾向是积极的。主要分歧点较少，只是在LibreChat是否完全符合需求（存在不支持网页访问的情况）上有一点不同声音。可能的原因是大家都在积极响应原帖寻求工具的需求，并且都希望自己推荐的工具能被原帖作者认可。

趋势与预测

  • 新兴话题：原帖作者可能会对推荐的众多工具进行试用和比较，后续可能会有针对这些工具在组织隐私场景下实际使用情况的讨论。
  • 潜在影响：如果这些工具被广泛应用于注重隐私的组织中与LLMs交互，可能会提高组织内部的工作效率，也可能推动相关工具进一步优化以满足更多样的需求。

详细内容：

标题：探索开源桌面工具与 LLMs 的交互

在 Reddit 上，有一个关于开源桌面工具与 LLMs 交互的热门讨论帖子引起了大家的关注。该帖子获得了众多的浏览和大量的评论。

原帖中，发帖者表示已知一些如 LMStudio、GPT4all 或 Jan 等工具，但它们主要用于实现本地使用 LLMs 的功能，比如下载量化版本和搭建本地推理设置。而发帖者想了解是否存在能配置外部服务器端点的工具，并阐述了所在组织重视隐私，购买了 GPU 并设置了 aphrodite 服务器来服务 LLMs，希望为终端用户提供良好的聊天界面和实用功能，想在决定之前全面了解现有工具。

这个帖子引发的主要讨论方向集中在推荐符合需求的工具。

文章将要探讨的核心问题是：哪些开源桌面工具能够适配这种配置外部服务器端点的需求。

在讨论中，主要观点如下：

有人提到 Msty、AnythingLLM 这类桌面应用支持外部端点和 RAG，同时也提到了 Open-WebUI。还有用户分享说自己是通过 Docker 使用 AnythingLLM，其开发者是位 redditor 且非常热心，还制作了相关的 YouTube 视频指导安装和设置。

有人提供了链接 https://github.com/dezoito/ollama-grid-search ，并表示自己制作和使用它来评估和比较不同模型和提示的响应。

有人称 LibreChat 完全开源且高度可配置，是多用户的，具有适当的用户安全设置，支持多种 API 格式且高度可定制。但也有人表示上次使用时不支持网络访问，所以切换到了 open-webui。

有人表示 Msty 很棒。

有人正在开发一个网络应用，以允许主要推理引擎和 COTS API 的自定义端点，还在努力实现高效的 RAG 实施，可能会添加图像生成支持。

有人认为 Ollama 和 openwebui 是这种情况下的最佳选择。

有人提到 Drupal 10 。

有人推荐了也许符合需求的 solo-server，链接为 https://github.com/AIEngineersDev/solo-server 。

有人提到自己最近构建了 inferit，可以在本地运行，并能接入任何本地或远程的 openai 兼容 API 。

有人建议尝试 https://github.com/MindWorkAI/AI-Studio 。

有人建议查看 这里 列出的开源工具。

讨论中的共识在于大家都在积极分享自己所知道的工具和经验，以帮助发帖者找到符合需求的解决方案。特别有见地的观点如开发者亲自制作视频指导使用，丰富了讨论的实用性。

总的来说，这次关于开源桌面工具与 LLMs 交互的讨论展现了大家的热情和丰富的知识储备，为有类似需求的人提供了有价值的参考。