介绍 Harbor：一个容器化的 LLM 工具包

原贴链接

嘿，各位 LLaMers LLM 爱好者！ 👋

这里有一张图胜过千言万语：

现在让我们进入正题，呵呵。

我很兴奋地分享一个我一直在做的项目。这是一个开源工具包，旨在简化使用 Docker 运行和管理 LLM 后端、API、前端和其他服务的流程。

以下是 Harbor 目前可以做的一些事情的概览。安装项目后，一切从以下命令开始：

harbor up

# [可选] 在浏览器中打开
harbor open

这将启动 Ollama（默认 LLM 后端）和 Open WebUI（默认前端）。两者都配置为协同工作，Ollama 将使用您的本地缓存（如果有）。

到目前为止，我同意，没有什么令人印象深刻的。让我们让它更有趣一点。Open WebUI 有一个很棒的功能，可以让你“调用”你的 LLM，与 ChatGPT 应用中的功能几乎相同。

使用 Open WebUI 调用你的 LLaMa

让我们将其添加到我们的设置中！Harbor 自带一个预集成的 openedai-speech 服务，可以通过以下命令启动：

harbor up tts

这将运行 Ollama、Open WebUI 和 openedai-speech，所有这些都预配置为协同工作。

让我们再深入（哈哈）另一个例子。

# 让我们添加 SearXNG 并使用
# LiteLLM 作为 vLLM 的代理，让我们用 langfuse 追踪
# 一切
harbor up searxng litellm vllm langfuse

在这种情况下，Open WebUI（Harbor 的默认前端）配置为启用与 SearXNG 的 Web RAG，并显示 vllm 配置为服务的任何模型。由于 vLLM 的 OpenAI API 不完整，它通过 LiteLLM 路由到 Open WebUI。运行 LangFuse 时，LiteLLM 会自动将其追踪发送到那里。

但这不仅仅局限于运行几个预配置的服务。

现在让我们调整 vllm 服务的内容。这个出色的后端开箱即用，兼容性非常好，与 HuggingFace Hub 集成得相当好，所以让我们运行 Gemma 2 2B（新鲜出炉，哈哈）。这是一个受限模型，所以我们需要先将我们的 HF 令牌放入工作区。

# `harbor hf` 是一个带有
# 一些额外功能的 HuggingFace CLI。你不需要安装它
# 它也预配置为针对你的全局 HF 缓存运行。

# 1. 让我们设置令牌
harbor hf token <your-token>

# 2. 现在，我们可以设置 vllm 服务模型
harbor vllm model google/gemma-2-2b-it

# 3. 我们可以指定一些更多的参数来帮助 vLLM 加速
harbor vllm args "--device tpu --distributed-executor-backend ray"

不幸的是，我们需要重启服务以应用新的配置。让我们借此机会将这些设置为我们的新默认工作区。

harbor down
# 设置新默认值
harbor defaults searxng litellm vllm langfuse webui
harbor up

Harbor 支持更多各种工作流程和工具，旨在使您与 Docker 和服务交互的方式更加统一。

最后，以下是集成的服务列表（程度各异）：

前端

• Open WebUI
• LibreChat
• hollama
• BionicGPT

后端

• Ollama
• llama.cpp
• vLLM
• Aphrodite Engine
• openedai-speech
• text-generation-inference

卫星服务

• SearXNG
• 🚅 LiteLLM
• langfuse

就是这样！如果这看起来像是解决了你曾经遇到的问题 - 那我上周没有白费功夫，哈哈。

如果这看起来足够有趣，想了解更多：

• GitHub 上的 Harbor 仓库
• Harbor Wiki

✌️

讨论总结

Harbor是一个开源工具包，旨在简化使用Docker运行和管理LLM后端、API、前端及附加服务的流程。讨论中，用户对Harbor的功能表示赞赏，并提出了关于集成图形代理服务、权限问题和Podman支持的询问。技术支持方面，Everlier提供了详细的设置和使用指南，包括如何设置OpenAI API密钥和URL，以及如何通过Harbor运行集成项目。总体上，讨论围绕Harbor的功能、使用方法和潜在的改进方向展开，氛围积极且具有建设性。

主要观点

1. 👍 Harbor是一个开源工具包，用于简化LLM后端和前端的管理
   • 支持理由：通过简单的命令如harbor up可以启动默认的LLM后端和前端，支持与HuggingFace Hub的集成。
   • 反对声音：暂无。
2. 🔥 用户对Harbor的功能表示赞赏
   • 正方观点：Harbor简化了LLM后端和前端的管理流程，提高了效率。
   • 反方观点：暂无。
3. 💡 询问是否计划集成图形代理服务
   • 解释：评论者询问是否计划在未来集成图形代理服务，如autogpt或autogen studio，以提供类似Microsoft Copilot的替代方案。

金句与有趣评论

1. “😂 That looks awesome man! Are you planning to integrate graphical agent services like autogpt or autogen studio too in the future?”
   • 亮点：评论者对Harbor的功能表示赞赏，并提出了一个有趣且具有前瞻性的建议。
2. “🤔 Thank you! It’ll 100% be rough around the edges, as the focus group size so far been 1. Please reach out here or on GH”
   • 亮点：Everlier谦虚地承认了项目的初期状态，并鼓励用户提供反馈。
3. “👀 No, only if your local docker installation requires sudo to run.”
   • 亮点：Everlier对权限问题的回答简洁明了，帮助用户解决了实际问题。

情感分析

讨论的总体情感倾向积极，用户对Harbor的功能表示赞赏，并提出了建设性的建议和问题。主要分歧点在于对图形代理服务的集成和Podman支持的询问，但这些讨论都是为了改进和扩展Harbor的功能。

趋势与预测

• 新兴话题：图形代理服务的集成和Podman支持可能会成为未来讨论的热点。
• 潜在影响：Harbor的进一步发展和完善可能会对LLM后端和前端的管理流程产生重要影响，提高开发效率和用户体验。