原贴链接

这是一个使用Docker Compose运行本地人工智能（AI）栈的快速介绍。其中包含LocalAI（用于在带有Web界面和分布式推理的服务器上运行大型语言模型/变换器模型）、LLM代理（用于聚合本地OpenAI API，以及添加TLS和API密钥）、Open WebUI（用于本地基于Web的AI聊天界面）、SearXNG（为Open WebUI提供网络搜索支持）、ComfyUI（用于运行本地图像扩散工作流，可单独使用或与Open WebUI一起使用）、n8n（使用本地大型语言模型进行任务自动化）、Qdrant（n8n中的向量存储用于检索增强生成（RAG））、Postgres（n8n的数据存储）。本质上这只是一个Docker Compose文件，用于在本地运行大型语言模型和扩散模型，然后与n8n和Open WebUI一起使用。我在集群中的两台不同服务器之间对这些进行了拆分，但如果资源充足，在单台机器上应该也能正常运行。我尽量减少文字总量，只保留代码部分，主要是因为我在尝试解决问题时更喜欢这样。我觉得很多文章往往假定读者是新手，在展示代码之前要让你阅读5页详细解释的内容。不过如果你想深入了解，有文档链接可供查看。可能存在一两个错误，如果我应该修改什么或者遗漏了什么，请随时告诉我。这是项目链接：[local - ai - stack](https://github.com/j4ys0n/local - ai - stack)。

讨论总结

这个讨论围绕使用docker compose运行本地AI栈展开。部分人表达对这个栈的兴趣与认可，有人想要测试，也有人对其功能扩展提出问题，如RAG熟练程度、添加Whisper等。还有人将这个栈与harbor比较。同时也有人指出该栈可能存在代码复制未注明出处的问题，整体讨论热度低。

主要观点

  1. 👍 这个本地AI栈值得测试
    • 支持理由：评论者认为这是个不错的栈，表示会尝试。
    • 反对声音：无。
  2. 🔥 将本地AI栈与harbor比较
    • 正方观点：nullnuller询问两者比较情况，j4ys0nj指出harbor没有LocalAI或GPU栈等特点。
    • 反方观点：无。
  3. 💡 建议将本地AI栈挂在Caddy反向代理之后
    • 支持理由：Swoopley提出可结合DNS和CA操作，Caddy能解锁语音功能。
    • 反对声音：无。
  4. 🤔 原内容存在代码复制未注明出处的情况
    • 支持理由：原内容有不少代码与其他仓库相似且未提及出处。
    • 反对声音：被复制仓库许可未禁止，原作者有添加自己内容不违法。
  5. 😕 对Docker持反感态度
    • 支持理由：Master - Meal - 77表达对Docker的厌恶。
    • 反对声音：无。

金句与有趣评论

  1. “😂 desexmachina: This would be a nice stack to test out.”
    • 亮点：简单直接表达对栈的测试兴趣。
  2. “🤔 nullnuller: How does it compare with harbor?”
    • 亮点：引出本地AI栈与harbor的比较话题。
  3. “👀 Swoopley: Well looks like your next step is hanging all of these behind a reverse proxy like caddy.”
    • 亮点：提出关于本地AI栈的技术建议。
  4. “😕 Master - Meal - 77: I’d rather shit in a bucket than use docker any more than I have to”
    • 亮点：用极端表述表达对Docker的厌恶。
  5. “🤨 Cool stuff. But it looks you copied quite a bit of code verbatim from [this repo](https://github.com/n8n - io/self - hosted - ai - starter - kit) without any attribution in your repo, or in this post.”
    • 亮点：指出原帖可能存在的代码引用问题。

情感分析

总体情感倾向较为中立。多数人对本地AI栈的态度是认可和感兴趣的，但也存在负面情绪如对Docker的厌恶。主要分歧点在于原帖是否存在代码复制未注明出处的问题，认可的人关注栈本身功能和潜力，指出问题的人更在意代码引用的道德性。

趋势与预测

  • 新兴话题：在本地AI栈中添加Whisper功能可能会继续被讨论。
  • 潜在影响：如果原帖存在代码引用问题，可能影响社区对原作者信誉的看法；如果功能扩展顺利实施，可能提升本地AI栈的实用性。

详细内容：

《Reddit 热门：本地 AI 堆栈的 Docker Compose 搭建引发热议》

在 Reddit 上，一篇关于使用 Docker Compose 运行本地 AI 堆栈的帖子引发了众多关注。该帖子详细介绍了其包含的各项组件，如 LocalAI、LLM Proxy、Open WebUI 等，并提供了相关链接local-ai-stack。此贴获得了大量的点赞和众多评论。

讨论的焦点主要集中在以下几个方面：

有人认为这是一个不错的堆栈，想要测试其性能，比如对 RAG 的熟练度表示好奇。有人将其与harbor进行比较。有人表示会尝试使用，有人分享了自己明天准备尝试的打算。还有人提到后续可以将其置于像 Caddy 这样的反向代理之后，并给出了详细的配置示例。

有人询问是否可以添加 Whisper 到这个堆栈，得到了肯定的回复。也有用户对使用 Docker 表现出强烈的抵触态度，称“我宁愿在桶里拉屎，也不想再多使用 Docker 了”。

此外，有人指出部分代码似乎未经归属地从https://github.com/n8n-io/self-hosted-ai-starter-kit复制而来，虽然不违法，但这种做法不太妥当，希望能得到处理。

这场讨论展示了大家对于本地 AI 堆栈搭建的浓厚兴趣，以及对于技术细节和代码规范的关注。同时，不同用户的态度和经验也丰富了讨论的内容。但关于代码的归属问题，或许还需要作者进一步澄清和处理，以保证整个项目的规范性和合法性。