原贴链接

大家好！

我目前正在评估不同的框架，用于我即将投入生产的环境，该环境包括 Ollama 上的本地模型、Groq API 以及即将推出的 vLLM。我计划使用函数调用、RAG 技术（特别是图 RAG，但计划进行实验）、聊天消息/聊天历史记录以及可能的自批判代理/框架。

该框架的“要求”是：

  • 稳定、易于使用且文档完善

  • 易于创建与框架无缝连接的自定义模块

  • 强大的功能集，包括工具调用抽象和对尽可能多的向量数据库/RAG 技术的支持

  • 良好的异步操作支持

在研究了 Haystack、Semantic Kernel 和 LlamaIndex 之后，这是我目前对每个框架的看法：

  • Haystack：尝试过，看起来稳定，但仍在实现/更新他们的工具调用抽象。没有异步支持，这对我来说是个问题。不过，他们的管道抽象非常好用。

  • Semantic Kernel：看起来很健壮，尤其是最近在 Python 中增加了 Qdrant 支持。然而，我发现他们的文档不完整/难以导航，感觉他们的重点是面向 C# 用户。

  • LlamaIndex：以前从未尝试过，但对它的稳定性和抽象质量感到好奇。

我很想听听那些有这些框架使用经验的人的意见：

  1. 你会推荐哪个框架用于生产环境？

  2. 还有哪些我没有提到的因素我应该考虑？

  3. 有哪些我应该注意的陷阱或边缘情况？

我知道我对一个库的要求可能太高了，也许我应该用纯 Python 实现自己的抽象，但最好不必从头开始。另外，这是我硕士学位的一个副项目。

提前感谢你们的意见和专业知识！

讨论总结

本次讨论主要围绕作者在选择适合生产使用的框架时，对Haystack、Semantic Kernel和LlamaIndex的评估和比较。讨论中涉及了框架的稳定性、易用性、文档质量、自定义模块的创建、功能集的丰富性以及异步操作的支持等多个方面。此外，还有用户分享了使用Langchain的负面经验，称其文档质量差，不适合生产环境。整体讨论热度较低，但提供了丰富的信息和见解，帮助用户更好地理解各框架的优缺点。

主要观点

  1. 👍 框架适合快速原型设计，但不适合深度定制和优化。
    • 支持理由：框架作为抽象层，增加了调整和优化的难度。
    • 反对声音：直接使用底层库并不困难。
  2. 🔥 Haystack虽然稳定，但缺乏异步支持，且工具调用抽象正在更新中。
    • 正方观点：Haystack的稳定性受到认可。
    • 反方观点：缺乏异步支持是一个重要缺点。
  3. 💡 Semantic Kernel功能强大，但文档不完整，难以导航，且偏向C#用户。
    • 支持理由：功能强大，但文档和用户群体限制了其广泛应用。
  4. 💡 LlamaIndex的稳定性和抽象质量尚未尝试，但作者对其感到好奇。
    • 支持理由：尚未有足够信息评价，但引起了用户的好奇心。
  5. 💡 Langchain被批评为“过度工程化”和“文档质量差”，导致作者未深入研究。
    • 支持理由：文档质量和工程复杂性受到批评。

金句与有趣评论

  1. “😂 when_did_i_grow_up：I tried them all and decided not to use a framework.”
    • 亮点：直接表达了作者对框架的失望和决定。
  2. “🤔 SoliTheFox：Saw some posts/comments talking about its "overly engineered" abstractions and "poor" documentation.”
    • 亮点：指出了Langchain的过度工程化和文档问题。
  3. “👀 KillerX629：I can say that llamaIndex worked well for me, but not knowing the rest it’s hard to say.”
    • 亮点：分享了LlamaIndex的良好体验，但对其他框架不了解。

情感分析

讨论的总体情感倾向较为客观和中立，主要分歧点在于各框架的优缺点和适用场景。部分用户对某些框架的文档质量和工程复杂性表示不满，而另一些用户则分享了积极的体验。可能的原因包括个人使用经验、项目需求和预期目标的不同。

趋势与预测

  • 新兴话题：Pipelines Framework和Langroid等新框架的探索和应用。
  • 潜在影响：新框架的出现可能会改变用户对现有框架的选择和使用方式，特别是在文档质量和功能支持方面。

详细内容：

《关于生产使用框架的热门讨论：Haystack、Semantic Kernel 还是 LlamaIndex？》

在 Reddit 上，有一个备受关注的帖子，获得了众多点赞和大量评论。原帖作者正在评估不同的框架用于即将搭建的生产环境，其中涉及本地模型如 Ollama、Groq API 以及即将采用的 vLLM。作者计划使用函数调用、RAG 技术、聊天消息/历史记录，甚至可能会用到自我批判的代理/框架。

对于框架的“要求”包括稳定、易用、文档良好，易于创建能与框架无缝连接的自定义模块，具有强大的功能集，包括工具调用抽象和对多种向量数据库/RAG 技术的支持，以及良好的异步操作支持。作者分享了对 Haystack、Semantic Kernel 和 LlamaIndex 的初步看法：Haystack 较为稳定，但工具调用抽象仍在更新且无异步支持；Semantic Kernel 功能强大，但文档不完整且感觉更倾向于 C#用户；LlamaIndex 作者尚未尝试，但好奇其稳定性和抽象质量。作者还提出了几个问题，希望有经验的人能给出建议。

讨论中的观点众多。有人尝试了所有框架后决定不使用，认为它们虽适合快速原型开发，但不必要的抽象使调整变得极为困难，直接使用模型反而没那么难。有人好奇作者为何不考虑 Langchain，有人则表示 Langchain 文档“糟糕”，是个不断变化的目标，用起来后悔，后来换成了 Haystack。也有人说 llamaIndex 对自己效果不错。还有人觉得 Semantic Kernel 抽象过多，有人提到自己构建了框架，还有人推荐了 Langroid，并表示公司已在生产中使用。也有人指出 Haystack 缺少一些大型托管的 RAG 向量索引，Llama Index 文档糟糕且过时，LangChain 文档看似不错但深入使用有质量问题。

讨论的共识在于对各个框架的文档和功能都存在不同程度的担忧。特别有见地的观点是，有人认为提示只是文本，LLM 调用只是 HTTP POST，其他的东西在实际经验中反而可能会造成阻碍。

究竟哪个框架更适合生产使用？还有哪些因素需要考虑？存在哪些容易被忽视的问题？这一系列问题仍在热烈讨论中，等待更多有经验的人给出答案。