RAG LLM 仓库搜索

我尝试了一些不同的 RAG LLM 模型，取得了一些成功。但当文档大小或分页增加时，它真的开始遇到困难。我甚至发现一个模型可以拉取文档的源页面。难道真的很难有一个 LLM 能够搜索大型 PDF/文档/TXT 等仓库吗？你们有没有使用什么可以做到这一点的工具？

本次讨论主要围绕RAG LLM模型在处理大型文档时的挑战和可能的解决方案。参与者提出了多种观点，包括对现有模型的批评、对高效检索系统的期待、以及对未来RAG应用的展望。此外，还有用户分享了自己开发的应用和使用专门搜索引擎的建议。

👍 RAG LLM模型本身不进行搜索，搜索任务由检索器完成。
- 支持理由：DinoAmino指出LLMs本身不进行搜索，而是由检索器完成这一任务。
- 反对声音：无
🔥 实现一个高效的检索系统是困难的。
- 正方观点：DinoAmino强调了实现一个高效的检索系统的难度。
- 反方观点：无
💡 将仓库转换为Markdown格式可以简化处理过程。
- 解释：Inevitable-Start-653建议将仓库转换为Markdown格式，以简化大型文档的处理。
🌟 推荐使用专门的文档搜索引擎如Google Scholar或Semantic Scholar。
- 解释：velitsolvo7583推荐使用专门的文档搜索引擎来提高搜索效率和准确性。
🚀 Theapphammer开发了自己的RAG应用，解决了现有应用的问题。
- 解释：Theapphammer分享了他自己开发的RAG应用，支持多种文件类型，并使用了一些技巧来提高搜索准确性。

“😂 DinoAmino：Regardless, LLMs don’t do the searching. A retriever does that.”
- 亮点：清晰地指出了LLMs和检索器的区别。
“🤔 DinoAmino：Maybe someday there will be an app that has a "Make RAG" button where you don’t have to do any prep work yourself and it works the way you expect.”
- 亮点：对未来RAG应用的期待，简洁而富有想象力。
“👀 Inevitable-Start-653：Convert the repo to markdown, make rag from markdown.”
- 亮点：提供了一个具体的解决方案，简洁实用。
“🔍 velitsolvo7583：Try using a dedicated search engine for documents, like Google Scholar or Semantic Scholar.”
- 亮点：推荐使用专门的搜索引擎，提高搜索效率。
“🚀 Theapphammer：I had nothing but problems in trying out most of the existing RAG apps, so I made my own.”
- 亮点：分享了自己开发应用的经历，展示了技术实力。

讨论的总体情感倾向较为积极，参与者普遍对RAG LLM模型的改进和未来发展持乐观态度。主要分歧点在于如何实现一个高效的检索系统，以及是否需要开发新的应用或使用现有的搜索引擎。可能的原因是参与者对现有解决方案的不满和对未来技术的期待。