原贴链接

大家好，

我正打算涉足开源大型语言模型（LLMs）和本地RAG的世界，用于一个个人项目。我非常希望得到你们关于可行性的见解以及任何可能的建议。

项目想法： 我想创建一个简单的RAG应用程序用于日常日记记录。基本流程如下：

  1. 我在文档中写下我的一天
  2. 应用程序处理这个文档
  3. LLM向我提出后续问题（例如，情绪检查，健康检查）
  4. （未来增强功能）能够自定义提示和关注领域

我的设置：

  • 硬件：RTX 3090
  • 经验：有经验的程序员，但对Python和LLMs是新手（我有Claude和GPT帮助编程）

问题：

  1. 对于LLM领域的新手来说，这个项目可行吗？
  2. 你会推荐哪个LLaMA模型用于这个任务？我想要一个未经审查的模型。
  3. 对于启动一个基本版本，有什么大致的时间估计吗？
  4. 对于RAG组件，你有什么特别的库或框架建议吗？

我打算保持所有内容本地化，不使用云服务或外部API。任何建议、资源或关于潜在挑战的提示都将非常感谢！

讨论总结

本次讨论主要聚焦于使用开源大型语言模型（LLMs）和本地检索增强生成（RAG）技术创建一个日常日记应用的可行性。参与者们分享了他们的经验、推荐的模型、技术栈以及项目启动的时间估计。讨论中涉及的主要技术包括Gemma 2模型、llama.cpp、Obsidian