原贴链接

我正在寻求关于设置一个能本地运行的AI的建议。我的目标是让它像一个‘第二大脑’那样运作。基本上，我能给这个AI输入信息（文档、文本输入等），并进行信息检索、深度分析和一般性AI对话的查询。我希望它能了解我最佳的学习方式以及我的偏好，这样它就能基于我与它分享的所有内容生成回复，就像ChatGPT一样，但具有非常特定的、关于我的个人知识，只有数据受保护且本地化时这才有可能实现。我试过Personal AI，但它不是本地运行的，而且总体上我不太喜欢这个模型。我想要的是更个性化且更强大的东西。是否存在这样的解决方案，或者有人正在做这件事吗？考虑到我想要控制数据和处理过程，利用现有技术设置这个的最佳方式是什么？随着AI的改进，我希望能够在保留AI已经学到的关于我的记忆和知识的同时升级技术。我的想法是，AI可以生成一个包含它所知道的关于我的所有信息的综合文档或数据集，然后我可以用它来为未来的AI模型提供信息或进行训练。这会是一种最佳实践吗？

讨论总结

该讨论围绕着如何设置本地运行的、像“第二大脑”一样的AI展开。帖子作者寻求这方面的建议，评论者们给出了各种观点，包括推荐不同的工具或解决方案，分析本地运行AI存在的技术限制，还有人分享了自己在相关领域的工作进展。总体氛围是积极探索、互相交流的。

主要观点

  1. 👍 本地运行单个LLM不利于实现“第二大脑”功能
    • 支持理由：LLM存在上下文大小有限等问题，无法有效处理大量个人信息
    • 反对声音：无
  2. 🔥 推荐obsidian与smart connections插件来满足本地运行AI的需求
    • 正方观点：可以离线操作，可能适合类似需求
    • 反方观点：无
  3. 💡 存在memGPT可能符合楼主需求，但仍在开发过程中且设置需要做一些工作
    • 解释：这是一种可尝试的方向，但目前不够完善
  4. 💡 正在从事原帖需求的相关AI工作且乐意解答问题或接受功能需求，该工具将于12月推出
    • 解释：这为寻求此功能的人带来希望，并且能够解答疑问
  5. 💡 推荐GPT4All及其相关文档和Jan.ai及其相关文档作为解决方案
    • 解释：可根据硬件情况进行操作，为解决问题提供了途径

金句与有趣评论

  1. “😂 你不能真正将知识/数据输入到LLM中，并让它分析大量信息集合中的内容。”
    • 亮点：直接指出LLM在处理大量信息方面的局限
  2. “🤔 lavilao: obsidian with smart connections plugin.”
    • 亮点：简洁地给出一种可能的解决方案
  3. “👀 Reor does sound like exactly what you’re looking for ^”
    • 亮点：明确推荐了Reor这个可能符合需求的东西
  4. “🤔 个人而言，我正在采用一种不同的常规方法，但我想你可能会有兴趣听我分享。”
    • 亮点：引出一种不同的操作思路
  5. “😂 Drop a bunch of markdown files into Google LMnotebook and let ’er rip. But you also give all you thoughts away”
    • 亮点：给出一种操作建议的同时点明弊端

情感分析

总体情感倾向是积极的，大家都在积极为楼主出谋划策。主要分歧点较少，可能存在于不同推荐方案之间的比较，但由于评论大多是各自阐述自己的观点和推荐，没有太多互相反驳的情况。可能的原因是大家都处于探索阶段，并且希望帮助楼主解决问题。

趋势与预测

  • 新兴话题：利用原子代理构建更优化的本地AI系统。
  • 潜在影响：如果这些本地运行的AI能够成功构建，将对个人知识管理等相关领域产生积极影响，可能提高个人信息处理效率和安全性。

详细内容：

标题：探索本地运行的个性化“第二大脑”AI

在 Reddit 上，有一篇引起广泛关注的帖子，标题为“Seeking Advice: Locally Run AI as a ‘Second Brain’ for Personal Knowledge and Analysis”。该帖子获得了众多点赞和大量评论，引发了热烈的讨论。

原帖作者寻求关于建立本地运行的 AI 作为“第二大脑”的建议。作者希望这个 AI 能够像 ChatGPT 那样，但更具个性化，能理解自己的学习方式和偏好，保护并利用本地数据。作者试过 Personal AI 但不满意，想知道是否有解决方案，以及如何在控制数据和处理过程的前提下，利用现有技术实现这一目标，并希望随着 AI 技术进步能升级同时保留记忆和知识。

讨论的焦点主要集中在以下几个方面： 有人认为单个本地运行的语言模型不太适合此需求。大多数本地可运行的模型上下文规模有限，难以处理大量信息，所以需要采用数据库、检索增强生成等技术。但这不仅仅是一个语言模型的问题，还涉及多个模型及大量附加软件。而且语言模型不会“学习”，无法适应需求，数据库可以增长，但模型会重复犯错。 也有人表示自己曾尝试过但因编程技能水平低未成功，推测可能还需 7 - 10 年时间。 还有一些有趣的观点，如认为可以通过提示让其学习，插入负面反馈提示。有人推荐了 Obsidian 的智能连接插件，有人提到 memGPT 仍在开发中 12 月发布，还有人推荐 GPT4All 或 jan.ai ，可根据硬件下载模型创建本地文档嵌入。有人分享了自己在这方面的独特方法，如使用 Obsidian 中的网络、原子、链接笔记，并创建原子代理。

总体而言，目前实现本地个性化的“第二大脑”AI 仍面临诸多挑战，但各方都在积极探索和讨论可能的解决方案。