原贴链接

我喜欢ChatGPT的记忆功能。我想做一个个人项目，也包含这样的记忆功能。你见过哪些记忆的实现方式？如果能提供包含实现的代码仓库链接或论文，将不胜感激。谢谢。

讨论总结

本次讨论围绕如何在大型语言模型（LLMs）中增加“记忆”功能展开，涵盖了多种实现方法和技术讨论。主要观点包括导出聊天历史并让LLM总结关键细节、使用特定的技术如RoPE扩展上下文窗口、以及通过编程实现自动更新记忆的功能。讨论中还涉及不同模型的优劣和实际应用中的效率问题。此外，有用户分享了个人项目经验和GitHub仓库链接，提供了具体的实现方案。整体氛围偏向技术探讨和实践分享，情感倾向积极。

主要观点

1. 👍 导出聊天历史并让LLM总结关键细节
   • 支持理由：这是一种有效的方法，可以快速提取对话中的关键信息。
   • 反对声音：有评论认为这种方法在每条消息后实施可能有些冗余。
2. 🔥 使用Obsidian笔记存储和管理记忆
   • 正方观点：这种方法便于在不同LLM中使用，提高了记忆管理的灵活性。
   • 反方观点：暂无明显反对意见。
3. 💡 扩展上下文窗口是实现记忆功能的一种技术手段
   • 解释：通过技术手段扩展模型的上下文窗口，可以更好地处理长对话和记忆信息。
4. 👀 编程实现自动更新记忆的功能
   • 支持理由：这种方法可以模拟ChatGPT的行为，但需注意效率问题。
   • 反对声音：有评论提到这种方法可能存在冗余。
5. 🚀 不同模型在记忆功能上的表现和适用性各异
   • 解释：讨论中提到了不同模型在记忆功能上的差异，强调了选择合适模型的必要性。

金句与有趣评论

1. “😂 Export the chat history/entire context, ask the LLM to summarize that and pull out the key details, add it to the system prompt.”
   • 亮点：简洁明了地描述了一种有效的记忆功能实现方法。
2. “🤔 This is a good starting point, but doing this after every message is a little redundant?”
   • 亮点：提出了对频繁更新记忆功能的效率质疑。
3. “👀 I keep a running list of "memories" that I want an LLM to know inside of an Obsidian note.”
   • 亮点：分享了一种实用的记忆管理方法。

情感分析

讨论的总体情感倾向积极，多数用户对如何实现记忆功能持开放和探索的态度。主要分歧点在于不同实现方法的效率和实用性，以及如何在保持记忆功能的同时避免冗余。可能的原因是用户对记忆功能的期待不同，有的追求高效，有的更看重功能的全面性。

趋势与预测

• 新兴话题：情感记忆和梦境记忆作为额外的记忆类型，可能会引发后续讨论。
• 潜在影响：记忆功能的优化和实现将对LLMs的实际应用产生深远影响，特别是在对话系统和个性化服务方面。

详细内容：

标题：探索为LLMs添加“记忆”的最佳方式

在Reddit上，一篇题为“Best way to add ‘Memory’ to LLMs?”的帖子引起了众多网友的热烈讨论。该帖子获得了较高的关注度，众多用户纷纷发表了自己的见解和经验。

帖子中主要探讨了如何为LLMs（大型语言模型）添加记忆功能。有用户提出可以导出聊天历史或整个上下文，让LLM进行总结并提取关键细节添加到系统提示中；也有人认为让模型自动更新记忆会更有帮助，同时也有人喜欢自己掌控让模型记住的内容。

讨论焦点与观点分析：

• 有人将与LLM的交流内容总结成一两句关键语句作为“记忆”，并存储在Obsidian笔记中，以便在不同的LLM使用场景中复制粘贴获取“记忆”。
• 一些用户提到了扩展上下文窗口的方法，如使用RoPE，或者借助CrewAi、Langchain Agents等工具，并指出不同模型的上下文窗口可能存在限制。
• 有用户分享了自己编写Python脚本实现记忆功能的经历，包括使用的模型、遇到的问题以及改进的思路。
• 还有用户详细介绍了在个人项目中实施的两种类型的记忆方式，以及如何选择和使用这些记忆。
• 有人探索了让多个代理相互传递信息来优化记忆的想法。

在这些讨论中，既有对现有方法的肯定，也有对其局限性的思考。例如，有观点认为某些方法可能会导致系统提示过长超出上下文窗口，也有人担心相关信息可能会被遗漏。

总之，Reddit上的这场讨论为如何为LLMs添加有效的记忆功能提供了丰富多样的思路和见解，同时也反映出这一领域仍存在诸多挑战和探索空间。