我在一家小型初创公司担任人工智能工程师,想在这里向朋友们寻求建议。如果想要大型语言模型(LLM)记住所有用户对话,这会导致过多的标记(token)消耗。我询问ChatGPT如何高效管理内存,它建议使用结构化笔记——本质上是用自然语言总结关键的用户细节,比如“用户喜欢红色”或者“用户X岁了”。我觉得这种方法不方便。理想情况下,我希望人工智能能回忆起对话中的具体内容,比如“约翰,我们几天前谈到的
讨论总结
原帖作者是一名AI工程师,想寻求存储LLM用户记忆的高效方法,因为直接让LLM记住所有用户对话会消耗过多token。评论者们纷纷给出自己的建议,包括各种搜索引擎、模型、数据库、语法等,大家围绕这些方案的特点、适用性、优缺点等展开讨论,整体氛围比较积极,大家都在为解决问题提供思路。
主要观点
- 👍 ElasticSearch可用于存储和索引用户对话相关的文本文档
- 支持理由:它是基于Apache Lucene的高性能全文搜索引擎。
- 反对声音:比较耗资源,存在隐藏功能需商业订阅的情况。
- 🔥 可使用较小LLM压缩上下文
- 正方观点:可解决资源需求问题。
- 反方观点:可能存在成本高、速度慢的问题。
- 💡 Langchain的对话知识图谱记忆功能可能有助于解决存储LLM用户记忆的问题
- 解释:评论者推荐原帖作者查看该功能来解决面临的问题。
- 💡 若无特定业务需求,RAG相关内容是浪费时间
- 解释:因为RAG是LLM缺乏记忆的权宜之计。
- 💡 可以使用RAG存储用户信息,Faiss向量数据库可用于存储和检索上下文
- 解释:这是针对存储LLM用户记忆问题提出的一种技术方案。
金句与有趣评论
- “😂 You can throw all of this into ElasticSearch for indexing and retrieval, it’s a high - performance full - text search engine based on Apache Lucene that can store and index all kinds of txt documents.”
- 亮点:直接阐述了ElasticSearch的功能和用途。
- “🤔 Have you considered using another smaller llm to condense the context that you will send?”
- 亮点:提出了一种新的解决思路。
- “👀 Langchain has a conversation knowledge graph mempry functionality.”
- 亮点:简洁地推荐了Langchain的一个功能。
情感分析
[总体情感倾向积极,大家都在积极提供解决方案。主要分歧点在于不同方案的适用性和优劣,例如ElasticSearch的资源消耗和商业订阅问题,以及RAG是否是有效的解决方案等。可能的原因是不同的应用场景和需求会影响方案的选择]
趋势与预测
- 新兴话题:[可能会进一步探讨各种方案在不同场景下的具体实现和优化]
- 潜在影响:[有助于提高LLM在用户记忆存储方面的效率,推动相关技术在小型初创企业中的应用]
详细内容:
《探索高效存储用户 LLM 记忆的方法》
在 Reddit 上,一位在小型初创公司担任 AI 工程师的朋友发起了一个热门讨论:如何让 LLM 有效存储所有用户的对话。这个帖子引起了众多关注,评论数众多。
原帖提到,让 LLM 记住所有用户对话会导致令牌消耗过多。作者询问了 ChatGPT 如何高效管理内存,得到的建议是使用结构化笔记,即用人自然语言总结关键用户细节,比如“用户喜欢红色”“用户 X 岁”,但作者觉得这种方法不方便,更希望 AI 能回忆起对话中的具体内容,并设想将每个对话组织成一个图,就像知识图但更复杂。
讨论中,各种观点层出不穷。有人提出可以把所有内容扔进 ElasticSearch 进行索引和检索,这是基于 Apache Lucene 的高性能全文搜索引擎,速度快但资源消耗大。也有人推荐 OpenSearch,如果想要更符合开源原则的选择。还有人认为嵌入模型将大量用户对话向量化用于 RAG 风格的检索,非常适合原帖作者的用例。
有人好奇能否为本地托管模型这样做。有人建议使用另一个较小的 LLM 来压缩要发送的上下文。也有人提到 Langchain 有会话知识图内存功能。
关于 RAG 方法,有人认为它很棒,但也有人指出基于句子相似度可能导致一些信息无法正确检索。还有人提出使用轻量级自动标记 LLM 对数据进行标记,或者利用 Faiss 向量数据库存储和检索上下文。
有人分享了个人经历,比如向 ChatGPT 要求解码压缩后的信息,结果正确。也有人介绍了自己在 RAG 方面的尝试。
在这场热烈的讨论中,核心问题是如何找到一种既高效又实用的方法来存储用户的 LLM 记忆,以满足实际需求。不同的方法各有优劣,大家仍在不断探索和交流,希望能找到最理想的解决方案。
感谢您的耐心阅读!来选个表情,或者留个评论吧!