经过多次尝试使8B模型更加连贯（因为我的系统无法运行超过12B的可使用量化模型），我决定抓住我最近谈论的那个自动化工具，这个工具从未真正专注于角色扮演，并构建了我能想到的最愚蠢、最显而易见的工作流程…它奏效了，这意味着宇宙可能很快会因为蓝屏而崩溃，但更重要的是，这里有一个视频教程和一个（某种程度上）简洁的纯文本解释。
视频：https://youtu.be/uPFYPh1kOgY
解释：
人们通过专注于他们拥有的所有信息中的特定部分，并遵循他们已经熟悉的预先建立的流程来处理复杂场景。人们也传统上使用带有静态指令的软件（普通的旧代码，没有AI/LLMs）来帮助自己处理流程。所以…为什么不给予LLMs同样的帮助，可以这么说。
流程是这样的。与其立即抓取整个巨大的提示（带有系统消息、角色卡和聊天历史）并将其传递给模型以生成直接回复，你可以这样做：
切断一个相关的上下文部分
使用该特定上下文提出一个问题
让模型评估提示但只生成一个单一的标记（是或否）
使用该标记决定是否触发一个逻辑分支或另一个
根据需要重复提问和决策步骤多次
不同的逻辑分支将不同的命令注入最终提示
由于指导步骤仅对部分上下文进行评估（评估通常比生成快得多），并且生成本身每步只产生一个单一标记，我们可以在最终生成之前进行大量指导步骤，比如说，如果我们正在GPU上运行一个8B模型，每秒生成大约20-30个标记。
最终结果？一个实际上遵循构建者逻辑的角色，因为模型沿着逻辑链运行，并被告知要关注什么和做什么，而不是必须自己做出所有决定。
称这种技术为“简单”是轻描淡写的。称其为“新”也是不正确的，因为它更像是退一步并记住我们使用带有预定决策逻辑的软件运行流程已经有多长时间了，区别在于我们在该流程的关键步骤中放置了一个LLM。
总的来说，希望我能聪明到构建一些看起来更天才的东西，但在这种情况下我没有必要，所以我将继续使用这个并看看还能实现什么。
另外，由于我是SillyTavern用户，这是我最熟悉的功能集，这个角色扮演演示链的下一个迭代可能会以不同的结构进行，这样我就可以做类似的事情：SillyTavern <-> OmniChain API <-> 逻辑链 <-> LLM后端。
欢迎对这一想法进行评论/批评/嘲笑，但它有效，所以我无论如何都会发展它。
讨论总结
本次讨论主要聚焦于如何通过特定的技术手段，如构建逻辑决策树和优化上下文管理，来提升小型语言模型（如7-12B参数模型）在角色扮演和其他过程中的表现。参与者分享了各自的经验和见解，讨论了这种方法的有效性、用户体验以及在商业和工业应用中的潜力。总体上，讨论呈现出积极的技术探索氛围，同时也关注到技术实施的具体细节和潜在挑战。
主要观点
- 👍 使用逻辑决策树优化角色扮演
- 支持理由：通过构建决策树，可以提高模型的响应速度和质量，同时保持上下文的相关性。
- 反对声音：部分读者对具体操作表示困惑，需要更多实例和详细解释。
- 🔥 上下文管理的优化
- 正方观点：截取相关上下文并提问，可以提高模型的响应速度和质量。
- 反方观点：过度简化上下文可能导致信息丢失，影响角色扮演的真实性。
- 💡 多模型应用的探索
- 解释：探索使用多个模型可以提高效率和安全性，特别是在商业和工业应用中。
金句与有趣评论
- “😂 I have been doing something very similar for other tasks and it works well.”
- 亮点：展示了类似技术在其他任务中的有效性，增强了讨论的实用性。
- “🤔 Can you give an example? I’m not really understanding this post.”
- 亮点：反映了部分读者的困惑，提示作者需要提供更多实例和详细解释。
- “👀 Omnichain would be exceptionally powerful as a "guard" for commercial or industrial front end chatbots.”
- 亮点：提出了Omnichain在商业应用中的潜力，拓宽了讨论的视野。
情感分析
讨论的总体情感倾向积极，参与者普遍认为通过构建逻辑决策树和优化上下文管理可以有效提升小型语言模型在角色扮演和其他过程中的表现。主要分歧点在于具体操作的复杂性和实施细节，部分读者表示需要更多实例和详细解释。
趋势与预测
- 新兴话题：探索多模型应用和复杂状态管理，以进一步优化角色扮演体验。
- 潜在影响：这种方法可能在商业和工业应用中发挥重要作用，特别是在保护聊天机器人免受恶意攻击方面。
感谢您的耐心阅读！来选个表情，或者留个评论吧！