原贴链接

几乎不可能防止大型语言模型产生幻觉，这造成了一个严重的可靠性问题。企业认为，“使用智能体（agents）可以节省成本，但如果它们工作出错，损失将大于收益。”然而，企业对于在不面向客户的部分以及公司内的非关键任务中使用智能体持开放态度。

一家电商基础设施的开发者找到我们，因为制造商文件的格式与他们电商网站的Excel格式不匹配，并且由于细微差异他们无法用机器人流程自动化（RPA）解决这个问题。他们问我们能否可靠地进行这种数据转换。经过两周的开发，我们在我们的开源库中实现了一个可靠性层。结果非常显著：

  • 可靠性层之前：28.75%的准确率（80次转换成功23次）
  • 可靠性层之后：98.75%的准确率（80次转换成功79次）

在Upsonic，我们为此使用验证智能体和编辑智能体。我们没想到智能体的成功率会如此之高。我很惊讶这些数据转换任务如此常见。这可能是一个很棒的垂直智能体理念。顺便说一下，我们使用这个来源。

讨论总结

主题是关于防止LLM幻觉的可靠性层工作，原帖介绍了该工作成果。评论者提出了各种问题，包括在这项工作中使用的模型、是否用本地模型测试、可靠性层审核者数量、验证提示情况、5个代理使用的提示情况，还有人对原帖中RPA不能解决格式小差异提出质疑，最后质疑者在得到解释后认可项目有前景，整体氛围平和，大家理性地进行问答交流。

主要观点

  1. 👍 使用GPT - 4O进行防止LLM幻觉的可靠性层工作
    • 支持理由：原作者明确回复使用该模型
    • 反对声音：无
  2. 🔥 尚未对本地模型进行测试，但会创建综合测试集进行测试
    • 正方观点：原作者计划完善测试，以验证在本地模型的情况
    • 反方观点：无
  3. 💡 对可靠性层审核者数量表示好奇
    • 解释：deoxykev提出想知道每个可靠性层使用一个还是两个审核者
  4. 💡 想了解验证提示的情况
    • 解释：deoxykev询问验证提示是否有特殊之处还是主要由领域专家驱动
  5. 💡 对5个代理使用的提示情况存在疑问
    • 解释：deoxykev提问5个代理是使用相同提示多次还是不同提示

金句与有趣评论

  1. “😂 Which model did you use? Have you tested it with local models?”
    • 亮点：直接提问帖子中的关键内容，是很多读者关心的模型和测试问题
  2. “🤔 他们因为格式上的小差异就不能使用RPA吗？这简直就是RPA该干的事，不是吗？也许是实施提供方能力不足。”
    • 亮点：对原帖内容提出大胆质疑，引发后续讨论
  3. “👀 感谢你的详细说明。你的项目听起来很有前景。”
    • 亮点：体现出在得到解释后态度的转变，从质疑到认可

情感分析

总体情感倾向较为中性。主要分歧点在于原帖提到RPA因格式小差异无法解决数据转换问题，一方质疑可能是实施方能力不足，另一方给出合理的解释。可能的原因是大家基于自己的经验和对技术的理解不同。

趋势与预测

  • 新兴话题：随着可靠性层工作的推进，后续可能会讨论本地模型测试的结果。
  • 潜在影响：如果这种可靠性层的技术成熟，可能会提高企业对使用代理进行数据转换等任务的信心，进而推动相关技术在企业中的应用。

详细内容：

《防止 LLM 产生幻觉的可靠性层引热议》

在 Reddit 上，一则题为“Reliability layer to prevent LLM hallucinations”的帖子引起了广泛关注，获得了众多点赞和大量评论。帖子指出，几乎不可能完全防止 LLMs 产生幻觉，这带来了严重的可靠性问题。企业担心使用代理虽可能节省成本，但一旦出错，损失会超过收益。不过，企业对于在非面向客户和非关键任务中使用代理持开放态度。

一位电子商务基础设施的开发者提到，由于制造商文件格式与电商网站的 Excel 格式不匹配，且用 RPA 无法解决微小差异，于是向作者询问能否可靠地进行数据转换。经过两周开发，作者在开源库中实现了可靠性层，效果显著。之前准确率为 28.75%（23/80 成功转移），之后提升到 98.75%（79/80 成功转移）。

讨论焦点主要集中在以下几个方面： 有人询问使用了哪种模型，是否测试了本地模型。回答是使用了 GPT-4O，尚未测试本地模型，但会创建综合测试集放入库中并进行测试。 有人问到每层使用了几个审查员，验证提示是否有秘诀。回答是 5 个代理检查每层，没有秘诀，只是互相验证。不过这使成本增加了 5 倍。 有人建议尝试更便宜的 LLMs，比如基于 qwen、llama 或 mistral 的 7B 到 72B 模型。回复称尚未在小模型上测试，但会尝试以降低成本。 有人询问这些 5 个代理是相同提示多次还是不同提示。回答是相同提示但有用于验证准确性的附加元素。 还有人对无法使用 RPA 表示质疑，作者解释称制造商一个产品约有 130 个 JSON 键，电商公司有 7 人团队处理格式转换，部分可用 RPA，但实际未做。

此次讨论中的共识在于对可靠性层效果的认可，以及对降低成本和优化模型使用的探讨。特别有见地的观点是对于不同模型的测试和成本考量，这为解决问题提供了更多思路。

总的来说，这次关于防止 LLM 产生幻觉的可靠性层的讨论，为相关技术的发展和应用提供了丰富的思考和方向。