原贴链接

当我测试模型时，我经常询问它们在某个城镇的最佳旅游地点。即使是新模型也非常有创意地发明了一些从未存在过的地方。似乎模型经常被训练成给出答案，甚至发明一些东西，而不是告诉它们不知道。那么，哪个基准测试/排行榜最接近于告诉我一个模型是否可能只是在发明东西？

讨论总结

本次讨论主要围绕模型在回答问题时可能出现的“幻觉”现象展开。参与者们讨论了模型在缺乏相关数据时仍会创造答案的问题，并探讨了现有基准测试的局限性和改进方向。主要观点包括模型在处理未知信息时的表现、幻觉对模型应用的影响、以及如何通过基准测试来评估模型的准确性。讨论中还涉及了模型训练方式的质疑、人类行为与模型幻觉的相似性，以及未来可能的改进方向。

主要观点

1. 👍 模型在缺乏相关数据时仍会创造答案，而不是承认不知道。

   • 支持理由：模型被训练成即使不知道答案也要给出回答，这可能导致编造信息。
   • 反对声音：有人认为模型不应编造答案，而应承认其知识范围的局限性。

2. 🔥 幻觉问题对RAG、工具调用、反应代理、编码等有负面影响。

   • 正方观点：幻觉现象可能导致多步骤推理中的错误，影响模型的实际应用。
   • 反方观点：有人认为幻觉现象反映了人类在数据集中的行为，值得深入探讨。

3. 💡 已有人提出幻觉基准，如Hugging Face的幻觉排行榜。

   • 解释：Hugging Face的幻觉排行榜是一个能够评估模型是否在编造答案的有效工具。

4. 💡 增加数据可能不会单调地改善模型的准确性。

   • 解释：数据量的增加并不一定能线性提升模型的准确性，需要综合考虑其他因素。

5. 💡 使用IP定位可能有助于提高模型的准确性。

   • 解释：通过IP定位等方法，可以更准确地判断模型是否在编造信息。

金句与有趣评论

1. “😂 Personally, I don’t necessarily fault the model for this. My biggest problem with hallucination is when the answer is in the prompt, because this negatively impacts RAG, tool calls, react agents, coding, etc.”

   • 亮点：评论者指出了幻觉现象在实际应用中的负面影响，引发了对模型应用场景的思考。

2. “🤔 You have to remember that all LLM responses are advanced probability, not actual /knowledge/.”

   • 亮点：评论者强调了LLM回答的本质是基于概率而非实际知识，引发了对模型知识表示的讨论。

3. “👀 与硬件的基准测试相比，LLM的测试结果不够具体和客观。”

   • 亮点：评论者对比了LLM与硬件的基准测试，指出了LLM测试的主观性和缺乏量化指标的问题。

4. “🤔 如果存在一个单一的“真相”来源，为什么所有 AI 模型不直接使用那个作为他们的来源 🙂”

   • 亮点：评论者通过反问的方式，暗示了当前模型测试方法的局限性和可能的改进方向。

5. “😂 I asked what to visit in a city in the south of France and most of the the systems insists that there is a church or chapelle with specific names.”

   • 亮点：评论者通过具体例子说明了模型如何编造出不存在的地标建筑，引发了对模型幻觉现象的讨论。

情感分析

讨论的总体情感倾向较为中性，参与者们对模型的幻觉现象表示关注，并提出了多种改进建议。主要分歧点在于模型是否应该在缺乏相关数据时编造答案，以及如何通过基准测试来评估模型的准确性。可能的原因包括模型训练方式的局限性、现有基准测试方法的主观性，以及对模型在实际应用中表现的担忧。

趋势与预测

• 新兴话题：未来可能会出现更多针对模型幻觉现象的基准测试，以及更客观的量化评估方法。
• 潜在影响：改进模型的幻觉现象将有助于提升其在实际应用中的可靠性和准确性，特别是在需要多步骤推理和复杂决策的场景中。

详细内容：

标题：关于模型是否存在幻觉的热门讨论

当有人在Reddit上提出“Is there a hallucination benchmark?”这个问题时，瞬间引发了众多网友的热烈讨论。该帖子表示在测试模型时，常常让模型推荐特定城镇的最佳游览地点，然而即便是最新的模型也会创造性地虚构出一些根本不存在的地方，似乎模型常被训练为给出答案，哪怕是编造而非表明自己不知道。此帖获得了大量的关注，评论数众多。

讨论的焦点集中在如何评估模型是否存在幻觉以及如何建立有效的基准测试。有人指出，不能一味指责模型，比如当答案在提示中时出现幻觉的问题影响更大。也有人提供了相关的链接，如[https://huggingface.co/blog/leaderboard-hallucinations]。还有人认为使用IP位置或许会更好，像R+在某些方面表现出色但也存在问题。

有人提到所有LLM的响应都是高级概率，而非实际的“知识”。而且不同模型在这方面的表现差异较大，因此需要一个测试，可能是二元的（回答真实与否）。但也有人提出疑问，如何处理数据集中不存在的数据？比如询问非常具体但数据集未涵盖的内容，模型怎么知道这是不是真实的数据点？

比如有用户分享：“我询问法国南部某城市的游览景点，大多数系统坚称有带有特定名称的教堂或小礼拜堂。我继续询问这些建筑的细节，它们给出了根本不存在的建筑的完整历史，而且与现存建筑的历史不匹配。我还询问酿酒商，系统虚构了一些酒庄的名字。我想这也算虚构新地方。”

这场讨论中，有人好奇如何确定这类测试的好分数，也有人质疑LLM基准测试的记录方式，认为似乎都是基于人类的主观意见。

总之，关于模型是否存在幻觉以及如何评估的问题，大家各抒己见，尚无定论，但这场讨论无疑为相关研究提供了丰富的思路和方向。