有一个非常有趣的概念，在我看来，知识储备更多的人往往能更好地理解这个概念：知道自己不知道什么。换句话说，要认识到，为了完成任务X，就必须理解Y和Z，因为没有这些知识，任何结果都是错误的。现在，人工智能模型是否带着自己知晓被问的一切这种确信在运行呢？这就是它们最终产生‘幻觉’的原因吗？想象有一个人，由于某种病症，一觉醒来后相信自己能说一种从未学过的语言。他们对这种能力深信不疑，并自信地开始说这种语言。然而，他们所说的一切都是毫无意义的——只是‘语言幻觉’。这当然是个愚蠢的问题。但也许有更多的人也思考过这个问题，所以我来了，不顾自己和他们的尴尬了。
讨论总结
原帖提出AI模型产生幻觉是否因为模型不知自己有所不知的问题。评论者们从多个角度进行了讨论，包括模型的运作机制（如基于概率推理、是下一个单词预测器等）、与人类的对比（知识构建方式、意识差异等）、训练相关（数据、预训练学习、强化学习等）以及对幻觉现象的不同理解（产生的原因、与模型特性的关系等），整体氛围理性且有深度。
主要观点
- 👍 AI模型产生幻觉是因为其基于概率推理，在没有先验知识时容易出错
- 支持理由：语言模型根据自身的先验知识进行合理推断从而得出正确结果，当被问到没有先验知识的内容时就会产生幻觉，例如在回答专业或复杂问题时可能只是猜测性回答，这种猜测性回答导致了幻觉的产生。
- 反对声音：无
- 🔥 人类与AI模型在知识构建和意识方面存在差异
- 正方观点：人类构建概念的抽象表示并将词语与之联系，而AI模型只是基于概率对下一个词进行猜测；人类与AI模型在意识方面存在差异，模型的固定权重使其与人类思维和意识有本质区别。
- 反方观点：人类认知与人工神经网络的基础机制可能没有想象中差异巨大；语言是与认知相联系的，所以人类与AI模型在抽象概念思考上可能差异不大。
- 💡 AI模型按设计必须作答所以会编造内容导致幻觉
- 解释：AI模型按设计必须回答问题，所以只能编造内容，因为没有选择且无预先检查机制。
- 💡 模型的“幻觉”现象与其回答机制有关
- 解释：模型是基于统计来生成下一个标记的，没有对现实的认知，当使用者需求不明时会得到无意义内容，这种工作方式容易被欺骗和带偏从而产生幻觉。
- 💡 LLMs产生的所有结果都可视为一种“幻觉”
- 解释：模型并不“知道”任何事，只是根据输入和预定义的数据集进行数据计算，所有答案都是“幻觉”只是关联频率使模型有时答案正确。
金句与有趣评论
- “😂 Every time a language model is factually correct, it’s not a feature, it’s just a happy probabilistic coincidence”
- 亮点：用一种诙谐的方式表达了语言模型正确回答只是一种概率上的巧合，暗示其并不具备真正的“知识”。
- “🤔 There’s a paper called ChatGPT is Bullshit that argues for replacing the term hallucination with bullshit.”
- 亮点：提出用“bullshit”替代“hallucination”这一有趣且有争议性的观点，引发对术语定义的思考。
- “👀 The human brain, for example, uses probabilistic inference all the time.”
- 亮点：通过将AI模型与人类大脑进行类比，让读者更好地理解模型的概率推理特性。
- “🤔 When an LLM gets something right, thinking of it as a "happy probabilistic coincidence" isn’t quite right. It gets something right because it makes a reasonable inference which is well alligned with it’s priors/"knowledge" (the inference obviously isn’t Bayes - optimal because large neural networks aren’t Bayesian).”
- 亮点：对之前关于模型正确回答是概率巧合的观点进行补充，深入解释了模型正确回答背后的推理机制。
- “😂 An LLM doesn’t "Know" anything. It is never "wrong" nor is it ever "right". It is a word predictor; it predicts words based on a lossy algorithm where "training data" is essentially "lossily compressed" into the model weights”
- 亮点：以一种幽默又直接的方式阐述了LLM不具备“知道”的能力，只是基于算法的单词预测器这一观点。
情感分析
总体情感倾向较为理性客观，主要分歧点在于对AI模型产生幻觉原因的看法，如有的认为是因为不知道自己不知道，有的认为是模型本身的设计和特性（如基于概率、是单词预测器等）导致的。可能的原因是大家从不同的专业背景、理解角度出发，且目前AI模型的工作机制较为复杂，没有一个被完全公认的解释。
趋势与预测
- 新兴话题：关于如何让模型在不确定时回复“不知道”，如从标记及其概率的角度构建神经网络路径、通过强化学习微调模型并引入判别模型判断输出置信度等方法的探讨可能会引发后续讨论。
- 潜在影响：如果能够解决AI模型的幻觉问题，将提高模型在各个领域（如医疗、法律等对准确性要求较高的领域）的可信度和实用性，对AI技术的广泛应用产生积极影响；反之，如果无法解决，可能会限制AI在一些关键领域的发展，并且引发公众对AI技术可靠性的担忧。
详细内容：
标题：关于语言模型“幻觉”产生原因的热门讨论
在 Reddit 上，一篇题为“Are hallucinations caused because the model doesn’t know what it doesn’t know?”的帖子引发了热烈讨论。该帖子指出，更有准备的人往往能更好地理解“知道自己不知道的东西”，并提出疑问：AI 模型是否因认为自己知道被问及的一切而产生“幻觉”？这就像一个因某种病理而认为自己能说从未学过的语言的人，所说的一切都毫无意义，即“语言幻觉”。此帖获得了众多关注，引发了一系列深入的讨论。
讨论的焦点主要集中在语言模型产生“幻觉”的原因及相关观点。有人认为，每次语言模型回答正确只是概率上的巧合，幻觉可以被视为模型认为不太可能的字符串。但也有人指出，有时我们需要这些看似不太可能但实际上可能正确的字符串，而且若禁止模型说任何不太可能的话，它将毫无想象力。
还有人表示，语言模型由于设计必须回答问题，所以会编造内容。当前的训练方式可能导致模型更倾向于给出看似合理而非诚实的“我不知道”回答，需要找到一种奖励机制来让模型承认自身的局限性。同时，也有人认为增加“我不知道”的训练示例可能有助于减少幻觉。
一些有趣且引人思考的观点包括将语言模型与人类认知进行比较，有人认为语言模型从某种程度上模拟了人类大脑的某些功能，而另一些人则强调语言模型与人类认知存在本质区别，因为人类具有信念、目标、欲望等，而语言模型缺乏这些。
总的来说，关于语言模型产生“幻觉”的原因，讨论中存在多种观点和解释，尚未形成统一的定论。但这些讨论无疑为我们更深入理解语言模型的工作机制和局限性提供了丰富的视角。
感谢您的耐心阅读！来选个表情，或者留个评论吧！