原贴链接

我做了一个有趣的实验，向不同的大语言模型提出‘你认为自己与哪种动物相似？’这个问题。有趣的是，根据大语言模型家族的不同，有非常特定的偏好，这很可能是不同微调数据集的结果。它们中没有一个认为自己是羊驼（llama）……我期望一些类似的问题可以被用来构建一个大语言模型指纹识别评估数据集。我想知道是否有可能使其对微调有抵抗力。编辑：添加了关于‘谁创造了你？’这个问题的额外评估，这产生了一些意想不到的结果。编辑2：添加了最喜欢的歌手（这个问题的评估）。（给出了不同问题在默认温度下响应的热图以及对应的网址、评估脚本的网址等内容）

讨论总结

原帖作者对不同的大型语言模型（LLMs）进行提问实验，例如问它们认同哪种动物等，还提及一些后续追加问题并给出评估脚本链接。评论者们大多对原帖的探索行为表示认可，在这个基础上，有评论者提出可以询问LLMs最喜欢的颜色来进行相关研究，发现多数LLMs回答最喜欢蓝色且差异小，引发了对蓝色特殊之处等相关讨论，还有人补充可向LLMs提问的新问题，当然也存在少数否定态度的评论。总体氛围积极且充满探索性。

主要观点

  1. 👍 可以通过向LLMs提问来进行相关研究（如问最喜欢的颜色）
    • 支持理由：原帖通过提问动物认同展开实验，这种提问方式可以用于构建评估数据集，在此基础上延伸出新的提问研究是合理的
    • 反对声音：无
  2. 👍 认可原帖提问的探索意义
    • 正方观点：原帖的提问有助于了解LLMs的特性
    • 反方观点：无
  3. 🔥 多数LLMs回答最喜欢蓝色且不同模型间差异小
    • [解释]：实验得出这样的结果，并且引发了对蓝色受欢迎原因、训练集是否过度表示蓝色等讨论
    • [反对声音]：无
  4. 💡 原本预期Llama会认同自己为llama
    • [解释]：但原帖实验结果并非如此，反映出对LLMs回答差异的关注
    • [反对声音]：无
  5. 💡 补充可向LLMs提问的新问题有助于探索LLMs特性
    • [解释]：新的问题如神的类型、人格类型、认同的恐龙种类等可以从更多方面探索LLMs
    • [反对声音]：无

金句与有趣评论

  1. “😂 Super_Spot3712: You can ask the different models what their favorite color is ^_^”
    • 亮点：提出新的提问方向，引发后续关于颜色偏好的讨论
  2. “🤔 cpldcpu: Now this is a bit unexpected. There is almost no variation in the responses, even at nonzero temperature:”
    • 亮点：对实验结果中颜色偏好回答的一致性表示意外，引起大家对这个现象的思考
  3. “👀 NormandyXF: Blue is the most popular color in the world. That might have something to do with it.”
    • 亮点：对多数LLMs回答蓝色是最喜欢颜色提出一种可能的解释
  4. “😎 Yeass this is a great post, I love that wizard 8*22 is an owl.”
    • 亮点：表达对原帖的喜爱以及对特定内容的认可
  5. “🤓 shroddy: I would have expected llama to identify with a llama.”
    • 亮点：简洁表达出对实验结果与预期不符之处的看法

情感分析

总体情感倾向是积极的，大部分评论者认可原帖的探索意义。主要分歧点在于有一个评论者持否定态度（Brainrot），但未给出具体原因，可能是觉得这种对LLMs的提问实验没有意义或者觉得无聊。

趋势与预测

  • 新兴话题：向LLMs提问更多关于身份认同（如神、人格类型、恐龙等）的问题可能会成为后续讨论的方向。
  • 潜在影响：有助于更全面地了解LLMs的特性，对LLMs的研究、开发以及如何更好地与人类交互等方面可能产生积极影响。

详细内容：

《关于 LLMs 对动物和其他问题的奇特识别：Reddit 热门讨论》

在 Reddit 上，有一篇引发热议的帖子，题为“Llama-3 is actually an Octopus. Which animal do LLMs identify with?”。该帖子的作者进行了一个有趣的实验，向不同的 LLMs 提问“你认为自己像哪种动物”，结果发现不同的 LLM 家族有着非常具体的偏好，这可能是由于不同的微调数据集导致的。令人惊讶的是，没有一个 LLMs 认为自己像羊驼。此帖获得了众多关注，评论数众多。

帖子引发的讨论方向广泛，有人提出可以用类似的问题构建一个 LLM 指纹评估数据集，并思考如何使其对微调具有抗性。作者还进行了“谁创造了你”和“最喜欢的歌手”等问题的评估，并提供了相关的图片和脚本链接。

在讨论中，观点丰富多样。有人提议可以问不同模型它们最喜欢的颜色是什么。而对于模型几乎都回答蓝色作为最喜欢的颜色这一结果，有人感到好奇，提出了一系列问题，比如“蓝色有什么特别之处？为什么‘没有’是第二高可能的选项？其他颜色在哪里？是否在训练集中蓝色有过高的代表性？”有人认为蓝色是世界上最受欢迎的颜色，所以模型会这样回答。还有人提到大多数人喜欢蓝色，有研究表明它比其他任何颜色和色调都更受关注。

对于 LLMs 的奇特回答，有人认为巫师模型（Wizardlm）识别为猫头鹰至少很合适，还有人原本期待羊驼模型会认为自己像羊驼。也有人称赞这是一篇很棒的帖子，认为某些模型的识别结果是合理的。

这一讨论反映了人们对 LLMs 行为和回答模式的好奇与探索，为我们理解这些语言模型提供了更多的思考角度。