原贴链接

我从不同的大语言模型（LLMs）中提取了针对以下提示的思维轨迹，并分析了每行第一个单词的频率。下方的热图展示了每个大语言模型中最常用单词的频率。目的是识别不同思维模型之间的关系。例如，已知某些单词/标记（如“wait”）表示思维过程中的回溯。这些模式在强化学习过程中出现，也可以通过对思维轨迹微调模型来训练。我们可以看到很多模型显示出与R1相似的单词统计。这可能是随机的，但也可能意味着模型在过程中的某个时刻见过R1思维轨迹。https://llminfo.image.fangd123.cn/images/ef9lns0zc7qe1.png!/format/webp 代码在这里：[https://github.com/cpldcpu/llmbenchmark/tree/master/thinkingtraces#readme] 我使用的提示：你有两根绳子，每根绳子恰好需要60分钟完全烧完。然而，绳子燃烧不均匀，这意味着有些部分可能比其他部分燃烧得更快或更慢。你没有其他计时设备。你如何使用这两根绳子和火柴来精确测量20分钟？编辑：我更新了热图，还包括了R1 - Zero的轨迹，它是在基础模型上使用强化学习训练的，之前没有对思维轨迹示例进行微调。我们可以看到关键标记“wait，alternately”只出现在R1中，R1在强化学习之前对思维轨迹进行了微调。

讨论总结

原帖对不同LLMs推理轨迹中的单词统计进行分析，发现很多模型显示出与R1类似的字统计情况。评论者们从多个角度展开讨论，包括这种现象可能的原因，如随机或模型见过R1思维轨迹、与训练的关系等，还涉及OpenAI不暴露思考轨迹的目的，以及原帖工作在紫队攻防演练等方面的应用，同时也有对原帖表示感谢、鼓励和询问开源相关的内容。总体氛围较为理性、积极探索。

主要观点

  1. 👍 很多模型显示与R1类似字统计情况可能是随机或模型见过R1思维轨迹。
    • 支持理由：原帖发现很多模型有类似R1的字统计情况，提出这可能是随机或者与模型曾见过R1思维轨迹有关。
    • 反对声音：无。
  2. 🔥 这可能是达成相同目标的类似训练的共同基础。
    • 正方观点：从模型训练目的出发，为达成相同目标的类似训练可能导致这种相似性。
    • 反方观点：无。
  3. 💡 一般假设关键标记在预训练期间学习后被强化学习放大。
    • 解释：在探讨模型中关键标记出现的原因时提出这一假设。
  4. 💡 R1在强化学习前用预过滤思维轨迹微调避免了裸基础模型强化学习的问题。
    • 解释：对R1模型在强化学习前的预训练方式进行分析得出。
  5. 💡 若其他模型按R1的方式预训练，会有相同关键标记。
    • 解释：从R1模型预训练方式推广到其他模型，推测相同预训练方式会导致相同关键标记。

金句与有趣评论

  1. “😂 Or it’s a common base for the similar training all models will be doing to achieve the same type of goal.”
    • 亮点：从模型训练的宏观角度对很多模型显示与R1类似字统计情况提出一种可能的解释。
  2. “🤔 Well, the general assumptions are that the critical tokens have already been learned during pre - training and are then amplified by reinforcement learning.”
    • 亮点：对关键标记在模型训练过程中的学习和放大方式提出一般假设。
  3. “👀 Now, if others are also using R1 traces to finetune their models before reinforcement learning, they’ll end up with the same critical tokens.”
    • 亮点：将R1模型预训练方式与其他模型联系起来，推测关键标记的一致性。
  4. “😂 Yes, that’s how it works and the reason why OpenAI doesn’t expose the thinking traces of their models.”
    • 亮点：对OpenAI不暴露思考轨迹给出一种合理的解释。
  5. “🤔 Maybe we’ll also see some models trained on QwQ soon, since it’s cheaper to generate datasets with it.”
    • 亮点：基于QwQ生成数据集成本低，推测可能会有基于QwQ训练的模型。

情感分析

总体情感倾向为积极。主要分歧点较少，大多数评论者都是在原帖基础上进行理性探讨，比如对很多模型与R1类似字统计情况的不同理解，但未形成激烈的争议。可能的原因是这是一个较为专业的技术话题，参与者更多是从技术原理等角度进行交流。

趋势与预测

  • 新兴话题：基于QwQ训练模型可能成为新兴话题，因为有评论者提到其生成数据集成本低，可能会有模型基于它进行训练。
  • 潜在影响：如果模型指纹相关工作进一步发展，可能对紫队攻防演练和管道验证等领域产生实际的技术影响，有助于提高相关领域的安全性和准确性。

详细内容：

标题：对不同LLMs推理痕迹中的词统计分析引发Reddit热议

在Reddit上，有这样一个热门帖子引起了大家的关注。帖子中，作者提取了不同LLMs对于特定提示的思考痕迹，并分析了每行第一个词的频率，还展示了相关的热图。此贴获得了众多点赞和大量的评论。

帖子旨在探究不同思考模型之间的关系，比如某些词如“wait”在思考过程中的意义。作者指出很多模型的词统计与R1相似，这可能是随机的，也可能意味着模型在某个过程中见过R1的思考痕迹。同时，还提供了相关代码的链接：https://github.com/cpldcpu/llmbenchmark/tree/master/thinkingtraces#readme 。

讨论的焦点集中在以下几个方面： 有人认为很多模型词统计与R1相似，这可能是由于相似的训练基础，或者模型在过程中接触过R1的思考痕迹。也有人指出，通用的假设是关键标记在预训练期间已经学习，然后通过强化学习放大。

有人分享说，Gemini、Sonnet和o3-mini使用不同的关键标记，这可能表明模型的启动方式不同。

还有人提到，OpenAI不暴露其模型的思考痕迹，是为了防止其他模型通过训练赶上。而QwQ可能也使用了R1的痕迹。

特别有见地的观点如，为了将其转化为适当的指纹识别，可能需要更多的统计数据。也有人好奇“紫色团队”是什么，有人对此进行了相关的解释和链接分享。

总之，这场讨论丰富而深入，让人们对LLMs的思考模型有了更全面的认识。