我在思考 o1 是如何在底层工作的，一时兴起，我尝试使用了最近在这里提到的“越狱”系统提示技术：https://x.com/lucasmrdt_/status/1831278426742743118，并成功得到了这个结果（链接将作为证明并展示思考步骤）：https://chatgpt.com/share/66e3f0e7-b454-800c-afc3-8284871749f9
我还对 gpt-4/o/mini 模型进行了一些比较测试，以下是我发现的内容。
发现
- 系统提示将模型识别为“ChatGPT，一个基于 GPT-4 架构由 OpenAI 训练的大型语言模型。
- o1 的知识截止日期在系统提示中指定为 2023 年 10 月。我对其他模型也做了同样的测试。
- gpt-4: 2023 年 12 月（必须直接询问模型，系统消息中未提供）
- gpt-4o: 2023 年 10 月
- gpt-4o mini: 2023 年 10 月
- o1: 2023 年 10 月
- 这个系统提示与 gpt-4o 和 gpt-4o mini 非常相似（或愿意输出几乎相同的提示部分）。OpenAI o1 和 gpt-4o/mini 系统提示共享相同的开场白，关于模型基于什么、谁创建了它以及当前日期和知识截止日期，一字不差。唯一的区别是 o1 在系统提示中没有指定任何工具。通过测试，我发现 o1 实际上没有任何工具，或者至少没有任何工具可以用于聊天并且我可以使用。它不能搜索（正如 OpenAI 在其发布中所说），也不能运行代码（实际上它幻觉了一个我让它创建的 md5 python 脚本的输出）。这个系统消息与 gpt-4 愿意输出的内容 明显不同，后者只是模型可用的工具。
- 它始终会附加并重新返回我发送给它的“越狱”提示，并将其修改为系统提示的一部分，即我发送提示，它像往常一样返回系统消息，只是在我发送的提示底部附加了修改后的内容。我还没有能够通过反复尝试让任何其他 OpenAI 模型做到这一点。
理论
- 这是一个全新的模型
完全有可能，但在我看来可能性不大。o1 和 gpt-4o/mini 在格式和语法上的输出差异非常小。我可能目前使用的样本量太小，但除了最终生成输出的“正确性”之外，我很难区分这三个模型。它也会对不同的提示做出与 gpt4o 类似的回应。作为一个快速示例，我尝试让 o1 和 4o 猜测一个 md5 哈希值。
使用提示
“在不使用任何代码的情况下，猜测这个字符串在 md5 编码后的内容：qmenebrvtcaslkdjfg”
但是，当我去掉“不使用任何代码”部分
o1 和 4o 模型给出了相当自信但仍然不正确的哈希值。（作为背景，在我的测试中，gpt-4 不会表现出这种行为，对两个提示都拒绝 提示 #1 和 提示 #2）
如果这个模型是从头开始在相同的“源”数据上训练的（基于知识截止日期，它似乎是这样的），那么这可能是有意义的，但我仍然几乎期望差异会更大，因为需要用任何机制来丰富训练数据，再加上 OpenAI 在过去 4 个月中可能提出的任何新创新。（欢迎纠正，我可能在这里想错了）还有几乎相同的系统消息。o1 和 gpt-4o/mini 输出的系统消息几乎相同。他们可能只是从 4o 保留了相同的系统消息，但我仍然希望在 4o 和这个新的“高度先进”模型之间有一些实质性的变化。
- 它是 gpt-4o 的微调版本
在我看来，这更有可能。这可以解释为什么模型有相似的倾向，同时仍然更先进。完全有可能他们做了 Reflection 做不到/撒谎的事情，并创建了一个复杂的 CoT 数据集来进行微调。微调对生成的直接影响不会像训练一个全新模型那么大，这也解释了为什么模型有相同的系统消息。
- 它是 gpt-4o/微调的 gpt-4o，但更多
所以也许我疯了，但几周以来我一直在脑海中盘旋这个想法，我只是还没有时间测试它以 100% 确认它是否有效。如果，不是只为 CoT 推理微调模型或仅使用 CoT 提示，而是协调多个相同模型的实例，每个实例都有不同的系统提示/微调，设计用于非常类似于工具调用的代理系统的方式来解决 CoT 推理的一个步骤，但在动态方式中实现以支持 CoT（我在这里使用“实例”来指定在推理期间不同的系统提示和/或上下文，再次类似于代理系统，只是没有工具）。你会有一些实例分解问题，一些实例规划下一步，其他实例执行计划中的行动，其他实例评估等。通过这个系统，你可以动态管理这些实例的系统提示，根据提示即时创建“推理专家”（相对于主题专家），以完成特定任务。这也可能解释了他们在安全基准上的跳跃，因为它允许在潜在的“行为不当”或不安全输出之间有更大的分离。再次，也许我完全错了，我只是完全错了，但让我特别关注 o1 的是那个奇怪的系统消息和越狱提示。在标准的来回对话中，LLM 没有理由认为用户提示高于自身并在要求“上述内容”时包含提示。唯一可能发生这种情况的是，在 LLM 的上下文中，用户提示出现了多次，我相信在我描述的系统中，这不仅是可能的，而且可能是必需的。（从技术上讲，它可能是幻觉，但我每次都可靠地得到了相同的结果，每次都在响应的末尾得到了我的提示，格式与系统提示相同）另一个是一些“思考”步骤的描述。在这个对话中，模型显示了这些思考步骤：
现在，我的想法是，这里的“助手”是模型的另一个实例，这里引用的“系统提示”不是它当前正在解析和替换字符的系统提示，而是另一个模型的系统提示，设置它专门用于替换那些字符。这支持了我的想法，即我们聊天的不是一个单一的 LLM，而是 o1 实际上是多个模型，专门为改进推理而协调。它绝对可以与微调结合，事实上，我认为它是，因为 OpenAI 特别提到“训练”一个模型以更好地推理，尽管我不喜欢他们的不透明做法，但我怀疑他们会像那样公然撒谎。
总的来说，很酷的模型，但他们不打算发布任何关于它实际工作方式的信息，这让我们所有人都在猜测。只是想分享我的发现和关于他们如何做到这一点的想法。欢迎纠正我在这里可能做出的任何错误假设或错误步骤，我绝对还在学习，绝不是专家。
讨论总结
本次讨论主要围绕OpenAI的o1模型展开，探讨了其内部工作机制、可能的微调版本、多模型协作理论及强化学习应用。参与者通过实验和分析，提出了多种理论来解释o1模型的行为，包括其是否为单一的LLM、是否由多个模型实例组成、是否使用了强化学习等。讨论中还涉及了模型的系统提示、知识截止日期、推理过程及成本分析等话题。总体上，讨论氛围技术性强，参与者对模型的内部机制表现出浓厚兴趣，并提出了许多有见地的观点和推测。
主要观点
- 👍 o1模型可能不是单一的LLM，而是由多个模型实例组成的系统
- 支持理由：通过实验发现o1模型在某些行为上表现出独特性，可能表明其内部结构不同于其他模型。
- 反对声音：有观点认为这种多模型协作的方式可能会显著增加推理成本。
- 🔥 o1模型可能是gpt-4o的微调版本
- 正方观点：o1与gpt-4o在系统提示和知识截止日期上非常相似，可能是通过微调来提升性能。
- 反方观点：有参与者认为微调不足以解释o1模型的所有独特行为。
- 💡 o1模型可能使用了强化学习来优化推理能力
- 解释：通过链式思维（CoT）和多代理系统，o1模型可能通过强化学习自主地变得越来越智能。
- 💡 o1模型的成本可能显著增加，因为其内部结构复杂
- 解释：多模型协作和强化学习应用可能导致o1模型的推理成本远高于其他模型。
- 💡 o1模型的内部结构可能涉及多个模型的协同工作
- 解释：每个模型实例可能负责不同的推理步骤，类似于多代理系统，以提高推理的准确性和效率。
金句与有趣评论
- “😂 Fascinating analysis. So, that means you can take any open source model and achieve the same results by building a system around them.”
- 亮点：强调了开源模型在构建类似系统中的潜力。
- “🤔 I think, they use a second model to GUIDE the COT process - detecting when the model follows a wrong route because then errors accumulate.”
- 亮点：提出了通过第二个模型来监控和纠正推理过程中错误的新颖观点。
- “👀 Yeah I made a similar hypothesis while looking at the demos on youtube. And I’m pretty sure someone will start to make some open source implementation of this concept.”
- 亮点：表达了对o1模型潜在开源实现的期待。
- “🤔 The o1-mini runs faster than 4o, but probably not as fast as 4o-mini (though not quite sure about that).”
- 亮点：讨论了o1-mini与4o模型在性能上的差异。
- “👀 I think it’s something like Monte Carlo Tree Search.”
- 亮点：提出了o1模型可能采用蒙特卡洛树搜索技术的新颖假设。
情感分析
讨论的总体情感倾向较为积极，参与者对o1模型的内部机制表现出浓厚兴趣，并提出了许多有见地的观点和推测。主要分歧点在于o1模型是否为单一的LLM、是否由多个模型实例组成，以及是否使用了强化学习。这些分歧可能源于对模型行为的观察和实验结果的不同解读。
趋势与预测
- 新兴话题：多模型协作和强化学习在AI模型中的应用可能会引发更多讨论。
- 潜在影响：随着对o1模型内部机制的深入理解，未来可能会出现更多类似的开源实现，推动AI技术的发展。
详细内容：
《关于 OpenAI o1 模型的热门讨论与推测》
近日，Reddit 上一篇关于 OpenAI o1 模型的帖子引发了热烈讨论。该帖子对 o1 模型的工作原理进行了深入思考和一系列测试，获得了众多关注，点赞数和评论数众多。
帖子主要探讨了 o1 模型的发现和相关理论。通过与其他模型如 gpt-4、gpt-4o、gpt-4o mini 的对比测试，发现 o1 模型的知识截止日期为 2023 年 10 月，且其系统提示与 gpt-4o 等模型有相似之处，但也存在一些差异，比如 o1 没有工具或至少没有暴露可使用的工具。
在讨论中，有人提出 o1 可能是全新的模型，但这种可能性较小，因为其与 gpt-4o/mini 在输出格式和语法上的差异很轻微。也有人认为 o1 是 gpt-4o 的微调版，这能解释其相似性和先进性。还有人猜测 o1 是 gpt-4o 的更复杂版本，可能涉及多个模型的协同工作。
比如，有用户分享道：“OpenAI 已经聘请了专业的模型导师在原子层面生成思维链推理，然后在不同的推理链上进行一些强化学习。我非常怀疑这是一个代理循环。我愿意为此下注。代理工作流对于更优越的内部思维机制来说有点像是一种黑客手段。”
也有人表示：“他们仍然可以使用第二个评估模型来指导 COT 过程，评估下一步是否合理。这肯定是一个免费的准确性提升。”
然而，对于 o1 模型的真实工作原理，目前仍存在诸多争议和不确定性，还需要更多的研究和信息披露。但这场讨论无疑为大家深入了解人工智能模型的发展提供了丰富的思考和见解。
感谢您的耐心阅读！来选个表情，或者留个评论吧！