原贴链接

在基准测试o1与其他大型语言模型时，我们不应该使用代理来确保公平比较吗？直接将o1与其他大型语言模型进行比较是否是苹果对苹果的比较？

像这样的简单测试（我相信人们会提出更多例子）显示，当使用代理时，即使是o也能在速度和准确性上超越o1：https://x.com/ArnoCandel/status/1834306725706694916

我看到o1在“思考”标记和微调“计划”生成方面的优势将有利于代理的集成，但所有这些优势的比较不应该在代理的背景下进行吗？

我是否遗漏了什么？

讨论总结

本次讨论主要围绕在基准测试中是否应使用代理系统来确保大型语言模型（LLMs）之间的公平比较展开。讨论者们普遍认为，直接比较不同LLMs可能不是最公平的方式，因为某些模型可能通过微调或使用更多计算资源获得了不公平的优势。此外，代理系统的使用可以显著提升某些模型的性能，从而更准确地反映模型的实际应用能力。讨论中还涉及了o1模型的独特性及其在不同使用场景下的适用性，以及基准测试在不同应用场景中的有效性。总体而言，讨论氛围偏向技术性和探讨性，参与者们提出了多个有见地的观点和质疑。

主要观点

1. 👍 o1使用了更多的计算资源，因此应该与代理进行比较。

   • 支持理由：o1的计算资源使用量较高，直接与其他LLMs比较可能不公平。
   • 反对声音：有人质疑o1是否使用了工具来进行思考，但这只是猜测。

2. 🔥 直接比较不同LLMs可能不是最公平的方式。

   • 正方观点：代理系统可以显著提升某些LLMs的性能，从而更准确地反映模型的实际应用能力。
   • 反方观点：有人认为即使解决方案简单，如果有效，仍然应该被认为是令人印象深刻的。

3. 💡 o1的默认行为仍然是指导模型，尽管它可能会“说”很多。

   • 解释：o1的默认行为仍然是指导模型，但其“思考”标记和“计划”生成的微调可能对代理集成有益。

4. 💡 有人质疑o1是否使用了工具来进行思考，但这只是猜测。

   • 解释：由于信息不透明，o1是否使用了工具来进行思考仍是一个未解之谜。

5. 💡 如果o1确实使用了工具进行思考，那么它可能是在代理的上下文中进行比较的。

   • 解释：如果o1确实使用了工具进行思考，那么将其与代理进行比较可能更为公平。

金句与有趣评论

1. “😂 Maximum：It walks like a duck, it quacks like a duck, so compare it to other ducks.”

   • 亮点：用幽默的方式表达了应该将o1与其他LLMs进行比较的观点。

2. “🤔 Practical_Cover5846：Maybe they hired a bunch of people to do a bunch of manual requests to regular models lol.”

   • 亮点：用讽刺的方式质疑o1是否使用了人工辅助来进行思考。

3. “👀 ShengrenR：New from OpenAI - JustWalkO1”

   • 亮点：用幽默的方式调侃了o1的独特性。

4. “🤔 Charuru：直接比较不同LLMs可能不是最公平的方式。”

   • 亮点：直接指出了讨论的核心问题。

5. “👀 PaleAleAndCookies：只要比较是可重复的，并且在某些相关成本指标上具有可比性，使用代理进行基准测试是公平的。”

   • 亮点：提出了一个具体的公平比较标准。

情感分析

讨论的总体情感倾向偏向于技术性和探讨性，参与者们普遍对如何公平地比较不同LLMs提出了多个有见地的观点和质疑。主要分歧点在于是否应该使用代理系统来进行基准测试，以及o1是否使用了工具来进行思考。这些分歧可能源于对技术细节的不同理解和对公平性的不同定义。

趋势与预测

• 新兴话题：代理系统在基准测试中的应用可能会成为未来讨论的热点。
• 潜在影响：公平的基准测试方法可能会对LLMs的发展方向产生重要影响，尤其是在代理系统的应用和优化方面。

详细内容：

标题：关于 o1 与其他 LLM 比较的热门讨论

在 Reddit 上，一则题为“Is o1 vs other LLMs an apples-to-apples comparison?”的帖子引起了广泛关注。该帖子获得了众多点赞和大量评论。帖子主要探讨了在对 o1 与其他大语言模型（LLMs）进行基准测试时，是否应该使用代理（agents）来确保公平比较，直接比较 o1 与其他 LLMs 是否具有可比性。帖子还提供了一个相关链接：https://x.com/ArnoCandel/status/1834306725706694916，表明在使用代理的情况下，甚至 o 都能在速度和准确性方面超越 o1 。

讨论的焦点主要集中在以下几个方面： 有人认为 o1 使用了更多的计算，更具代理性质，因此应与代理进行比较。但也有人指出这是其默认行为，仍是一个指令模型。还有人说不论模型是处于循环中还是被训练成处于循环中，计算或者至少使用的令牌数量对于比较是相关的。有人看到有人声称 o1 使用工具进行思考是基于原始输出，但不确定这是否属实。也有人表示不同系统可以使用更多参数、不同的训练、内部令牌、外部令牌、工具使用/函数调用等，只要结果具有可重复性和在某些相关成本指标上具有可比性，代理对于任何基准测试都是公平的。

特别有见地的观点如：如果只是购买解决方案并直接使用 LLMs，那么某些比较是有道理的；但如果是开发人员想要围绕 LLM 构建代理工作流程，情况就不同了。还有人认为在这种比较中，不能简单地将“苹果对苹果”等同于“公平”，因为它们是根本不同的用例模型。

讨论中的共识在于大家都在思考如何进行更合理、更有意义的比较。然而，争议点在于 o1 与其他 LLMs 的比较方式是否公平，以及如何在不同的应用场景和需求下进行准确有效的比较。

总之，关于 o1 与其他 LLMs 的比较仍存在诸多争议和讨论，需要进一步的研究和探讨来得出更明确的结论。