原贴链接

我用一道9岁孩子课本上的数学题测试DeepSeek - R1（真的是9岁孩子的课本），这个模型成功解出了题目。题目是：找出两个3位数的回文数，它们相加得到一个4位数的回文数。注意：这些数字的首位不能为0。R1开始思考，在块中找到正确答案后输出，但出错了。然而，它还没完成回答就发现了自己的错误，回退并在块之外即时修正了自己。关于这个问题，除了OpenAI o1外，没有其他大语言模型（LLM）能解出。所以我在想，是什么限制了它们呢？是分词器的弱点？采样参数（即使所有参数都在推荐设置下它们还是失败了）？或者，也许不具备思考能力的大语言模型在数学方面真的很糟糕？很想听听大家对此的想法。还列出了其他模型失败的尝试，如chatgpt - 4o - latest - 20241120、claude - 3 - 5 - sonnet - 20241022等。

讨论总结

原帖测试DeepSeek - R1解答一道数学题，发现除OpenAI o1外其他模型均未解答出该题，引发思考是什么限制了其他模型。评论中主要有对不同模型的讨论，包括思维链与非思维链模型在解题时的差异，有评论者指出非思维链模型难以在运行中捕捉错误；还有许多评论者分享了在不同模型（如本地的DeepSeek - R1 - Distill - Qwen - 14B、Mistral Large 2.1等）上测试该数学题的结果；也有对原帖中答案不唯一的补充，以及对模型出错与训练数据关系的探讨等，整体讨论氛围较为理性，大家从不同角度分析模型解答数学题的能力。

主要观点

  1. 👍 原帖是在比较思维链（CoT）模型和非思维链模型
    • 支持理由：原帖中DeepSeek - R1（可能是思维链模型）能解决问题而部分非思维链模型失败，呈现出二者对比
    • 反对声音：无
  2. 🔥 非思维链模型被训练为几乎不自相矛盾，难以在运行中捕捉错误
    • 正方观点：非思维链模型的训练范式使得其难以像思维链模型那样在运行中纠错
    • 反方观点：无
  3. 💡 认为Gemini Thinking on AI Studio能解决问题，多数推理模型都可以解决这个数学问题
    • 解释：评论者GuelaDjo提供新信息，补充了能解决该问题的模型范围
  4. 💡 原帖中的数学题答案存在多对数字组合
    • 解释：有评论者指出答案不止原帖中的情况，还有很多其他组合，甚至给出了72对答案的情况
  5. 💡 不同模型的思考设计存在差异
    • 解释：针对DeepSeek - R1与其他模型在解决数学问题上的差异，有评论者认为思考设计不同可能是原因

金句与有趣评论

  1. “😂 Well, for one, you’re comparing CoT to non CoT.”
    • 亮点：直接点明原帖在比较两种不同类型的模型，是理解原帖意图的关键
  2. “🤔 Pre - CoT models have been trained to almost never contradict themselves.”
    • 亮点：解释了非思维链模型难以纠错的原因在于其训练特点
  3. “👀 Gemini Thinking on AI Studio also solves this.”
    • 亮点：为原帖中能解决问题的模型增加了新成员，拓宽了讨论范围
  4. “😂 It seems most reasoning models do.”
    • 亮点：进一步补充能解决问题的模型可能很多，改变了原帖中部分观点
  5. “🤔 there many pairs though. 505 and 606, 404 and 707, 808 + 303.”
    • 亮点：给出原帖数学题答案的其他组合示例，丰富了答案内容

情感分析

总体情感倾向为中性，大家主要是理性探讨。主要分歧点在于不同模型解决数学问题的能力以及背后的原因。可能的原因是大家对不同模型的结构、训练方式等方面的理解存在差异，以及对原帖中数学问题的理解和解答思路不同。

趋势与预测

  • 新兴话题：可能会进一步探讨更多模型在该数学问题上的表现，以及不同模型训练集中是否包含该类问题对解题的影响。
  • 潜在影响：有助于人们更好地理解不同类型大语言模型的性能特点，对模型的改进和优化方向提供参考。

详细内容：

标题：关于 DeepSeek-R1 解决数学问题的热门讨论

最近，Reddit 上有一个关于 DeepSeek-R1 解决数学问题的热门帖子引起了广泛关注。帖子中，作者测试 DeepSeek-R1 解决一个 9 岁儿童数学课本中的问题，即“找到两个 3 位数回文数相加得到一个 4 位数回文数，且首位数字不为 0”。此帖获得了众多点赞和大量评论。

讨论的核心在于为何只有 DeepSeek-R1 和 OpenAI o1 能够解决这个问题，而其他模型却未能成功。有人认为这可能与不同的训练范式有关，比如 CoT 模型和非 CoT 模型的训练方式差异。有用户分享道：“Pre-CoT 模型被训练得几乎从不自我矛盾，所以很难在过程中发现错误并纠正。”

还有用户指出，像 GPT-4 对于简单的数学运算能迅速给出答案，但对于复杂问题则需要逐步分析。就如同我们在计算“4 乘以 3”时能瞬间得出结果，而计算“499 乘以 123”时则需要写一些步骤。

也有用户表示，在非 CoT 模型中也有像 llama 这样能在输出中途发现自身错误的情况。还有用户分享了自己使用不同模型的经历，如有人在本地的 llm DeepSeek-R1-Distill-Qwen-14B 上得到了正确答案，有人则使用 Qwen2.5 - 14B - Instruct - 1M - exl2_4.0bpw_h6 模型通过特定提示词成功解决了问题。

但同时也有人提出疑问，比如为什么大型语言模型会犯错，是不是完全取决于训练数据。还有人认为不能过于将大型语言模型拟人化，它们没有真正的“心智”。

总之，这场讨论展示了关于语言模型解决数学问题能力的多样性观点和丰富经验，引发了人们对于模型性能和训练方式的深入思考。