原贴链接

（链接：https://x.com/JacquesThibs/status/1880770081132810283?s=19） Lesswrong文章暗示存在的保留集还未被开发出来。 （链接：https://x.com/georgejrjrjr/status/1880972666385101231?s=19）

讨论总结

此讨论围绕OpenAI获取FrontierMath数据集而相关数学家不知情这一事件展开。在数据集方面，探讨了其私密性、对模型训练的影响以及基准测试的价值等。对于OpenAI，大家在其是否作弊、是否值得信任、商业利益考量以及o3模型性能等方面存在诸多不同观点，也涉及到对OpenAI声誉和投资者的影响，甚至有观点认为这背后存在政府阴谋，同时也关联到AGI的发展等话题，整个讨论充满争议性。

主要观点

  1. 👍 常见基准测试问题打乱会使分数显著下降，含基准测试的训练数据不值得关注
    • 支持理由：有论文表明该情况，如CumDrinker247提到相关论文。
    • 反对声音：无明确反对，但有从其他角度探讨基准测试价值的观点。
  2. 🔥 怀疑OpenAI在数据集事件中作弊
    • 正方观点：OpenAI是唯一能获取数据的实验室，有不公平之嫌，如phree_radical的观点。
    • 反方观点：有访问权限不一定意味着用于训练，不能仅根据现有情况判定作弊。
  3. 💡 认为o3是SoTA模型，反对将OpenAI获取数据集当作说o3模型不好的借口
    • 支持理由：pigeon57434认为o3仍然先进。
    • 反对声音：无直接反对，但存在质疑o3性能及OpenAI诚信的观点。
  4. 💡 OpenAI声称未在FrontierMath数据集上训练，有人相信是因为不符合其利益
    • 支持理由：genshiryoku认为o3即将发布，造假会陷入绝境。
    • 反对声音：This_Organization382认为保持当前趋势符合OpenAI利益，不应以此否定指控。
  5. 💡 称OpenAI访问数据集为作弊是不公平的，训练对OpenAI产品是必要的
    • 支持理由：训练是产品发布的必要条件，OpenAI不需要通过作弊获取更多资金等，如JmoneyBS的观点。
    • 反对声音：有观点质疑OpenAI的声誉，暗示其可能有不当行为。

金句与有趣评论

  1. “😂 CumDrinker247：There was a paper that showed that even simply shuffling the questions of common benchmarks leads to significantly worse scores. Benchmarks that find their way into the training data aren’t worth paying attention to.”
    • 亮点：用论文结论引发关于基准测试进入训练数据价值的讨论。
  2. “🤔 LevianMcBirdo：Wow, that’s sad to see. The FM score was the biggest thing about o3…”
    • 亮点：表达对OpenAI获取数据集之事的情感态度，引出FM分数对o3的重要性。
  3. “👀 You_Wen_AzzHu: So they cheated?”
    • 亮点：以简短问句开启对OpenAI是否作弊的怀疑讨论。
  4. “😂 custodiam99：My God, 03 is almost conscious! The singularity is here! It is AGI! lol”
    • 亮点：以诙谐调侃的方式将OpenAI相关情况与AGI联系起来。
  5. “🤔 genshiryoku：OpenAI specifically said they didn’t train on the FrontierMath dataset though. They could still have made similar versions of the problems to train on, having seen the dataset to claim they didn’t train on the exact dataset but I actually believe OpenAI on this one in good faith. Specifically because it’s not in their best interest to do so. o3 will release and they will have dug an inescapable hole for themselves if it turned out they cooked the books.”
    • 亮点：深入分析OpenAI声称未训练的可信度及背后的利益关系。

情感分析

总体情感倾向为怀疑和争议性较强。主要分歧点在于OpenAI获取数据集是否正当、是否有作弊行为、o3模型的真实性能以及是否值得信任等方面。可能的原因是OpenAI在AI领域的重要性以及该事件涉及到数据集使用的公正性、商业利益和技术发展的影响等多方面因素。

趋势与预测

  • 新兴话题：关于OpenAI在o3模型上是否能够达到预期表现，以及如果不能达到会对整个AI行业产生何种影响。
  • 潜在影响：如果OpenAI被证实存在不诚信行为，可能会影响其在投资者、用户心中的地位，进而影响整个AI行业的信任体系；反之，如果能够证明清白，可能会巩固其在AI领域的领先地位，加速AGI相关研究的发展。

详细内容：

标题：OpenAI 与 FrontierMath 数据集引发的争议在 Reddit 上掀起热议

OpenAI 被指拥有 FrontierMath 数据集的访问权限，而参与创建该数据集的数学家却对此毫不知情，此话题在 Reddit 上引起了广泛关注。原帖包含了多个相关链接，吸引了众多网友参与讨论，点赞数和评论数众多。

这场讨论的核心问题在于 OpenAI 是否利用这一权限在训练中作弊，从而影响了基准测试的结果。

讨论焦点与观点分析如下： 有人认为简单地打乱常见基准测试的问题会导致分数显著下降，基准测试若进入训练数据就不值得关注。比如有人指出在其硕士学习期间的实验表明，重新措辞基准问题会导致分数大幅降低。 还有人探讨了打乱或重新排序数据集在训练过程中的可能影响，有人好奇这是否能改进最终结果。 对于 OpenAI 是否作弊，观点不一。有人认为不能确定 OpenAI 训练时使用了该数据集，也许只是用于验证。但也有人觉得 OpenAI 此举有作弊嫌疑，比如有人指出OpenAI 是唯一拥有该数据集访问权限的机构，这似乎不公平。 一些观点认为OpenAI 此举可能是为了抑制竞争、制造热度、向投资者展示优势等。例如，有人认为这可能是为了让竞争对手失去尝试的动力，也有人觉得是为了制造轰动效应。 然而，也有人相信 OpenAI 没有作弊，因为这样做不符合其长期利益，一旦被发现会对其声誉造成极大损害。

总的来说，这场关于 OpenAI 与 FrontierMath 数据集的讨论充满了争议和不同观点，反映了人们对人工智能发展中公平性和透明度的关注。