原贴链接

此为一张图片链接（https://llminfo.image.fangd123.cn/images/ys8y5ndtu6le1.png!/format/webp），无实质可翻译的文本内容

讨论总结

这是一个关于Sonnet 3.7新的LiveBench结果的讨论。大家讨论了Sonnet 3.7在排行榜上的表现、与其他模型的比较、模型在编码、推理等方面的能力，也有对结果真实性的看法，既有对不同模型性能的肯定，也有对某些模型存在问题的指出，整体氛围比较活跃且存在多种观点碰撞。

主要观点

  1. 👍 Sonnet 3.7在Aider排行榜上领先Sonnet 3.5
    • 支持理由：TheActualStudy提到相关数据表明3.7比3.5领先。
    • 反对声音：无。
  2. 🔥 Claude对于编码项目来说表现不佳
    • 正方观点：GodComplecs认为Claude在自己做的很多全栈项目中总是最差且容易失控。
    • 反方观点：FUS3N认为Claude在编码方面长期以来是最好的，只要开发者理解自己的代码库，就能很好地进行提示操作。
  3. 💡 原始模型强度可能已达极限，应更高效利用模型
    • 支持理由：Roshlev感觉在原始模型强度方面似乎已经达到极限，所以提出需要更高效地使用这些模型。
    • 反对声音：SpecificTeaching8918不同意达到极限的观点，以o1到o3的发展为例说明模型一直在进步。
  4. 👍 Sonnet 3.7在测试中比o1 pro和o3 mini high表现好
    • 支持理由：teachersecret在自己的测试中发现Sonnet 3.7比o1 pro和o3 mini high要好很多。
    • 反对声音：无。
  5. 🔥 对未经验证的结果表示不信任
    • 正方观点：jd_3d表示在未经独立验证之前不会相信结果。
    • 反方观点：无明确反对观点。

金句与有趣评论

  1. “😂 TheActualStudy：Aider leaderboard shows 3.7 being 8.8 percentage points ahead of 3.5 (and 23% more tokens needed) for the polyglot leaderboard.”
    • 亮点：用数据直接表明Sonnet 3.7在排行榜上领先Sonnet 3.5的情况。
  2. “🤔 GodComplecs：Not to rain on your Anthropic (glazing) parade, but in general Claude is garbage for coding projects.”
    • 亮点：直接表达对Claude在编码项目上的负面看法。
  3. “👀 Paradigmind：Nice try Mr. Altman..”
    • 亮点：疑似嘲讽的话语，引起了后续的争论。
  4. “😂 coder543：Clause 3.5 Sonnet generated about 85 tokens per second according to Artificial Analysis… 64k tokens would be 12 minutes for a single response. 128k would be 24 minutes. Not much “live” about these latencies.”
    • 亮点：通过计算说明在一定条件下不太符合“实时”概念。
  5. “🤔 Thomas - Lore：It got low score with thinking disabled, with thinking enabled it did ok, worse than the others but ok.”
    • 亮点：解释了Sonnet 3.7在不同思考功能状态下分数的情况。

情感分析

总体情感倾向比较复杂，既有积极正面的评价，如对Sonnet 3.7新结果的肯定、对某些模型表现的赞赏；也有负面的评价，如对Claude在编码项目上的否定。主要分歧点在于对不同模型性能的评价上，例如Claude在编码方面到底好不好，以及原始模型是否已经达到极限。可能的原因是大家使用模型的场景、目的以及对模型的期望不同。

趋势与预测

  • 新兴话题：Qwen模型在Claude上的训练以及Qwen3的发展可能会成为后续讨论的话题。
  • 潜在影响：对人工智能模型在不同领域的应用、评估以及模型之间的竞争格局可能会产生影响。

详细内容：

标题：新 LiveBench 结果引发热议，Sonnet 3.7 表现抢眼

近日，Reddit 上一则关于新 LiveBench 结果的帖子引发了广泛关注。该帖子称 Sonnet 3.7 在推理方面位居榜首，且也是顶级的非推理模型。此帖获得了众多点赞和大量评论。

主要讨论方向包括 Sonnet 3.7 与其他模型在编码、性能、应用场景等方面的比较。核心问题在于 Sonnet 3.7 的实际表现是否真如数据所示那般出色，以及其在不同领域的适用性。

有人表示：“Aider 排行榜显示 3.7 比 3.5 领先 8.8 个百分点（且需要多 23%的令牌），用于多语言排行榜。编码是我给 Anthropic 钱的原因，所以这看起来总体是积极的。”

有人认为：“（大多数）消费者：给我们更好的 3.5 Sonnet！Anthro：好的，这是模型但更好。这很容易。”

但也有人吐槽：“不是要泼 Anthropic 的冷水，但总的来说 Claude 对于编码项目就是垃圾。我做了很多全栈项目，它总是最差的，还偏离轨道。我一直想知道为什么在 Reddit 上它被推荐这么多，甚至基本的 ChatGPT 3.5 都更好……更别提 R1 或本地 Qwen 32b 了。”

还有人提到：“完整列表在这里：https://livebench.ai/。他们在评估中使用了 64k 思维令牌。不确定他们是否会用 128k 最大值重新尝试，但我很有兴趣看看这是否能提高分数。”

有人分享了个人经历：“我刚在一个全新的项目上花了一两个小时，同时修改和扩展了一个现有的项目。这是真的厉害。整个过程只有一个错误，而且是个愚蠢的导入问题，它很快就纠正了。”

关于 Sonnet 3.7 的讨论存在诸多争议点。有人认为其在某些方面表现卓越，有人则对其性能持保留态度。共识在于大家都期待看到更多关于该模型的独立验证和实际应用效果。

总之，关于 Sonnet 3.7 的讨论展现了大家对新技术的关注和期待，也反映了在模型评估和应用中的多样性观点。