原贴链接

帖子仅提供了一个网址，无实质可翻译内容

讨论总结

整个讨论围绕新旧Sonnet的性能展开。有观点认为旧Sonnet在LiveCodeBench上表现更好，也有人觉得新Sonnet在某些方面（如对业余编码者）更优。大家从不同的角度，如个人使用体验、不同难度问题处理、速度等方面进行评价，同时也涉及到其他模型如o1 - mini在不同测试中的表现差异，以及一些关于模型算法的讨论，整体氛围比较理性且多元😉

主要观点

  1. 👍 旧Sonnet 3.5在LiveCodeBench上表现优于新Sonnet
    • 支持理由：有多人根据个人使用体验或早期发现得出，如no3ther称编码是核心用例且旧版表现更好，还有人早有发现只是怕被反对不敢发声
    • 反对声音：有观点认为新Sonnet更好，如Temsirolimus555表示新Sonnet对自己这个业余编码者远超旧Sonnet，estebansaa也觉得新版本更好
  2. 🔥 新Sonnet有好有坏
    • 正方观点：Zaratsu_Daddy觉得新Sonnet在某些方面比旧的更令人印象深刻，knvn8指出新Sonnet擅长编写代码，ObnoxiouslyVivid认为新Sonnet在简单问题上表现更好，还有人提到新Sonnet速度有所提升
    • 反方观点：Zaratsu_Daddy称新Sonnet在某些方面比旧的更愚蠢，knvn8表示新Sonnet不擅长反思编写的代码是否正确，ObnoxiouslyVivid指出新Sonnet在中等难度问题上表现更差，有评论者感觉新Sonnet在编码使用中性能变差
  3. 💡 不同模型在不同测试中的表现受多种因素影响
    • 对于o1 - mini在LiveCodeBench测试中表现优异却在Aider排行榜排名低，ObnoxiouslyVivid解释是因为o1被训练用于一次性解决问题，而Aider排行榜是关于编辑现有代码文件
  4. 💡 模型性能比较取决于任务内容
    • 不能单纯依据一种测试判定模型优劣，如某评论者提到不清楚测试项目，但认为不同任务下Sonnet、ChatGPT、Haiku模型表现各有差异
  5. 💡 新版本存在准确性问题导致回滚升级
    • 有使用者因为新版本准确性问题回滚了升级操作

金句与有趣评论

  1. “😂 Thank god someone bought this up, i realised this the first day but was scared of being bombarded by downvotes by hype bros in the beginning lol”
    • 亮点：反映出在该产品性能比较方面存在不同看法，且有人因害怕被追捧者反对而不敢表达自己观点
  2. “🤔 I find that it’s good at writing code but bad at reflecting on whether it’s writing the right code.”
    • 亮点：准确指出新Sonnet在编写代码方面的优缺点
  3. “👀 OpenAI coincidentally released a product called Swarm right around the o1 releases. The o1 models clearly have ‘something’ in them that is allowing them to straight up massacre every other model in existence on coding metrics.”
    • 亮点：提出关于OpenAI产品发布的巧合以及o1模型在编码指标上表现卓越的观点，引发关于模型背后技术的讨论
  4. “😉 Yeah, we rolled back our upgrade after issues in accuracy for the new version”
    • 亮点：表明新版本存在准确性问题并采取了回滚升级的措施，是对新版本的一种负面反馈
  5. “🤔 It depends on task, I do not know what they test. I found sonnet super impressive. chatgpt also does well. Haiku made errors, not impressed.”
    • 亮点：强调模型性能比较与任务内容相关，且对不同模型有不同评价

情感分析

总体情感倾向比较复杂，既有对旧Sonnet的怀念和认可，也有对新Sonnet的肯定。主要分歧点在于新旧Sonnet的性能对比，以及不同模型在不同测试中的表现差异。可能的原因是大家使用模型的场景、目的以及个人对性能的评判标准不同，例如业余编码者和专业使用者的需求和感受就存在差异🧐

趋势与预测

  • 新兴话题：关于模型需要更精确提示的讨论可能会引发后续如何更好使用模型的讨论，如如何构建有效的提示来提升模型性能。
  • 潜在影响：对模型开发者来说，用户在性能方面的反馈可能促使他们改进模型，在测试方面也可能促使他们优化测试内容以更准确反映模型性能，对于使用者来说有助于他们根据自己的需求选择合适的模型版本。

详细内容：

标题：《发布两周后，旧版 Sonnet 3.5 在 LiveCodeBench 上仍胜过新版》

在 Reddit 上，一个关于 Sonnet 版本性能对比的讨论引发了众多网友的关注。原帖包含一张展示不同模型性能指标的表格图片，链接为：https://i.redd.it/555pp83mcdzd1.png 。该帖获得了大量的点赞和评论，主要围绕着新版 Sonnet 3.5 和旧版 Sonnet 在不同任务中的表现展开。

讨论焦点与观点分析： 有人认为新版 Sonnet 在某些方面令人印象深刻，而在某些方面又很愚蠢。还有人指出新版 Sonnet 擅长写代码，但不善于思考所写代码是否正确。有人表示新 Sonnet 3.5 在简单问题上表现更好，在中等难度问题上表现较差。也有人说自己的问题都是简单问题，所以觉得自己是“赢家”。有人称编码是其核心的 LLM 使用场景，根据个人使用经验，旧版 Sonnet 表现更好。有人因新版准确率问题而回滚了升级。还有人觉得 OpenAI 发布的产品可能有特殊之处，认为研究其背后的原理很重要。有人喜欢新版 Sonnet 的个性，觉得更有趣、更亲切。也有业余编码爱好者认为新版对自己来说很棒，但有人在复杂任务中因新版而感到挫败。有人觉得新版速度虽有提升，但实际表现不佳。有人讨厌新版 Sonnet 发送表情符号。

讨论中的共识是不同版本的 Sonnet 在不同任务和场景中的表现存在差异。特别有见地的观点如有人认为 OpenAI 产品可能有独特的训练方式和秘密“配方”，丰富了讨论的深度。

总的来说，关于 Sonnet 不同版本的性能讨论十分热烈，不同用户根据自身经历和需求有着不同的看法，这也反映了模型性能评价的复杂性和多样性。