原贴链接

帖子仅包含一个图片链接，无实质内容可翻译

讨论总结

主题围绕Deepseek V3 0324在SWE - Bench中得到38.8%的结果展开。在评论中，有对模型分数在不同调用情况下差异的关注并希望进行合理比较，还探讨了不同模型组合的效果，如Gemini 2.5和DeepSeek V3组合，对多个模型如Gemini 2.5 Pro、QwQ - 32b、Gemma3、codestral的编码能力等进行了分析，也有提供相关信息来源的，整体讨论氛围理性，大家各抒己见。

主要观点

  1. 👍 关注o1不同调用情况下分数差异
    • 支持理由：为了进行合理的模型比较
    • 反对声音：无
  2. 🔥 Gemini 2.5和DeepSeek V3组合强大
    • 正方观点：两者可以相互协作发挥优势
    • 反方观点：无
  3. 💡 SWE - Bench是编码工作负载最可靠的基准
    • 解释：可作为衡量模型与编码助手配合程度的指标
  4. 💡 QwQ - 32b在代码生成方面是最佳模型但性能某方面令人失望
    • 解释：在代码补全方面存在问题影响整体性能
  5. 💡 Deepseek - v3 - 0324版本改进值得欢迎
    • 解释：相比之前版本有进步

金句与有趣评论

  1. “😂 With function calling, o1 scores 47%, but with non - function calling, it scores only 28.8%.”
    • 亮点：直观呈现o1在不同调用下的分数差异
  2. “🤔 I’m thinking Gemini 2.5 as Architect and DeepSeek V3 as Coder is going to be a damned potent combo.”
    • 亮点：提出一种新的模型组合构想
  3. “👀 SWE - Bench is the most reliable benchmark for coding workloads, in my opinion.”
    • 亮点：表达对SWE - Bench在编码工作负载中地位的看法
  4. “😉 I am a bit disappointed from the performance of QwQ - 32b, although is to be expected if you check the low score on coding completion from livebench.”
    • 亮点：客观评价QwQ - 32b性能的优缺点
  5. “🤨 Gemma3 being above codestral for coding? not my experience.”
    • 亮点：以个人经验对普遍认知提出怀疑

情感分析

总体情感倾向较为理性客观。主要分歧点在于对不同模型性能的看法，如对Gemma3和codestral编码能力的不同观点，原因是大家基于不同的使用体验和评判标准。

趋势与预测

  • 新兴话题：不同模型组合发挥的潜力。
  • 潜在影响：可能影响用户对模型的选择，以及模型开发者对模型功能改进的方向。

详细内容：

标题：关于 Deepseek V3 0324 在 SWE-Bench 中的表现引发的 Reddit 热议

在 Reddit 上，一篇关于“Deepseek V3 0324 got 38.8% SWE-Bench Verified w/ OpenHands”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论。帖子主要围绕 Deepseek V3 0324 在 SWE-Bench 中的表现展开，引发了对于不同模型性能比较以及其在实际应用中的效果等方面的讨论。

讨论的焦点与观点分析如下：

有人指出，在有函数调用的情况下，某模型的 o1 分数能达到 47%，但没有函数调用时，分数仅为 28.8%，并表示希望了解其他模型在这种设定下的分数，以避免不恰当的比较。

有人提到，想看到 Deepseek V3 在特定技术问题下与其他模型的对比情况，并提供了相关链接：https://x.com/xingyaow_/status/1904623477958819864 。

有人认为 Gemini 2.5 作为架构师与 DeepSeek V3 作为编码员的组合将会非常强大。但也有人指出 Gemini 2.5 Pro 虽然在编码方面表现出色，但存在速率限制的问题。

有人表示，在他看来，SWE-Bench 是编码工作负载最可靠的基准，同时这个基准还能作为指示哪些模型与编码助手/代理配合良好的指标。

有人对 QwQ-32b 的性能感到有点失望，不过也认为在代码生成方面，QwQ-32b 是目前可用的最佳模型，如果 Qwen 团队能找到解决代码完成问题的方法，其在 SWE-Bench 中的分数也会提高。

有人对 Deepseek-v3-0324 相对于前一版本的改进表示非常欢迎，并对其推理模型的更新持乐观态度。

有人认为 QwQ 是一个小型模型，列表中的其他模型大多是商业的，或者需要昂贵的硬件。

有人指出，几乎任何设备都能运行这些模型，只是存在性能、成本和量化的权衡。

有人分享个人经历，表示 Gemma3 在编码方面高于 codestral 的情况与自己的体验不符。

在这场讨论中，大家对于不同模型的性能、应用场景以及发展前景存在着不同的看法和争议。但也达成了一定的共识，比如认可 SWE-Bench 作为可靠基准的重要性。一些独特而有见地的观点，如关于模型性能权衡的分析，丰富了整个讨论的内容。

通过这场热烈的讨论，我们可以更全面地了解不同模型在编码领域的表现和前景，也为相关研究和应用提供了更多的思考方向。