原贴链接

发布了一个新的基准测试（DPAB - α），用于评估Python和JSON方法中的大型语言模型（LLM）函数调用。结果表明，Python函数调用通常优于传统的基于JSON的方法，特别是在复杂的多步骤任务中。基准测试的主要发现：Claude 3.5 Sonnet在Python方法中达到87%，而在JSON中为45%；较小的模型（Dria - Agent - α - 3B：Python方法为72%）也显示出令人印象深刻的结果；甚至像DeepSeek V3（685B）这样的大型模型也显示出显著差异（Python方法为63%，JSON为33%）。基准测试网址：https://github.com/firstbatchxyz/function - calling - eval；博客网址：https://huggingface.co/blog/andthattoo/dpab - a。与该项目无关联，仅分享。

讨论总结

主题围绕新的DPAB - α基准测试中Pythonic函数调用优于JSON方法展开。主要观点包括Pythonic方法在多方面的优势、存在的问题、与JSON对比的不同角度、以及对测试本身的看法等。总体氛围是比较理性的技术讨论，大家从不同角度阐述自己的观点。

主要观点

  1. 👍 Pythonic函数调用在基准测试（DPAB - α）中在某些方面优于基于JSON的传统方法。
    • 支持理由：测试数据如Claude 3.5 Sonnet等模型的测试结果显示Pythonic调用的成功率更高。
    • 反对声音：无。
  2. 🔥 Pythonic方法虽性能好但存在问题，如情况模糊、安全风险等。
    • 正方观点：如在验证、解析和执行方式上JSON更直接，Python存在两种策略且各有问题。
    • 反方观点：部分人认为Pythonic在实际操作中构建原型速度快。
  3. 💡 新的基准测试中Pythonic方法优于JSON方法的现象令人费解，应更多使用形式语法和约束生成。
    • 解释：Pythonic表现好但评论者认为应更多采用形式语法等手段。
  4. 💡 Pythonic函数调用可能在未来几个月比JSON更受青睐。
    • 解释：根据之前类似逻辑的smolagents库推测。
  5. 💡 在数据提取方面，Python字典模式（带注释）比JSON模式更成功。
    • 解释：评论者分享自己的经验得出此结论。

金句与有趣评论

  1. “😂 So these llms like the taste of python better than js? neat.”
    • 亮点：以幽默的方式对测试结果提出疑问。
  2. “🤔 It’s python vs a specific JSON schema for function calling.”
    • 亮点：纠正Python与JSON对比的概念误区。
  3. “👀 I figured it likes python because there’s fewer tokens, easier to parse.”
    • 亮点：对Python表现好给出自己的推测。
  4. “😉 Educational_Gap5867：Btw can we once again take the time to appreciate Qwen 2.5 Coder 32B? It’s a fucking piece of art. It really is.”
    • 亮点：在关于Python和JSON的讨论中突然表达对其他模型的欣赏，较为特别。
  5. “🤨 I mean yeah think about how many programmers you know who’re in a stream of consciousness thought will suddenly start writing in json to understand somethings better? Most likely none.”
    • 亮点：从程序员思维习惯解释Pythonic方法表现好的合理性。

情感分析

总体情感倾向是中性的。主要分歧点在于Pythonic函数调用和JSON方法的优劣比较。支持Pythonic方法的人认为其性能好、未来可能更受青睐、构建原型快等；反对的人认为其存在诸多问题，如情况模糊、安全风险等，还认为JSON有改进空间不应被放弃。原因是大家从不同的技术角度、使用场景、个人经验等出发看待这两种方法。

趋势与预测

  • 新兴话题：对xmlnic方法进行评估可能成为新话题，以及如何改进JSON代理。
  • 潜在影响：可能影响LLM函数调用在实际应用中的方法选择，促使开发者重新审视Pythonic和JSON方法的使用策略，也可能影响相关工具和库的开发方向。

详细内容：

《Pythonic 函数调用在新基准测试中表现出色，引发 Reddit 热议》

最近，Reddit 上一则关于新的函数调用基准（DPAB-α）的帖子引起了广泛关注。该基准显示，在 LLM 函数调用方面，Pythonic 方法常常优于传统的基于 JSON 的方法，尤其是在复杂的多步骤任务中。此帖获得了众多点赞和大量评论。

讨论焦点主要集中在以下几个方面： 有人认为 Python 函数调用更具优势，因为普通 Python 函数语法对 LLMs 来说更容易，毕竟它们经过了数十亿行 Python 代码的训练，而特定的 JSON 函数调用语法在训练数据中占比不大。但也有人指出，传递多行字符串化的 Python 函数不如简单的 JSON 方便。

还有用户觉得 Python 受欢迎是因为其令牌更少，更易于解析。但也有人认为这与语言无关，关键在于语言需要支持动态和元编程。

一些有趣的观点如“所以这些 LLMs 比起 JavaScript 更喜欢 Python 的味道？真不错。”也引发了大家的思考。

对于安全性问题，有人认为 JSON 方法具有确定性，更安全，而 Pythonic 方法可能会产生任意代码，导致安全问题，因此需要沙盒。

一位用户分享了自己使用 smolagents 的个人经历，表示在几个小时内就构建了几个原型，但也发现了一些问题，比如单个代理流程令牌过多会导致成本较高。

在众多观点中，也存在不同意见。有人认为 Pythonic 方法存在诸多问题，比如需要约束解码、处理模块依赖困难等，没有理由放弃 JSON 方法。

总体而言，大家对于 Pythonic 方法在函数调用中的表现看法不一，既有对其优势的肯定，也有对潜在问题的担忧。未来究竟哪种方法会更受欢迎，还需要进一步的实践和观察。