原贴链接

我们经常看到比较用于‘编码’的大型语言模型（LLM）的帖子。我的印象是，它们主要在NodeJS和Python上进行测试。你在特定编程语言的大型语言模型方面有什么经验呢？例如，我的经验是ChatGPT在编写shell脚本方面表现惊人，但在Golang方面却严重落后。另外，我特别想听听是否有人有过比较用于编写复杂PHP代码的模型的经验？特别是涉及复杂PHP库时，就连Claude似乎也表现得很糟糕。中国的（Qwen2.5）模型在处理PHP方面会更好吗？因为在中国，对于复杂代码而言，它比西方的模型更占优势。

讨论总结

原帖询问特定编程语言的大型语言模型（LLMs）相关经验，评论者们分享了不同LLMs在各种编程语言中的表现，如ChatGPT在Shell脚本表现好但在Golang差、Claude在Python比ChatGPT好但在一般性聊天表现差等。还提到了模型存在的问题，如LLMs预训练数据的库版本问题、AI编码助手生态原始等，整体氛围是理性地分享经验和观点。

主要观点

  1. 👍 LLMs的预训练数据中库版本范围广易导致生成过时代码。
    • 支持理由：LLMs通常基于从很旧到很新的库版本混合数据预训练，容易生成过时内容。
    • 反对声音：无
  2. 🔥 Claude在编码方面优于ChatGPT。
    • 正方观点：评论者在Python等语言编程任务中发现Claude表现更好。
    • 反方观点：有观点认为ChatGPT在Shell脚本方面很棒。
  3. 💡 特定编程语言的熟练程度取决于训练数据量。
    • 解释：这一观点简单直接地将语言熟练程度和训练数据量关联起来解释LLMs表现差异。
  4. 👍 Qwen Coder在PHP编码方面比Claude更好。
    • 支持理由：经常编写PHP代码的评论者亲身体验Qwen Coder表现更好。
    • 反对声音：无
  5. 🔥 ChatGPT 4O在高级编码任务上不可完全依赖。
    • 正方观点：审查Python脚本时给出错误审查点等情况证明不可靠。
    • 反方观点：在编码前发现思路漏洞等方面有帮助。

金句与有趣评论

  1. “😂 LLMs are usually trained on a soup of library versions from very old to very new (at the time the pre - training data was collected).”
    • 亮点：形象地描述了LLMs预训练数据中库版本新旧混杂的情况。
  2. “🤔 Llama3.1 - Nemotron - 70B Instruct comes in second place when those filters are applied. What?”
    • 亮点：表达出对Llama3.1 - Nemotron - 70B Instruct排名的惊讶。
  3. “👀 Chatgpt then provides me with updated code where all dict operations (access and insert) are each rapped with asyncio locks, making the code more complex and introduced slower performance overall.”
    • 亮点：具体举例说明ChatGPT 4O审查代码时出现的问题。

情感分析

总体情感倾向较为中立客观。主要分歧点在于不同模型在不同编程语言上的表现优劣，如Claude和ChatGPT在编码、聊天方面的表现。可能的原因是大家使用场景和需求不同，以及模型本身特性的差异。

趋势与预测

  • 新兴话题：是否会有专门针对新编程语言或小众编程语言优化的LLMs出现。
  • 潜在影响：如果能有更好的针对特定编程语言的LLMs，可能会提高对应编程语言的开发效率，对软件开发行业的分工和发展产生一定影响。

详细内容：

标题：关于特定编程语言的LLMs的热门讨论

在Reddit上，有一篇题为“LLMs for specific programming languages”的帖子引起了广泛关注。该帖子指出，人们在比较“编码”方面的LLMs时，主要测试的是NodeJS和Python，并分享了自身使用ChatGPT处理shell脚本效果极佳，但在Golang方面表现不佳的经历，还希望了解大家对于复杂PHP代码模型的比较经验，以及探讨中国的（Qwen2.5）模型在处理PHP上是否更出色。此帖获得了众多点赞和大量的评论。

讨论的焦点主要集中在以下几个方面： 有人认为LLMs存在的问题有三方面：一是训练数据包含不同版本的库，导致容易输出过时代码；二是一些老语言开源生态系统丰富，新语言则因在线资源少而处于劣势；三是AI编码助手生态仍很初级，通用系统只能解决简单编码问题。 有用户分享了相关的基准测试链接，比如https://www.reddit.com/r/LocalLLaMA/comments/1clfahu/we_benchmarked_30_llms_across_26_languages_using/和https://prollm.toqan.ai/leaderboard。 有人表示个人不太依赖GPT模型完成高级编码任务，比如ChatGPT在处理某些任务时会增加不必要的复杂性和降低性能，还举了一些具体的例子，如在Python中添加不必要的锁等，但也认为它在找编码思路的漏洞等方面很有用，可以当作编程伙伴。 有人称自己在PHP编码中，Qwen Coder比Claude表现更好。还有人对比了不同模型在多种编程语言中的表现。

在这些讨论中，大家的共识是当前LLMs在特定编程语言的处理上还存在各种问题和不足，但也有一定的帮助和优势。特别有见地的观点是指出了LLMs存在的问题根源，以及对不同模型在不同语言中的表现有细致的观察和分享。

总之，这次关于特定编程语言的LLMs的讨论，让我们更清楚地看到了当前技术的现状和挑战，也为未来的发展提供了更多思考的方向。