原贴链接

嗨，正在寻找一个较新的、参数在700亿或以下的代码模型。一直在找能在几块A100（显卡）上运行的好东西。过去我用过CodeLlama、DeepSeek Coder等。最近有人在用特别好的（工具）吗？

讨论总结

原帖寻求70B参数或更少、能在A100设备上运行的本地代码生成模型，众多评论者推荐了不同的模型，如Llama 3.1 70B、Qwen 2.5系列、Mistral Large等，并且对这些模型的性能、推理能力、是否遵循指令等方面进行比较和讨论，同时还涉及到Perplexity是否可用于编码的争议，整体讨论氛围较为理性、平和。

主要观点

  1. 👍 700亿参数范围无特定代码模型。
    • 支持理由：评论者指出自己了解的情况如此。
    • 反对声音：无。
  2. 🔥 Llama 3.1 70b和Qwen 2.5 72b在代码训练方面表现佳且推理能力好。
    • 正方观点：它们在训练中接触大量代码，实际表现不错。
    • 反方观点：无。
  3. 💡 Mistral Large在123b时若满足条件是很好的选择。
    • 解释：有足够显存且不介意许可证时效果较好。
  4. 💡 Qwen 2.5 72B是被低估的模型。
    • 解释：推荐者认为它是不错的模型但未被重视。
  5. 💡 不同工具适用于不同场景，如隐私相关的专有代码库场景应使用本地LLM。
    • 解释：考虑到隐私等因素得出该结论。

金句与有趣评论

  1. “😂 There aren’t any code specific models in the 70b range, but both the latest Llama 3.1 70b and Qwen 2.5 72b have seen a lot of code in their training and they’re really quite good and have better reasoning.”
    • 亮点：简洁概括70B参数范围的情况并推荐两个表现好的模型。
  2. “🤔 If you can squeeze Mistral Large in there, though, it’s a big step up in quality from both of those”
    • 亮点：强调Mistral Large相比其他模型质量上有很大提升。
  3. “👀 I DID NOT. PROPOSE. PERPLEXITY. AS. A. SOLUTION. READ. I said the convenience I’m getting with Perplexity should be a baseline for whatever solution you find.”
    • 亮点：原评论者对误解的强力反驳并明确自己的观点。

情感分析

总体情感倾向是积极理性的。主要分歧点在于Perplexity是否可用于编码，可能的原因是大家对工具的功能定位理解不同，有些人从它本身功能出发认为不能用于编码，而有些人从自身使用便利性等方面认为可以作为一种参考基准。

趋势与预测

  • 新兴话题：Qwen 2.5系列模型的进一步测试和评估。
  • 潜在影响：对代码生成领域的模型选择和应用产生影响，帮助人们更好地根据需求选择合适的代码模型。

详细内容：

标题：当下人们用于本地代码生成的工具

在 Reddit 上，有一个题为“ What are people using nowadays for local code generation?”的热门帖子引发了广泛讨论。该帖子的作者表示正在寻找一个参数在 70B 或以下的最新代码模型，且能在几台 A100 上运行，过去曾使用过 Codellama、deepseek coder 等。此贴获得了众多关注，评论数众多，主要的讨论方向集中在各种代码模型的优劣和适用场景。

讨论焦点与观点分析： 有人提到，虽然在 70B 范围内没有特定的代码模型，但最新的 Llama 3.1 70b 和 Qwen 2.5 72b 在训练中接触了大量代码，表现相当不错，推理能力更强。而且，还有 Mixtral Large ，其参数为 123b，如果有足够的 VRAM 且不介意许可，也是个很好的选择。 有用户称 Llama 3.1 70B 不错，也听说 Qwen 2.5 72B 很好但自己未亲身体验。还有用户表示自己没发现 Mistral Large 比 Qwen 2.5 72b 更好，且是通过 mistral.ai 使用的。有人好奇 Qwen 是不是真有那么好，表示要试一试。 有人认为 Qwen 2.5 72B 不错但在指令方面有自己的想法，而自己使用的 Mistral Large 2 更听话。也有人觉得 Qwen 2.5 72B 是被低估的模型之一，还分享了在 Claude sonnet 执行相同任务失败时，Qwen 2.5 72B 却能成功的经历。 有人提到 Qwen2.5:32b 速度快，对于 50%的任务表现良好。 有人表示自己使用 Perplexity，因为它免费、快速、能访问给定链接，自己也能修复代码错误。但有人反驳说 Perplexity 并非专为编码设计，而是信息检索引擎，编码只是副作用，不如用 ChatGPT。也有人认为从某种角度看，都应该用 ChatGPT，因为在多数情况下它优于本地模型。还有人指出，如果处理专有代码库，出于隐私原因会选择本地 LLM，很多公司不允许在处理其代码库时使用公共 LLM。

在这场讨论中，大家各抒己见，对于不同代码模型的看法存在明显分歧。但也有共识，即都在积极寻找适合自己需求的本地代码生成工具。其中一些独特的观点，如基于特定需求和场景来选择工具，丰富了整个讨论。