原贴链接

是否有人在本地使用开源模型（如Phi - 4 14B、Mistrall Small 24B、Qwen 14B、Deepseek Coder V2 Lite 16B）与诸如cline、cursor、RooCode、Pythagora等本地智能代码助手？你正在使用什么，使用体验如何？上次我检查Deepseek Coder 7B大约是一年前，当时它无法使用，想知道现在进展如何以及是否有人正在使用它？

讨论总结

这个讨论围绕本地大型语言模型（LLMs）与本地代理代码助手（如cline、cursor、RooCode等）的使用展开。大家分享了不同模型在代码相关任务中的使用体验，包括自动补全、代码重构等方面的表现，也提到了使用过程中遇到的一些问题，如模型循环、硬件限制影响运行等，同时还涉及到模型之间的对比以及对基准测试的看法，此外有少量低热度的无关提醒指令的评论。

主要观点

  1. 👍 使用Qwen Coder不同版本可满足代码相关需求
    • 支持理由：Sky_Linx表示Qwen Coder 14b/32b用于代码重构，3b用于自动补全，效果不错
    • 反对声音：无
  2. 🔥 qwen 14 Q6在合适量化下运行快且简洁
    • 正方观点：No - Plastic - 4640提到从自身使用情况看运行快且简洁
    • 反方观点：无
  3. 💡 小型本地模型要控制避免循环
    • 解释：评论者提到小型本地模型如果不控制会出现循环，如多数工具温度为0，小型本地模型需注意避免循环
  4. 💡 开启提示日志有助于了解工具给LLM的提示内容
    • 解释：有评论者强调开启提示日志的重要性，可以查看工具给LLM的提示
  5. 💡 AI不会取代开发者而是成为要求
    • 解释：No - Plastic - 4640提出这一观点，认为AI会成为开发者必备技能

金句与有趣评论

  1. “😂 Sky_Linx：I use Qwen Coder 14b/32b for code refactoring and Qwen Coder 3b for autocomplete with the Continue.dev extension for VSCode.”
    • 亮点：直接说出自己使用Qwen Coder不同版本进行不同代码任务
  2. “🤔 PermanentLiminality：One nice feature of continue.dev is the drop - down for selecting a model.”
    • 亮点：指出了continue.dev的一个实用功能
  3. “👀 Sky_Linx：I just switched back from the 7b version to the 3b version. The 7b version has a noticeable lag while typing, which isn’t there with the 3b version.”
    • 亮点：生动地描述了7b版本自动补全有延迟而3b版本没有的情况
  4. “😉 No - Plastic - 4640：AI will never replace devs, but will become a requirement, and part of interviews to be a proficient Accelerator.”
    • 亮点：提出了关于AI与开发者关系的独特观点
  5. “🤨 大多数这些工具使用的温度为0。小型本地模型需要加以控制以避免循环。”
    • 亮点：强调了小型本地模型使用中的注意点

情感分析

总体情感倾向比较中性客观，主要是在分享使用经验和看法。分歧点在于对本地开源模型配合本地代理代码助手是否值得，部分人认为存在很多漏洞不值得，部分人分享了较好的使用体验。可能的原因是不同人使用的模型、硬件环境、任务场景等不同。

趋势与预测

  • 新兴话题：对像Mistral Small 24B这样大模型在代码相关任务（如代码补全和找错）上表现的好奇，以及是否有人对模型做代码生成微调。
  • 潜在影响：如果更多人关注本地LLMs在代码辅助方面的应用，可能会推动相关模型在代码生成、补全和找错等功能上的优化，也可能促使更多人尝试不同模型或者对模型进行微调。

详细内容：

标题：关于本地 LLM 在代码辅助工具中的使用及体验探讨

在 Reddit 上，一则题为“Are you using local LLMs to power Cline, RooCode, Cursor etc.? What is your experience?”的帖子引发了热烈讨论。该帖获得了众多关注，评论众多。主要讨论的是大家在使用开源本地模型（如 Phi-4 14B、Mistrall Small 24B、Qwen 14B 等）与本地代码辅助工具（如 cline、cursor、RooCode 等）时的体验。

讨论焦点与观点分析： 有人表示使用 Qwen Coder 14b/32b 进行代码重构，用 Qwen Coder 3b 进行自动补全，认为效果不错但不如 Github Copilot 或 Cursor。还有人提到 Continue.dev 能选择模型，本地模型不行时能快速切换更强大的模型。有人使用 Qwen Coder 7b 进行自动补全，认为效果很好，但有短暂延迟。有人从 Qwen Coder 7b 版本切换回 3b 版本，因为 7b 版本输入时有明显延迟。

有人分享个人经历，如用 Qwen 2.5 coder 7b 在特定硬件下的表现，以及在处理一些复杂任务时的高效。也有人对比不同模型和量化方式的效果，认为量化方式影响很大。

对于不同工具的对比，有人认为 Roo Code 与 continue.dev 有差异，Copilot 内联编码还行但帮助不大。

有人指出小型本地模型需要控制以避免循环，不同模型在不同任务中的表现各有优劣。比如 Qwen2.5 - coder:32b 编辑时易循环，Deepseek coder v3 虽不如 Claude 但价格低仍值得尝试。

总的来说，大家对于本地 LLM 在代码辅助工具中的使用体验各异，模型的选择、性能、适用场景等都是讨论的重点。但也有人认为不值得使用，因其存在诸多 bug。