原贴链接

有没有一个LLM可以轻松运行在（中高端）家用PC上，用于辅助编程？我考虑的是Python和/或C/C++。（如果能处理Verilog那就更好了，但可能只是奢望…）也就是说，向LLM提出生成一个特定任务的函数，然后它生成该函数。之后代码会被手动检查和调整，我知道让AI尝试为一个完整的应用程序编写代码存在很多陷阱。

我是AI开发的新手，但我有一台家用服务器/工作站，配备320GB内存，2x E5-2697 v2，以及3060 Ti 8GB。运行Stable Diffusion效果很好，我假设有限的VRAM对LLM来说会是一个很大的限制因素，但对于一个低成本的初学者设置来说，性能并不是那么高的优先级。

讨论总结

本次讨论主要围绕在家庭PC上运行大型语言模型（LLM）以辅助编程展开。参与者推荐了多个适合在CPU和GPU上运行的模型，如Codestral、Qwen2.5 Coder、DeepSeek Coder Lite等，并强调了选择合适的推理引擎的重要性。讨论中还涉及了硬件升级的建议，特别是增加VRAM以提升性能。此外，推荐了一些用于编程的UI工具，如aider、continue.dev和cursor.sh。总体上，讨论氛围积极，参与者分享了丰富的经验和实用建议。

主要观点

  1. 👍 3060 Ti的VRAM对于LLM来说可能不足
    • 支持理由：建议考虑二手市场的3090等更高VRAM的GPU。
    • 反对声音：无。
  2. 🔥 推荐多个适合在CPU和GPU上运行的模型
    • 正方观点：如Codestral、Qwen2.5 Coder、DeepSeek Coder Lite等。
    • 反方观点：无。
  3. 💡 选择合适的推理引擎至关重要
    • 解释：提供了相关模型的链接和量化信息，强调了推理引擎在性能和效率上的重要性。
  4. 👍 增加VRAM以提升LLM的性能
    • 支持理由：建议增加VRAM以提升性能，特别是对于编程任务。
    • 反对声音：无。
  5. 🔥 推荐使用aider、continue.dev和cursor.sh等UI工具
    • 正方观点：这些工具可以辅助编程，提升开发效率。
    • 反方观点：无。

金句与有趣评论

  1. “😂 Calcidiol：That 3060 is anemic in comparison to the rest.”
    • 亮点：形象地描述了3060 Ti的VRAM不足问题。
  2. “🤔 DepartureOk2990：Try the new Qwen2.5 coder instruct model. It is only 7B and the Q6 should fit.”
    • 亮点：推荐了一个体积小且性能良好的模型。
  3. “👀 Normal-Ad-7114：Try to upgrade this to a 3090 (or at least something with 16gb), and you’ll have a much broader choice”
    • 亮点：强调了硬件升级的重要性，特别是显卡的选择。
  4. “😂 vert1s：The big limiting factor is also the context size.”
    • 亮点：指出了上下文大小对模型性能的影响。
  5. “🤔 AkkerKid：But I’m hoping there’s a similar extension that can use a local LLM instead.”
    • 亮点：表达了对于本地LLM使用的期待。

情感分析

讨论的总体情感倾向积极，参与者普遍认为在家庭PC上运行LLM进行编程辅助是可行的，并分享了丰富的经验和实用建议。主要分歧点在于硬件配置的选择，特别是VRAM的大小和显卡的升级。可能的原因是不同用户对性能和成本的权衡不同。

趋势与预测

  • 新兴话题：本地LLM的使用和推理引擎的选择。
  • 潜在影响：随着LLM技术的普及，未来可能会有更多针对家庭PC优化的模型和工具出现，进一步推动编程辅助技术的发展。

详细内容：

《家庭电脑能否运行 LLM 辅助编程？Reddit 热议不断》

近日，Reddit 上一则关于“LLM 在家庭电脑（中高端）上运行以辅助编程”的帖子引发了广泛关注，获得了众多点赞和大量评论。原帖作者询问是否存在适用于 Python、C/C++，甚至 Verilog 编程辅助的 LLM，且表示自己拥有配置不错的家庭服务器/工作站，包括 320GB 内存、2 个 E5-2697 v2 处理器和 8GB 的 3060 Ti 显卡。

讨论焦点主要集中在各种可行的 LLM 模型及硬件配置建议上。有人指出，相比其他硬件，3060 显卡在这方面显得较弱，二手市场上 24GB 的英伟达显卡如 3090 会是不错的增强选择。还有人提到像 codestral（22B 参数大小）这样的模型在具有更多 VRAM 的 GPU 或使用能在 GPU 和 CPU 间分配工作的推理引擎（如 llama.cpp）的 CPU 上能运行良好。Qwen2.5 coder 是个不错的考虑，在 CPU 或借助 CPU RAM 分担 KV 缓存等的 GPU 上能运行较好。Deepseek coder lite 也是个约 16B 参数大小的 MoE 模型，在 CPU/RAM 上应该能正常运行。对于有充足内存的情况，像 deepseek v2.5 这样的大型 MoE 模型也可以尝试。

有人分享自己对不同编程辅助工具的使用体验，比如有人喜欢 cursor，但吐槽其离线使用的问题；也有人称赞 aider.chat 非常出色；还有人提到 Zed 编辑器有很好的 Ollama 支持。

有用户建议尝试新的 Qwen2.5 coder instruct 模型，还提到 yi-coder 以及通过增加 VRAM 来提升性能等。

关于模型选择，有人提到 codegeex4-all-9b 在 Q4 下可能适合 GPU 的 VRAM，Deepseek Coder V2 Lite 是 16B，需要在 CPU 和 GPU 间分配层，但速度可能与 7B 到 9B 的模型相差不大。也有人指出上下文大小是个重要限制因素。

有人询问大家如何将编程编辑器与 LLM 进行交互，有人提到在 Visual Studio 中使用 CoPilot 并分享了相关费用，也有人推荐了 Continue 扩展和 Cody Pro 等工具。

在这场讨论中，大家对于不同模型和工具的适用性各抒己见，但也存在一定的共识，即硬件配置和模型选择需要根据具体需求和使用场景来综合考虑。究竟如何在家庭电脑上搭建适合编程辅助的 LLM 环境，仍需根据个人情况不断探索和尝试。