原贴链接

嘿，大家好。我在工作时会使用GitHub Copilot，虽然在VSCode中使用它来编写一些单元测试很不错，但我发现与Claude或ChatGPT相比，在任何编码任务中它都相当没用。我想知道大家认为在我的48G M3设备上用Ollama运行哪个模型最好，性能要比Copilot好。重点主要是编程方面，所以我对这方面更感兴趣。我看到了所有关于Qwen和Deepseek的帖子，但我不知道如何在上述设置中运行它们。谢谢！

讨论总结

原帖寻求在48G M3 Mac上运行且性能优于Copilot的最佳编码LLM模型，重点在编程方面。评论者们积极回应，主要围绕Mac的内存管理（如显存占用比例及可修改性）展开，针对不同内存配置（如48GB、32GB）和编程任务（如Swift编程、Web开发）推荐了不同的模型，像Qwen2.5系列、Gemma 2 27B、Codestral 22B以及Deepseek coder系列，整体氛围是技术交流与分享。

主要观点

  1. 👍 Mac内存分配情况影响可运行的模型
    • 支持理由：Mac显存占用内存比例高，影响剩余可用内存来运行模型，不同的内存分配影响模型选择。
    • 反对声音：无
  2. 🔥 针对48GB内存的Mac M3推荐Qwen2.5 32b Coder
    • 正方观点：在修改显存后，48GB内存可较好运行该模型，性能较优。
    • 反方观点：无
  3. 💡 根据编程任务类型选择不同的模型
    • 解释：不同编程任务（如Swift和Web开发）对模型有不同要求，所以要选择合适的模型。
  4. 💡 Gemma 2 27B适合48G内存且性能较好
    • 解释：该模型能适配48G内存并且可以满足原帖作者对性能优于Copilot的需求。
  5. 💡 Deepseek coder系列可能在该设备上运行且性能较好
    • 解释：在原帖作者提到看到关于Deepseek的帖子却不知如何运行的情况下，推荐该系列可能符合需求。

金句与有趣评论

  1. “😂 Mac’s use about 60% of their total RAM as VRAM, so you should have somewhere in the range of 28GB without modification.”
    • 亮点：直观地指出Mac内存显存占用情况，让读者快速了解Mac内存使用特点。
  2. “🤔 The Qwen2.5 14b Coder is the next step down, and honestly it’s really impressive.”
    • 亮点：对Qwen2.5 14b Coder给出正面评价，为他人提供参考。
  3. “👀 The rule of thumb that I’ve always followed is that unless the difference between the smaller model and bigger model is huge, I’d prefer a smaller q8 than a bigger q4.”
    • 亮点：分享模型量化位选择的经验原则。
  4. “😎 For Swift I use: Qwen2.5 - coder 32B MLX Q4 with 16K context, Qwen2.5 - coder 14B MLX Q8 with full context.”
    • 亮点：针对Swift编程具体推荐了可使用的模型及参数。
  5. “👍 Gemma 2 27B should be a good option, and fit in your RAM nicely”
    • 亮点：明确推荐Gemma 2 27B并指出能适配原帖作者的内存。

情感分析

总体情感倾向为积极，大家都在积极分享自己的知识和经验，为原帖作者提供解决方案。主要分歧点较少，可能是因为大家都专注于技术交流，目的是解决原帖作者关于在特定设备上寻找最佳编码LLM模型的问题。

趋势与预测

  • 新兴话题：可能会有更多关于不同编程任务与模型性能优化的讨论。
  • 潜在影响：有助于其他有类似需求（在Mac上寻找合适编码LLM模型）的用户做出更好的选择，推动相关模型在Mac环境下的应用探索。

详细内容：

标题：探索 Mac M3 48G 上的最佳编码 LLM

在 Reddit 上，有一个热门讨论帖引起了众多关注。帖子作者称在工作中使用了 GitHub Copilot，虽然在 VSCode 中写单元测试时不错，但在编码任务上觉得它远不如 Claude 或 ChatGPT 有用，想知道在自己拥有 48G M3 的情况下，配合 Ollama 运行哪个模型性能会比 Copilot 更好，重点在于编程方面。此帖获得了大量点赞和众多评论。

讨论的焦点主要集中在不同模型的性能和适用场景。有人指出，Mac 会使用约 60%的总内存作为 VRAM，未修改的情况下，大概会有 28GB 可用。还提供了修改总量的命令链接，通过这种方式能将 VRAM 提升到 36GB，这样就可以运行 Qwen2.5 32b Coder 这个最佳本地编码模型。有人表示即使在 192GB 的 Mac Studio 上，也仍运行这个 32b 编码模型。同时也提到 Qwen2.5 14b Coder 也是不错的选择，在电池电量有限时表现出色，客观上 32b 更好，但差异并非想象中那么大。还有人日常在 M2 Max 32GB 上使用 Qwen2.5 - coder 32B，建议将上下文限制在 16K 以获得更好体验。有人是编码新手，询问相关操作是否如创建特定的 ModelFile 并运行特定命令那么简单，得到了肯定的答复。

此外，有人分享了自己在不同场景下使用的具体模型，如在 Web 开发中使用 Codestral 22B Q4 到 Q6。也有人提出 Gemma 2 27B 是个不错的选择，还有人提到可能 DeepSeek 编码系列也值得考虑。

总的来说，对于 Mac M3 48G 上的最佳编码 LLM，大家各抒己见，提供了丰富的参考和建议。但最终选择哪个模型，还需根据个人需求和实际体验来决定。