原贴链接

谢谢！

讨论总结

这是一个关于在新MacBook Pro（48GB内存）上运行最佳编码大型语言模型（LLM）的讨论。大家纷纷推荐自己认为合适的模型，如Qwen 2.5 32b coder、Sonnet 3.5等，并对不同模型进行比较，还涉及模型的量化、运行速度、是否适合本地运行等问题，同时也有一些与工作相关的考量以及使用建议。

主要观点

  1. 👍 Qwen 2.5 32b coder可作为在新电脑上运行的编码LLM。
    • 支持理由：多人推荐，如有人提到QwenCoder2.5 32b是在该设备上能运行的最佳编码LLM。
    • 反对声音：有观点认为有其他更好的选择，如DeepSeek distilled可能更好。
  2. 🔥 Sonnet 3.5是更大的模型且只能通过API使用。
    • 正方观点：明确指出该模型的运行方式局限。
    • 反方观点：有人认为可以比较Sonnet 3.5和其他本地运行模型且Sonnet更好。
  3. 💡 14B模型在特定情况下有不错的表现。
    • 在新MacBook Pro的48GB内存下使用14B模型较好，能在运行LLM同时保证IDE、浏览器、容器等的正常运行。
  4. 🤔 本地运行模型具有隐私、长期可用性和离线使用等优势。
    • 强调本地运行在隐私等方面的好处。
  5. 😎 开源LLM社区需要与专有模型比较才能被重视。
    • 从社区发展的角度阐述比较的必要性。

金句与有趣评论

  1. “😂 Sonnet 3.5 is a far larger model which cannot run locally (you can only use AnthropIc’s APIs).”
    • 亮点：简洁地指出Sonnet 3.5不能本地运行的特性。
  2. “🤔 The benefit of local is it is private, will always be available exactly the same today as 20 years from now, and you can use offline.”
    • 亮点：清晰地阐述了本地运行的优势。
  3. “👀 I disagree with comparing a 32b parameter open weights local model capable of running on consumer hardware vs a 150 - 200b parameter closed weights model accessible through an API only.”
    • 亮点：表达了对不同类型模型比较的反对意见。
  4. “😎 I think the open LLM community needs to compare their models to exactly those proprietary models to be taken seriously.”
    • 亮点：提出开源LLM社区被重视的途径。
  5. “💡 QwenCoder2.5 32b is probably the best you can get, and try to get it at a higher quantization.”
    • 亮点：对QwenCoder2.5 32b给出量化建议。

情感分析

总体情感倾向积极，大家都在积极分享自己的观点和经验。主要分歧点在于不同模型的推荐以及模型之间是否有比较的意义，可能的原因是大家各自的使用场景、需求以及对模型的理解和体验不同。

趋势与预测

  • 新兴话题：关于不同量化情况下模型的实际表现可能会引发后续讨论。
  • 潜在影响：如果某些模型被证明在新MacBook Pro上表现优异，可能会影响该设备使用者在编码LLM方面的选择倾向。

详细内容：

标题：关于在新款 M4 MacBook Pro 上运行最佳编码 LLM 的热门讨论

在 Reddit 上，一则“Work just got me a shiny new m4 macbook pro with 48gb ram. What’s the best coding llm I can reasonably run on it?”的帖子引发了热烈讨论。此帖获得了众多关注，评论数众多。

讨论的主要方向集中在不同编码 LLM 模型在该款电脑上的运行表现及选择。核心问题在于如何在众多选项中确定最适合的编码 LLM 。

讨论焦点与观点分析：

有人认为 Qwen 2.5 32b coder 是不错的选择；也有人将其与 Sonnet 3.5 进行比较，有人觉得 Sonnet 3.5 更好，而有人则不同意这种比较，指出 Sonnet 3.5 是较大模型且无法本地运行，而本地运行的好处在于隐私性、稳定性和离线可用。

有人分享道：“作为一名长期使用本地模型的用户，我发现 QwenCoder2.5 32b 可能是您能获取的较好选择，尽量在更高量化水平运行。5_K_M 或许合适，甚至可能能用到 6_K。您所需的上下文量将是一个因素，但可以两者都试试。8_0 可能就有些过头了。在使用编码模型处理大上下文时，您将比想象中使用更多的 VRAM。”

还有用户提到：“同样，也不要忽视 14B 且具有完整上下文的模型。能够摄取大部分代码库通常能使较小的模型产生比大模型处理较小部分代码库更好的结果。”

有人表示自己在 M4 Pro/64GB 上运行 32b 没问题，但通常会选择 14b 配合推测解码和 0.5b 草案模型，推理速度非常快。

有人询问关于“通常坚持使用 14b 配合推测解码和 0.5b 草案模型”的更多内容，并得到了回复。

也有人推荐尝试 Qwen 32B DeepSeek Distill，称其效果良好。

有人思考哪种 14b 模型最适合编码，还有人认为 Qwen coder 就有 14B 尺寸可以使用。

有人表示使用 Qwen2.5 Coder 32B 时速度较慢，也有人分享了不同的速度体验。

有人提到一直喜欢 Codestral-22B-v0.1 在 LMstudio 中的表现。

有人认为 32B 模型可能最适合，但也有人指出 DeepSeek 蒸馏模型不如 Qwen2.5 Coder 32。

有人提醒在操作前要确认是否被允许本地运行 LLM 。

有人认为对于填充中间（如 Copilot），小模型能减少等待时间，有人则对本地模型的实用性提出质疑，认为付费在线版本更好。

有人提到通过 open webui 运行的情况。

总之，关于在新款 M4 MacBook Pro 上运行最佳编码 LLM 的讨论丰富多样，大家从不同角度发表了见解。