原贴链接

我最近买了一台RTX 4090的机器，想要评估在执行编码助手任务时，使用高度量化的大型模型还是最小量化的小型模型更好。我评估了三个模型（ollama命名）：llama3.1:70b - instruct - q2_k、llama3.1:8b - instruct - fp16、qwen2.5 - coder:32b（19GB）。目的是选择能充分利用4090的模型。70B的q2_k对4090来说有点大，但如果性能差异显著，其速度提升对我来说是可以接受的。我做了各种测试，半正式地给每个模型相同的提示，并根据各种标准评估结果。我更喜欢让模型评估一些代码并识别问题的测试，而不是让它编写代码来解决问题，因为大多数时候我在处理现有代码库，我的经验是代码理解能力对我来说是更好的评估指标。我还使用Claude来生成要评估的代码（一个有缺陷的Trie实现），并且为了评估模型的响应，我详细检查了并同意Claude对模型的评估。结果：llama3.1:70b和llama3.1:8b在实际代码评估任务中表现差不多。它们都发现了相同的问题，并且都遗漏了示例代码中的重要缺陷。70b对其分析的解释更详尽，尽管我觉得有点冗长。考虑到8b在我的机器上比70b快几倍，我会选择8b而不是70b。令我惊讶的是，qwen发现了所有主要缺陷，并且在所有标准上表现同样好甚至更好。它完全适配4090，所以速度也非常好。

讨论总结

原帖对在RTX 4090上运行的llama3.1 70B、llama3.1 8b、qwen2.5 - coder:32b三个模型进行编码辅助任务的评估。评论中有人分享自己运行特定模型的体验，如在M4 Pro上使用Qwen2.5 Coder 32b Instruct Q4_K_L体验较好；有人指出原帖在寻找最优量化/规模平衡时模型选择不合理；还有人对模型评测结果、Qwen相关的真实性等表示疑问或怀疑，整体氛围理性且话题多样。

主要观点

  1. 👍 qwen2.5 - coder:32b表现较好
    • 支持理由：在原帖评估中qwen在多项指标上表现优秀，部分评论者也认同qwen coder 32b表现更好，能检测出更多缺陷等。
    • 反对声音：无。
  2. 🔥 原帖模型选择不合理
    • 正方观点：在寻找最优量化/规模平衡时，应比较同一架构不同规模的Qwen2.5 - coder模型，原帖选择不同架构模型不能达到目的。
    • 反方观点：原帖作者未回应，无明显反方观点。
  3. 💡 选择模型不应只看能否塞入最大的模型到GPU
    • 解释：在GPU上使用过大模型可能出现上下文耗尽的问题，保留小版本模型并按需切换是更好的办法。
  4. 💡 对Qwen相关帖子的真实性存疑
    • 解释：无法判断关于Qwen的帖子是由中国机器人发布还是真实用户发布，想要在监测网络活动的情况下尝试Qwen。
  5. 💡 认为Llama 3.1存在不足
    • 解释：Llama 3.1较旧且在编码方面训练得不好。

金句与有趣评论

  1. “😂 Sky_Linx: I have Qwen2.5 Coder 32b Instruct Q4_K_L on my M4 Pro and I really enjoy using it.”
    • 亮点：直接表达出对Qwen2.5 Coder 32b Instruct Q4_K_L的喜爱，积极的使用体验分享。
  2. “🤔 如果想要找到最优的量化/规模平衡，应该比较不同规模的Qwen2.5 - coder，而不是挑选不同架构的模型。”
    • 亮点：提出了一种在寻找量化/规模平衡时比较模型的合理方式，对原帖的模型选择提出质疑。
  3. “👀 COBECT: I tried 32b, 14b, 7b versions and didn’t understand all that hipe around it.”
    • 亮点：表达出对Qwen受追捧现象的疑惑，反映出部分用户对Qwen的不同看法。
  4. “🤔 Sky_Linx: It’s more capable than I expected, and based on my tests, I think it can compete with much bigger models.”
    • 亮点：强调了Qwen2.5 Coder 32b Instruct Q4_K_L的能力超出预期，能够与更大的模型竞争。
  5. “😂 Sky_Linx: I have tried this model and it produced shitty code in several of my tests :D”
    • 亮点：幽默地表达出对某模型产生代码质量差的看法。

情感分析

总体情感倾向较为中立理性。主要分歧点在于对原帖模型选择合理性、Qwen模型的评价等方面。可能的原因是不同用户有不同的使用场景和对模型的期望，以及对如何进行模型评估的理解存在差异。

趋势与预测

  • 新兴话题：可能会有更多关于Qwen模型不同版本在不同设备上的使用体验分享以及模型量化效果的讨论。
  • 潜在影响：如果对模型评价和选择的讨论更加深入，可能会影响其他用户在选择编码助手模型时的决策，也可能促使模型开发者进一步优化模型性能。

详细内容：

标题：关于在 RTX 4090 上运行本地编码助手模型的热门讨论

近日，Reddit 上一则关于在 RTX 4090 上评估最佳编码助手模型的帖子引发了广泛关注。该帖获得了众多点赞和大量评论。原帖作者购买了 RTX 4090 机器，试图比较高度量化的大模型（如 llama3.1:70b）、量化程度较小的小模型（如 llama3.1:8b）以及 qwen2.5-coder:32b 在执行编码助手任务时的表现。文章将要探讨的核心问题是：在 RTX 4090 上，究竟哪种模型能提供更出色的编码辅助效果。

在讨论中，主要观点如下： 有人分享说自己有 4090 并运行 Qwen2.5 Coder 32B Instruct Q4_K_M，在短上下文长度时速度很快，还分享了自己订购 RTX6000 Ada 的经历。 有人对选择 Ada 的原因提出疑问。 有用户提供了相关的对比链接，如https://www.pugetsystems.com/labs/articles/nvidia-rtx-6000-ada-vs-rtx-a6000-for-content-creation/ ，用于进一步探讨不同显卡的性能。 有人认为 2 倍 RTX 3090 或 2 倍 RTX 4080 可能比一个 RTX A6000 48GB 更具性价比。 有人表示自己在 M4 Pro 上使用 Qwen2.5 Coder 32b Instruct Q4_K_L ，体验很好，认为其能力超出预期。 有人指出如果想找到最优的量化/大小平衡，应该比较不同大小的 Qwen2.5-coder 模型。 有人分享自己使用 DeepSeek-Coder-V2:16B-lite-instruct-q6_K 的经历。

争议点在于对于 Qwen 模型的评价褒贬不一。有人认为其表现出色，而有人对其产生的代码质量表示质疑。共识在于大家都在积极探索不同模型在特定硬件上的最佳表现。特别有见地的观点如“不是模型越大越好，应根据实际需求选择合适的版本”丰富了讨论，让大家更全面地思考模型的选择问题。

总之，这次讨论展现了大家对于在特定硬件上优化编码助手模型选择的深入思考和积极探索。