原贴链接

深探DeepSeek - R1的非懒惰（unsloth）动态量化最近引起了一些轰动。https://www.reddit.com/r/LocalLLaMA/comments/1ibbloy/158bit_deepseek_r1_131gb_dynamic_gguf/ 有人表示有兴趣对其他模型进行同样的处理。几周过去了，并没有看到太多相关进展。也许我找错地方了？也许是因为DeepSeek - R1特别适合这种处理方式，而对其他模型来说收效甚微？不管怎样，看看其他混合专家模型（MoE models）可能受益的情况，一个很简单的答案就是DeepSeek v2模型系列。主要是因为针对这个的非懒惰（unsloth）的llama.cpp分支修改起来相当轻松就能用于此用途。所以，管他呢。[https://huggingface.co/Enturbulate/DeepSeek - v2.5 - 1210 - UD - gguf](https://huggingface.co/Enturbulate/DeepSeek - v2.5 - 1210 - UD - gguf) 发布了五个量化（quants），从iq1_s到iq3_m，大约49GB到97GB。imatrix数据取自bartowski。谢谢！量化策略相当简单，基本上就是不让注意力/输出层低于q4_k。这是最优的吗？哈哈。应该仍然比标准的llama.cpp低比特量化表现更好。有人想分享一下关于其他哪些模型（如果有的话）可能值得投入精力的想法吗？

讨论总结

帖子主要是关于DeepSeek - v2.5动态量化的探讨，想了解是否有人对此有想法以及还有哪些模型值得进行这样的处理。评论涉及到在不同电脑上运行同一量化程序的差异、关于某个量化模型是否为稀疏化版本的争议、对DeepSeek V3进行动态量化的期望、动态量化的操作步骤、原帖想法对其他模型的适用性等内容，整体氛围是理性探讨技术问题。

主要观点

  1. 👍 同一配置下不同电脑运行同一量化程序结果不同
    • 支持理由：评论者给出自己和合作伙伴电脑配置相同但运行结果不同的例子。
    • 反对声音：无
  2. 🔥 关于Neuro Magic相关量化模型是否为DeepSeek v2.5的稀疏化版本存在争议
    • 正方观点：认为是稀疏化且参数减少版本。
    • 反方观点：反驳，强调只是4bit 128g GPTQ版本。
  3. 💡 希望DeepSeek V3能有动态量化处理
    • 理由：认为它是有能力的基础模型，在一定条件下低速度更易管理。
  4. 💡 对动态量化操作步骤感兴趣并了解到一些探索方向
    • 解释：从Unsloth的llama.cpp分支入手，相关变化在llama - quant.cpp。
  5. 💡 认可原帖关于动态量化的想法，想知道对其他模型适用性
    • 解释：认为原帖想法很棒，希望看到特定模型被优化。

金句与有趣评论

  1. “😂 Can someone tell me why I can magically run 2.51bit Q2_K_XL r1 on my pc without mmap enabled?”
    • 亮点：以一种诙谐的方式提出电脑运行差异的疑问。
  2. “🤔 It’s a sparsed reduced active parameter version of DeepSeek v2.5. The active parameter decreased from 20B to like 3B”
    • 亮点：提出关于模型量化后参数变化的观点。
  3. “👀 Lmfao no it isn’t. It’s just a 4bit 128g GPTQ version of DeepSeek V2.5 1210.”
    • 亮点：直接反驳前面的观点，是争议的体现。
  4. “😎 Awesome idea!”
    • 亮点：简洁表达对原帖想法的认可。
  5. “🤓 I really would like to see Gemma 2 27B optimized, so that I can squeeze higher quality from a Q4 - ish size to run on my 16GB VRAM GPU.”
    • 亮点：表达对特定模型优化的期待以及目的。

情感分析

总体情感倾向是较为中性客观的。主要分歧点在于特定量化模型是否为稀疏化版本以及动态量化操作的具体情况等。可能的原因是大家基于自己的知识和经验对技术问题有不同的理解和看法。

趋势与预测

  • 新兴话题：对DeepSeek V3的动态量化以及Gemma 2 27B的优化可能会引发后续讨论。
  • 潜在影响：如果这些模型得到优化，可能会影响相关技术在不同硬件设备上的运行效果，推动模型量化技术的发展。

详细内容：

标题：关于 DeepSeek-v2.5 动态量化的热门讨论

最近，DeepSeek-R1 的非懒惰动态量化引起了不小的关注。原帖提到https://www.reddit.com/r/LocalLLaMA/comments/1ibbloy/158bit_deepseek_r1_131gb_dynamic_gguf/，表示虽然对其他模型进行类似处理的兴趣有所表达，但目前成果不多。同时指出 DeepSeek v2 系列模型可能受益，并分享了相关链接https://huggingface.co/Enturbulate/DeepSeek-v2.5-1210-UD-gguf。还介绍了量化策略，并询问是否有人愿意分享关于其他可能值得努力的模型的想法。此帖获得了较多的关注，引发了热烈的讨论。

在讨论中，主要观点如下： 有人分享自己在不同电脑上运行模型的个人经历，比如 [InevitableArea1] 表示在自己的电脑上能运行 2.51bit Q2_K_XL r1，而在伙伴的电脑上则无法正常加载。有人认为这可能是操作系统虚拟内存设置不同导致的。还有人提出可以在主板设置中打开共享内存功能，因为 PCIE 5.0 速度比直接访问内存更快。 对于模型本身，[fiery_prometheus] 认为虽然支持稀疏化，但提供的模型只是 GPTQ。[qeternity] 则认为这只是 DeepSeek V2.5 1210 的 4 位 128g GPTQ 版本。[random-tomato] 指出在 huggingface 上量化模型的参数经常不准确，并提供了相关案例链接。 [boringcynicism] 希望能对 DeepSeek V3 进行类似处理。[segmond] 询问产生动态量化的配方和步骤。[Enturbulated] 解释了从 Unsloth 的 llama.cpp 分叉开始，并提供了相关的代码提交链接，还表示基本思路适用于大多数模型，并解释了不同模型的适用情况。

讨论中的共识在于大家都对模型的量化处理表现出了关注和兴趣。特别有见地的观点是[Enturbulated] 关于不同模型对量化处理的适用性的分析，丰富了大家对这一问题的理解。

总的来说，关于 DeepSeek-v2.5 动态量化的讨论展现了大家对技术探索的热情和深入思考，也为模型的优化和改进提供了多种思路。