原贴链接

一篇关于RigoChat 2（西班牙语模型）的论文已发表。作者使用imatrix在不同基准上对该模型的所有llama.cpp量化进行了测试。图表在第14页底部，表格在第15页。根据他们的结果，在7B模型上IQ3_XS几乎没有任何相关的退化。似乎从IQ3_XXS开始慢慢出现退化。由于它没有显示部分损坏的Q3_K模型（compilade刚刚提交了一个修复它并改进其他低量化的PR）的恶化情况，所以所取得的分数可能需要持保留态度。LLaMA 8B被用作评判模型而不是更大的模型。不过论文中对这个选择做了解释。

讨论总结

原帖围绕一篇论文中llama.cpp量化对质量退化影响展开，评论者们分享了相关资源、指出量化性能相关情况，如低于3位量化性能下降较大等，还对论文结论提出质疑，像4 - 位量化在实际应用中与8 - 位量化的差异与论文不符。此外也涉及模型大小改变时量化的变化、使iq量化接近无损的方法、对用8B模型评判研究的质疑等内容，大家各抒己见，理性探讨。

主要观点

  1. 👍 Calcidiol分享了与llm量化相关的多个链接资源。
    • 支持理由：为关注llm量化的人提供了更多信息资源。
    • 反对声音：无。
  2. 🔥 4 - 位量化在质量和输出正确性上远不及8 - 位量化。
    • 正方观点：评论者DRONE_SIC表示自己使用中的实际体验如此。
    • 反方观点：无明确反对声音。
  3. 💡 低于3位的量化通常性能下降较大。
    • 解释：Chromix_根据自己的经验和认知提出。
  4. 💡 3位以上量化的好坏可能取决于使用场景。
    • 解释：Chromix_分析得出。
  5. 💡 将imatrix用于训练数据可提升有效性。
    • 解释：评论者shing3232提出此观点。

金句与有趣评论

  1. “😂 Chromix_：Thank you for bundling all those quantization tests here.”
    • 亮点：表达对分享资源的感谢。
  2. “🤔 DRONE_SIC：I have used 4 - bit quants before, they are nothing close to the 8 - bit in terms of quality or correctness of output.”
    • 亮点：以自身使用经验对量化差异提出观点。
  3. “👀 Chromix_：What can be seen is that going below 3 bits usually comes with a larger drop in performance.”
    • 亮点：给出关于量化性能的观点。
  4. “😉 AppearanceHeavy6724：I used Qwen2.5 - coder - 7b Q8 and IQ4; found zero difference (C++ code).”
    • 亮点：分享自己在特定代码下使用不同量化的体验。

情感分析

总体情感倾向较理性客观，主要分歧点在于论文结论与实际体验的差异，如量化差异在论文和实际使用中的不同表现，以及对研究评判标准的看法（用8B模型评判是否合理）。可能的原因是大家从不同的使用场景、经验出发看待问题，并且对量化相关知识有不同程度的理解。

趋势与预测

  • 新兴话题：模型大小改变时量化的变化可能会引发后续更多讨论。
  • 潜在影响：对llm量化技术的发展和改进有一定的推动作用，可能促使研究者重新评估量化的性能、评判标准等方面内容。

详细内容：

标题：关于 llama.cpp 量化质量降级的广泛讨论

在 Reddit 上，一篇关于“Extensive llama.cpp benchmark for quality degradation by quantization”的帖子引发了热烈讨论。该帖子介绍了一篇有关 RigoChat 2（西班牙语语言模型）的论文，其中包含了对 llama.cpp 模型各种量化方式的测试结果，相关图表在第 14 页底部和第 15 页。此贴获得了众多关注，评论数众多。

讨论的焦点主要集中在不同量化方式对模型性能的影响。有人认为，对于 7B 模型，IQ3_XS 几乎没有明显的质量降级，降级似乎从 IQ3_XXS 左右开始。但也有人指出，所取得的分数应谨慎看待，因为它未展示部分损坏的 Q3_K 模型的劣化情况。

有人感谢将所有量化测试汇集在一起，认为这为回答关于何种量化方式好、可用等问题提供了便利。有人指出低于 3 位的量化通常会导致性能大幅下降，高于 3 位则可能取决于具体使用场景。还有人提到第一个链接显示了基准测试结果中可能存在的大量噪声，并且举例说尽管 q8_0 通常被认为几乎无损，但在推理性能上仍有大幅下降，甚至被同一模型的 q2_k 量化超越，认为这可能是由于随机性导致，并要求重新测试以进行比较和去噪。

有人表示曾使用过 4 位量化，认为其在质量和输出正确性方面远不如 8 位量化，质疑该论文结果，认为其对低量化的描述不准确。但也有人认为在聊天或文本生成中，输出与原始 BF16 模型的差异不太明显，而在多项选择基准或编写正确代码时，差异可能会更明显。

有人分享个人经历，称使用 Qwen2.5 - coder - 7b Q8 和 IQ4 在 C++代码方面未发现差异，也有人表示在编码方面，从 q8 - 16 下降到 q2 - 4 差异巨大，q4 以下根本无法使用。

有趣的观点如有人认为不同的基准测试未包含编码基准，以及有人指出当涉及选择正确答案或编写正确代码时，与原始模型偏离的令牌可能是更大的问题。

总之，关于不同量化方式对模型性能的影响，讨论中存在多种观点和争议。有人认为应根据具体使用场景选择量化方式，也有人对某些量化方式在特定任务中的表现提出了质疑。同时，个人经历和案例分享也为讨论提供了更丰富的视角。但对于如何准确评估和选择适合的量化方式，仍未形成明确的共识。