原贴链接

从技术角度来看，哪个更好？我知道两者之间的差异很小，但出于好奇，我想了解一下。

讨论总结

本次讨论主要聚焦于Q8和FP8两种量化方法的技术性能比较。评论者们从不同角度探讨了这两种方法在特定框架（如exllama、vLLM）和硬件架构（如Hopper/Lovelace）下的表现差异。讨论涉及了权重量化、模型输出质量、推理速度等多个技术细节。总体来看，Q8在exllama框架中表现优异，而FP8在某些情况下可能更快，但实际应用中并不总是值得使用。此外，int8在模型量化中的表现也受到关注。

主要观点

  1. 👍 Q8在exllama中表现远优于FP8
    • 支持理由：FP8严重影响长上下文输出，而Q8有时与FP16输出几乎相同。
    • 反对声音：理论上FP8可能稍微快一些，但在实际应用中并不值得。
  2. 🔥 FP8在vLLM中推理速度最快
    • 正方观点：vLLM在FP8下推理速度最快，但质量问题另当别论。
    • 反方观点：Q8输出更接近未量化的模型，质量更优。
  3. 💡 权重量化问题复杂
    • 取决于使用的引擎和具体任务，需要针对每个模型单独测试。
  4. 🚀 int8在模型量化中表现优于FP8
    • int8在T5和图像模型中的表现优于FP8，Q8更接近未量化的模型输出。
  5. 🛠 Hopper/Lovelace架构下FP8更优
    • 在特定硬件架构下，FP8表现更佳，体现了架构对量化方法的影响。

金句与有趣评论

  1. “😂 Downtown-Case-1755: "In exllama? The difference is enormous, FP8 butchers long context output while Q8 is sometimes token-identical to FP16."”
    • 亮点：形象地描述了Q8和FP8在exllama中的巨大差异。
  2. “🤔 Theio666: "In my tests on various backends the fastest inference I’ve gotten was fp8 in vLLM. But the quality is an entirely different story."”
    • 亮点：指出FP8在vLLM中速度最快，但质量问题需另行考虑。
  3. “👀 a_beautiful_rhind: "I’ve had better luck on int8 than FP8 when used for model quantization."”
    • 亮点：分享了int8在模型量化中的优势经验。
  4. “🔧 Awkward-Candle-4977: "fp8 has much bigger range than q8 but fp8 doesn’t mean better quality than q8."”
    • 亮点：指出了FP8范围更大但质量不一定更好的观点。
  5. “🚀 pst2154: "For Hopper/Lovelace architecture, fp8"”
    • 亮点：简洁明了地指出特定架构下FP8的优势。

情感分析

讨论总体情感倾向中性偏技术探讨，主要分歧点在于不同框架和硬件架构下Q8和FP8的性能优劣。部分用户对Q8在特定框架中的表现持肯定态度，而另一些用户则强调FP8在某些情况下的速度优势。讨论氛围较为理性，大家更关注技术细节和实际应用效果。

趋势与预测

  • 新兴话题：int8在模型量化中的表现可能引发更多关注。
  • 潜在影响：对不同量化方法的技术探讨可能推动相关工具和框架的优化，进一步提升模型性能和输出质量。

详细内容：

标题：Q8 和 FP8 到底谁更“优秀”？

在 Reddit 上，有一个帖子引发了热烈讨论：“What is technically ‘better’ Q8 or FP8?” 该帖子获得了众多关注，评论数众多。帖子主要探讨了理论上 Q8 和 FP8 哪个更好，发帖人表示虽然两者差异较小，但出于好奇想知道答案。

讨论焦点与观点分析： 有人指出在 exllama 中，两者差异巨大，FP8 会影响长上下文输出，而 Q8 有时与 FP16 的标记相同。理论上，在 4090 上大量批处理时 FP8 可能稍快，但不太值得。有用户分享：“在我的各种后端测试中，最快的推理是 vLLM 中的 fp8，但质量是另一回事。虽然我可能搞砸了设置，因为我使用的是具有特定功能的实验性 PR，尚未合并到主分支中。”还有人提到在其测试的硬件中，Q8(bnb)比 bf16/fp16 慢约 2.5 倍，而 vllm 中 fp8 比原始质量快。有人认为 Marlin AWQ 或 GPTQ 可能是速度之王，但这是 4 位的。也有人表示可以有 marlin gptq 8 位，但对于某些使用情况来说太低。有人决定使用 fp16，因为它最快。有人询问即使使用 exllama，在 llama.cpp 中是否会有相同的行为，得到的回复是否定的。 还有用户提到在模型量化中，使用 int8 比 FP8 运气更好，Q8 在输出上更接近未量化的模型。有人认为 fp8 的范围比 q8 大，但不意味着质量更好，这取决于很多方面，需要对每个模型逐一测试。也有人表示 8 位就是 8 位，仍然限于 256 个值。对于 Hopper/Lovelace 架构，fp8 也被提及。

总体而言，关于 Q8 和 FP8 谁更好没有一个简单的答案，这取决于多种因素，包括具体的应用场景、模型、任务以及期望的速度权衡等。