原贴链接

一篇新论文探讨了预训练量化、后训练量化之间的关系，以及量化如何与参数量、预训练中使用的标记数量相互作用。《精度扩展定律》：https://arxiv.org/pdf/2411.04330。这很有趣！似乎没有免费的午餐。预训练中使用的标记越多，后训练中的量化破坏性就越大。我的直觉与这篇论文的结论相符。我发现6位量化目前是理想的平衡。希望这篇论文将有助于指导大型实验室优化计算，以生成未来最有效的模型！在AINews通讯中有更多关于它的讨论：https://buttondown.com/ainews/archive/ainews - bitnet - was - a - lie/，包括蒂姆·德特默斯（因QLORA而闻名）对该论文的看法。

讨论总结

这是围绕一篇名为“Scaling Laws for Precision”的论文展开的讨论。帖子提到论文研究预训练中的量化、训练后量化、量化与参数数量及预训练中使用的标记数量之间的关系。评论者们从不同角度阐述了自己的看法，包括bitnet相关的量化方式、QAT的特性、预训练与量化的关系、BF16下训练模型是否最优、低精度训练的限制等，整体讨论氛围较为理性专业。

主要观点

  1. 👍 研究未涉及bitnet 1.58
    • 支持理由：评论者指出研究中确实未包含bitnet 1.58。
    • 反对声音：无
  2. 🔥 bitnet工作不应在训练后量化
    • 正方观点：这是bitnet的关键之处。
    • 反方观点：无
  3. 💡 新论文结论既明显又反直觉
    • 从工程背景看一直扩展量化无性能提升上限不现实，同时论文中预训练和量化的关系呈现出与直觉不符的情况。
  4. 💡 BF16下训练模型可能不是最优的
    • 研究结果显示存在这种可能性。
    • 反对声音：无
  5. 💡 低精度训练低于4位前可能要停止
    • 低于4位会使模型大小不成比例增大维持损失缩放。
    • 反对声音：无

金句与有趣评论

  1. “😂 but bitnet 1.58 isn’t in the study.”
    • 亮点：直接指出研究的一个局限性。
  2. “🤔 The whole point of bitnet is that for things to work, you aren’t supposed to quantize post training.”
    • 亮点：阐述bitnet工作原理中的关键一点。
  3. “👀 Very interesting, kind of strange I find it both obvious and counterintuitive haha.”
    • 亮点：表达对论文结论的矛盾感受。
  4. “💥 This has two results: first, it means that training models in BF16 may actually be sub - optimal.”
    • 亮点：明确提出BF16下训练模型可能存在的问题。
  5. “😎 Secondly, the race to low - precision training may have to stop before dropping below 4 - bits, because this will force the model size to become disproportionately (more than 4x) larger to maintain loss scaling.”
    • 亮点：阐述低精度训练的一个重要限制。

情感分析

总体情感倾向是理性探讨，没有明显的情感偏向某一极端。主要分歧点在于对论文结论的理解和一些概念（如量化、预训练等）的认知差异，可能的原因是不同评论者的知识背景和研究重点不同，例如有从工程背景出发的，有从研究本身出发的。

趋势与预测

  • 新兴话题：将二进制方法应用于预训练优化学习率相关的研究可能会引发后续讨论。
  • 潜在影响：如果关于BF16下训练模型非最优以及低精度训练限制等结论被更多研究证实，可能会影响相关模型训练策略的制定。

详细内容：

标题：关于精度缩放定律的热门探讨：BitNet是否过于理想化？

在Reddit上，一篇探讨精度缩放定律的帖子引发了热烈讨论。原帖介绍了一篇新论文，研究了预训练、后训练中的量化以及量化与参数数量、预训练中使用的令牌数量之间的关系，并提供了相关论文链接https://arxiv.org/pdf/2411.04330。同时，还提到了在AINews信中的一些相关讨论链接https://buttondown.com/ainews/archive/ainews-bitnet-was-a-lie/。此帖获得了众多关注，引发了广泛而深入的讨论。

讨论的焦点集中在多个方面。有人指出，BitNet 1.58 不在研究范围内，对于较低精度的量化，测试了FP4和FP8，且不像BitNet那样提高学习率。还有人认为，BitNet的关键在于训练过程中对量化的感知，能更有效地分布权重变化。有人通过将图像压缩类比，来说明预训练和量化之间的关系，比如像将高分辨率图像直接压缩与先缩小分辨率再压缩的对比。也有人思考学习率的缩放以及如何优化等问题。

有人认为，从工程背景来看，一直扩大规模然后量化却没有性能提升上限，这似乎不太可能。还有人觉得人们觉得这反直觉很令人困惑，并用JPEG压缩的例子来解释，认为LLMs压缩数据就像图像压缩，超过一定阈值，更多的预训练会使量化模型更差。但也有人提出，在达到一定阈值后，更多的预训练会使量化模型更糟，这与JPEG并不完全相同，预训练计算和量化之间的相互作用才是有趣之处。

在关于学习率的讨论中，有人好奇如何根据特定情况缩放或调整学习率，比如能否通过某种方法进一步优化余弦学习率以获得更好的结果。有人指出余弦学习率计划不应与余弦相似度混淆。

这场讨论中的共识在于大家都对精度缩放定律和量化的相关问题表现出浓厚的兴趣，并努力通过各种观点和类比来深入理解。特别有见地的观点是通过图像压缩的类比来阐释复杂的技术问题，丰富了讨论的深度和广度。

总之，这场关于精度缩放定律的讨论展示了Reddit用户对于前沿技术的深入思考和热烈交流，为相关领域的发展提供了多元的视角和思路。