原贴链接

论文：https://arxiv.org/abs/2503.09573 代码：[https://github.com/kuleshov-group/BD3 - LMs](https://github.com/kuleshov-group/BD3 - LMs) 模型：[https://huggingface.co/collections/kuleshov-group/BD3 - LMs - 67be95f81b96b15fec50d53f](https://huggingface.co/collections/kuleshov-group/BD3 - LMs - 67be95f81b96b15fec50d53f) 项目页面：[https://m - arriola.com/bd3lms/](https://m - arriola.com/bd3lms/)

摘要

扩散语言模型由于其并行生成和可控性的潜力，相对于自回归模型具有独特的优势，但在似然建模方面滞后并且局限于固定长度的生成。在这项工作中，我们引入了一类块扩散语言模型，它在离散去噪扩散和自回归模型之间进行插值。块扩散通过支持可变长度生成以及利用键值（KV）缓存和并行标记采样提高推理效率，克服了这两种方法的关键限制。我们提出了构建有效块扩散模型的方法，包括一种高效的训练算法、梯度方差估计器以及数据驱动的噪声计划以最小化方差。块扩散在语言建模基准测试的扩散模型中达到了新的最先进性能，并能够生成任意长度的序列。

自回归：✅ 高质量✅ 任意长度✅ 键值（KV）缓存❌ 不可并行 扩散：❌ 低质量❌ 固定长度❌ 无键值（KV）缓存✅ 可并行 块扩散：✅ 高质量✅ 任意长度✅ 键值（KV）缓存✅ 可并行

讨论总结

这是一个关于Block Diffusion论文的讨论。有人感慨AI领域成果更新快，自己的想法容易被他人抢先研究。还有评论提到图片连接错误无法显示重要图形。关于论文核心内容，大家讨论了扩散在LLM中的优势如能回溯错误，块扩散在提升速度方面的局限，扩散模型和自回归模型在困惑度、因果预测能力等方面的比较，以及是否能构建在两种模式间切换的模型等，整体氛围理性且具有一定的专业性。

主要观点

  1. 👍 AI领域新成果出现速度快
    • 支持理由：有人提到自己有想法时已经有相关新论文出现。
    • 反对声音：无。
  2. 🔥 扩散在LLM中的价值在于能回溯和重新处理较早的错误
    • 正方观点：这是扩散模型的重要优势。
    • 反方观点：无。
  3. 💡 块扩散下一批标记仅能提升速度
    • 解释：在与扩散模型在LLM中的价值对比下，速度提升相对单一。
  4. 💡 自回归是高效但单维的，扩散模型有使用的理由
    • 解释：虽然自回归有高效的一面，但扩散模型也有自身价值。
  5. 💡 基于扩散的LLM在块大小为4个标记宽时困惑度接近自回归水平
    • 解释：这是在比较两种模型时发现的现象。

金句与有趣评论

  1. “😂 Everytime I have a high level thought about AI, like “it would be interesting to see if we can can intergrate the autoregressive architecture with diffusion nodes” I come on here and boom there’s a new paper already.”
    • 亮点：生动地表达出AI领域成果更新之快。
  2. “🤔 The whole reason we like diffusion for LLM is it can backtrack and retread over a much earlier mistake.”
    • 亮点：阐述了扩散在LLM中的重要价值。
  3. “👀 Block diffusing the next batch of tokens only gets you speedboost.”
    • 亮点：指出块扩散在速度提升方面的局限性。

情感分析

总体情感倾向较为中性客观。主要分歧点在于扩散模型和自回归模型在不同能力方面的比较，例如因果预测能力。可能的原因是不同的用户对于模型的理解、研究重点以及应用场景的预期有所不同。

趋势与预测

  • 新兴话题：构建能在自回归和扩散两种模式间切换的模型。
  • 潜在影响：可能会促使更多关于模型融合或优化的研究，对AI领域中LLM的发展产生积极影响，比如提高模型的效率和准确性等。

详细内容：

标题：《Block Diffusion：在自回归和扩散语言模型之间插值》在Reddit引发热烈讨论

这篇有关 Block Diffusion 的帖子在Reddit上引起了广泛关注，获得了众多点赞和大量评论。帖子中提供了相关的论文、代码、模型及项目页面的链接。其主要内容介绍了 Block Diffusion 语言模型在离散去噪扩散和自回归模型之间进行插值，克服了二者的关键局限，在语言建模基准测试中取得了新的最佳性能，并能生成任意长度的序列。

帖子引发的讨论方向多样，核心问题和争议点在于 Block Diffusion 与自回归模型和传统扩散模型在性能、应用场景等方面的比较和权衡。

讨论焦点与观点分析： 有人认为每次有关于 AI 的高级想法，来这里总能发现已经有新的论文，比如这次的 Block Diffusion。有人原本在构建类似模型，现在觉得没太大意义了。有人认为即便已经有了相关研究，也不应停止，可能会找到不同或更好的方法。

有人指出，我们喜欢用于大语言模型的扩散模型是因为它可以回溯并纠正早期的错误，而块扩散下一批标记只能提高速度。有人认为 CoT 解码用于一种用例，扩散用于另一种，混合使用会以牺牲可解释性为代价提高性能。还有人认为扩散模型并非真正回溯，没有明确的纠错机制，好的性能需要整个过程保持接近训练分布。

有人表示当块大小降低到 4 个标记宽时，困惑度才接近自回归水平，此时 Meta 关于多标记预测的研究几乎达到了相同的最终目标，因此不确定基于扩散的大语言模型是否能达到与基于自回归的大语言模型相同的因果预测能力。但也有人反驳，如果将逻辑视为从第一原理的纯粹推导，那么多标记预测确实胜过任何扩散模型。但这种逻辑脆弱且不灵活，无法在论证或观察期间递归更改前提。意味着除非将论点切成具有时间依赖性的前提，否则将时间作为前提的一部分进行整合是不可能的。有人认为尽管存在实际限制，但仍有真正的理由在推理中使用扩散模型，甚至认为可能在根据任务在两种模式之间切换的模型中存在真正的价值。

有人觉得目前能尝试的扩散模型不算特别笨，也有人认为基于扩散的大语言模型能否达到与基于自回归的大语言模型相同的因果预测能力尚无定论。

总的来说，讨论中既有对 Block Diffusion 模型优势的肯定，也有对其局限性和与其他模型比较的深入探讨，共识在于都在思考如何更好地利用和发展语言模型技术。