原贴链接

帖子仅包含两张图片链接，无有效可翻译内容

讨论总结

这是围绕一篇新论文展开的讨论，该论文指出在相同训练成本下，大幅增加密集型大型语言模型（LLM）的输入词汇量（100倍或更多）能显著提高模型性能。评论者们从多个角度进行探讨，包括词汇量增加的方式及其对模型收敛的影响、与不同类型模型（如MoE模型）的对比、对内存使用量和推理速度的影响、与之前研究中标记数的关系等，整体讨论氛围积极且充满探索性。

主要观点

  1. 👍 高词汇量可由组合标记创建新标记得到
    • 支持理由：部分评论者解释了这种组合标记创建新标记的方式，认为这样能在保留原有标记的同时产生高词汇量。
    • 反对声音：无。
  2. 🔥 论文主要论述训练性能，倍数数据可能误导
    • 正方观点：从论文内容分析得出其主要关注训练性能，倍数数据若不仔细看易被误解为最终性能的提升比例。
    • 反方观点：无。
  3. 💡 相同技巧对MoE模型无帮助，有助于缩小模型差距
    • 解释：有评论者发现该现象并推测这有助于拉近密集模型和MoE模型间的差距。
  4. 💡 对新论文结果感兴趣，但担心词汇量增加带来的问题
    • 解释：如内存使用量增加、推理速度和有效上下文大小受影响等。
  5. 💡 增加词汇量提高模型性能违反直觉
    • 解释：因为原本分词器是为解决无约束维度问题，现在增加词汇量却让模型收敛更快，与以往认知不同。

金句与有趣评论

  1. “😂 Tldr: higher vocabulary is due to combining multiple tokens (where suited) and minting a new token from that (while keeping the previous tokens as is).”
    • 亮点：简洁地解释了高词汇量的产生方式。
  2. “🤔 我发现相同的技巧对MoE模型没有帮助，这很有趣。”
    • 亮点：提出了不同模型间的对比结果，引发思考。
  3. “👀 LagOps91: interesting results! But how much is the increase in memory usage from such a vocab? And won’t smaller tokens reduce inference speed as well as effective context size?”
    • 亮点：对新论文结果表示兴趣的同时提出了重要的疑问。
  4. “🤔 Everlier: We needed tokenizers exactly to escape the dimensionality without constraints, but adding more of it makes model converge faster because the tokens are now "hierarchical"? Peculiar.”
    • 亮点：点出了增加词汇量让模型收敛更快这一现象与传统认知的矛盾之处。
  5. “👀 It showed Llama 2 70B should have used at least 216k tokens for more optimal use of compute during training.”
    • 亮点：给出了之前研究对特定模型标记数的结论。

情感分析

总体情感倾向是积极探索的。主要分歧点在于对新论文中词汇量增加能提升性能这一结果在不同方面的疑问和思考，如是否会带来负面的内存、推理速度等影响。可能的原因是论文提出的观点与现有认知存在差异，且新观点涉及到模型性能、词汇量等多方面复杂因素，评论者们试图从各自的专业角度去理解和探究。

趋势与预测

  • 新兴话题：探索更大的标记数（如1000倍词汇量）、模型机制是否通过将分层特征下推到标记器起作用、是否能减小模型规模或者使用更激进的注意力掩码等。
  • 潜在影响：对大型语言模型的优化方向可能产生影响，如在词汇量设置、标记器优化等方面，也可能影响到不同类型模型之间的差距研究以及模型在不同任务（尤其是对单字符突变敏感任务）上的表现研究。

详细内容：

标题：关于增大密集 LLM 输入词汇量显著提升模型性能的热门讨论

最近，Reddit 上一篇题为“Over-Tokenized Transformer - New paper shows massively increasing the input vocabulary (100x larger or more) of a dense LLM significantly enhances model performance for the same training cost”的帖子引发了热烈关注。该帖子获得了众多点赞和大量评论。

帖子主要探讨了通过大幅增加密集 LLM 的输入词汇量（100 倍或更多），在相同训练成本下能显著提升模型性能这一研究成果。引发的主要讨论方向包括对模型训练性能和最终性能的考量、词汇量增加带来的内存和速度影响、与 MoE 模型的对比等。

讨论焦点与观点分析：

有人指出，更高的词汇量是通过在合适的情况下组合多个令牌并从中生成新令牌实现的，虽然在技术上提升了性能，但主要说的是训练性能。比如，那些 5.7 倍、3.2 倍等数字如果不仔细看可能会产生误导，不能声称最终性能会按相同比例大幅提高。

有人认为，更大的词汇量可能意味着更小的令牌和更慢的推理/更差的有效上下文大小，但为了加速，在内存成本不太高的情况下可能是值得的。

有人曾认为较大的令牌集会花费更长时间训练，因为向量更大。

有人提到，“嵌入矩阵”可以是由 CPU 处理的“外部”查找表，不需要乘法。

有人表示可以使用 kNN 进行解嵌入，并且 kNN 比线性扩展好得多。

有人指出，100 倍的令牌训练在 10 亿令牌上会消耗更多的文本 GB，对于资源较少的语言可能是个问题。

有人提到，这种大规模增加词汇量实际上有效地扩大了通常是一定数量令牌的上下文窗口。

有人认为“专家混合”可能是最糟糕的架构名称之一，每次看到人们讨论都会产生误解，完全是因为这个糟糕的名字。

有人分享道：“我发现同样的技巧对 MoE 模型没有帮助，但这可能有助于缩小密集模型和 MoE 模型之间的差距。我很想看到进一步扩展（1000 倍词汇量），看看能推进到什么程度。”

有人认为，MoE 模型中的每个专家对每个令牌都有“特殊”含义，就像健康专家和程序员对“代码”一词的理解不同。

有人反驳称，MoE 专家实际上并没有专门化，除非在很大程度上难以解释的方式。

有人觉得，对于大型解码器，增加词汇量可能增加内存使用，但对于较小的嵌入模型则不一定。

有人表示，编码可能会更长，如果没有涉及多令牌处理方法，上下文大小会很快被消耗。

有人感叹这太违反直觉了，因为原本需要令牌器来摆脱无约束的维度，但增加更多反而使模型收敛更快，因为令牌现在是“分层”的。

有人认为，一个令牌代表的有意义信息越多，模型收敛就越容易。

有人指出，类似于这样的结果在 3 个月前就出现过，表明高度训练的前沿模型未来的最小词汇量应至少为 256k，甚至更大的词汇量也值得探索。

有人觉得，像这样的模型可能在对单个字符突变敏感的任务中表现不佳，但这只是所有用例中的一小部分，所以仍然很棒。

有人认为，直观上似乎这种机制是通过将分层特征推到令牌器中，而不是在自注意力中学习它们。

讨论中的共识在于，增加词汇量在一定程度上提升了模型性能，但也带来了一些潜在的问题和挑战。

特别有见地的观点如，有人认为“专家混合”这个名称容易造成误解；有人提出增加词汇量带来的分层特征可能改变了模型的学习方式。

总之，关于增大密集 LLM 输入词汇量的讨论丰富而深入，为模型性能的提升和优化提供了多样的思考角度。