原贴链接

我刚接触大型语言模型（LLM），经常听到人们谈论以token为单位衡量的token价格和上下文窗口，每个token的比特数是固定的吗？它们是否因模型而异？是否在同一个模型中也会变化？

讨论总结

整个讨论围绕LLMs中一个token有多少比特展开。一些评论者对原提问者被无端踩的现象表示不满，倡导合作包容的态度。在技术层面，有人指出之前关于token比特数的答案错误，其由分词器决定且不同分词器有差异，也有人从模型、信息密度、存储等角度分析影响token比特数的因素，还有人给出了计算token比特数的不同方法，包括信息论中的比特和表示比特的计算。

主要观点

  1. 👍 反对对提问进行无端踩而不回答的行为
    • 支持理由：提问是正常的知识探索，应被鼓励
    • 反对声音：无
  2. 🔥 token中的比特数由分词器决定且固定于每个分词器，但不同分词器大小不同
    • 正方观点：从技术原理出发，分词器决定token的比特数
    • 反方观点：无
  3. 💡 标记在LLM中可表示为整数，但标记器另一端的标记是可变长度的字符串，其位数可变
    • 解释：从不同角度阐述了LLM中标记的表示形式及其特性
  4. 👍 不能单纯以位来衡量token（除了平均值情况），其位数因模型而异
    • 支持理由：不同模型结构、词汇量等不同会影响token的位数
    • 反对声音：无
  5. 💡 每个模型有特定的词汇量，标记的比特数可通过词汇量计算
    • 解释：如GPT4的词汇量对应的标记比特数约为17比特（2字节）

金句与有趣评论

  1. “😂 dowell_db：I may not actually understand but I’m sick of people downvoting questions instead of answering.”
    • 亮点：表达对提问被无端踩的不满，倡导积极回答问题的氛围
  2. “🤔 Number of bits in a token is determined by the tokenizer.”
    • 亮点：简洁地指出token比特数的决定因素
  3. “👀 Llama 3 has a vocab size of 128,000. log2(128000) = 16.9. Therefore it takes about 17 bits to represent each token.”
    • 亮点：通过具体模型的例子计算表示token所需的比特数
  4. “😎 LocoLanguageModel: Dumb questions are my favorite kind to ask an LLM.”
    • 亮点：表达对向LLM提所谓“愚蠢问题”的积极态度
  5. “💡 如果想知道信息论中的比特，可通过gzip压缩输入文件、标记化再相除得到近似值。”
    • 亮点：提供了一种计算信息论中token比特数的方法

情感分析

总体情感倾向积极，大部分评论者都认真解答原帖的技术问题，并且对提问者比较包容。主要分歧点在于token比特数的计算方式和影响因素，这是由于不同评论者从不同的技术角度（如存储、信息密度、模型词汇量等）出发考虑问题。

趋势与预测

  • 新兴话题：不同模型间token的信息传递效率以及如何优化。
  • 潜在影响：有助于对LLMs内部机制有更深入理解，在模型优化、资源利用等方面提供参考。

详细内容：

标题：关于令牌中比特数的热门讨论

在 Reddit 上，一个题为“这可能是个愚蠢的问题，但一个令牌中有多少比特？”的帖子引起了众多网友的关注和热烈讨论。该帖子获得了大量的评论和互动。

讨论的焦点主要集中在令牌中比特数的确定方式以及其在不同模型中的差异。有人认为，神经网络的输出是对所有可用令牌的加权值，其取决于模型可用的令牌数量。也有人指出，令牌中的比特数由分词器决定，每个分词器的大小是固定的，但不同的分词器大小不同。

例如，有用户分享道：“所有这些答案都是错的。令牌中的比特数由分词器决定。每个分词器都有一个固定的每令牌比特数，但每个分词器的大小都不同。大多数分词器都可以在本地使用。您可以通过几行 Python 代码在调试器中查看结果来自行测试。”还有用户表示：“LLM 本身处理数字，所以每个令牌都可以表示为一个整数。也就是说，分词器另一端的每个令牌都是可变长度的字符串，因此是可变的比特数。”

同时，讨论中也存在一些争议和不同的见解。有人认为所有令牌具有相同数量的比特，而有人则认为在实际信息中，每个令牌的平均比特数可能更低，存在“浪费”的比特。

此外，特别有见地的观点包括：不同模型可能共享相同的分词器和通用词汇/索引，但每个令牌的价格可能因模型大小和架构的复杂性而有很大差异。这反映在令牌嵌入的维度等方面。

总之，关于令牌中比特数的问题，Reddit 上的讨论展现出了多样性和复杂性，为这一问题提供了多维度的思考和见解。