原贴链接

在使用了Meta今天发布的1.25亿参数的MobileLLM并得到比预期好得多且连贯的回复之后，我想知道一个大型语言模型（LLM）能产生连贯文本的绝对最小规模是多少。我或许应该定义一下我所说的“连贯文本”的含义。* 文本在语法上应该正确且可理解（英语）。* 文本至少应该与用户的回复相关。问候应该得到回应的问候，关于狗的问题应该得到至少与狗相关的回答，即使不是事实正确或有用的。我们能使用多低的参数仍能产生这些结果呢？老实说，我没想到我们会得到比GPT - 2（约15亿参数）还小但能产生连贯文本的模型。在体验了一个明显优于GPT - 2的1.25亿参数的模型后，我完全重新思考了这个问题。我们能做到多小呢？5000万？1000万？100万？10万？

讨论总结

原帖提出在体验了Meta发布的125M的MobileLLM后，思考能产生连贯文本的最小LLM规模，给出了连贯文本的定义。评论者们围绕这个话题展开了讨论，有人提出技术设想，如用RAG和掩码训练模型；有人给出自己认为可能的最小规模数值，从20个参数到100k等；还有人分享了小模型的实例，如TinyStories数据集相关的小模型，以及自己训练32M模型的经验等，整体氛围较为积极，大家积极分享观点和经验。

主要观点

  1. 👍 认为可以用数千个参数满足原帖产生连贯文本的规格要求
    • 支持理由：未明确提及
    • 反对声音：被其他评论者否定，指出传统聊天机器人按脚本编写容易在偏离脚本时表现糟糕
  2. 🔥 期待文本模型用RAG和掩码训练
    • 正方观点：这样模型基于如何使用知识训练，对部分任务有用
    • 反方观点：无（未提及）
  3. 💡 100M接近LLM当前规模的下限
    • 解释：这一规模限制是模型没有更小的原因
  4. 💡 存在小于0.01B参数的模型相关实例
    • 解释：TinyStories数据集可用于训练小模型，小模型能产生语法近乎完美等多种优点的故事
  5. 💡 曾经训练过32M的英语聊天模型
    • 解释：使用不到10亿个标记训练，用Transformers python库运行时能回答相关问题

金句与有趣评论

  1. “😂 我正在等待文本模型被用RAG和掩码进行训练，这样它们就不是基于知识进行训练，而是基于如何使用知识进行训练。”
    • 亮点：提出一种创新的文本模型训练思路
  2. “🤔 You could probably meet your specifications with 1000 if statements in python.”
    • 亮点：以一种独特的方式看待满足原帖规格的可能性
  3. “👀 Everlier：100k can be coherent with a vocabulary of 40 - 70 words”
    • 亮点：给出了一个具体的关于模型规模和词汇量与连贯性关系的观点
  4. “😂 MoffKalast: 20 parameters, take it or leave it.”
    • 亮点：极简地给出可能的最小规模
  5. “🤔 我曾经训练过一个32M在英语聊天（用不到10亿个标记从头开始训练），当用Transformers python库运行时，它确实给出与用户问题相关的答案。”
    • 亮点：分享个人训练小模型的实际经验

情感分析

总体情感倾向是积极的，大家都在积极参与关于最小可行LLM规模的讨论，分享自己的观点和经验。主要分歧点在于用1000个if语句是否能满足原帖规格要求，原因是对于传统聊天机器人按脚本编写的稳定性和效果存在不同看法。

趋势与预测

  • 新兴话题：关于特定小模型（如qwen2.5 0.5b）在最小可行LLM规模讨论中的潜力。
  • 潜在影响：对LLM的开发方向可能产生影响，促使更多人探索更小规模但仍能产生连贯文本的模型，可能会影响到相关技术在移动端等设备上的应用。

详细内容：

《关于最小可行语言模型规模的热门探讨》

近日，Reddit 上一篇题为“Minimum viable LLM”的帖子引发了热烈讨论。该帖获得了众多关注，吸引了大量用户参与讨论。原帖主要探讨了在使用了 Meta 发布的 125M MobileLLM 后，所产生的对于语言模型（LLM）能够生成连贯文本的最小规模的思考。

帖子对“连贯文本”进行了定义，包括语法正确且可理解（英语），以及与用户回复至少相关等要求。原帖作者好奇在何种参数规模下能达成这些结果，甚至质疑能否低于 GPT-2 的规模。

讨论的焦点主要集中在以下几个方面： 有人认为可以通过训练文本模型采用 RAG 和遮蔽的方式，使其不依赖于知识的记忆，而是注重如何运用知识，或许能使模型规模低于 100M ，但可能会缺乏某些关联知识。 有人觉得应着重赋予 LLM“软技能”“常识”以及智能解析和检索数据的能力，而非单纯记忆，这对解决幻觉等问题有帮助。 有人分享了在 optillm 中的类似实现，并提供了相关链接。 有人思考能否将知识与语言分离以及分离的程度。 有人认为其想法与 Google 的某些模型有相似之处。

也有观点认为数千个参数是可行的，但也有人强烈反对，认为传统聊天机器人很难制作，稍偏离脚本就会变得糟糕。还有人提出 20 个参数就够，甚至有人开玩笑说 100k 就能连贯，只要词汇量在 40 - 70 个单词。

有人分享了关于 TinyStories 的研究，表明低于 1000 万总参数的语言模型仍能产生连贯的故事。

讨论中存在一些共识，比如大家都对模型规模与性能的关系进行了深入思考。特别有见地的观点是关于创新训练方式以降低模型规模的设想，为未来的研究提供了新的方向。

总的来说，这次关于最小可行语言模型规模的讨论十分热烈且富有启发性，让我们对语言模型的发展有了更深入的思考。未来，我们或许能在更小的规模上实现更出色的语言生成能力。