原贴链接

嗨，目前最小的大语言模型有哪些？它们有多少参数以及（推理所需的）大小是多少？是否也有一些基准测试？

讨论总结

原帖询问目前最小的LLM及其参数、规模和基准等情况。评论者们给出了各种观点，有人直接指出具体的小型LLM如Qwen 2.5 0.5b、Llama 3.2 1B等，也有人分享了自己使用特定模型的体验。还有人对“LLM”的定义进行探讨，认为在讨论最小的LLM之前需要先明确其定义，并且提到随着模型发展，过去对于大小的标准可能改变。此外，还有评论者对原问题的提问方式提出质疑或给出优化建议。

主要观点

  1. 👍 Super Tiny Language Models (STLMs)有10M、50M和100M参数并给出论文链接
    • 支持理由：直接回答原帖关于小型LLM的问题并提供依据
    • 反对声音：无
  2. 🔥 讨论LLM之前需要先定义概念
    • 正方观点：因为不同公司对LLM和小语言模型的定义界限不同，需要先统一概念才能确定最小的LLM
    • 反方观点：无
  3. 💡 最小的Pythia现在是14M
    • 支持理由：提供了最小Pythia的参数情况，有助于回答原帖问题
    • 反对声音：无
  4. 🤔 原问题的提问方式可优化，应关注能产生连贯输出的最小LLM
    • 支持理由：从实用性角度优化原问题
    • 反对声音：无
  5. 🌟 qwen2.5:0.5b是当前最小的LLM，且在特定设备上运行速度快效果好
    • 支持理由：给出具体模型并描述使用体验
    • 反对声音：无

金句与有趣评论

  1. “😂 Super Tiny Language Models (STLMs), 10M, 50M, and 100M parameters. https://arxiv.org/pdf/2405.14159v1”
    • 亮点：直接回答原帖关于小型LLM的参数问题并给出论文来源。
  2. “🤔 This is kinda a difficult question to answer since LLM literally stands for large language model.”
    • 亮点：指出原问题难点在于LLM本身强调大，从概念角度思考问题。
  3. “👀 If you’re using ollama the smallest I saw was smolLM 135M.”
    • 亮点：分享了ollama中的最小LLM情况。
  4. “😎 At that time 1.5b was considered large because there weren’t any larger models. But now, they are able to make models with hundreds of billions of params, so 1.5b could be considered small now.”
    • 亮点：阐述了随着模型发展，过去和现在对于模型大小判断标准的变化。
  5. “💡 A better way to phrase this question might be what is the smallest LLM that can still produce coherent output and at what level”
    • 亮点：提出对原问题更优化的提问方式。

情感分析

总体情感倾向为积极探索。主要分歧点在于对“LLM”的定义以及原问题的提问方式是否合理。产生分歧的可能原因是不同的人从不同的角度（如研究、使用体验、概念定义等）看待最小LLM这个话题，并且行业内对于LLM相关概念并没有非常统一的标准。

趋势与预测

  • 新兴话题：从加载和推理所需兆字节数定义“最小”LLM以及如何将参数数量与兆字节大小联系起来。
  • 潜在影响：有助于更全面准确地理解和评估语言模型的规模，对模型的开发、优化以及在不同设备上的应用产生影响，例如可以更好地适配资源有限的设备（如树莓派）构建家庭助手等应用。

详细内容：

标题：Reddit 热议“当前最小的语言模型”

在 Reddit 上，一则关于“当前最小的语言模型（LLM）”的帖子引发了热烈讨论。该帖子询问了当下最小的 LLM 及其参数和所需的推理规模，并提及是否存在相关基准。此帖获得了众多关注，引发了大量评论。

讨论的焦点主要集中在各种被提及的小型语言模型。有人提到了“超级微型语言模型（STLMs），分别具有 10M、50M 和 100M 参数，并提供了相关链接https://arxiv.org/pdf/2405.14159v1。有用户表示在 Hugging Face 上未找到这些模型。还有用户指出将“100m”输入 HF 搜索后，找到了用于检测数据集烧伤疤痕等的模型[https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-burn-scar/tree/main]，同时还提到了Baby Llama模型。

有用户认为 babyLM 更符合需求，同时提供了更多参考链接，如[https://aclanthology.org/volumes/2023.conll - babylm/](https://aclanthology.org/volumes/2023.conll - babylm/)和挑战网站[babylm.github.io]。

有人分享了[https://huggingface.co/collections/HuggingFaceTB/smollm - 6695016cad7167254ce15966]，但也有人指出这是不同的模型。

关于小型语言模型的定义存在争议。有人认为 LLM 本就意味着大型语言模型，强调其规模应大。但也有人提到 Qwen 2.5 系列有 0.5b 模型。还有用户提到如果使用 Ollama，最小的是 smolLM 135M，不过其知识储备有限。

有用户在自己的 Framework 设备上使用 Llama 3.2 3B 取得了良好效果，并好奇是否有能在树莓派上运行以构建家庭助手的 LLM 模型。

对于“LLM”的定义，各方观点不一。有人认为需要先明确“LLM”的定义，如微软将参数低于 10B 的定义为 SLM。也有人认为不应随意改变术语的含义。

有人提到最小的 Pythia 现在只有 14M，也有人认为更好的表述方式是能产生连贯输出的最小 LLM 及其水平。

各方提出了多种被认为是较小的语言模型，如 Tinyllm、Qwen 2.5 0.5B 等。同时，对于如何衡量语言模型的“小”，如所需的内存大小等也进行了探讨。

总之，Reddit 上关于“当前最小的语言模型”的讨论丰富多样，涉及模型种类、定义标准以及实际应用等多个方面，反映了大家对于语言模型发展的关注和思考。