原贴链接

我知道这是个奇怪的要求，这样的模型可能没什么用，但我正在将llama2.c移植到DOS做概念验证，我想要一个能在640KB内存下运行的模型。有256K或者128K参数的模型之类的吗？我想让大语言模型推理在原始PC上运行。

讨论总结

原帖作者想把llama2.c移植到DOS系统，需要一个小于100万参数且能在640KB内存内运行的模型。评论中，一部分人提供了可能符合需求的模型，如Tinyllamas的260K模型、50k参数模型等；一部分人给出了技术建议，像使用DJGPP突破内存限制；还有部分人探讨原帖需求与LLM定义的冲突，认为这样的模型更像小型语言模型。此外，有人表达了对原帖项目风格的喜爱，也有人分享了儿时回忆。整体氛围比较积极，大家各抒己见，讨论热度有高有低。

主要观点

  1. 👍 存在名为Tinyllamas的260K模型可能符合原帖需求。
    • 支持理由：评论者Aaaaaaaaaeeeee提供了该模型的链接。
    • 反对声音：有人质疑模型的质量、上下文窗口等。
  2. 🔥 640K内存限制并非绝对，有办法突破。
    • 正方观点：suprjami指出可使用DJGPP获得更多内存访问权限。
    • 反方观点：无（未发现明显反对声音）
  3. 💡 小模型经微调在DOS环境下可能有用。
    • 解释：remghoost7认为虽然小模型本身不是特别有用，但针对函数调用进行微调的小模型在DOS环境下可能非常好。
  4. 💡 训练小参数模型容易但效果可能不好。
    • 解释：SpacemanCraig3认为可以轻易在短时间内训练出小参数模型，但几乎肯定不会生成好的内容。
  5. 💡 存在很多参数少于100万的模型，但用途有限。
    • 解释：有评论者指出存在很多小参数模型，但80亿参数左右的模型作为智能体才比较有用。

金句与有趣评论

  1. “😂 Aaaaaaaaaeeeee：Tinyllamas has a 260K model: https://huggingface.co/karpathy/tinyllamas/tree/main/stories260K"
    • 亮点：直接提供了可能满足原帖需求的模型资源链接。
  2. “🤔 suprjami：You are not limited to 640k RAM and honestly no LLM will fit in that anyway.”
    • 亮点：打破原帖对640K内存限制的固有认知。
  3. “👀 我喜欢这个项目类似于“能否运行《毁灭战士》（DOOM）”的风格。”
    • 亮点：从独特的角度表达对原帖项目风格的喜爱。
  4. “🤔 我肯定这样一个小模型的输出一定很糟糕，但如果它至少在最基本的方面有半功能……”
    • 亮点：对小模型的功能和输出效果有理性的思考。
  5. “😎 word2vec + logreg”
    • 亮点：简洁地提出可能与原帖需求相关的替代方案。

情感分析

总体情感倾向是积极的。主要分歧点在于原帖需求是否符合LLM的定义，以及小参数模型是否能达到较好的效果。可能的原因是大家对LLM的概念理解不同，以及对小参数模型的性能预期有差异。

趋势与预测

  • 新兴话题：可能会进一步探讨如何在有限的硬件条件下优化小参数模型的性能。
  • 潜在影响：如果能成功实现原帖在原始PC上运行LLM的设想，可能会激发更多对旧硬件与现代技术结合的探索，也可能影响人们对模型参数规模与性能关系的认知。

详细内容：

标题：在 DOS 上运行小参数语言模型的探索

最近，Reddit 上有一个引人关注的帖子，题为“Are there any LLMs with less than 1m parameters?”。该帖的作者表示，自己正在进行 llama2.c 到 DOS 的概念验证移植，希望找到能在 640KB 内存中运行的模型，比如 256K 或 128K 的模型，并想让 LLM 推理在原始 PC 上运行。此帖获得了众多的关注和回复。

讨论焦点主要集中在是否存在这样极小参数的模型，以及如何在有限的硬件条件下实现运行。有人提到 Tinyllamas 有一个 260K 的模型：https://huggingface.co/karpathy/tinyllamas/tree/main/stories260K 。有用户分享道：“现在那可能会起作用！谢谢。我可能不得不将其量化为 int8 。”还有人提供了类似的在低内存设备上运行的案例：有人在去年万圣节时在（1-8mb？）$1 ESP32 设备上运行，那是一个带有糟糕本地 TTS 的 Dalek ：https://old.reddit.com/r/LocalLLaMA/comments/1g9seqf/a_tiny_language_model_260k_params_is_running/ 。

有用户表示，看了示例后，发现能在 640KB 内存中运行的模型的连贯性令人惊讶。也有人好奇模型的最小尺寸到底能小到什么程度，同时还能保持语句之间的相关性。

有人建议使用 DJGPP 以获得更多内存。还有用户分享了在不同硬件上运行的文本生成速度，如在 Am486DX4 @ 120 MHz 上为 0.187418 tok/s ，在 Intel Pentium MMX @ 233 MHz 上为 1.545667 tok/s ，在 AMD K6 - III+ @ 500 MHz 上为 3.634271 tok/s 。

有用户回忆起自己的相关经历，比如一位用户曾在 386/486 上运行 15M 的 TinyStories ，但在 386 DX/40 上等待很久都没看到第一个字。还有用户讲述了自己小时候与电脑相关的有趣故事，如如何破解妈妈限制玩游戏的方法，以及自己修理电脑硬件的经历。

讨论中存在不同的观点。有人认为这么小的模型可能无法实现实用的功能，也有人觉得这是一种有趣的探索和尝试。

总之，关于在 DOS 上运行小参数语言模型的讨论充满了各种见解、经历分享和有趣的思考，激发了大家对于技术可能性的深入探讨。