原贴链接

有谁在性能较差的设备上运行大型语言模型呢？不是那种只尝试过一次，而是真正经常使用的那种情况？

讨论总结

这个讨论围绕着在较弱硬件上运行大型语言模型（LLMs）展开。众多网友分享了自己在各种各样的弱硬件设备（如旧笔记本电脑、手机、低性能显卡、低配置CPU等）上运行LLMs的经历，包括运行的模型名称、运行速度、遇到的问题、解决的办法等。其中也有一些质疑的声音，以及一些幽默诙谐的奇特想法，整体讨论氛围热烈且充满探索性。

主要观点

  1. 👍 在英特尔赛扬N5095上运行了LLAMA 3.2 1B版本
    • 支持理由：作者亲身经历并分享。
    • 反对声音：有人质疑这种情况是“爬取”而非“运行”。
  2. 🔥 在GTX 1650 4GB运行llama 2 13B体验差
    • 正方观点：每秒只能处理2个token，随着上下文填充会变得更慢。
    • 反方观点：无（未提及）。
  3. 💡 在纯CPU上可以运行Mistral large模型
    • 解释：有网友分享自己在纯CPU上运行该模型的经历。
  4. 👍 在手机上运行特定的LLM模型是可行的
    • 支持理由：多位网友分享在手机上运行不同模型的速度等情况。
    • 反对声音：无（未提及）。
  5. 🔥 有人在esp32上运行LLM
    • 正方观点：有网友指出存在这种情况且给出github链接。
    • 反方观点：无（未提及）。

金句与有趣评论

  1. “😂 I run LLAMA 3.2 1B on a intel celeron N5095”
    • 亮点：直接表明在较弱硬件上运行LLM的情况。
  2. “🤔 If we’re not talking edge devices like phones, or pure CPU inference, I used to run llama 2 13B on a GTX 1650 4GB. It was hell, I would get 2 tk/s, and it would get even slower as the context filled up, this is before llama.cpp got a lot of optimizations.”
    • 亮点：生动描述在GTX 1650 4GB上运行llama 2 13B的糟糕体验。
  3. “👀 I run qwen2.5 on this phone right now.”
    • 亮点：简洁表明在手机上运行LLM的情况。
  4. “😂 I want to hack a pregnancy test to run llama 3.3 70B so after about a week it either tells you a little story about the baby you’re going to have, or describes a fun night out downtown if you’re not.”
    • 亮点：提出在验孕棒上运行LLM的奇特想法。
  5. “🤔 The only language it will be good at is Esperanto.”
    • 亮点：幽默调侃在验孕棒上运行的LLM可能只擅长世界语。

情感分析

总体情感倾向是积极探索的。主要分歧点在于对某些运行情况的定义（如“爬取”还是“运行”），可能的原因是大家对于在较弱硬件上运行LLMs的概念理解和标准不一致。

趋势与预测

  • 新兴话题：边缘设备运行LLMs的更多探索和优化。
  • 潜在影响：对LLMs的普及有推动作用，让更多资源有限的设备也能运行LLMs，可能会促使更多针对弱硬件的优化方案出现。

详细内容：

标题：谁在弱硬件上运行大语言模型？

在 Reddit 上，一个题为“who’s running LLMs on the weakest hardware?”的帖子引发了热烈讨论。该帖子询问谁在性能较弱的设备上长期运行大语言模型，获得了众多关注，评论数众多。主要讨论方向集中在各种硬件配置下运行大语言模型的体验和性能表现。

讨论焦点与观点分析：

有人在英特尔赛扬 N5095 上运行 LLAMA 3.2 1B，还有人在 GTX 1650 4GB 上运行 llama 2 13B，称其过程犹如地狱。有人表示在 1650 4GB 显卡的笔记本上运行，还有人分享在 64GB 内存和 16GB 显存的配置下，在 CPU 上运行 Mistral Large 2 123b 的情况。

有人在手机上运行 Qwen2.5-3B Q5，速度约为 10 个 token/秒。有人尝试在 ESP32 上运行，还有人想在验孕棒上运行 llama 3.3 70B 以获得有趣的结果。

有用户指出，在骁龙手机上运行 8b 效果不错，并分享了相关应用或堆栈。有人在旧笔记本、树莓派等设备上运行较小的模型，如 GPT-2 或 TinyLlama，虽然速度慢，但对于基本需求还是可行的。

比如，有人在 i5 集成显卡上运行 Qwen 2.5 7b 时，差点“爆炸”。有人在 3060 显卡和 32GB 内存、2018 年的 Skylake 架构主板的电脑上运行量化的 70 亿 - 140 亿参数的模型，速度很快。

不同用户对于在弱硬件上运行大语言模型的体验和看法各不相同。有人认为运行速度取决于硬件配置和模型大小，也有人探讨了如何优化以获得更好的性能。

总之，Reddit 上关于在弱硬件上运行大语言模型的讨论丰富多样，为大家提供了不同的视角和经验分享。