原贴链接

问题是这样的：如果我有一个配备256GB DDR4内存和霄龙7003系统的设备，是否可以将GPU作为处理单元加载模型，但使用的内存是系统内存而非GPU内存，类似于在集成显卡（iGPU）上加载系统，因为它没有自己的内存，要使用系统内存。你认为有人做过类似的事情吗？

讨论总结

该讨论围绕在单GPU上运行70B模型展开，大家从不同的硬件配置、内存情况（包括系统内存和GPU显存）、量化模型、批处理大小等多方面探讨了运行的可能性、性能影响以及可能遇到的问题，整体是一个专注于技术交流的讨论氛围。

主要观点

  1. 👍 可以将模型权重卸载到内存运行
    • 支持理由：如果有足够内存，甚至不用GPU也能运行，但会牺牲性能。
    • 反对声音：无。
  2. 🔥 在批处理大小为1时，在GPU上运行且权重在RAM中无益处
    • 正方观点：CPU速度已足够，GPU会受限于慢速的PCIe连接。
    • 反方观点：无。
  3. 💡 在特定配置下Llama 3.3 70b能在LM Studio中有一定运行表现
    • 解释：如在RTX 3060 12GB + 48 GB DDR5的配置下，Llama 3.3 70b能达到1.4 tokens/s且有16k的上下文。
  4. 💡 可将模型全加载到内存再将各层/矩阵复制到GPU计算，但速度慢
    • 解释：这是一种运行70B模型的方式，但速度方面存在劣势。
  5. 💡 AirLLM可逐层加载大型模型，虽慢但能使弱系统运行大模型
    • 解释：AirLLM项目通过逐层加载的方式让较弱系统运行超大型模型成为可能。

金句与有趣评论

  1. “😂 arctik47: Yes you can offload your weights to ram. Hell you can run a 70b without a GPU if you have enough ram. Just be ready to take an absolutely massive performance hit”
    • 亮点：明确指出权重卸载到内存运行70B模型在无GPU时若内存够是可行的，但性能影响很大。
  2. “🤔 对于批处理大小为1（正常个人推理中的标记生成）时，将权重置于RAM中在GPU上运行没有好处，因为即使CPU速度也足够快了，并且GPU会受限于慢速的PCIe连接。”
    • 亮点：详细解释了批处理大小为1时，特定运行方式无益处的原因。
  3. “👀 custodiam99：Llama 3.3 70b on RTX 3060 12GB + 48 GB DDR5 = 1.4 tokens/s 16k context (LM Studio).”
    • 亮点：给出了特定配置下模型运行的具体数据。
  4. “😎 Everlier：There are also interesting projects like AirLLM, no, it’s not a fake or satire - it just loads LLM layer by layer. It’s very slow, obviously, but makes inference with truly large models possible on weaker systems.”
    • 亮点：介绍了AirLLM项目的特点和作用。
  5. “🤨 你可以在24GB 下用AQLM量化运行。”
    • 亮点：简单直接地给出一种运行70B模型的量化运行方式。

情感分析

总体情感倾向为中性，大家主要在分享技术观点和经验。主要分歧点在于不同运行方式的可行性和性能优劣，如在GPU上运行且权重在RAM中的益处、不同硬件配置下模型能否运行等。原因是大家从不同的技术背景和实际操作经验出发，关注的重点和角度有所不同。

趋势与预测

  • 新兴话题：像AirLLM这样特殊的模型加载运行方式可能会引发更多关于弱系统运行大模型的讨论。
  • 潜在影响：对大型模型在不同硬件资源下的优化运行提供更多参考，有助于相关技术人员更好地根据现有资源运行70B模型等大型模型。

详细内容：

标题：在单 GPU 上运行 70B 模型是否可行？Reddit 引发热烈讨论

在 Reddit 上，一个关于“在单 GPU 上运行 70B 模型是否可行”的话题引起了众多用户的关注和热烈讨论。原帖中提到，如果拥有 256GB DDR4 内存和 Epyc 7003 系统，能否将模型加载在 GPU 上，而使用系统内存而非 GPU 内存，类似于 iGPU 加载系统时的情况。该帖子获得了大量的点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 有人认为可以将权重卸载到内存中，如果内存足够，甚至可以在没有 GPU 的情况下运行 70B 模型，但性能会受到极大影响。比如有人说：“用 3090 结合 DDR4 能达到 1.38，现在我在两个 3090 上完全使用 VRAM 运行，能达到 12 - 15。我推荐纯 VRAM 模型运行。” 也有人指出，不同的模型和配置会有不同的表现。例如，Q4_K_M 70B 模型在特定条件下运行需要约 45GB 内存，速度可能较慢。 还有用户提到，推理软件会自动将模型的剩余部分卸载到 CPU，但这会导致性能大幅下降。

在讨论中，存在一些共识。比如大家都认同使用系统内存运行会导致性能下降。 一些独特的观点也很有价值，比如有人提到 CPU 推理在某些情况下可能比 GPU 更准确，因为 CPU 是专门为数学和数值计算设计的，具有更多的精度检查原则。

总的来说，关于在单 GPU 上运行 70B 模型是否可行以及如何优化性能，Reddit 上的用户们各抒己见，提供了丰富的见解和经验分享。