原贴链接

嗨，我想发起一个话题来分享在笔记本电脑上运行Llama 3.3 70B的推理速度，只是为了好玩，并且为设定70B推理的一些基准提供资源。我的笔记本电脑有AMD 7系列CPU，64GB DDR5 4800Mhz内存，以及RTX 4070移动版（8GB显存）。以下是我在ollama上的统计数据：名称为Llama3.3:70b，大小为47GB，CPU/ GPU使用率为84%/16%。总时长为8分37.784486758秒，加载时长为21.44819毫秒，提示词评估数量为33个词元，提示词评估时长为3.57秒，提示词评估速率为9.24个词元/秒，评估数量为561个词元，评估时长为8分34.191秒，评估速率为1.09个词元/秒。你的笔记本电脑性能如何？编辑：我正在使用Q4_K_M。编辑2：这是一个测试提示词：编写一个从头开始使用随机梯度下降进行逻辑回归的numpy代码。编辑3：上述提示词的统计数据：总时长为12分10.802503402秒，加载时长为29.757486毫秒，提示词评估数量为26个词元，提示词评估时长为8.762秒，提示词评估速率为2.97个词元/秒，评估数量为763个词元，评估时长为12分，评估速率为1.06个词元/秒。

讨论总结

原帖旨在分享笔记本运行Llama 3.3 70B的推理速度，引出了众多用户参与讨论。大家纷纷分享自己笔记本电脑的配置（如MacBook、M4 Max等）、运行模型（包括Llama 3.3和其他模型）的相关数据，像推理速度、总时长、加载时长等。同时也探讨了不同因素如硬件性能（CPU、GPU、内存等）、量化方式、提示使用等对模型运行速度的影响，整个讨论充满了数据分享和技术交流的氛围。

主要观点

  1. 👍 MacBook相比台式机Nvidia性能有差距，但相比其他CPU绑定的笔记本电脑性能较好
    • 支持理由：Educational_Gap5867指出MacBook相比台式机Nvidia可能慢些，但相比其他CPU绑定的笔记本电脑性能要好很多
    • 反对声音：无
  2. 🔥 不同设备的硬件（如内存带宽等）对模型运行速度有影响
    • 正方观点：如不同内存速度、设备规格不同的情况下，模型运行速度不同
    • 反方观点：无
  3. 💡 在分享笔记本电脑推理速度时数据完整性很重要，如给出Q值
    • 解释：评论者提醒原帖作者给出Q值以便进行恰当比较，原帖作者表示感谢并进行编辑
  4. 💡 不同量化方式在不同设备上的性能表现不同
    • 解释：如在M4 Max上不同量化级别（Q4_K_M、Q4、Q8）下运行Llama 3.3时的推理速度不同
  5. 💡 不同提示大小会极大地影响速度
    • 解释：chibop1指出要确保所有人使用相同的提示，不同提示大小对速度影响很大，siegevjorn表示认可并会更新数据

金句与有趣评论

  1. “😂 Educational_Gap5867：Damn the MacBook maybe slow compared to desktop Nvidias but it eats other cpu bound laptops for dinner.”
    • 亮点：形象地对比了MacBook与台式机Nvidia以及其他CPU绑定笔记本电脑的性能
  2. “🤔 MrPecunius：There doesn’t seem to be a difference with MLX on the M4 (non Pro, which I have in a Mac Mini), while it’s a solid 10 - 15% gain on my now - traded - in M2 Macbook Air.”
    • 亮点：提供了MLX在不同Mac设备上的性能差异情况
  3. “👀 bornsupercharged：I’m typically using qwen2.5 - coder 32B Q4, which I find to be a good trade off of speed and usability.”
    • 亮点：分享了自己使用的模型及其在速度和可用性上的权衡
  4. “😂 Red_Redditor_Reddit：It wasn’t doing 8k t/s. There wasnt a system prompt, and maybe its a weird divide by zero issue. The 0.7 t/s was what I was getting.”
    • 亮点：解释自己电脑没有达到某速度的可能原因
  5. “🤔 Durian881：我的M3 Max（14/30）运行Qwen2.5 72B GGUF Q4_K_M生成5.5个token/秒。”
    • 亮点：直接给出设备运行特定模型的速度数据

情感分析

总体情感倾向是积极的，大家都在积极分享自己的经验和数据。主要分歧点较少，主要是在一些对性能影响因素的不同看法上，例如不同设备性能对比、量化方式影响等，但都是基于技术层面的正常讨论，可能是由于不同设备和使用场景的多样性导致的。

趋势与预测

  • 新兴话题：如在ollama中开启Flash Attention的方法可能会引发后续讨论，因为有用户提出了这个问题但未得到确切解答。
  • 潜在影响：对于想要优化笔记本电脑运行模型速度的用户有很大帮助，同时也有助于相关模型开发人员了解不同硬件环境下的性能表现，以便进一步优化模型。

详细内容：

标题：关于 Llama 3.3 70B 在笔记本电脑上的推理速度热门讨论

最近，Reddit 上有一个关于笔记本电脑运行 Llama 3.3 70B 推理速度的热门帖子引起了大家的关注。原帖作者分享了自己拥有 AMD 7 系列 CPU、64GB DDR5 4800Mhz RAM 和 RTX 4070 移动显卡（8GB VRAM）的笔记本电脑的测试数据，并询问大家的笔记本电脑表现如何。该帖子获得了众多用户的积极参与，评论数众多。

讨论的焦点主要集中在不同型号笔记本电脑的性能表现差异上。有人指出 MacBook 相对于台式机的 Nvidia 可能较慢，但在某些方面优于其他 CPU 受限的笔记本电脑。还有用户分享了通过特定命令运行 ollama 以获取统计数据的方法。

有用户表示自己的 M4 Max 笔记本电脑能获得 20 - 30t/s 的响应率，认为瓶颈在于内存带宽。也有用户分享了使用不同型号的 MacBook Pro 进行测试的具体数据和经历。

比如，一位拥有 128GB M4 Max 内存的用户，在运行特定模型和指令时，获得了相应的推理速度和各项时长数据。还有用户提到 prompt（提示）的重要性，不同 prompt 可能会影响推理速度。

对于 M4 Max 与其他型号如 M2 Max 或 M3 Max 的性能比较，大家也展开了讨论。有人认为差异不会太大，可能只是每秒几个 tokens 的区别。

同时，关于如何进行测试、不同量化方式的影响、外部硬盘连接方式对速度的影响等方面，大家也各抒己见。

总之，这场讨论充分展示了用户们在探索笔记本电脑运行 Llama 3.3 70B 推理速度方面的热情和深入思考，为大家提供了丰富的参考和经验分享。