原贴链接

我刚开始这个爱好时用的是M2 Mac Studio。它在4k-8k的上下文处理中表现很棒。但后来我开始想要更长的上下文，处理时间开始让我发疯。

于是，我转而使用搭载AMD处理器和2080ti显卡的电脑进行实验。我加载了一个12b q4模型，使用64k上下文和flash attention，k,v使用Q4量化。VRAM使用了10G，总共11G。所有层都能装在2080ti上。

嗯，是的。相比之下，我的M2 Mac在这种设置下处理32k上下文需要大约260秒（尽管Mac不能使用量化的k,v）。而在2080ti上只需要25秒就能处理32k上下文。

Mac在这种相同设置下处理32k上下文时大约使用了30G VRAM。或者类似这样…太懒了，懒得再次检查。所以在Nvidia的配置上我可以获得双倍的上下文而不会耗尽VRAM。

此外，koboldcpp在Nvidia机器上似乎有工作的上下文切换功能。而在Mac配置上，每次2-5次回复后就必须重新处理上下文。

而且，在Mac配置上启用上下文切换时，回复有一半的时间会出问题，必须重新生成回复，这在Nvidia机器上不会发生。

总之，对我来说，这两种设置的差异是天壤之别。

讨论总结

本次讨论主要聚焦于Mac与AMD构建的Nvidia显卡在处理大型模型时的性能对比。参与者分享了从Mac切换到Nvidia显卡后的显著性能提升，特别是在处理长上下文和使用特定优化技术（如flash attention和quant k,v）时。讨论中还涉及了硬件配置、VRAM效率、稳定性、内存带宽等多个方面。此外，一些用户分享了在不同操作系统下的使用体验，以及在移动和网络环境下的应用情况。总体上，Nvidia显卡在处理速度和效率上显示出明显优势，而Mac在某些特定场景下仍有其独特优势。

主要观点

  1. 👍 Nvidia显卡在处理速度上显著优于Mac
    • 支持理由：使用Nvidia 2080ti系统处理32k上下文仅需25秒，而M2 Mac Studio需要260秒。
    • 反对声音：Mac在内存带宽上有独特优势，但实际处理速度不及Nvidia。
  2. 🔥 Nvidia系统在VRAM使用上更高效
    • 正方观点：Nvidia系统能够处理更多上下文而不超出VRAM限制。
    • 反方观点：Mac在处理长上下文时存在问题，需要频繁重新处理。
  3. 💡 在上下文切换稳定性方面，Nvidia系统明显优于Mac系统
    • 解释：koboldcpp在Nvidia系统上的上下文切换功能更为稳定，而Mac上经常出现问题。
  4. 👍 Mac在某些特定场景下仍有其独特优势
    • 支持理由：Mac在内存带宽和统一内存模型上有优势，适合运行大型模型。
    • 反对声音：在处理长上下文时，Mac的性能不足。
  5. 🔥 成本效益考虑
    • 正方观点：组装一台带有独立GPU的普通台式机成本仅为Mac的三分之一。
    • 反方观点：Mac在某些情况下可能更具性价比。

金句与有趣评论

  1. “😂 Switching to Nvidia rig significantly improved performance and context shifting stability.”
    • 亮点：强调了Nvidia系统在性能和稳定性上的显著提升。
  2. “🤔 For things that fit in 24GB, NVidia will be always better. Mac only makes sense for memory.”
    • 亮点：指出了Nvidia和Mac在不同内存需求下的适用性。
  3. “👀 The real value of the Mac is more the tradeoff of VRAM and power draw vs speed.”
    • 亮点：讨论了Mac在VRAM和功耗方面的优势。

情感分析

讨论的总体情感倾向较为中性，主要分歧点在于Mac与Nvidia显卡在不同应用场景下的性能和效率。一些用户认为Nvidia显卡在处理大型模型时表现更优，而另一些用户则认为Mac在内存带宽和统一内存模型上有其独特优势。可能的原因包括硬件配置、操作系统偏好以及具体应用需求的不同。

趋势与预测

  • 新兴话题：随着技术的进步，未来可能会有更多关于如何在不同硬件平台上优化模型处理的讨论。
  • 潜在影响：对于需要处理大型模型的用户来说，选择合适的硬件平台将直接影响其工作效率和成本效益。

详细内容：

《Mac 与 Nvidia 设备在处理大型模型时的性能之争》

在 Reddit 上，一则关于使用 Mac 还是 Nvidia 设备来处理大型模型的讨论引发了众多网友的热议。原帖作者分享了自己从 M2 Mac Studio 转向 AMD 搭配 2080ti 构建的经历，对比了两者在处理 4k - 8k 及更高上下文时的性能差异。该帖子获得了大量的关注，评论数众多，主要讨论了在处理大型模型时，Mac 与 Nvidia 设备在性能、功耗、便携性等方面的优劣。

讨论焦点与观点分析： 有人认为切换到 Nvidia 设备显著提高了性能和上下文切换的稳定性。比如，在处理 32k 上下文时，M2 Mac 耗时约 260 秒，而 2080ti 仅需 25 秒。而且 Mac 在处理此类任务时的 VRAM 占用高达 30G，而 2080ti 则只需 10G 左右。 有用户指出，Mac Studio 在特定情况下能从其巨大的内存带宽中获得独特优势，高配置的笔记本电脑在某些方面也有优势。但也有人反驳，认为 Nvidia 设备在性能上更具优势，比如双 3090 架构的带宽远高于 Mac。 一些用户提到了便携性的问题，认为在笔记本电脑上运行 8B 和 16B 模型具有优势，尤其是对于有特定需求的用户。但也有人认为，在很多地方网络连接不可靠，拥有本地硬件更可靠。 对于 MLX 框架，有人认为它速度更快，尤其在处理大型模型和大上下文时优势明显；但也有人认为其量化选择有限。 还有用户分享了自己在不同设备上的使用体验，如拥有 192GB M2 Ultra 的用户提到了速度和上下文切换的问题；使用 M3 Max 128GB 的用户称赞了其功率效率。

总的来说，关于 Mac 和 Nvidia 设备的选择，取决于用户的具体需求和使用场景。在性能方面，Nvidia 设备通常表现更出色；但在便携性和功率效率上，Mac 可能有一定优势。这场讨论充分展示了不同用户在面对设备选择时的权衡和考量。