原贴链接

当前，低显存GPU是运行大型模型的瓶颈，但DDR6内存应该能在一定程度上解决这个问题。该内存可以辅助GPU以相当不错的速度运行大型语言模型。仅在CPU上运行大型模型并不理想，仍然需要一个速度合理的GPU来计算上下文。例如，我们可以使用RTX 4080，不过速度稍慢一些的也可以。一个700亿参数的Q4 KM模型约为40GB。8192个上下文约为3.55GB。RTX 4080可以容纳约12GB的模型 + 3.55GB的上下文，留给系统内存0.45GB。RTX 4080的内存带宽为716.8GB/s，乘以0.7的效率系数约为502GB/s。对于DDR6内存，虽然很难确切说明，但应该是DDR5速度的两倍左右，并且支持四通道，所以应该接近360GB/s乘以0.7等于252GB/s。(0.3×502)+(0.7×252)=327GB/s。所以该模型应该能以约8.2个词元/秒的速度运行。对于普通用户来说，这应该是相当合理的速度。即使是更慢的GPU也没问题。如果我在计算中犯了错误，请随时告诉我。

讨论总结

原帖认为DDR6内存与合理GPU可使70b模型较快运行，以RTX 4080为例进行了相关计算。评论者从多个方面进行讨论，包括DDR6的发展时间、价格、性能提升是否可行，DDR5的性能及性价比，不同硬件配置下的模型运行速度，运行速度的影响因素如内存带宽、计算能力等，还有对未来硬件发展的期待等，整体氛围较为理性，大家依据自身知识和经验各抒己见。

主要观点

  1. 👍 DDR6内存与GPU搭配有望较好运行70b模型
    • 支持理由：DDR6内存可补充GPU，提升运行速度。
    • 反对声音：DDR6还未大规模上市，距离实现还有很多问题。
  2. 🔥 CPU推理受多种因素限制
    • 正方观点：不仅受内存带宽限制，也受计算能力限制。
    • 反方观点：原帖未提及此点，观点片面。
  3. 💡 DDR5性能未达预期且存在问题
    • 解释：DDR5难以达到性能承诺，在消费级平台使用4通道存在困难。
  4. 💡 不同人对模型运行速度需求不同
    • 解释：取决于使用场景和个人偏好，有人觉得速度慢但能接受。
  5. 💡 当前硬件对家庭用户来说成本高或速度慢
    • 解释：距离理想的APU硬件还有两三代的距离，目前方案性价比不高。

金句与有趣评论

  1. “😂 Everlier：DDR5 had a very hard time reaching its performance promises, so tbh I don’t have much hope DDR6 will be both cheap and reasonably fast any time soon.”
    • 亮点：表达对DDR6性能提升在短期内不抱希望，基于DDR5的情况类推。
  2. “🤔 Admirable - Star7088：Ram speed is 6400 MHz. I don’t think this makes a very noticeable difference in speed though compared to 5200 MHz or even 4800 MHz, as 6400 MHz is only \\~5 - 6 GB/s faster than 4800 MHz. But, it’s better than nothing!”
    • 亮点：指出在DDR5中，不同频率对速度提升影响不明显。
  3. “👀 Chemical_Mode2736：我认为芯片制造商更容易的做法是增加额外的内存控制器并支持更多的内存通道。”
    • 亮点：提出与原帖不同的提升性能的思路，从制造商角度考虑。
  4. “😎 piggledy: I’m using Ollama on a 4090, and it seems quite slow using Llama 3.3 70B, 1.65 tokens/s for the output. Is this normal?”
    • 亮点：以自身使用情况提出关于运行速度是否正常的疑问。
  5. “🤓 joninco：Your bottleneck is the pcie bus, not ddr5 or 6.”
    • 亮点：直接指出原帖在判断瓶颈上的错误之处。

情感分析

总体情感倾向较为中性。主要分歧点在于DDR6内存能否在短期内实现原帖所说的提升运行速度的效果，部分人看好DDR6的潜力，部分人则认为存在诸多限制难以实现。可能的原因是大家基于不同的知识背景、使用经验以及对硬件发展的不同预期。

趋势与预测

  • 新兴话题：APU硬件的发展、DDR6上市后的性能与价格、MoE模型在GPU/DRAM推理中的应用。
  • 潜在影响：如果DDR6能达到预期性能，将推动大模型在更多普通用户设备上的运行；APU硬件的发展可能改变家庭用户对人工智能模型使用的体验；新的模型推理方式如MoE模型的应用可能提高模型运行效率。

详细内容：

标题：DDR6 RAM 能否助力合理 GPU 提升运行 70b 模型的速度？

在 Reddit 上，一则关于“DDR6 RAM 和合理 GPU 应能以良好速度运行 70b 模型”的讨论引起了众多关注。原帖详细分析了 DDR6 内存与 GPU 配合运行 70b 模型的相关计算，并认为这能带来较为合理的速度，比如计算得出模型运行速度约为 8.2 令牌/秒。此帖获得了大量的点赞和评论，引发了广泛而深入的讨论。

讨论的焦点主要集中在以下几个方面：

  • 对 DDR6 内存前景的看法不一。有人认为 DDR6 还很遥远，可能要到 2030 年代早期才会进入大众市场；但也有人指出现在有推动高带宽内存模块发展的需求，情况会有所改变。
  • 关于内存通道和控制器的争议。有人觉得增加内存控制器和支持更多通道的内存是可行的，但也有人担心会增加故障风险。
  • 不同用户分享了自己的使用经历。例如，有用户使用 DDR5 RAM 运行 70b 模型，认为在某些情况下已经表现不错；还有用户在特定配置下获得了一定的速度。

有人表示，DDR5 目前运行 70b 模型的速度相对较慢，例如称 1 令牌/秒的速度难以接受。但也有人觉得对于某些复杂任务和有足够等待时间的情况，这样的速度是可以接受的。

有趣的是，对于不同硬件在处理不同长度的上下文时的性能表现，大家也展开了热烈讨论。有人指出苹果设备在特定情境下的性能特点，还有人探讨了如何优化 GPU 处理上下文的方式。

总体而言，这次讨论展示了大家对 DDR6 内存和 GPU 配合运行大型模型的期待和担忧，也反映了当前硬件发展中的各种观点和实际体验的多样性。究竟 DDR6 内存能否如预期般提升性能，还有待时间和市场的检验。