原贴链接

很有可能我们将在明年这个时候开始看到DDR6以及相应的CPU+主板支持。届时，我们应该（希望）能够以低于一块H100/A100的价格构建一台拥有足够内存的405B模型机器。

如果这是真的，那么在当前租赁并计划在一两年内购买DDR6系统内存的情况下，投入大量资金购买GPU是否更加不合理？特别是如果我们预期开源模型会越来越大？按照目前的速度，我们可能会在几年内看到一个1T模型。我不知道有多少公司会资助基础设施来现场运行1T模型，如果这意味着必须购买数百块H100来运行它们。

此外，从长远来看，提高CPU性能是否比GPU更有意义？

我个人对DDR6系统内存感到非常兴奋，并好奇其他人是怎么想的。

讨论总结

本次讨论主要围绕即将到来的DDR6内存及其对CPU和主板支持的影响展开。参与者们讨论了DDR6的引入将如何影响高性能计算设备的价格和性能，特别是对于需要大量内存支持的405B模型等大型开源模型。主要关注点包括DDR6的引入将降低高性能计算设备的成本、内存通道数量比DDR6本身更为重要、初期DDR6设备可能价格昂贵但长期来看成本会下降、现有DDR5设备在短期内仍具有竞争力、新技术的发展将改变市场格局，影响硬件购买决策。此外，讨论还涉及CPU性能提升与GPU性能提升的长期效益比较，以及对未来AI模型规模增长的预期。

主要观点

  1. 👍 DDR6的引入将降低高性能计算设备的成本
    • 支持理由：随着DDR6的普及，构建一个能够支持大型模型的机器的成本将大幅降低。
    • 反对声音：初期DDR6设备可能价格昂贵，但长期来看成本会下降。
  2. 🔥 内存通道数量比DDR6本身更为重要
    • 正方观点：内存通道数量是限制因素，DDR6的带宽提升至关重要。
    • 反方观点：DDR6虽然能提升性能，但仍不足以完全替代当前的高端GPU。
  3. 💡 DDR6的出现可能会降低高内存机器的成本
    • 解释：DDR6的普及可能会降低构建支持大型模型机器的成本。
  4. 👀 投资GPU可能不如投资DDR6系统内存明智
    • 解释：在DDR6系统普及后，投资GPU是否仍然合理。
  5. 🚀 未来模型可能会变得更加高效，但不会无限扩大
    • 解释：评论者对OpenAI关于模型规模扩大的说法持怀疑态度。

金句与有趣评论

  1. “😂 More important than ddr6 is number of memory channels.”
    • 亮点：强调了内存通道数量在性能提升中的关键作用。
  2. “🤔 What costs 5k today will cost a lot less tomorrow.”
    • 亮点：指出了技术成本随时间下降的趋势。
  3. “👀 I don’t buy this TBH, it’s just OpenAI running their mouth about scaling because they want a monopoly.”
    • 亮点：对OpenAI的模型规模扩大说法表示怀疑。

情感分析

讨论的总体情感倾向较为积极，大多数评论者对DDR6的未来持乐观态度，认为其将带来性能提升和成本降低。然而，也存在一些怀疑和担忧的声音，主要集中在DDR6的初期成本、实际性能提升以及对现有GPU投资的影响上。主要分歧点在于DDR6是否能完全替代现有高端GPU，以及其对未来硬件投资决策的影响。

趋势与预测

  • 新兴话题：DDR6的引入可能会改变现有计算架构，尤其是在处理大型模型时。
  • 潜在影响：DDR6的普及可能会降低高性能计算设备的成本，影响硬件市场的竞争格局。

详细内容：

标题：DDR6 及 CPU/MB 支持即将到来，将如何改变局面？

近日，Reddit 上一则关于“DDR6 和 CPU/MB 支持即将到来 - 如何改变局面？”的帖子引发了热烈讨论。该帖指出，明年此时很可能会出现 DDR6 以及相应的 CPU+MB 支持，届时或许能用比单个 H100/A100 更少的钱构建一台拥有足够内存运行 405B 模型的机器。此帖获得了众多关注，评论数众多，主要讨论了 DDR6 对硬件配置和成本的影响，以及与 GPU 性能提升的比较等。

讨论焦点与观点分析： 有人认为，内存通道数量比 DDR6 本身更重要，比如有用户说：“你将需要拥有 12 个或更多内存通道的设备，这在消费级电脑中不可用，通常在工作站或服务器中才有，且至少花费 5000 美元。这里有一篇提到 12 通道内存的文章：https://wccftech.com/intel-confirms-ddr5-8800-memory-granite-rapids-xeon-6-cpus-jedec-next-gen-servers/ 。”但也有人认为 DDR6 和内存通道两者同等重要，认为今天价格高昂的设备未来成本会降低，当前没有的技术未来也会实现。 还有用户表示：“为什么要等 3 - 4 年的 DDR6 ，我家里已经有 DDR5 了。我的工作站有 12 通道的 DDR5 ，384GB 内存和 Epyc Genoa CPU ，裸机约 4000 美元，能很好地处理 405B 模型。速度翻倍固然好，但有更小的模型能以相似的质量满足我的需求。” 有人认为 Strix Halo 将成为拥有宽内存总线的 CPU 中的第一款，随着 DDR6 出现，速度有望达到至少 250GB/s 甚至 350GB/s ，但这仍只能达到 P40 的速度，运行 Llama 405b 仍会有些吃力，且成本高昂。但也有人认为 Llama 70b 没问题。 有人觉得 DDR6 速度不够快，AI 应用将随 GPU 能力扩展，不会有免费的午餐。但也有人提到 AMD 正通过 CPU 营销推动 AI 发展。 有人认为 DDR6 有可能使大型模型仅通过 CPU 和大量内存就能以不那么痛苦的速度运行，从而降低成本。但也有人指出 DDR6 只是 DDR5 速度的 2 倍，除非有拥有大量内存通道的工作站主板和 CPU ，否则难以满足运行大型模型的速度需求。 有人认为未来可能会使低端 GPU 因内存可升级而复苏，或者出现依赖 PC 中 DDR6 的无 GDDR 内存的 GPU 用于推理。但也有人觉得速度仍相对太慢，比如有人说：“我的 3080 Ti 已经老旧，但它有 900GB/s 的带宽，在相当长一段时间内，没有什么能与之相比。现在最好的选择是买一台 Mac Ultra 并将内存最大化，我相信其带宽也有 800GB/s 。”

总之，关于 DDR6 及 CPU/MB 支持的到来对硬件领域的影响，大家观点各异，各有论据。但可以看出，人们都在密切关注技术发展对计算能力和成本带来的改变。