原贴链接

既然DGX Spark现在官方公布其内存为273GB/s，我可以‘推测’M4 Max/M3 Ultra将有更好的推理速度。然而，我们可以看看下一个计算‘阶梯’：RTX Pro工作站。https://llminfo.image.fangd123.cn/images/mt560xnobipe1.png!/format/webp随着新的RTX Pro Blackwell GPU发布（来源），查看排名前二的RTX Pro 6000和RTX Pro 5000的规格，后者对于推理Llama 3.3 70B和Nemotron - Super 49B有不错的规格；48GB的GDDR7，内存带宽为1.3TB/s，384位内存总线。考虑到英伟达的定价趋势，RTX Pro 5000可能售价6000美元。因此，将其与R9 9950X、64GB DDR5和华硕ProArt硬件组合，我们可以拥有一个不到1万美元、总功率小于600W的不错的人工智能塔式设备，对于推理小于等于70B的大型语言模型以及训练/微调比Mac Studio更有用。RTX Pro 6000甚至更好（96GB GDDR7，1.8TB/s，512位内存总线），但我怀疑它将售价1万美元。

讨论总结

帖子主要讨论了DGX Spark的内存带宽以及RTX Pro系列显卡用于构建AI塔式设备的情况。评论者们从不同角度发表看法，包括与其他硬件产品的比较、硬件选择的合理性、价格优势的怀疑、实际购买渠道等多方面内容，总体是对硬件在AI任务场景下的性能、成本、实用性等方面的理性探讨。

主要观点

  1. 👍 AMD Ryzen AI Max 300的带宽使得无需等待DGX Spark/DIGITS
    • 支持理由：AMD Ryzen AI Max 300的带宽已达256GB/s，看起来足够使用
    • 反对声音：无
  2. 🔥 原帖选择的CPU和主板对推理无帮助
    • 正方观点：所选硬件在PCIe通道和速度方面与普通消费级主板无异，对推理没帮助
    • 反方观点：原帖未对此进行回应
  3. 💡 很难按原价或从正规经销商处买到RTX Pro系列显卡
    • 支持理由：在市场上难以找到按建议价格出售RTX Pro系列显卡的正规渠道
    • 反对声音：无
  4. 💡 微调70b模型至少需要160GB内存
    • 支持理由：即使小数据集也需要这么多内存，qlora也无法降低需求
    • 反对声音：无
  5. 💡 苹果芯片受原始算术吞吐量限制且不支持原生4位运算
    • 支持理由：研究发现苹果芯片有此性能限制，缺少原生4位运算会影响性能
    • 反对声音：无

金句与有趣评论

  1. “😂 AMD Ryzen AI Max 300 = 256GB/s, doesn’t look like there’s any reason to hold out for DGX Spark/DIGITS.”
    • 亮点：直接通过数据对比表明无需等待DGX Spark/DIGITS。
  2. “🤔 not sure why you would buy a r9 9950x since it wont do anything to help with inference, nor will this Asus proArt hardware as it has the exact same number of pcie lanes and pcie speed as any other consumer board.”
    • 亮点：对原帖硬件选择提出质疑并给出理由。
  3. “👀 You are never going to find RTX Pro cards for sale at MSRP or from reputable dealers, much less both.”
    • 亮点：指出RTX Pro显卡在购买渠道方面的困难。
  4. “😉 这对于微调70b的模型来说并不好，即使是小数据集你也至少需要160GB。”
    • 亮点：强调了模型微调对内存的需求。
  5. “💡 在我的研究中，我发现与英伟达显卡相比，苹果硅芯片基本上受其原始算术吞吐量（FLOPs）的瓶颈。”
    • 亮点：阐述了苹果芯片在性能方面的限制。

情感分析

总体情感倾向为理性探讨，没有明显的正面或负面情绪偏向。主要分歧点在于不同硬件在AI任务中的适用性、性能和成本等方面。原因是不同的评论者基于自己的经验、研究和需求，对硬件的各项指标有不同的重视程度。

趋势与预测

  • 新兴话题：不同硬件在4位量化模型上的表现可能成为后续讨论的话题。
  • 潜在影响：对硬件制造商来说，如果更多人关注到不同硬件在AI任务中的性能差异，可能会促使其调整产品策略或改进产品性能；对于AI开发者来说，能帮助他们在硬件选择上做出更合理的决策。

详细内容：

标题：关于 DGX Spark 与 RTX Pro 5000 的热门讨论

近日，Reddit 上一则有关 DGX Spark 和 RTX Pro 5000 的帖子引发了众多关注，获得了大量的点赞和评论。原帖指出，DGX Spark 拥有 273GB/s 的内存带宽，同时认为 M4 Max/M3 Ultra 的推理速度可能更佳，并对 RTX Pro 5000 的规格和价格进行了分析，称其在进行某些模型的推理时有不错表现，若搭配特定硬件，有望构建出价格低于 1 万美元、功耗低于 600W 的 AI 塔。

帖子引发的讨论焦点众多。有人表示 AMD Ryzen AI Max 300 为 256GB/s，DGX Spark 或 DIGITS 似乎没有优势，其价格可能不如其他替代品。还有人指出 4090 或 3090 的功耗可能是其缺点。也有人认为 48GB 的 4090 稳定性存疑，且 RTX Pro 5000 可能比 5 年前的 A6000 略贵。

有用户认为，购买 R9 9950X 对于推理没有帮助，华硕 ProArt 硬件也无特别优势。但也有人反驳称，一堆 3090 虽价格可能更低，但功耗和噪音会是问题，对于本地 AI 工作站，低噪音和低功耗更重要。还有人指出，对于 70b 的微调，至少需要 160GB 内存，Ultras 的带宽更快，1.3TB/s 虽吸引人，但性价比可能不如 M3 Ultra。同时，有人认为苹果芯片受限于算术吞吐量，且不支持英伟达某些操作，而 DGX SPARK 支持 FP4 是重大性能升级。

此次讨论的核心争议在于不同硬件配置在性能、价格、功耗、噪音等方面的权衡，以及哪种配置更适合特定的需求。大家在探讨中各抒己见，丰富了对这一话题的理解。

总之，这场关于 DGX Spark 与 RTX Pro 5000 的讨论，充分展现了大家对于硬件配置的深入思考和不同见解。