原贴链接

英伟达如何能销售32GB显存的5090，但他们的Project DigITS桌面版却有128GB显存，这似乎存在很多困惑。典型的桌面GPU使用更快的GDDR，服务器GPU使用比其更快的HBM，但Grace CPU使用LPDDR（https://www.nvidia.com/en - us/data - center/grace - cpu/），通常更便宜但更慢。例如，H200 GPU本身只有96/144GB的HBM，但Grace - Hopper Superchip（GH200）额外增加了480GB的LPDDR。GPU到这个LPDDR的内存带宽也相当快！例如，GH200 HBM带宽为4.9TB/s，但CPU到GPU以及RAM到CPU的内存带宽仍然都在500GB/s左右。由于Project DigITS中的GB10 Superchip与GH200 Superchip不同，它没有任何HBM（并且只有20个核心），所以更难预测它的情况。但是如果你看Grace CPU C1芯片（https://resources.nvidia.com/en - us - grace - cpu/data - center - datasheet?ncid = no - ncid），有一种配置是120GB的LPDDR RAM+512GB/s的内存带宽。NVLink C2C到GPU有450GB/s的单向带宽。简而言之：纯粹的推测，但Project DigITS桌面版的内存带宽可能会达到500GB/s左右，这相当不错！对于8位的Llama - 70B来说，大约是7个token/秒。

讨论总结

本讨论围绕Project Digits桌面展开，主题涉及该设备的性能（如内存带宽、与其他设备的性能对比等）、性价比、潜在用途等方面。大家从不同角度分析，既有技术层面的深入探讨，也有对产品商业价值的考量，整体氛围理性务实。

主要观点

  1. 👍 项目中的互连是重要因素，ConnectX - 8速度接近PCIE 5.0 x16速度
    • 支持理由：原帖作者提及这一因素对理解Project Digits桌面的重要性。
    • 反对声音：无。
  2. 🔥 以每秒约7个令牌的速度运行Llama - 70B模型，花费3000美元可能不值得
    • 正方观点：从运行速度与价格的比例来看，性价比不高。
    • 反方观点：有用户认为3000美元运行70B模型性价比可以接受。
  3. 💡 设备主要用于推理，不是用于训练
    • 解释：评论者根据原帖相关硬件配置分析得出此结论。
  4. 👍 如果带宽提升，相同模型处理速度会相应提升
    • 支持理由：以70B llama2 4位量化在不同带宽下的处理速度为例。
    • 反对声音：无。
  5. 🔥 运行Deepseek v3模型时，英伟达设备性价比不如AMD Epyc Genoa设备
    • 正方观点：从运行特定模型所需设备数量和成本角度比较得出。
    • 反方观点：无。

金句与有趣评论

  1. “😂 那可真是够牵强的。”
    • 亮点：直接表达对原帖推测的怀疑态度。
  2. “🤔 低比特运算提高处理性能，比竞争对手快≥4倍。”
    • 亮点：强调低比特运算对性能提升的作用。
  3. “👀 对于70B llama2 4位量化，其在旧的64GB Jetson上以204.8 GB/s使用MLC软件时为4 t/s。”
    • 亮点：提供了特定模型在特定设备和带宽下的性能数据。
  4. “😂 wtf? 500GB/s和128GB, have I traveled to the future?”
    • 亮点：生动表达对Project Digits桌面配置的惊讶。
  5. “🤔 This thing is like the size of an old Mac mini… not everyone has the room or noise - tolerance for a full - blown server.”
    • 亮点：指出设备的物理特性对用户的影响。

情感分析

总体情感倾向较为复杂。部分用户对Project Digits桌面持怀疑态度，认为其性价比不高、原帖推测牵强等；部分用户则对其表现出一定的期待或认可，如认为3000美元运行70B模型性价比可以接受。主要分歧点在于对设备性能与价格的权衡以及对设备前景的预期，可能的原因是用户的需求、使用场景以及对技术发展的不同理解。

趋势与预测

  • 新兴话题：可能会进一步对比Project Digits桌面与其他类似设备的性价比、性能等方面的差异。
  • 潜在影响：对相关硬件设备的研发、市场定价以及用户购买决策产生影响。如果该设备性价比被认可，可能会推动类似设备的竞争与发展；反之则可能促使厂商调整产品策略。

详细内容：

《Reddit 上关于 Project DIGITS 桌面的热门讨论》

在 Reddit 上，一个关于 Project DIGITS 桌面的帖子引起了广泛关注，获得了众多点赞和大量评论。帖子主要探讨了 Nvidia 的 Project Digits 桌面在内存配置和性能方面的情况。

原帖提到，Nvidia 出售的 5090 具有 32GB 的 VRAM，而 Project Digits 桌面却有 128 GB 的 VRAM。还介绍了不同类型的内存，如典型桌面 GPU 的 GDDR 更快，服务器 GPU 的 HBM 更快，而 Grace CPU 使用的 LPDDR 则相对较慢但更便宜。

讨论的焦点主要集中在 Project Digits 桌面的性能、内存带宽、成本效益以及适用场景等方面。有人认为其互连性能出色，能连接多个设备；也有人觉得它价格过高，性能未必能满足需求。

比如，有用户分享道：“Jensen 说可以用 ConnectX 连接多个设备，ConnectX-8 速度高达 800 Gbps。”还有用户表示：“考虑到 8xH100 系统拥有 32TB/s 的内存带宽，这里不存在风险，想要速度还是得选云服务。”

但也有不同声音，比如：“请在发布前删除此内容，别给他们削弱性能的想法。”

讨论中的共识在于大家都对 Project Digits 桌面的性能和价格比较关注，都在探讨其是否值得购买。特别有见地的观点是有人认为其在特定场景下可能具有优势，但也有人质疑其性价比。

总之，关于 Project DIGITS 桌面的讨论热烈而多样，反映了大家对新技术产品的期待和疑虑。未来，我们还需关注其实际表现和市场反馈。