原贴链接

这是一款带有SO - DIMM插槽的RISC - V GPU，先别抱太大希望，但这好歹是个新东西！链接：https://www.servethehome.com/bolt - graphics - zeus - the - new - gpu - architecture - with - up - to - 2 - 25tb - of - memory - and - 800gbe/2/，https://bolt.graphics/

讨论总结

这是一个关于带有可扩展内存的RISC - V GPU的讨论。参与者从多个角度对该GPU进行分析，包括性能（如内存带宽、运行速度）、软件支持、在不同应用场景（如AI、LLMs）下的表现、与其他硬件（如英伟达产品、HBM等）的比较，还涉及对生产该GPU的公司的可信度的质疑，整体讨论氛围以质疑为主。

主要观点

  1. 👍 对新GPU的性能表示质疑，如90GB/秒的运行速度下大量内存的实用性存疑
    • 支持理由：在运行速度有限的情况下，大量内存可能无法充分发挥作用，如在大型语言模型应用中内存带宽是瓶颈。
    • 反对声音：可以利用低带宽构建特定架构的LLM。
  2. 🔥 新GPU可能存在软件支持问题
    • 正方观点：没有看到该公司相关的视频、音频资料以及人员展示，缺乏可信度，以往这类公司有营销多但最终消失的情况。
    • 反方观点：该GPU基于RISC - V且有矢量扩展已被gcc和LLVM支持，不需要太多工作，移植相对容易，可以用无代码工具完成相关工作。
  3. 💡 对新GPU的可扩展性表示怀疑
    • 解释：有评论者指出目前只有理论设计没有硬件制造，SODIMM速度慢，可能无法达到期望的性能提升效果。
  4. 👍 对新GPU在AI方面的表现持怀疑态度
    • 支持理由：宣传数据缺乏支撑，相比其他技术（如GDDR7）有速度差距。
    • 反对声音：对运行特定模型（如MoE模型）有好处。
  5. 🔥 新GPU的速度可能较慢
    • 正方观点：DIMMs因信号完整性问题无法达到很高速度，SO - DIMM速度慢且叠加通道也不够。
    • 反方观点：可以通过智能检索和存储到更快VRAM来改善。

金句与有趣评论

  1. “😂 Time to break out my old N64 memory expansion pack!”
    • 亮点：以幽默调侃的方式回应新GPU可扩展内存的特性，用古老游戏设备的内存扩展包来调侃新的GPU技术。
  2. “🤔 That sounds too good to be true - where is the catch?”
    • 亮点：简洁地表达出对新GPU可扩展内存这一特性的怀疑态度，引发大家对新GPU潜在问题的思考。
  3. “👀 They were proposing 8x as fast as an H100 or something, which is completely ridiculous. Smells like an (investors) scam.”
    • 亮点：指出该GPU相关方提出的性能数据荒谬，怀疑有投资者骗局，是对新GPU争议性的一个典型体现。
  4. “😂 Whats old is new again.”
    • 亮点：从回忆往昔类似技术操作的角度，对新的GPU技术做出一种带有哲学性的对比和思考。
  5. “🤔 I’m…. not sure I believe that.”
    • 亮点：直接表达对GPU性能参数的怀疑，体现出讨论中普遍存在的质疑态度。

情感分析

总体情感倾向为质疑和悲观。主要分歧点在于对新GPU的性能、实用性和软件支持方面。可能的原因是新GPU目前只有理论设计没有硬件制造，且宣传数据存在缺乏支撑的情况，再加上该领域竞争激烈，大家对新进入者要求较高且持谨慎态度。

趋势与预测

  • 新兴话题：利用该GPU构建低带宽LLM架构。
  • 潜在影响：如果这款GPU能够成功克服目前被质疑的问题，可能会对GPU市场格局产生影响，尤其是在数据中心、AI计算等领域，为相关应用提供更多的硬件选择；反之，如果失败则可能警示市场对于新GPU技术的推广需要更加谨慎对待。

详细内容：

标题：RISC-V GPU 可扩展内存引热议，前景几何？

在 Reddit 上，一则关于 RISC-V GPU 具有可扩展内存的帖子引起了众多关注。原帖指出这是一款带有 SO-DIMM 插槽的 RISC-V GPU，并提供了相关链接www.servethehome.com/bolt-graphics-zeus-the-new-gpu-architecture-with-up-to-2-25tb-of-memory-and-800gbe/2/ 、bolt.graphics/ 。此帖获得了大量的点赞和评论，引发了大家对于该 GPU 性能、应用场景以及发展前景的热烈讨论。

讨论的焦点主要集中在以下几个方面： 有人表示不确定大量的内存如果运行速度仅为 90GB/秒是否有用，质疑其相比构建 DDR5 桌面的优势。例如，有人说：“作为一名在相关领域工作多年的从业者，我深知内存速度对于系统性能的关键影响。在以往的项目中，哪怕是微小的速度提升，都能带来显著的效果。然而，90GB/秒的速度在面对复杂的计算任务时，可能会成为瓶颈。”

也有人认为，对于某些需要大上下文的 MoE 模型，这种设计可能有用，软件若能将 KV 缓存置于 LPDDR5X 中，将模型权重分布在 DIMM 上，尽管速度可能不快，但仍有应用价值。

还有观点指出，虽然其速度是 RAM 的近三倍，但仍需考虑其是第一代产品，后续的改进会带来更大优势，有望在需要巨大上下文窗口的模型中发挥重要作用。

不过，也有不少质疑的声音。有人认为其内存带宽低，对于 LLM 应用可能用处不大。有人觉得这可能只是理论设计，尚未有实际硬件，甚至可能资金不足无法完成原型。还有人担心软件支持会是个问题。

在讨论中，也有一些共识。大家普遍认为，该产品的实际性能和应用效果有待观察，其在市场中的竞争力取决于能否解决内存带宽等关键问题。

特别有见地的观点是，有人认为这种设计可能会改变 Nvidia 的市场地位，出现专门的 LLM 变压器加速器，摆脱 CUDA 生态系统。但也有人认为 RISCV 架构在性能上相对落后，难以与其他主流架构竞争。

总之，关于这款 RISC-V GPU 的讨论热烈而多元，其未来的发展仍充满了不确定性，需要进一步的实践和市场检验。