原贴链接

见标题。

讨论总结

主题是framework’s AMD max + 395台式机在没有CUDA和256gb/s带宽时用于运行LLMs是否值得。有人认为对特定模型理想、入门价有吸引力，有人认为顶配不值得、AMD不适合运行LLMs等，还涉及到其他硬件设备的比较、性能优势等方面的讨论，整体氛围较为理性且充满争议。

主要观点

  1. 👍 该设备对MoE模型来说是理想的。
    • 支持理由：以256B模型在特定状态下的运行速度理论值为例进行说明。
    • 反对声音：无。
  2. 🔥 等待2.5周后的GTC展示获取DIGITS信息后再决定是否购买Framework台式机是值得的。
    • 正方观点：可能会得到新信息有助于决策。
    • 反方观点：如果产品好可能没库存，不好就和其他产品差不多。
  3. 💡 AMD系统不需要CUDA来运行相关内容。
    • 支持理由：AMD有ROCm，功能类似CUDA。
    • 反对声音：无。
  4. 🤔 2个3090组合具有多种优势。
    • 支持理由：从速度、显存、功率、性价比等多方面阐述。
    • 反对声音：无。
  5. 😕 顶配不值得，但799美元入门价很有吸引力。
    • 支持理由：能获得基本相同带宽且容量更合理。
    • 反对声音：无。

金句与有趣评论

  1. “😂 This is ideal for MoE models.”
    • 亮点：直接点明设备对特定模型的理想性。
  2. “🤔 We might get some new DIGITS information in 2.5 weeks. Jensen will hold a presentation on GTC (March 17th). It could be worth waiting.”
    • 亮点：给出了等待观望的一个依据。
  3. “👀 I won’t accept anything lower than 400gb/s.”
    • 亮点：明确表达自己对带宽的底线要求。
  4. “😉 AMD systems have ROCm which is a clone of CUDA (altered namespace to avoid legal issues) and does all the same things.”
    • 亮点：解释了AMD不需要CUDA的原因。
  5. “🤨 Nothing beats 2x3090. 2.1TBps, 48GB vram, 600w. 1400 - 1500$ + cheap server psu, cpu, rack.”
    • 亮点：强调了2个3090组合的优势。

情感分析

总体情感倾向比较中立，既有看好AMD max + 395台式机用于运行LLMs的（如认为对MoE模型理想、入门价有吸引力等），也有不看好的（如认为AMD不适合运行LLMs、顶配不值得等）。主要分歧点在于对设备性能、性价比以及运行LLMs的适配性的看法不同，可能的原因是大家对于硬件设备的要求、预算以及对LLMs运行的理解和期望存在差异。

趋势与预测

  • 新兴话题：DIGITS相关的性能、价格、带宽等可能会引发后续讨论。
  • 潜在影响：如果AMD max + 395台式机在运行LLMs方面被证明性价比高，可能会影响相关硬件市场的格局；如果DIGITS有较好表现，也可能影响到NVIDIA与AMD在这一领域的竞争态势。

详细内容：

标题：关于 Framework’s AMD Max+ 395 台式机用于运行 LLMs 的热议

在 Reddit 上，一个关于“Framework’s AMD Max+ 395 台式机是否值得用于运行 LLMs，考虑其没有 CUDA 且带宽为 256GB/s”的帖子引发了广泛关注。该帖子获得了众多的点赞和大量的评论。

主要的讨论方向围绕着这一设备的性能、性价比、与其他类似产品的比较等展开。文章将要探讨的核心问题是这台台式机是否真的适合运行 LLMs 以及其在市场中的竞争力。

讨论焦点与观点分析： 有人认为这对于 MoE 模型是理想的，比如基于 256GB/s 的内存带宽，一个 256B 模型搭配 32B 活动理论上可以达到 16 个令牌/秒的运行速度。但也有人指出 32b 在这样的系统上只能达到 7 - 8tps。 有人提到在 2.5 周内可能会有新的 DIGITS 信息，Jensen 将在 GTC（3 月 17 日）举行演讲，或许值得等待。还有人认为如果产品好，可能会缺货；如果不好，可能就和 Mac/AMD Max 差不多。 有人表示 Framework 只是一台电脑，大家都了解，而 DIGITS 则很陌生，不了解的人不会轻易尝试。 有人说 AMD 系统有 ROCm，它是 CUDA 的克隆，能做同样的事情。也有人认为用 AMD 可以使用 Vulkan 而不是 ROCm，在 Deepseek R1 中似乎更快。 有人觉得 395 max PCs 不是主要用于文本生成的带宽，而是不错的溢出/盈余。但也有人提出如何将 3090s 连接到 395 max PCs 的疑问。 有人认为顶级规格不太值得，但 799 美元的入门价格相当有吸引力。 有人指出二手 M2 Ultra studio 在每 GB 价格相似的情况下能获得三倍的内存带宽，但也有人对此价格提出质疑。 有人提到 NVIDIA 的 Digits 是基于 ARM 的移动 SoC，运行 NVIDIA 自己的定制 Linux 操作系统，预计其性能相似但价格更高，操作系统和应用支持更有限。

总之，关于 Framework’s AMD Max+ 395 台式机用于运行 LLMs 的讨论十分热烈，各方观点不一，还需等待更多信息和实际测试来确定其真正的价值。