原贴链接

我非常幸运地获得了这样一台设备，虽然目前还没有托管任何东西，但我确信这将对我、我的团队以及我们围绕它构建的产品产生革命性影响。目前只是初步阶段，我只安装了基本的Ubuntu服务器，但相信其余部分会非常顺利。希望听到其他拥有者的使用经验，或者选择其他路径的原因，或者如果你有一台会怎么用。

首先，这是什么？我购买了一台配置有单个GH-200“超级芯片”的SuperMicro MGX SuperServer。这是一个拥有72个ARM核心的“Grace”CPU，搭配单个H100 Hopper GPU，共享480GB内存和高速互联。成本大约为42,000美元。我有很多Linux经验，但没有直接的数据中心经验，所以通过BMC/IPMI安装对我来说是新的，但我还是摸索着完成了，并且直接从Canonical启动了非常通用的arm64版本Ubuntu。这是个好消息，因为没有必须从NVidia获取的“神秘配方”发行版。最终，我轻松启动到了通用的Linux bash命令行，并相信能够使用apt安装NVidia优化（同样是公共仓库）、视频驱动和CUDA开发套件。

完成后，安装Llama.cpp（目前我首选的托管环境，别喷！）就轻而易举了，然后我可以轻松（祈祷中）将llama-3.2-90B-Vision-Instruct从旧系统迁移过来。或者如果需要，我可以托管3.1-405B。关键是，这个组合让我能够在不购买多个GPU的情况下运行巨大模型。这就是为什么这对我是革命性的。

我们办公室有大约3000名工程师和科学家。我一直在做“尽力而为”的llama.cpp软推广，将近一年了。越来越多的人使用我的服务器而不是openai或claude，尤其是处理内部数据时。更多开发者使用API构建自己的应用，并构建本地的RAG向量数据库。一个团队有一个VS Code插件，可以摄取他们的私有github仓库，并使用我的llama.cpp服务器作为后端，这样他们可以在VSC中编写查询（“为什么这段代码不工作”或“哪个模块创建xyz？”）。这种能力/需求对他们所有人来说都是基础性的，而在我看来，这台硬件是目前绝对的最佳路径。我非常喜欢它，也非常兴奋。

讨论总结

Reddit 用户对于 GH-200 Super Chip 服务器的性能和潜力表现出浓厚兴趣。讨论中，用户分享了他们在使用该服务器时遇到的技术挑战，包括 PyTorch 的兼容性问题、统一内存的实际效果以及软件支持等。同时，用户也探讨了该服务器在不同应用场景下的表现，如 LLM 和 GNN 的支持，以及其在推理任务中的性能。总体而言，用户对于 GH-200 Super Chip 服务器的性能和潜力持积极态度，但也对其在实际应用中可能遇到的技术问题表示关注。

主要观点

  1. 👍 GH-200 Super Chip 服务器具有强大的性能和潜力，能够支持 LLM 和 GNN 等应用。

    • 支持理由：用户分享了他们在使用该服务器时的积极体验，强调了其在推理任务中的表现。
    • 反对声音：有用户对其软件支持和兼容性提出了质疑。

  2. 🔥 PyTorch 在 GH-200 服务器上的兼容性存在问题，统一内存的实际效果与宣传不符。

    • 正方观点：有用户建议使用 UVM 补丁来编译 PyTorch，以解决内存访问问题。
    • 反方观点：有用户质疑 PyTorch 是否能将 CPU 和 GPU 内存视为统一池，并分配大张量。

  3. 💡 GH-200 服务器在推理任务中表现出色，能够提供快速、无幻觉的 AI 数据助手。

    • 解释：用户分享了他们在 Stardog Voicebox 项目中使用 GH-200 服务器支持 LLM 和 GNN 的经验，并强调了其在提供快速、无幻觉的 AI 数据助手方面的优势。

[最多10个]

金句与有趣评论

  1. “😂 从外部看，它就是一个普通的 1U 披萨盒。”

    • 亮点：以幽默的方式描述了 GH-200 服务器的外观，引起共鸣。

  2. “🤔 I’m curious what vllm performance will look like versus llama.cpp, but pytorch on arm is, speaking firsthand, a real pain in the ass to my surprise.”

    • 亮点：表达了对 GH-200 服务器性能的好奇和期待，同时也反映了 PyTorch 在 ARM 架构上的问题。

  3. “👀 I need hw pics and GGUF performance numbers!!”

    • 亮点：直接表达了用户对硬件图片和性能数据的强烈需求。

[最多10个]

情感分析

讨论的总体情感倾向较为积极，用户对于 GH-200 Super Chip 服务器的性能和潜力持乐观态度。然而，讨论中也存在一些担忧和质疑，主要集中在其软件支持和兼容性方面。主要分歧点在于 PyTorch 的兼容性和统一内存的实际效果，这可能是由于用户在实际应用中遇到的技术挑战所导致的。

趋势与预测

  • 新兴话题：用户可能会进一步探索 GH-200 服务器在不同应用场景下的性能表现，以及如何解决 PyTorch 的兼容性问题。
  • 潜在影响：随着 GH-200 服务器在 LLM 和 GNN 等领域的应用不断拓展，其可能会对相关领域的技术发展和应用产生积极影响。

详细内容：

标题：GH-200 运行初体验引发的热烈讨论

在 Reddit 上，一则关于“GH-200 Up And Running (first boot!) - This is a game changer for me!”的帖子引起了广泛关注。该帖获得了众多点赞和大量评论。

原帖作者分享了自己获得 GH-200 这一设备的经历，虽然目前还未用于实际托管，但坚信它将带来巨大改变。作者还介绍了该设备的配置和成本，以及自己在安装过程中的经历。作者表示将在这一设备上安装 Llama.cpp 以运行大型模型，并认为其统一内存的特点是关键优势。

帖子引发的讨论焦点众多。有人好奇其硬件配置，有人关注性能表现，还有人探讨软件支持方面的问题。

有用户提出想看看硬件的图片；有人分享自己在使用过程中遇到的库方面的问题；也有人认为 Nvidia 在某些方面表现不佳。还有用户提到了关于内存处理、带宽、统一内存等技术细节。例如，有人表示在租用 GH200 时，PyTorch 无法访问 CPU 内存；有人提供了相关的技术指南链接，以解决内存访问问题。

在观点方面，有人对 GH-200 的性能表示期待，也有人认为其可能存在不足。比如，有人认为 H100 的专用 HBM 内存不够多，使用共享 DDR 内存可能会影响速度；有人指出软件支持还不够完善；但也有人觉得其在某些方面具有优势，比如内存带宽等。

关于统一内存，有人认为这是 GH200/GB200 的卖点，如果不能实现，整个概念就没有意义；而有人认为可能已经得到改进。

总之，GH-200 的出现引发了大家对其性能、软件支持、应用场景等多方面的热烈讨论，未来其表现如何，还有待进一步观察和验证。