原贴链接

公告：https://www.primeintellect.ai/blog/intellect - 1；训练仪表盘：https://app.primeintellect.ai/intelligence。名为Prime的训练框架应能实现容错训练、计算的动态开启/关闭，以及跨分布式GPU网络的通信。这使得多个分布式工作节点的计算利用率达到98%。目标是逐步解决去中心化训练问题。博客概述了使用PyTorch FSDP2的fully_shard API，该API将模型参数包装为DTensors，并注册钩子以便在使用张量时安排全收集（all - gather）和归约散射（reduce - scatter）操作。FSDP2还通过将参数分桶为FSDPParamGroups来优化集合操作。这使得能够对更大的张量执行集合操作，提高协议 - 有效载荷比率，并改善流水线的重叠。同样的技巧也应用于伪梯度，按层进行分桶。

讨论总结

这个讨论围绕着INTELLECT -1这一首个开放分布式大型语言模型（LLM）的训练展开。大家讨论了它的去中心化训练面临的硬件资源限制、训练容量问题，还有人对其计算效率提出质疑，也有对最终模型许可发布的关注，同时涉及与比特币相关的话题，整体氛围理性且话题多元。

主要观点

  1. 👍 INTELLECT -1的去中心化训练存在硬件资源需求方面的限制。
    • 支持理由：评论者指出其去中心化训练目前需要8倍的H100 SXM5 GPUs。
    • 反对声音：无。
  2. 🔥 对INTELLECT -1的训练感到兴奋，但关注100亿模型的许可发布情况。
    • 正方观点：这是首个开放分布式LLM的训练，看起来很令人兴奋。
    • 反方观点：无。
  3. 💡 质疑网络延迟对全球去中心化训练的影响。
    • 解释：网络延迟可能会使全球的去中心化训练变得不切实际。
  4. 💡 计算得出系统效率约为1.5%，并质疑其是否真的以此效率运行。
    • 解释：根据相关数据计算得出效率值，因数值过低而产生质疑。
  5. 💡 对INTELLECT -1模型训练中的数据集存在特定项目表示疑惑。
    • 解释：数据集中存在“作为一个语言模型”项目让人不解其合理性。

金句与有趣评论

  1. “😂 ArtyfacialIntelagent：This would have been the best news of the month, except for two things:”
    • 亮点：幽默地表达出虽然这是个好消息但存在问题。
  2. “🤔 JacketHistorical2321：Bitcoin protocol doesn’t even have compute capabilities at the most basic level.…?? Not to mention that LLMs require high bandwidth and bitcoin ASICs are not designed to provide the required bandwidth necessary. This is nothing more than a pipe dream.”
    • 亮点：清晰地阐述了比特币协议与LLM在计算能力和带宽需求上的差异。
  3. “👀 OfficialHashPanda: So is this system really running on an efficiency of 1.5%? Please let me know if I missed something here, because that seems really impractical.”
    • 亮点：通过计算得出系统效率并进行合理质疑。

情感分析

总体情感倾向较为中立。主要分歧点在于对INTELLECT -1项目的评价，一些人对其充满期待，认为它对人类意义重大且很兴奋它的训练；而另一些人则对它的去中心化训练、计算效率、数据集中的项目等方面存在质疑。可能的原因是大家从不同的角度看待这个项目，比如技术实现、资源利用、商业前景等。

趋势与预测

  • 新兴话题：达成AGI的不同途径以及如何整合计算力量创建世界模型可能会引发后续讨论。
  • 潜在影响：如果INTELLECT -1成功，可能会对开放分布式LLM的发展产生推动作用，对人工智能领域的去中心化发展方向也可能产生影响。

详细内容：

《关于 INTELLECT-1 分布式 LLM 训练的热门讨论》

近日，一则关于训练首个开放分布式 LLM——INTELLECT-1 的帖子在 Reddit 上引起了广泛关注。该帖子包含了相关的公告链接（https://www.primeintellect.ai/blog/intellect-1）以及训练仪表盘链接（https://app.primeintellect.ai/intelligence）。帖子介绍了名为 Prime 的训练框架的诸多优势，如能实现容错训练、动态调整计算资源以及在分布式 GPU 网络中进行通信等，使计算利用率达到 98%。然而，这个训练目前存在一些问题，比如需要 8 个 H100 SXM5 GPUs，且训练已达容量上限，无法接受更多计算贡献。此帖获得了大量的点赞和众多评论，引发了热烈的讨论。

讨论的焦点集中在多个方面。有人指出，训练容量上限的情况让人对其所谓的“去中心化”产生质疑。还有人探讨了实现分布式训练所面临的硬件和网络难题。比如，有用户分享道：“因为计算互联约占硬件成本的一半。我希望能跳过所有网络问题，只关注 GPU，但它们需要快速通信。基本上每一步都需要在所有 GPU 之间同步权重。”也有人提到，虽然小型模型越来越强大，但要实现如区块链般在每台机器上都存在完整模型几乎不可能，或许可以通过分块和重组较小模型来解决。

在关于能否避免作弊和确保验证的讨论中，有人认为在去中心化的工作量证明系统中，若工作有实际价值，就可能存在作弊并获取奖励的情况，且要设计防止作弊的分布式 POW 系统十分困难。

对于 INTELLECT-1 最终模型的发布许可，也有人提出疑问。

同时，关于该系统的运行效率，有人通过计算认为其效率仅约 1.5%，并质疑其实际可行性。

总之，这次关于 INTELLECT-1 分布式 LLM 训练的讨论十分热烈，涉及到技术、可行性、许可等多个关键问题，反映了大家对这一前沿领域的高度关注和深入思考。