原贴链接

各位，我是一名物理学硕士研究生，正在探索分布式计算资源，特别是在AI/ML工作负载的背景下。我注意到，虽然AI/ML已成为各行业的主要趋势，但对于中小企业、初创企业甚至学术研究人员来说，训练和运行这些模型所需的计算资源可能昂贵得令人望而却步。目前，大多数人依赖两个主要选择：1. 本地硬件 - 需要大量的前期投资和持续的维护成本。2. 云计算服务 - 提供灵活性，但很昂贵，特别是对于长期或大规模使用。相比之下，像Salad.com和类似平台利用全球闲置的个人电脑创建分布式计算集群。这些集群有可能显著降低计算成本。尽管如此，分布式计算似乎在AI/ML领域没有得到广泛采用或普及。我的问题是：1. 阻止分布式计算成为AI/ML工作负载主流解决方案的主要瓶颈是什么？2. 这是技术限制（例如延迟、安全、任务兼容性）的问题吗？3. 或者这个问题更多是关于市场认知、信任和采用方面的挑战？很想听听你们的想法，特别是那些使用过分布式计算平台或在获取可承受的计算资源方面面临类似挑战的人的想法。先谢谢了！

讨论总结

原帖提出在AI/ML任务中，分布式计算对中小企业、初创企业和研究人员而言是降低计算成本的潜在方式，但未被充分利用，疑问主要瓶颈是技术还是市场方面。评论者从多个角度进行讨论，技术方面提到如延迟、数据传输等瓶颈，也涉及数据隐私、公司数据分发限制等非技术因素，还有关于成本计算和云服务等方面的观点。

主要观点

  1. 👍 推理工作负载需要高带宽和低延迟进行分布式处理
    • 支持理由：无论是张量并行还是分片分布式处理都需要
    • 反对声音：无
  2. 🔥 在AI/ML工作负载中延迟是个问题，单台计算机组件间的连接延迟影响性能
    • 正方观点：单台计算机组件间连接造成的延迟会使速度大幅下降
    • 反方观点：在特定情况下如模型在VRAM中时，GPU连接慢可能不影响推理任务
  3. 💡 很多公司在数据分发方面存在限制，可能是不想或者法律不允许这么做
    • 解释：这是除性能问题外，影响分布式计算在AI/ML中应用的因素
  4. 💡 数据传输是GPU集群的主要瓶颈
    • 解释：分布式网络中数据传输速度相比直连布线大幅降低且节点越多问题越严重
  5. 💡 云有分布式训练和推理功能，且云上进行分布式计算更便宜
    • 解释：原帖在本地硬件成本计算上有偏差，未考虑其他成本

金句与有趣评论

  1. “😂 对于推理工作负载，高带宽和低延迟是需要的，无论你做张量并行还是分片（行拆分/层拆分）分布式处理。”
    • 亮点：点明推理工作负载分布式处理的条件
  2. “🤔 即使在单台计算机上，如果组件之间的连接导致太多延迟，也可能会有太多的延迟。”
    • 亮点：强调单台计算机也存在延迟问题
  3. “👀 许多公司不想（或者不被法律允许）像那样分发它们的数据。”
    • 亮点：指出数据分发限制这一影响因素
  4. “😎 如果我能将模型加载到我的2个GPU上，它们通过1x pci插槽和usb电缆连接到主板，这意味着pcie链路非常慢，但它仍然可以进行推理并且不会因慢速链路而减慢速度。”
    • 亮点：以自身GPU情况说明特定条件下连接慢不影响推理
  5. “🧐 你遗漏了很多，所有主要的云都有分布式训练和推理。”
    • 亮点：指出原帖关于云服务理解的缺失

情感分析

总体情感倾向较为客观理性，主要分歧点在于对分布式计算未在AI/ML任务中广泛应用的原因看法不同，有的认为是技术瓶颈如延迟、数据传输等，有的认为是数据隐私、公司政策或对云服务理解偏差等非技术因素导致的，这是由于大家从不同的专业角度和经验出发进行分析。

趋势与预测

  • 新兴话题：可能会进一步探讨如何在现有瓶颈下推进分布式计算在AI/ML任务中的应用。
  • 潜在影响：如果能解决分布式计算在AI/ML任务中的应用问题，将降低中小企业、初创企业和研究人员的计算成本，推动AI/ML技术在更多领域的应用。

详细内容：

《为何分布式计算在 AI/ML 任务中未得到充分利用？》

近日，Reddit 上有一篇帖子引起了广泛关注，该帖子由一位物理学硕士学生发起，探讨了分布式计算资源在 AI/ML 工作负载中的应用情况。帖子获得了众多回复和讨论，点赞数众多，评论区十分热闹。

原帖指出，尽管 AI/ML 在各行业已成主要趋势，但对于中小企业、初创公司和学术研究者来说，训练和运行这些模型所需的计算资源成本高昂。目前主要依赖于本地硬件和云计算服务，但前者需大量前期投资和持续维护成本，后者对于长期或大规模使用来说费用昂贵。而像 Salad.com 这样的服务能利用全球闲置电脑创建分布式计算集群，降低计算成本，然而此方式在 AI/ML 领域似乎未被广泛采用。

讨论的焦点主要集中在以下几个方面：

  • 有人认为，对于推理工作负载，高带宽和低延迟是关键，分布式推理可能需要架构变革。
  • 也有人提到，某些训练算法和优化器已被公开，但大规模应用还需时间。
  • 还有用户表示，在本地可控的解决方案中，数据传输可能存在问题，但如果能合理分配计算资源，或许能提高效率。
  • 同时，有人指出，训练过程中数据传输频繁，需要更多带宽，而分布式计算在数据隐私方面也存在挑战。

观点分析如下：

  • 有人认为，对于推理工作，只要模型能在 VRAM 中处理，即使 GPU 之间的连接较慢，也不会影响性能。
  • 但也有人指出，在单个计算机中，组件间连接导致的延迟可能会造成很大问题。
  • 一些用户认为，部分 AI/ML 工作负载本质上可并行处理，如模型推理或训练中的某些任务可跨节点划分，相关研究方法显示出减少数据交换开销的潜力，但仍需完善以适应更广泛的应用场景。
  • 还有人提到，许多公司因法律限制或自身意愿不愿分布式处理数据。

讨论中的共识在于，数据传输和通信是 GPU 集群的主要瓶颈。而特别有见地的观点是，需要找到适合分布式计算的 AI/ML 任务，以最小化数据交换。

总的来说，关于分布式计算在 AI/ML 任务中的应用，仍存在诸多争议和待解决的问题，需要进一步探索和研究。