原贴链接

标题基本上已经说明了，这是否可能？

讨论总结

本次讨论主要围绕如何通过软件和硬件技术将两台配备RTX 4090的PC连接起来，以实现总共48GB的VRAM。讨论中涉及了多种技术方案，如使用vLLM、llama.cpp RPC、pipeline parallelism等，以及硬件连接方式如USB、以太网等。参与者们分享了各自的实践经验，讨论了性能瓶颈和优化方法，如网络速度、多节点监控等。整体氛围技术性强，参与者积极分享和探讨解决方案。

主要观点

  1. 👍 通过vLLM和llama.cpp RPC软件实现两台PC的显存合并
    • 支持理由：设置这种分布式系统相对简单，尤其是对于已经拥有多台配备GPU的机器的用户。
    • 反对声音：有人担心这种分布式设置可能会导致性能下降，但有回复指出在推理过程中数据传输量不大，不会显著影响性能。
  2. 🔥 使用USB连接以获得更快的网络速度
    • 正方观点：建议使用USB连接以获得更快的网络速度。
    • 反方观点：Mac和PC之间的网络连接存在一些限制。
  3. 💡 使用pipeline parallelism技术可以实现两台RTX 4090 PC的连接
    • 解释：数据传输量不会太大。
  4. 🚀 通过W/LAN连接两台RTX 4090 PC是可行的
    • 解释：使用llama.cpp的RPC指南可以进行设置，在千兆以太网上测试，性能表现良好。
  5. 🌐 不同型号的GPU（如2080ti、3070 mobile和2060 super）是否可以组合使用
    • 解释：通过网络连接（如直接以太网连接）实现GPU组合的可能性。

金句与有趣评论

  1. “😂 bullerwins：You can do it with vLLM https://docs.vllm.ai/en/latest/serving/distributed\_serving.html”
    • 亮点：直接提供了实现方法的链接，非常实用。
  2. “🤔 AutomataManifold：This is kind of exciting, because it’s quite tricky to build a machine with 4 GPUs but comparatively easy to build four machines with 1 GPU each…”
    • 亮点：从经济和实际操作角度分析了分布式系统的优势。
  3. “👀 Puuuszzku：Not really. There is not that much data to be sent between the two PCs on inference.”
    • 亮点：指出了推理过程中数据传输量不大的事实，反驳了性能下降的担忧。

情感分析

讨论的总体情感倾向是积极的，参与者们对技术实现和性能优化表现出浓厚的兴趣。主要分歧点在于不同技术方案的性能和可行性，如网络连接速度、软件兼容性等。可能的原因是参与者们对技术细节有不同的理解和实践经验。

趋势与预测

  • 新兴话题：可能引发后续讨论的新观点包括异构GPU设置、旧PC的利用等。
  • 潜在影响：对相关领域或社会的潜在影响包括提高GPU资源的利用效率，推动分布式计算技术的发展。