原贴链接

帖子仅提供了一个链接，无具体可翻译内容

讨论总结

整个讨论围绕在4个M4 Pro Mac Minis + Thunderbolt 5互联（80Gbps）分布大型语言模型（LLMs）展开。大家主要从性能、成本、性价比等方面进行探讨，有对这种设备组合性能的疑惑，也有与其他设备如M4 Max、M2 Studio等在性能、成本、设置难度等方面的比较，还涉及模型运行的特定要求、互联速度对运行速度的影响等技术探讨，同时也出现了对Llama 405B及所有LLMs的负面评价。

主要观点

  1. 👍 对4个M4 Pro Mac Minis组合的性能表示疑惑。
    • 支持理由：质疑4个设备组合后的性能提升效果。
    • 反对声音：无。
  2. 🔥 探讨M4 Max在性能、设置简易度和成本方面可能更优。
    • 正方观点：M4 Max有2倍的内存带宽和GPU核心数，单个设备便于利用性能。
    • 反方观点：4个M4 Pro Mac Minis在性价比上可能更有优势。
  3. 💡 4个设备组合不一定带来4倍速度提升，还涉及模型类型等因素影响性能。
    • 解释：模型运行方式不同，如不是张量并行，就不是简单的速度叠加。
  4. 💡 M2 Studio在内存和性能上略好，不过价格高出1000美元。
    • 解释：对比了M2 Studio和4个Mac Minis的价格与性能关系。
  5. 💡 模型运行有特定要求。
    • 解释：模型需要特定来源，修改文件也需符合特定函数要求。

金句与有趣评论

  1. “😂 So confused a 70b at this little t/s with 4 of them?? An m4 max should beat it and way easier to setup and cheaper?”
    • 亮点：简洁地表达出对4个M4 Pro Mac Minis组合性能的疑惑以及对M4 Max的看法。
  2. “🤔 4 of them doesn’t mean 4x faster. If it’s not tensor parallel then it’s just splitting up the model across all 4 machines then running each section sequentially.”
    • 亮点：深入解释了设备组合不一定带来速度成倍提升的原因。
  3. “👀 I’m not clear on the mini specs used.”
    • 亮点：指出原帖在设备规格说明上的不足。

情感分析

总体情感倾向为中性偏负面。主要分歧点在于4个M4 Pro Mac Minis组合与其他设备（如M4 Max、M2 Studio）的性能与成本的比较，以及对大型语言模型（尤其是Llama 405B）的评价。可能的原因是大家基于不同的使用需求和对不同设备、模型的了解程度不同。

趋势与预测

  • 新兴话题：通过Exo、Tailscale组建LocalLlama批量推理俱乐部的可行性。
  • 潜在影响：如果更多人尝试这种组建推理俱乐部的方式，可能会影响到LLMs的本地化使用和相关技术的社区发展。

详细内容：

标题：关于 M4 Pro Mac Minis 与 Thunderbolt 5 互联的热门讨论

近日，Reddit 上一则关于“LLMs distributed across 4 M4 Pro Mac Minis + Thunderbolt 5 interconnect (80Gbps)”的帖子引发了广泛关注，点赞数众多，评论区也十分热闹。

原帖主要探讨了 M4 Pro Mac Minis 与 Thunderbolt 5 互联在性能和配置方面的相关话题，并提供了链接（https://x.com/alexocheema/status/1855238474917441972）。讨论焦点集中在 M4 Pro Mac Minis 与其他配置的性能对比、内存需求、价格等方面。

有人认为 4 台 M4 Pro Mac Minis 不一定意味着性能 4 倍提升，如果不是张量并行，可能只是将模型分散在 4 台机器上依次运行。还有人提到，4 台机器相加并不能简单得出 4 倍的性能提升，比如增加 2 倍的 GPU 在同一台机器上，也并非能达到 2 倍的性能提升，可能只有 25%的增速。

有人指出，添加每台新的 Mac Mini 能带来 2 倍的性能提升。但也有人反驳称，这种说法若属实将是巨大的成就，因为即使在同一台机器上使用 2 倍的 GPU，通过张量并行也达不到 2 倍的性能提升。

有人觉得 M4 Max 不能打败这里的配置价值，而有人则认为可以。认为可以的一方表示，M4 Max 的内存带宽是 Pro 的 2 倍，GPU 核心也是 Pro 的 2 倍，将这些集中在一台机器上能更有效地利用其性能，而不是分散在两台机器上。

关于价格，有人认为 M4 Ultra Mac Studio 最高配置的价格可能在 6599 至 7299 美元之间，从内存配置和性能等方面进行了分析。

还有人分享了自己的个人经历，比如在配置硬件时遇到的各种问题，如 Linux 系统、CUDA 错误、PCIe 错误等，认为 Mac Mini 运行稳定且省心。

讨论中也存在一些有趣或引发思考的观点，比如有人觉得 Llama 405B 在专业写作方面表现不佳。

总之，这场讨论让大家对 M4 Pro Mac Minis 与 Thunderbolt 5 互联的性能、价格和实际应用有了更深入的思考和认识。但对于如何选择最适合自己需求的配置，仍存在诸多争议和不确定性。