原贴链接

嗨，大家好！😁 我是MLX的粉丝，刚从推特带来一些好消息。很抱歉没有截图，手机版Reddit不允许我同时添加图片和文字，哈哈。链接如下：https://x.com/awnihannun/status/1875976286474289345

讨论总结

整个讨论是基于DeepSeek v3在2x M2 Ultra上以17 tps运行展开的。在成本方面，涉及到运行项目使用GPU的成本、电力成本、API使用成本、设备转售价值等。性能方面，包含设备性能、不同设备性能差异、提示性能、特定情况下的生成性能等内容，也有对DeepSeek v3达到17 tps速度真实性的怀疑。此外还有关于tps与标记数量关系、处理过程中上下文长度、大语境下的基准测试等多方面的疑问，整体氛围充满技术探讨性，既有质疑也有认可。

主要观点

  1. 👍 质疑运行该项目使用GPU的成本
    • 支持理由：未提及具体理由，但提出质疑
    • 反对声音：无
  2. 🔥 对比Mac和其他设备的电力成本，认为Mac可能更便宜
    • 正方观点：可能基于对Mac设备电力成本的了解
    • 反方观点：无
  3. 💡 根据M2 ultra的内存带宽等情况，怀疑DeepSeek v3达到17t/s速度的真实性
    • 正方观点：M2 ultra的MBW理论最大吞吐量远低于此速度
    • 反方观点：DeepSeek已告知活跃参数数量，按照对MOE的理解其声称是可信的
  4. 👍 认可DeepSeek v3以17 tps运行是很酷的消息
    • 支持理由：未提及更多理由，直接表示认可
    • 反对声音：无
  5. 💡 想知道特定情况下的生成性能（4096 - token提示）
    • 支持理由：只是好奇特定情况下的性能表现
    • 反对声音：无

金句与有趣评论

  1. “😂 只是两笔轻松的7,499.99美元付款。”
    • 亮点：以诙谐的方式可能在调侃相关设备或技术的高昂成本。
  2. “🤔 Mac在这里肯定更便宜，如果不是性能更好的话。”
    • 亮点：比较了Mac和其他设备在成本和性能方面的情况。
  3. “👀 10 + 千美元的API成本？你可以用这个来运营一个业务/应用程序一年，或者独自进行十年的实验。”
    • 亮点：从API成本角度阐述其对业务或实验成本的影响。
  4. “💡 3090空闲时约为20w每个。”
    • 亮点：给出了3090设备空闲时的功率数据。
  5. “😉 你可以用大约相同的成本买到16个二手3090，性能好一个数量级，功耗差两个数量级。”
    • 亮点：对比了不同设备在成本、性能和功耗方面的差异。

情感分析

总体情感倾向是中性的，既有对DeepSeek v3在2x M2 Ultra上以17 tps运行这一成果表示认可的正面态度，也有对其速度真实性、运行成本等方面的质疑。主要分歧点在于对DeepSeek v3速度真实性的判断以及不同设备成本和性能方面的比较。可能的原因是不同用户对设备性能、成本等方面的了解程度不同，以及对新技术的期望和要求存在差异。

趋势与预测

  • 新兴话题：Ultra m4在加速方面的作用可能会成为后续讨论的话题。
  • 潜在影响：如果能够对设备性能、成本等方面有更深入的讨论，可能会对相关技术在实际应用中的选型和优化产生影响。

详细内容：

《关于 DeepSeek v3 性能的热门讨论》

在 Reddit 上，一则关于“DeepSeek v3 运行在 2 个 M2 Ultra 上达到 17 tps 且结合 MLX.distributed”的帖子引起了广泛关注。此帖不仅分享了相关信息，还提供了链接（https://x.com/awnihannun/status/1875976286474289345 ），收获了众多评论和热议。

讨论焦点主要集中在性能、成本以及适用场景等方面。有人指出，Mac 在电力成本方面可能更具优势，也有人认为除非对隐私有绝对保障需求，否则支付 API 使用费可能更划算。还有人提到未来一两年系统要求的不确定性。

例如，有人分享道：“作为一名在相关领域探索的用户，我发现根据具体需求和编程情境的不同，对编码方式的选择会有所差异。比如，因为上下文截断的原因，我在处理问题时将所有当前代码添加到每个问题中，这样能获得与我的代码相关的良好结果，但会消耗大量 API 令牌。”

关于成本，有观点认为 192GB 的 M2 Ultra 价格为 5600 美元，若考虑电力成本，与其他方案相比各有优劣。有人形象地比喻说：“这就像拥有一辆 900 马力的热跑车（3090s）与一辆可靠但昂贵的雷克萨斯（M2 Ultra）。”

对于性能，有人质疑声称的 17t/s 难以令人置信，认为需要更详细的解释和分析。但也有人表示，如果了解 MOE 模型，这一结果是可信的。

在这场讨论中，大家各抒己见，既有对技术细节的深入探讨，也有对实际应用和成本效益的权衡。究竟如何在性能、成本和实用性之间找到最佳平衡，还有待进一步的思考和实践。