原贴链接

是的，它可以运行！首次测试，我被震撼到了！提示：‘使用p5js创建一个很棒的动画’。每秒18.43个标记，生成一个p5js零次学习内容，在视频结尾测试，视频为实时的，无加速。https://reddit.com/link/1j9vjf1/video/nmcm91wpvboe1/player

讨论总结

[原帖发布了DeepSeek R1 671B Q4 - M3 Ultra 512GB with MLX的首次测试成果，引发了众多评论。评论者们对模型的性能、设备性能等进行了深入讨论，如提示处理速度、每秒标记数等数据的解读，也探讨了硬件相关的问题，像eGPU的支持、内存设置等。此外，还有人对产品的价格、规格表示疑问，也有评论者对原帖表示感谢，或者基于测试结果进行调侃，整体氛围较为积极且充满技术探讨的氛围。]

主要观点

  1. 👍 模型提示处理速度比预想的好
    • 支持理由：给出的测试数据显示在提示处理方面有较好表现。
    • 反对声音：随着上下文填充每秒标记数下降明显。
  2. 🔥 进行大型提示测试有助于深入了解设备性能
    • 正方观点：大型提示测试可得到更多如处理时间、内存使用等数据。
    • 反方观点：无明显反对观点。
  3. 💡 不同设备在内存方面存在差异，影响模型运行
    • 解释：如M系列芯片不支持eGPUs，不同设备的内存不同影响模型运行的性能和效率。
  4. 💡 大型模型的发展对大AI公司的盈利模式提出疑问
    • 解释：随着大型模型发展，运行成本等因素变化，影响大AI公司盈利模式。
  5. 💡 目前运行大型模型的成本较高，未来可能会下降
    • 解释：从当前硬件设备的性能和成本，推测未来随着技术发展成本会降低。

金句与有趣评论

  1. “😂 So, better on PP than most of us assumed but a QUICK drop in tok/s as context fills.”
    • 亮点：简洁地概括了模型提示处理速度的特点。
  2. “🤔 For some quick napkin math - it seemed to have processed that prompt in \~225 seconds, almost 4 minutes (240s).”
    • 亮点：通过简单计算展示了模型处理提示的时间。
  3. “👀 Ok now I want one.”
    • 亮点：直白地表达出对产品的兴趣。
  4. “😎 Have an upvote before i down vote you out of jealousy.”
    • 亮点：幽默地表达出对原帖作者拥有硬件的嫉妒。
  5. “🤪 lol, apple haters will die before they can accept they are cheap idiots :D”
    • 亮点：以一种戏谑的方式表达对苹果反对者的态度。

情感分析

[总体情感倾向为积极，大多数评论者对原帖的测试成果表示肯定、赞赏或者基于成果进行理性的探讨。主要分歧点在于对测试结果中某些数据的解读，如提示处理速度是否足够好，不同的人有不同的看法，可能是因为各自的使用场景、对性能的期望不同导致的。]

趋势与预测

  • 新兴话题：[不同模型在相同机器上的运行速度和输出质量比较可能会引发后续讨论。]
  • 潜在影响：[对相关硬件的销售情况可能会产生影响，如果模型性能表现好，可能会促进产品销售，同时也可能影响相关公司在模型优化和硬件研发方面的方向。]

详细内容：

标题：关于 DeepSeek R1 671B Q4 - M3 Ultra 512GB 性能的热门讨论

近日，Reddit 上一则关于“DeepSeek R1 671B Q4 - M3 Ultra 512GB 性能”的帖子引发了热烈讨论。原帖作者称首次测试效果惊人，并提供了相关数据，如每秒生成 18.43 个令牌等。该帖子获得了众多关注，评论数众多。

讨论焦点主要集中在性能表现上，包括生成速度、处理时间、内存分配等方面。有人认为其性能优于预期，但对于编程需求来说可能不够好；也有人觉得统一内存是本地 LLM 使用的明确方向。

例如，有用户分享道：“作为一名在技术领域工作多年的专业人士，我曾主要使用 WizardLM2 8x22b 模型，发现其写作速度与 40b 模型相似，但提示处理速度明显慢于 70b 模型。因此，此次新模型的表现让我认为 70b 模型的运行会更流畅。”

还有用户表示：“70 秒等待第一个令牌是最大的问题。即使每秒生成的令牌数还不错，但这样的等待时间使其不适合实时交互。”

在讨论中，对于新模型的性能评价存在一定的共识，即虽然有可圈可点之处，但在某些方面仍有待提升。同时，一些独特的观点也为讨论增色不少，比如有人认为未来 70b 模型可能会有更好的表现。

然而，对于模型的具体应用场景和是否值得投入等问题，讨论中仍存在争议。比如，有人认为对于普通消费者而言，其价格和性能未必匹配；也有人认为在特定需求下，其性能优势足以抵消价格因素。

总之，关于 DeepSeek R1 671B Q4 - M3 Ultra 512GB 的性能讨论丰富多样，为大家提供了多维度的思考。未来随着技术的发展和优化，相信会有更清晰的结论。