原贴链接

不过针对大型语言模型（LLM）的实际基准测试很少。我发现：[https://www.youtube.com/watch?v=s6wt83TU_B4]在运行带有deepseekv2.5的LMStudio；[https://www.youtube.com/watch?v=J4qwuCXyAcU]在测试每秒18万亿次（t/s）运算的Q4 MLX的R1，我觉得另一张图应该是每秒16万亿次（t/s）运算的ollama的Q4_K_M。我认为这些是标记生成而非提示处理，并且是在低语境规模下。

讨论总结

这个讨论围绕Mac Studio M3 Ultra的LLM评测展开，涉及设备性能的多方面内容，如性能提升带来的变化、不同设备间的性能比较、提示处理速度、基准测试等，大家从不同角度分享观点，氛围理性且充满技术探讨氛围。

主要观点

  1. 👍 18t/s的速度在代码生成方面是可用的
    • 支持理由：假设PP不是很糟糕的情况下可用于代码生成
    • 反对声音：无
  2. 🔥 关于Mac Studio M3 Ultra的LLM评测缺乏实际基准测试，尤其是提示速度方面
    • 正方观点：目前的评测数据存在如测试样本不足等问题，未涉及提示速度等
    • 反方观点：无
  3. 💡 性能差异小得出乎意料
    • 解释：考虑到Q4_K_M应该具有更高质量，但实际性能差异小
  4. 💡 MoE的整体结果令人印象深刻
    • 解释：虽不是密集模型之王，但在其方面表现出色
  5. 💡 设备对于处理敏感数据的人员有用
    • 解释：可以处理超敏感或受监管的数据

金句与有趣评论

  1. “😂 ForsookComparison：18t/s is extremely usable for codegen assuming that PP isn’t horrible.”
    • 亮点：提出在一定假设下18t/s速度对代码生成可用
  2. “🤔 xrvz：Much like the Switch setting the bottom limit for gaming performance, Apple computers set the upper limit for the cost of the performance level they achieve.”
    • 亮点：通过类比阐述苹果电脑性能与成本的关系
  3. “👀 I would say those are token generation and not prompt processing. And at low context size.”
    • 亮点：指出当前数据是令牌生成而非提示处理且上下文规模小
  4. “😉 Surprisingly small difference in performance considering Q4_K_M should be higher quality..”
    • 亮点：对性能差异小表示惊讶
  5. “🤨 Overall impressive results for MoE, may not be the king of dense models but dam if it can’t blow through MoE..”
    • 亮点：肯定MoE整体结果

情感分析

总体情感倾向较为中性，主要分歧点在于对一些性能数据的看法（如14.8 t/s的提示处理速度是否勉强可用）以及数据来源（如Qwen2.5 - 72b在Macbook pro上的速度数据）等，可能的原因是大家从不同的使用场景和期望出发进行考量。

趋势与预测

  • 新兴话题：对设备并发处理能力的关注可能会引发后续讨论。
  • 潜在影响：如果对设备性能等方面有更深入准确的评测，可能会影响消费者对Mac Studio M3 Ultra以及相关设备在处理LLM等任务时的选择。

详细内容：

标题：Mac Studio M3 Ultra 评测引发激烈讨论

近日，Reddit 上关于 Mac Studio M3 Ultra 的评测成为热门话题，吸引了众多网友的关注。原帖中提到了一些相关的基准测试链接，但针对大型语言模型（LLMs）的实际基准测试较少。该帖子获得了大量的点赞和众多评论，引发了关于其性能、价格、应用场景等多方面的热烈讨论。

讨论的焦点主要集中在以下几个方面： 有人认为 18t/s 的速度对于代码生成相当实用，尤其对于处理超敏感或受监管数据的人员来说，尽管价格高昂，但每个实例 10k 美元的成本在某些情况下是合理的。然而，也有人指出 Mac Ultras 的提示处理速度仍比 Nvidia 卡慢很多，可能更适用于批量处理夜间任务。

有用户分享道：“作为一名长期关注电脑硬件的爱好者，我发现苹果电脑在性能和价格方面一直有着独特的定位。这次的 Mac Studio M3 Ultra 虽说性能有提升，但价格依然让人望而却步。” 还有用户提供了相关的测试数据：“Macbook pro 中，M4 MAX 的提示处理速度为 14.8 个令牌/秒，M2 则为 2.63 个令牌/秒。”

在讨论中，也存在一些争议点。比如对于性能提升的程度以及价格是否合理，大家看法不一。有人觉得这是巨大的进步，而有人则认为仍不够出色。同时，对于该设备在不同场景下的适用性，也存在不同观点。

不过，大家也达成了一些共识，认为这一产品的出现为市场竞争带来了新的变化，促进了成本的降低。

总之，关于 Mac Studio M3 Ultra 的讨论充分展现了大家对其性能和市场表现的关注与期待，也反映了电脑硬件市场的多样性和复杂性。