原贴链接

顶级、未分级、40核的（设备）。我听说14英寸的会降频并且降低吞吐量（t/s）？风扇噪音难以忍受吗？还有，对于123B、16k上下文提示的生成速度如何？（提示处理不算在内，因为我可以缓存它） 太空黑（如果有关系的话）

讨论总结

原帖询问是否应购买14英寸M4 Max 128GB用于123B模型，评论者从不同角度进行讨论。主要涉及设备性能相关内容，如不同型号在各种模型下的生成速度、是否会降频、风扇噪音、温度、电池续航等情况，还有人提到模型的发展趋势对硬件选择的影响，整体氛围比较理性，大家根据自己的经验和数据来分享观点。

主要观点

  1. 👍 M4 Max统一显存利于运行模型但速度不及其他产品
    • 支持理由：有评论者给出与3090/4070对比数据。
    • 反对声音：无。
  2. 🔥 123B在M4 Max上速度会很慢
    • 正方观点：多个评论者根据经验或推测得出。
    • 反方观点：有评论者表示未亲自运行过这么大程序，不确定。
  3. 💡 M2 Ultra比M4 Max速度快
    • 解释：评论者拥有M2 Ultra 192GB Mac Studio，称其速度更快。
  4. 💡 基于LLM发展速度，未来小模型可能超越大模型
    • 解释：LLM每6 - 9个月近乎呈指数级提升，小模型发展潜力大。
  5. 💡 64GB对于使用来说已足够
    • 解释：评论者经过测试得出此结论。

金句与有趣评论

  1. “😂 tinny66666：The unified VRAM is amazing for the size of models it allows you to run, but it’s nowhere near as fast as a 3090/4070.”
    • 亮点：直接对比M4 Max与其他产品的速度差异。
  2. “🤔 TheLocalDrummer：I’d be very happy with 6 to 7 TPS given that’s how fast generation is with an A40 GPU.”
    • 亮点：给出一个期望的生成速度标准。
  3. “👀 Legcor：我得到大约4.1个令牌每秒与第一代和4.25个令牌每秒与第二代，与闪光注意力和2k上下文与你的模型Behemoth - 123B - v2f - Q3_K_M。”
    • 亮点：分享了自己设备在特定条件下的生成速度。
  4. “🤔 SomeOddCodeGuy：M2 Ultra is still faster than the M4 Max (though I suspect the M4 Ultra will be a beast), and the 123b is on the edge of what my patience can take.”
    • 亮点：强调M2 Ultra比M4 Max快且123B处理速度考验耐心。
  5. “👀 FullstackSensei：If you’re basing your purchase decision on the current state of LLMs, you might find that in 6 - 9 months 30B model will outperform current 100 + B models.”
    • 亮点：提出LLM发展对硬件选择的影响。

情感分析

总体情感倾向较为中性客观。主要分歧点在于是否应该购买14英寸M4 Max 128GB用于123B模型，原因是不同评论者的设备使用经验、对性能的需求以及对模型发展趋势的看法不同。

趋势与预测

  • 新兴话题：小模型发展趋势可能会影响硬件设备的选择策略。
  • 潜在影响：如果小模型性能提升超越大模型，可能会改变人们对硬件设备的需求，促使硬件制造商调整产品策略，以适应新的模型运行需求。

详细内容：

标题：关于是否购买 14 英寸 M4 Max 128GB 用于 123B 模型的热门讨论

近期，Reddit 上一则关于是否应该购买 14 英寸 M4 Max 128GB 用于 123B 模型的帖子引发了热烈讨论。该帖子获得了众多关注，众多用户纷纷发表了自己的见解。

讨论的焦点主要集中在该配置的性能表现，如生成速度、散热、风扇噪音等方面。有人认为，统一的 VRAM 对于运行的模型大小而言很出色，但速度不如 3090/4070。比如有用户分享：“作为一名在相关领域有经验的人士，我亲身经历了不同配置带来的差异。在之前使用的配置中，处理速度明显较慢，但更换到新配置后，效率有了显著提升。”

有用户称拥有 16 英寸 M4 Max ，在特定条件下生成速度约为 4.1 令牌每秒。还有用户通过详细计算，估计 14 英寸 M4 Max 处理 123B 模型的速度约为 2 令牌每秒。也有人表示 M2 Max 96GB MBP 在特定情况下能达到 3 令牌每秒。

对于是否值得购买，观点不一。有人觉得 Macbook 完全值得，特别是考虑到转售价值等。但也有人认为速度不够理想，不如选择其他方案。比如有用户提到：“我有 M2 Ultra 192GB Mac Studio ，并不推荐用于该模型，因为耐心有限。”

讨论中也存在共识，即性能、成本、便携性等因素需要综合权衡。特别有见地的观点认为，随着技术发展，较小模型可能会有更好表现，或者可以考虑构建带有 GPU 的推理设备。

总之，关于是否购买这一配置用于 123B 模型，大家各抒己见，还需根据个人需求和实际情况做出决策。