原贴链接

我喜欢Command R+，但它相当慢。我不确定我是否充分利用了最新的量化优化。任何建议都非常感谢，尤其是关于模型/尺寸的推荐！

讨论总结

本次讨论主要聚焦于如何充分利用拥有128 GB VRAM的MacBook Pro进行非小说/商业文档的草稿和修订。参与者讨论了多种模型和软件的选择，如MoE模型、WizardLM 8x22B、Mistral Large等，以及这些选择在速度和性能上的优劣。此外，讨论还涉及了苹果硅与PyTorch和Transformers的兼容性问题，以及NPU和GPU在处理大型语言模型时的性能差异。总体上，讨论呈现出对高性能设备如何更有效利用的技术探讨和实际应用建议。

主要观点

  1. 👍 MoE模型如WizardLM 8x22B在速度上优于非MoE大型模型
    • 支持理由：MoE模型通常具有较好的速度表现，适合需要快速处理的任务。
    • 反对声音：部分用户对加载大型模型时的速度表示失望。
  2. 🔥 苹果硅与PyTorch和Transformers的兼容性存在问题
    • 正方观点：苹果设备上缺乏CUBLAS等加速库，导致提示评估速度慢。
    • 反方观点：有用户尝试通过其他方式优化兼容性问题。
  3. 💡 使用Mistral Large软件可能有助于提高性能
    • 解释：Mistral Large被推荐用于提高文档编辑的性能，特别是在需要快速处理的场景。

金句与有趣评论

  1. “😂 MoE models usually have good speed compared to non-MoE large models.”
    • 亮点：强调了MoE模型在速度上的优势。
  2. “🤔 We’re still stuck with discrete mobile GPUs if laptops are to be used for inference.”
    • 亮点：指出了移动GPU在推理应用中的局限性。
  3. “👀 I have yet been able to get apple silicon to play nice with pytorch and transformers :(”
    • 亮点：反映了苹果硅与PyTorch和Transformers兼容性的挑战。

情感分析

讨论的总体情感倾向较为积极，尽管存在对某些技术限制的失望，但大多数用户表现出对新技术和优化方案的探索热情。主要分歧点在于不同模型和软件的性能表现，以及苹果硅与主流开发工具的兼容性问题。

趋势与预测

  • 新兴话题：NPU在未来可能被加强以等同于GPU，用于Q8和Q4 quants。
  • 潜在影响：优化苹果硅与PyTorch和Transformers的兼容性可能对开发者和用户产生积极影响。