原贴链接

简而言之，苹果MacBook Pro上的某个内存魔法数字是否能让我在未来进行类似llama 3的开发工作时，避免购买36GB而选择XXGB显得愚蠢？

首先，感谢这个可能是懒惰的问题。我需要为工作购买一台新笔记本电脑，我们至少对尝试一些不同的AI模型“东西”感兴趣 - 我故意含糊其辞，因为我真的不知道那可能是什么样子。最有可能调用第三方API，这显然不会受到内存限制的影响，但我至少对使用Ollama和一些操作系统模型做更多事情感兴趣。

我想知道“仅”有36GB的“统一内存”是否会比拥有更多内存（例如48GB vs 96GB等）有显著不同。

我目前有一台配备32GB内存的M1 MBP，运行Ollama Llama 3 8B效果还不错。但我不想因为内存不足而显得愚蠢，同时我也不想浪费钱。

在我看来，如果我“认真”对待这件事，我最终会让公司为我购买一台配备GPU等的专用机器，所以内存可能不会那么重要。

感谢你的想法！

讨论总结

本次讨论主要围绕购买新Apple MacBook Pro时选择不同内存配置（36GB、48GB、96GB）的问题展开，特别是对于未来可能涉及的AI开发工作的考虑。讨论中涉及了性能、成本和未来技术发展的预测，以及如何在公司内部合理提出升级请求的策略。评论者们提出了关于内存大小与运行速度的关系，以及未来AI模型的发展趋势。同时，评论中提到了等待下一代芯片的可能性，以及当前内存配置在处理大型AI模型时的实际表现。总体来看，讨论涉及了从技术细节到成本效益的多个层面，反映了Reddit用户对于技术投资的长远考虑和实际应用的关注。

主要观点

  1. 👍 未来技术发展难以预测，高内存配置可能更有利于长期使用。
    • 支持理由：更多的内存可以运行更大的模型，但速度可能会更慢。
    • 反对声音：如果主要依赖网络连接，花费2000美元在openrouter上可能更合适。
  2. 🔥 在预算允许的情况下，选择最高内存配置是明智的。
    • 正方观点：96GB内存的设备可以舒适地运行Q4 Llama3 70b等模型。
    • 反方观点：96GB内存的设备在处理大型模型时速度较慢，且Mac的内存是共享的。
  3. 💡 选择内存配置应考虑个人财务状况和公司预算。
    • 解释：36GB内存对于日常工作可能足够，但对于运行本地AI模型可能不足。
  4. 💡 技术发展迅速，当前的高配置可能在不久的将来变得普遍。
    • 解释：苹果正在为下一代芯片（m4）聚焦AI技术，建议等待。
  5. 💡 对于AI 70b模型，96GB内存并不实用，且速度慢，成本高。
    • 解释：选择36GB或48GB内存可能更为合适。

金句与有趣评论

  1. “😂 Future proofing is going to be tricky, and some implementations of context take up a lot of memory.” - bucolucas
    • 亮点：强调了未来技术适应性的挑战。
  2. “🤔 You could earn that social capital if you can link the higher end model with how it would benefit the company (and you)” - ShadowBoxingBabies
    • 亮点：提出了在公司内部提出升级请求的策略。
  3. “👀 Raise your concern with your manager that the 36GB, while more than adequate for daily tasks would be insufficient for running local AI models.” - OccasionallyImmortal
    • 亮点：建议在公司内部提出具体的技术需求。
  4. “😂 I have a 96GB M2 Max which allows me to run Q4 Llama3 70b pretty comfortably (among others).” - explorigin
    • 亮点：分享了实际使用高内存配置的经验。
  5. “🤔 Personally, I would choose the 36GB or 48GB options. The 96GB isn’t very useful for AI 70b models; it’s painfully slow and a lot of wasted money.” - carlosap78
    • 亮点：提出了成本效益的考虑。

情感分析

讨论的总体情感倾向较为中性，评论者们既表达了对未来技术发展的乐观态度，也提出了实际应用中的挑战和成本考虑。主要的分歧点在于内存配置的选择，一些评论者认为高内存配置是未来证明的明智选择，而另一些则认为应考虑成本效益和实际应用需求。这种分歧反映了技术投资决策中的复杂性和多维度考虑。

趋势与预测

  • 新兴话题：未来AI模型的发展趋势和内存需求的变化。
  • 潜在影响：对相关领域或社会的潜在影响包括技术投资的长期效益和实际应用的可行性。