原贴链接

我有一台RTX 3070设备，最近得到了一台M4 24GB 512的Mac mini，于是决定测试两者的AI性能。最初我想用Geekbench AI等流行的基准测试工具进行基准测试，但后来发现这些基准测试可能无法给我真实的数据。所以我在这些设备上运行了ollama并得到了一些有趣的结果。给出了包含不同模型（llama3.2、llama3.2 - vision:11b、mistral:7b、wizard - 13b）在Mac Mini和RTX 3070设备上的总时长、加载时长、提示评估时长、评估时长、每秒标记数等指标的数据对比。很明显M4 24GB无法与RTX 3070相比，但这只是作为一个参考，M4 Mac Mini本身也很强大。我现在没有M4 Mac Pro，网上所有的基准测试都是在比较M4基础版和M4 Pro版，这不能满足需求。较小的模型在RTX 3070上表现很好，但较大的模型开始出现问题，并且在两个设备上显示出相似的输出。所以也许因为有更大的内存等因素，M4在这方面是个不错的选择？

讨论总结

原帖分享了M4 24GB和RTX 3070的AI性能测试结果，包括总时长、加载时长、提示评估时长等多项指标。评论者反应不一，Specter_Origin感谢原帖并寻找M4 Pro相关内容，有评论者对特定数据给予正面评价，有人提出原测试可能因未考虑Mac上下文大小而不够全面，还有人对测试结果表示惊讶并询问测试细节，也有人愿意提供硬件帮忙扩大测试范围。总体氛围比较积极友好，大家围绕原帖测试结果展开讨论。

主要观点

  1. 👍 感谢原帖作者分享内容
    • 支持理由：原帖提供了有用的AI性能测试数据。
    • 反对声音：无。
  2. 🔥 认可M4 24GB设备在AI性能测试中的Tokens/Second达到40t/s是较好的表现
    • 正方观点：单独看这个数据表现不错。
    • 反方观点：无。
  3. 💡 认为原帖测试结果可能因未考虑Mac的上下文大小而不够全面
    • 解释：增加上下文大小可能会使原帖中的各项数据大幅下降。
  4. 💡 对原帖提供信息表示感谢，考虑硬件性能差异后，对测试结果感到惊讶
    • 解释：硬件性能有差距，但测试结果有些意外。
  5. 💡 愿意为原帖作者扩大基准测试范围
    • 解释：自身具备RTX4080 Super显卡和32GB内存等硬件条件。

金句与有趣评论

  1. “😂 Specter_Origin: Thanks for sharing this, I was looking for something like this, now just have to find it for M4 Pro.”
    • 亮点：表达了原帖内容的实用性以及自己进一步的需求。
  2. “🤔 matadorius：40t/s is pretty good”
    • 亮点：对M4 24GB的特定性能数据给予积极评价。
  3. “👀 Add some context size to the Mac and watch those numbers plummet”
    • 亮点：提出了原测试可能存在的问题，增加了思考维度。
  4. “😉 Thanks for the information. Considering the 3070 memory bandwidth is 448 GB/s and 3 times more powerful, and the M4 only 120GB/s I must say I’m a little surprised by the results.”
    • 亮点：结合硬件性能表达对测试结果的惊讶。
  5. “💪如果您想扩大基准测试列表，我可以为您做。我有RTX4080 Super和32GB内存。”
    • 亮点：主动提供帮助并说明自身硬件条件。

情感分析

总体情感倾向是积极的。主要分歧点较少，主要在于对测试结果的不同看法，如有人觉得部分数据不错，有人则对整体结果表示惊讶。可能的原因是大家看待数据的角度不同，有的从单独数据看，有的从硬件性能对比等综合角度看。

趋势与预测

  • 新兴话题：可能会有更多关于M4 Pro的测试结果分享或者比较。
  • 潜在影响：如果更多人参与测试并分享结果，将有助于大家更全面地了解不同设备在AI性能方面的表现，对硬件选择和AI开发等领域有一定的参考价值。

详细内容：

标题：M4 24GB 与 RTX 3070 的 AI 性能测试对比在 Reddit 引发热议

近日，Reddit 上一篇关于 M4 24GB 和 RTX 3070 的 AI 性能测试对比的帖子吸引了众多目光。该帖获得了大量关注，评论区十分热闹。原帖作者拥有 RTX 3070 设备，最近又入手了 M4 24GB 512 mac mini，于是对两者进行了 AI 性能测试。作者列出了详细的测试数据，发现 M4 24GB 在某些方面不如 RTX 3070，但也强调了 M4 Mac Mini 有其自身的优势。文章将要探讨的核心问题是如何解读这些测试数据，以及不同设备在不同模型下的性能差异原因。

在讨论中，观点多样。有人感谢作者的分享，表示一直在寻找类似内容，比如[Specter_Origin]。还有人提供了相关的讨论链接，像[suprjami]给出的 https://github.com/ggerganov/llama.cpp/discussions/4167 。有人认为 40t/s 的表现已经不错，如[matadorius]。也有人指出增加 Mac 的上下文大小可能会导致数据下降，像[koalfied-coder]。

有用户分享道：“考虑到 3070 的内存带宽为 448 GB/s 且性能强 3 倍，而 M4 仅为 120GB/s，我对测试结果有点惊讶，尤其是 13B 模型。”还有用户表示：“3070 只有 8GB 内存，Wizard-13B Q4 是 7.87GB。”有人提出：“啊！这就解释得通了，特别是因为部分内存还被显示等占用，所以溢出是有道理的。”

讨论中的共识在于大家都对测试结果表现出浓厚兴趣，并试图从不同角度进行分析和解释。特别有见地的观点如认为 M4 虽在某些方面逊于 RTX 3070，但不能简单否定其价值，丰富了讨论的维度。

总之，这次关于 M4 24GB 和 RTX 3070 的 AI 性能测试对比的讨论，为大家提供了更多思考和探索的方向。