原贴链接

https://github.com/evilsocket/cake 今天在工作中拿到了M4 Max。4090已经在这儿了。我应该尝试运行什么呢？4090只有大约+150（曲线）和+200Mhz的基本超频。

讨论总结

原帖作者介绍自己拥有的硬件设备（4090 SUPRIM X、M4 Max 40 - core GPU和128GB RAM）并询问能运行什么，评论者们纷纷根据这些硬件设备给出各种操作建议，也有部分评论者提出关于硬件本身的疑问，如硬件运行模式、特定硬件之间的兼容性等，整个讨论充满技术氛围，大家都围绕硬件相关的话题进行交流。

主要观点

  1. 👍 在股票速度下比较OpenWebUI中的Qwen的tokens/s
    • 支持理由：原帖作者询问可运行内容，这是一个具体可尝试的操作。
    • 反对声音：无。
  2. 🔥 进行FP16的70b基准测试，采用不同大小的提示并生成512
    • 正方观点：可以测试硬件在不同提示下的性能表现。
    • 反方观点：无。
  3. 💡 4090核心超频基本无作用，但显存超频可能有明显提升
    • 理由：评论者自身经验表明核心超频无用，显存超频有效果。
  4. 💡 不必太在意超频，运行特定程序并分享结果即可
    • 理由：超频不是重点，运行程序看结果更重要。
  5. 💡 应关注降压，降压可能不损失性能
    • 理由：有评论者通过自身实践得出降压不影响性能。

金句与有趣评论

  1. “😂 Stock speeds. Compare tokens/s in Qwen in OpenWebUI.”
    • 亮点：简洁地给出操作建议。
  2. “🤔 Fp16 only? Let’s see a 70b baseline, try both a small 64 token and a big 4k token prompt then generate 512.”
    • 亮点：详细阐述了一种硬件测试的方案。
  3. “👀 4090 core OC does basically nothing.”
    • 亮点：指出4090核心超频的实际效果。
  4. “💥 But if you can oc the memory it might show noticeable improvement.”
    • 亮点：强调显存超频可能带来提升。
  5. “😎 Agree. But you should care about undervolting - I reduced power draw on my 4090 from 450 to 350 W with no loss of performance in either AI or gaming.”
    • 亮点：通过实例说明降压的可行性。

情感分析

总体情感倾向为中性，主要是大家都在理性地探讨硬件相关的操作建议和疑问。分歧点较少，主要是在一些硬件性能提升手段（如超频是否重要）上有不同看法，这可能是因为大家的硬件使用经验和需求不同。

趋势与预测

  • 新兴话题：关于硬件设备在特定软件（如Mistral Large quant、Llama 3 70B等）上的运行情况可能会引发后续讨论。
  • 潜在影响：有助于了解这些硬件设备在不同操作下的性能表现，对硬件使用者在进行任务分配、性能优化等方面有一定的指导意义。

详细内容：

标题：关于硬件组合与性能探索的热门讨论

在 Reddit 上，有一个引起广泛关注的帖子，标题为“Combining cake, a 4090 SUPRIM X and an M4 Max 40-core GPU with 128GB RAM”，获得了众多点赞和大量评论。原帖作者表示在工作中得到了 M4 Max，而 4090 早已在手，询问应该尝试运行什么，并提到 4090 只有基本的 OC 约 +150（曲线）和 +200Mhz。此帖引发了关于如何充分发挥这些硬件性能以及不同硬件组合效果的热烈讨论。

讨论焦点与观点分析： 有人认为应以 stock speeds 来对比 Qwen 在 OpenWebUI 中的 tokens/s。有人提出先尝试 llama 模型，并且指出 FP16 模型体积很大，下载需约 150GB。还有用户提到 4090 核心 OC 作用不大，关键在于内存 OC，而 Windows 系统下能保持稳定。有人同意不必太在意 OC，但应关注 undervolting，称将自己 4090 的功率从 450 降至 350W 且性能无损。也有人探讨了不同硬件在运行特定模型时的性能差异。比如，有观点认为对于大型模型推理，Mac 可能表现不错，但在大型上下文方面比 RTX 慢很多。还有人提供了详细的硬件性能数据和模型 TFLOPS 的对比，如 3090 为 142.32，4090 为 330.4 等，并给出相关链接https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference。

这场讨论让我们对不同硬件的性能特点和优化方式有了更深入的了解，也为硬件爱好者和相关从业者提供了丰富的参考和思考方向。