原贴链接

正在运行Llama 3.1 70B - Q4（附上图片链接：https://llminfo.image.fangd123.cn/images/54h0r7ijcfbe1.png!/format/webp）。这对NVIDIA的显存又是一次打击！

讨论总结

这个讨论围绕AMD Ryzen AI Max+ 395比4090快2.2倍这一说法展开。参与者从不同角度探讨了这个比较的合理性，包括硬件性能、模型运行、价格等多个方面。既有对AMD产品性能提升的期待，也有对这种比较是否存在营销手段的质疑，同时还涉及到一些技术因素的讨论，如内存带宽、显存等，整体讨论氛围比较热烈且争议性较大。

主要观点

  1. 👍 AMD Ryzen AI Max+ 395比4090快2.2倍是有一定依据的
    • 支持理由：AMD可能使用了半精度等技术因素，并且其统一内存架构有一定优势。
    • 反对声音：有人认为这是一种营销手段，因为模型装不进24GB显存，实际比较的是不同通道的系统内存。
  2. 🔥 4090在运行特定模型时存在局限性
    • 正方观点：4090单独运行特定模型（如llama 70b q4）存在局限，需搭配其他硬件且运行速度有限。
    • 反方观点：没有直接反对，但有观点认为AMD的比较存在欺骗性，因为4090因显存问题不能完全加载模型。
  3. 💡 性能比较需要综合多方面因素
    • 解释：不能只看速度，还要考虑价格、功耗、内存、硬件组合等多方面因素，如AMD Ryzen AI Max+ 395虽在速度上可能有优势，但也要看其性价比以及在不同场景下的实际表现。

金句与有趣评论

  1. “😂 random - tomato：Who needs a 4090? I can run a 70B at Q4 with my 100gb hard drive at 0.000001 tok/sec, it is technically infinitely faster than not being able to run it at all. /s”
    • 亮点：以一种幽默讽刺的方式表达了即使性能极低也比不能运行要好的观点。
  2. “🤔 inagy: But has to say, though I understand why they use the unified memory architecture to connect the RAM to the SoC, I don’t like where we are heading with this (soldered, unexpandable RAM).”
    • 亮点：在肯定AMD统一内存架构的同时，表达了对当前内存焊接、不可扩展这种趋势的担忧。
  3. “👀 C_Coffie: I was thinking the same. Is that just because the 4090 doesn’t have enough memory to load a full 70B q4 model?”
    • 亮点：提出了一个关键的疑问，引发了关于4090是否因内存不足导致比较结果的讨论。

情感分析

总体情感倾向比较复杂，既有对AMD Ryzen AI Max+ 395性能提升的期待和肯定，也有对其比较4090速度时是否存在欺骗性或营销手段的质疑。主要分歧点在于AMD宣称的速度优势是否真实可靠，以及这种比较是否公平。可能的原因是大家从不同的角度看待这个问题，如从技术层面、商业利益层面或者实际使用场景层面等。

趋势与预测

  • 新兴话题：可能会有更多关于AMD Ryzen AI Max+ 395实际性能测试的讨论，以及与其他硬件（如M4 Pro Mac Mini等）比较的话题。
  • 潜在影响：如果AMD Ryzen AI Max+ 395真的性能优秀且价格合理，可能会对NVIDIA的市场地位产生影响，也会促使硬件厂商在内存、显存等方面进行改进，同时可能影响消费者在选择硬件时的决策。

详细内容：

标题：AMD Ryzen AI Max+ 395 与 NVIDIA 4090 性能对比引发Reddit热议

近日，Reddit上一篇关于“AMD Ryzen AI Max+ 395 比 NVIDIA 4090 快 2.2 倍”的帖子引发了众多网友的热烈讨论。该帖子在[Running Llama 3.1 70B-Q4]的测试下，称AMD Ryzen AI Max+ 395在处理相关任务时展现出了显著的优势，获得了大量的关注和评论。

讨论的焦点主要集中在以下几个方面： 有人认为，以4090 + 7950x3d 及 64GB RAM的配置运行70b q4时，速度仅为2-4 tok/s，而新的处理器能达到4-8 tok/s，不过仍怀疑其无法超越两张4090的表现。 也有人指出，AMD Ryzen AI Max+ 395在能耗比方面表现出色，且降低了功耗。 还有观点认为，其类似于苹果芯片的统一内存架构，为处理大型模型提供了便利。

然而，也存在不同的声音： 有人认为4-8 tok/s的速度仍然不理想。 有用户质疑测试的公正性和准确性，认为这可能只是营销手段。

一些有趣的观点也丰富了讨论： 有人打趣道：“能用 400 美元的 CPU 运行 70B 模型，那些花数千美元买高端配置的人要哭了。” 还有人说：“这就好比一个用弹弓的人比用贝雷塔 71 手枪的人射得远，因为前者的子弹能装更多。”

总的来说，关于AMD Ryzen AI Max+ 395与NVIDIA 4090的性能对比，Reddit上的讨论呈现出多样化和复杂性。大家对于性能、价格、实际应用等方面各抒己见，这场讨论也反映了用户对于硬件技术发展的关注和期待。