原贴链接

在AMD CES 2025（https://llminfo.image.fangd123.cn/images/winh95qkcfbe1.png!/format/webp）

讨论总结

该讨论围绕标题中AMD相关产品与RTX 4090 24GB在运行LLama 3.1 70B - Q4时速度的比较展开。部分人对标题数据表示怀疑，怀疑这是营销骗局，比如怀疑没有真正将模型装入24GB VRAM。同时也有人从硬件性能、成本、架构等多方面进行分析探讨，整体氛围既充满疑惑，又有理性的技术交流。

主要观点

  1. 👍 对在24GB VRAM中装入模型的方式存在疑惑并期待评测。
    • 支持理由：标题中的速度比较让人好奇其模型装入方式，需要评测确定。
    • 反对声音：无。
  2. 🔥 怀疑这是营销骗局，认为没有真正装入VRAM。
    • 正方观点：数据对比可能隐瞒了部分真相，如只是比部分卸载的4090快却声称装入VRAM。
    • 反方观点：无明确反驳观点，但有人对整机成本与骗局关系提出疑问。
  3. 💡 AMD的统一内存相比CPU的DDR5内存有速度优势。
    • 解释：约250GB/s的统一内存与50 - 60GB/s的DDR5内存相比速度更快。
  4. 💡 商家比较存在隐瞒事实的情况。
    • 解释：如4090运行完整模型时可能更快，但商家隐瞒了其内存不足的情况。
  5. 💡 这一配置可用于构建预算型机器。
    • 解释：对于预算有限的人来说是个不错的选择。

金句与有趣评论

  1. “😂 Can someone explain how they fit the model into 24 GB VRAM.”
    • 亮点：直接表达对标题中关键操作的疑惑。
  2. “🤔 It’s marketing bullshit.”
    • 亮点：简洁地表达对标题内容的怀疑态度。
  3. “👀 Even with their marketing shenanigans of doing a partial offloaded model vs their unified memory setup, you’re still looking at their ~250GB/s unified memory compared to 50 - 60GB/s DDR5 memory for CPU setups.”
    • 亮点：在提及营销手段的同时比较了硬件的性能。
  4. “😂 那看起来像是个编造的数字。”
    • 亮点：直白地表达对标题数据的怀疑。
  5. “🤔 It doesnt, with the memory bandwith that it has and llama70b q4 being around 40gb you’d likely see 5 - 6 tok/s. They cleverly hid the fact that 40gb doesnt fit on a 4090, at least not all of it.”
    • 亮点：详细分析了数据背后可能存在的隐瞒情况。

情感分析

总体情感倾向为疑惑与怀疑为主。主要分歧点在于标题所提内容是否是营销骗局。可能的原因是标题给出的数据和对比信息不完整，没有足够的技术细节解释，导致大家对其真实性存疑。

趋势与预测

  • 新兴话题：对Mac运行相同程序速度的好奇可能引发后续对不同平台运行速度的比较讨论。
  • 潜在影响：如果这种速度对比被证实存在营销骗局，可能影响AMD相关产品在市场上的声誉；如果是真实有效的，可能会促使更多人关注AMD在AI领域的硬件发展。

详细内容：

标题：AMD 新芯片与 RTX 4090 在模型运行速度上的争议

最近，Reddit 上有一个关于 AMD 新芯片的热门讨论，帖子标题为“2.2x faster at tokens/sec vs rtx 4090 24gb using LLama 3.1 70B-Q4!” 获得了众多关注。该帖子主要探讨了 AMD 新芯片在运行模型时与 RTX 4090 24GB 版本的速度对比。

讨论中观点纷呈。有人表示希望等待第三方评测，弄清楚模型如何适配 24GB VRAM。也有人认为这是营销噱头，实际上模型没有完全适配 VRAM，还有人提到和 NVIDIA 不提及使用 fp4 时一样有数据误导之嫌。有人质疑如果整台机器成本低于单个 4090 是否就不是忽悠。有人则认为即使存在营销手段，其统一内存设置与约 250GB/s 的统一内存对比 CPU 配置的 50 - 60GB/s DDR5 内存，对于预算有限的用户来说可能是不错的选择。

有用户分享自己没有上述芯片的经历。还有人认为 4060 用户依然能保持优势，其 GPU 带宽与这些新芯片的 CPU 相当。有人觉得每秒 4 个令牌的速度并非不能接受，也有人指出这速度其实很糟糕。有人提到 DDR5 约为每通道 64GB/s，桌面双通道能达到约 100 - 128GB/s。有人认为这看起来更像是与苹果芯片竞争，而非挑战 NVIDIA。

有人试图理解这是否是一个变革者，为何这一 CPU 能超越 4090。有人指出实际上并非超越，而是巧妙隐藏了 4090 内存不足的事实。有人认为它的表现可能与 M3 Max 相当。还有人认为花费低于 24GB 4090 的成本能拥有可运行更大模型的机器，尽管性能不是最佳但能运行。有人期待能达到每秒 20 个令牌的速度。有人认为这是一个集成了 GPU 和 AI 核心的 APU，要等待看有何隐藏问题。有人指出对比是在不公平的条件下进行的，当 4090 内存足够时速度更快。有人质疑 CPU 不含自身内存如何超越 VRAM。

讨论中的共识在于都在等待第三方基准测试结果。有特别有见地的观点认为，新芯片的内存带宽使其处于与 RTX 4060 相同的级别，这为模型推断提供了不错的性能，对于普通消费者来说是个有吸引力的选择。

这场讨论究竟会如何影响消费者的选择，AMD 新芯片能否真正在性能和成本上取得优势，还需等待更多的测试和实际应用来验证。