原贴链接

https://www.techradar.com/pro/is-amd-planning-a-face-off-with-apple-and-nvidia-with-its-most-powerful-apu-ever-ryzen-ai-max-395-is-rumored-to-support-96gb-of-ram-and-could-run-massive-llms-in-memory-without-the-need-of-a-dedicated-ai-gpu

看起来AMD下一代高端笔记本电脑芯片对大型语言模型（LLM）至少会有不错的表现。ROCm目前官方并不支持APU，但这种情况可能会改变。尽管如此，Llama.cpp的Vulkan内核支持它们，并且在我对其他AMD硬件的测试中，速度基本上与ROCm内核相同。

不幸的是，集成显卡的内存是双通道DDR5，但至少可以达到96 GB。

讨论总结

本次讨论主要聚焦于AMD即将推出的Strix Halo APU，其宣称拥有接近7600 XT的性能和96GB的共享VRAM。讨论分为几个主要方向：一是对AMD在市场竞争和技术支持方面的不足进行批评，尤其是与Nvidia的CUDA技术对比；二是对Strix Halo的内存配置进行深入探讨，涉及双通道与四通道DDR5内存的技术细节；三是对其在机器学习和大型语言模型（LLM）应用中的表现进行分析，特别关注ROCm的支持情况；四是对其实际性能和价格进行评估，指出高昂的价格可能影响市场接受度。整体氛围既有对AMD新技术的期待，也有对其当前不足的批评。

主要观点

  1. 👍 AMD需提升技术和市场策略
    • 支持理由：避免Nvidia在万亿市场中的主导地位，提供更高性价比产品。
    • 反对声音：当前ROCm支持不稳定，难以迅速吸引开发者。
  2. 🔥 内存配置争议
    • 正方观点：Strix Halo应采用四通道LPDDRX而非双通道DDR5。
    • 反方观点：实际配置可能为256位LPDDR5X，带宽约为256 GB/s。
  3. 💡 机器学习性能期待
    • 支持理由：期待ROCm更新以改善APU支持。
    • 反对声音：Windows环境下AMD ML支持不足，使用体验较差。
  4. 📉 价格与性能平衡
    • 支持理由：高VRAM吸引开发者，但价格过高可能影响市场接受度。
    • 反对声音：内存类型和带宽可能限制性能，性价比成疑。
  5. 🛠 驱动限制影响实际性能
    • 支持理由：BIOS和驱动限制导致实际可用VRAM仅8GB，性能下降。
    • 反对声音：理论性能强大，但需优化驱动以发挥潜力。

金句与有趣评论

  1. “😂 AMD needs get its shit together and not let Nvidia dominate a multi trillion dolar market.” —— xadiant
    • 亮点：直白指出AMD的市场竞争压力。
  2. “🤔 256bit means "Quad Channel". Technically its Octo Channel as every LPDDR5X Modul has 2 32bit half width channels.” —— DUFRelic
    • 亮点：技术细节解释清晰，揭示内存配置复杂性。
  3. “👀 Despite having 96Gb of RAM, the BIOS only allows for 8Gb of VRAM allocation, with the rest being used as GTT RAM, resulting in a significant performance drop.” —— curios-al
    • 亮点：实际测试数据揭示性能瓶颈。
  4. “📈 If it’s 5 times cheaper for twice the performance, shit will be figured out in record time.” —— xadiant
    • 亮点：强调性价比对市场接受度的关键影响。
  5. “🔧 Susan just focus on getting rocm to work.” —— medialoungeguy
    • 亮点：简洁指出ROCm支持的重要性。

情感分析

整体情感倾向复杂，既有对AMD新技术的期待和兴奋，也有对其当前技术支持和市场策略的批评和担忧。主要分歧点在于AMD能否有效提升ROCm支持、优化内存配置并平衡价格与性能，以在激烈的市场竞争中脱颖而出。

趋势与预测

  • 新兴话题：ROCm对APU的支持更新，可能引发更多开发者关注。
  • 潜在影响：若AMD能解决当前问题，Strix Halo可能在高端笔记本和AI应用市场占据一席之地，否则可能面临市场冷遇。

详细内容：

标题：AMD Strix Halo 传闻引发热议，APU 性能及显存成焦点

近日，Reddit 上一则关于 AMD Strix Halo 的帖子引发了广泛关注。该帖https://www.techradar.com/pro/is-amd-planning-a-face-off-with-apple-and-nvidia-with-its-most-powerful-apu-ever-ryzen-ai-max-395-is-rumored-to-support-96gb-of-ram-and-could-run-massive-llms-in-memory-without-the-need-of-a-dedicated-ai-gpu提到，AMD 下一代高端笔记本芯片在处理大型语言模型（LLMs）方面似乎将有不错的表现，尽管 IGPU 采用的是 DDR5 内存，但其显存可达 96GB。此帖获得了众多点赞和大量评论，主要讨论方向集中在 AMD 与英伟达的竞争、显存容量、硬件性能以及相关技术支持等方面。

讨论焦点与观点分析： 有人认为 AMD 需要振作起来，不能让英伟达主导这个价值数万亿的市场。有人指出，任何具有 48GB 显存和 CUDA 支持的 GPU 都会大卖，哪怕是 7600 xt 这样的产品。还有用户表示，CUDA 支持在短期内会有困难，但 AMD 应该推出 48GB 显存的显卡。有人提到曾有一个名为 ZLUDA 的 CUDA 开源实现，但被关闭了。也有人指出 W7900-PRO 虽有 48GB 显存但价格近 4000 美元，AMD 不想影响其 Instinct 产品线。还有用户称，如果 AMD 能为消费者提供比英伟达更多的显存，很多开发者和模型训练师会转向 AMD 硬件，ROCm 也会获得更多支持。 有用户表示 Susan 应该专注于让 ROCm 正常工作。有人称 7900XT 在 Windows 上运行良好，也有人认为在 Windows 上用 AMD 进行模型训练很困难，而英伟达则更具优势。有人提出微软需要让 DirectML 达到不依赖特定 GPU 的程度。 有用户指出，尽管 AMD 有 96Gb 的 RAM，但 BIOS 只允许分配最多 8Gb 作为 VRAM，其余作为 GTT RAM，在这种情况下 GPU 性能会大幅下降。但也有人表示，在特定条件下，如在 Linux 上使用特定设置，性能表现符合预期。 有人认为这款产品会因价格昂贵而少有人购买用于 AI 用途，也有人认为对于移动工作站人群来说，统一内存会很受欢迎。还有人计划购买用于日常 AI 使用和工作。

总之，关于 AMD Strix Halo 的讨论十分热烈，大家对其性能、价格、技术支持等方面存在诸多不同的看法和期待。