这是一个链接:https://wccftech.com/amd-ryzen-ai-max-395-strix-halo-mini-pc-tested-powerful-apu-up-to-140w-power-128-gb-variable-memory-igpu/,无具体内容描述
讨论总结
整个讨论围绕AMD Ryzen AI MAX + 395 “Strix Halo” Mini PC展开。涉及该Mini PC在运行大型语言模型(LLMs)时的性能、速度、内存相关测试、与其他设备对比、性价比等多方面内容,也包含用户对于是否购买的考虑以及对其型号命名方式的看法等,整体讨论氛围理性,不同观点间有正常的交流与探讨。
主要观点
- 👍 相关文章缺乏运行速度和上下文大小信息
- 支持理由:评论者提及AMD的iGPU利用内存运行模型,但文章未提及速度和上下文大小等重要信息。
- 反对声音:无
- 🔥 对于70B模型在Mac Mini上7 - 8t/s的运行速度存在争议
- 正方观点:如果是低量化(如8位)且上下文较大,这个速度是可接受的。
- 反方观点:有观点认为这个速度不太好。
- 💡 该Mini PC内存读带宽为117.89 GB/s
- 支持理由:测试得出此数据。
- 反对声音:无
- 💡 AIDA64不是测量内存带宽的理想应用
- 支持理由:有人认为测量存在偏差。
- 反对声音:无
- 💡 对购买M4 Max 128GB不后悔
- 支持理由:评论者表示使用体验良好。
- 反对声音:无
金句与有趣评论
- “😂这些文章.. 没有速度?什么ctx大小?至少他们提到了量化..”
- 亮点:指出文章在重要信息上的缺失,反映出读者对于完整信息的需求。
- “🤔117.89 GB/s的读带宽。OK folks, I need some time to cry into my pillow.”
- 亮点:以一种诙谐的方式表达对Mini PC内存读带宽数据的反应。
- “👀7 - 8t/s对于70B在Q8来说是可以接受的。”
- 亮点:给出了关于特定模型运行速度可接受性的观点。
情感分析
总体情感倾向较中性,既有正面评价(如对命名方案的肯定),也有负面评价(如对Mini PC性能表示失望)。主要分歧点在于Mini PC的性能是否能满足需求,如在LLM推理方面。可能的原因是不同用户对于Mini PC的使用场景和期望不同,有的看重在特定模型下的运行速度,有的则关注性价比或者功能多样性等。
趋势与预测
- 新兴话题:外接GPU对Mini PC性能提升的探索。
- 潜在影响:对AMD Ryzen系列Mini PC的市场反馈可能影响后续产品的改进方向,例如在内存优化、性能提升方面,也可能影响消费者对于Mini PC在LLM等领域应用的购买决策。
详细内容:
标题:AMD Ryzen AI MAX+ 395 “Strix Halo” Mini PC 引发的热门讨论
在 Reddit 上,关于 AMD Ryzen AI MAX+ 395 “Strix Halo” Mini PC 的讨论十分热烈。原帖提供了相关的链接:https://wccftech.com/amd-ryzen-ai-max-395-strix-halo-mini-pc-tested-powerful-apu-up-to-140w-power-128-gb-variable-memory-igpu/ ,获得了众多关注,引发了大量的讨论。讨论主要围绕该 Mini PC 在运行模型时的性能表现、内存带宽等方面展开。
在讨论焦点与观点分析方面,有人认为该机器的 iGPU 能充分利用 128GB 内存池,能很好地运行如 Deepseek 70B Q8 这样的模型。但也有人表示,70B 在 Mac Mini 上运行效果不佳,推测在该机器上也差不多,还有人认为 7 - 8t/s 的速度如果是低量化且大上下文的情况是可以接受的,若这就是最佳情况则很糟糕。有人提出 3 - 4t/s 的速度,并分享自己拥有 Mac Mini M4 pro 且配备 64GB 内存的情况。
关于内存带宽,有人认为 AIDA 并非测量内存带宽的理想应用,Epyc 在单线程应用中的内存带宽一直不佳,Ryzen Max 可能也是如此,这是由于 IO 芯片和 CCD 之间的结构互联所致。但也有人指出,在 Strix Halo 中,单个 CCD 可以使内存带宽饱和,这种限制可能已不存在。还有人觉得内存写入速度是读取速度的两倍,RAM 速度看起来很糟糕,延迟也较高。
对于该 Mini PC 的性能评价也各不相同,有人认为其带宽低,在模型变小、变快和变智能之前,低于 400gb/sec 是不可行的;有人则认为对于大型 MOE 模型来说,这台机器速度足够快。
有人考虑购买这台机器用于 LLM 推理,但也有人表示不建议,认为可能会失望,比如内存带宽不大,软件优化可能一般,可能需要在 CPU 模式下运行推理引擎。也有人认为对于大型 MOE 模型,这台机器足够快,期待 DeepSeek 发布更小版本以适配。
总的来说,关于 AMD Ryzen AI MAX+ 395 “Strix Halo” Mini PC 的讨论展现了大家对其性能的不同看法和期待,同时也反映出大家对其在实际应用中的表现存在一定的担忧和争议。
感谢您的耐心阅读!来选个表情,或者留个评论吧!