原贴链接

AMD Instinct Mi60配备了32GB的HBM2内存，带宽达1TB/s，售价299美元。在Ubuntu 24.04系统上，配合AMDGPU-pro驱动和ROCm 6.2，开箱即用，支持Vulkan。该卡在Z790主板（14900K处理器）的PCIe 4.0 x4插槽上运行良好，但迷你显示端口暂未工作，需刷V420 BIOS。散热问题待解决，测试时TDP限制在100W，实际会降至70W。Llama-bench测试显示，在qwen2.5-32b-instruct-q6_k模型下，性能表现稳定；与3080Ti对比，llama3.1 8b - Q8模型下性能差异明显。

讨论总结

本次讨论聚焦于AMD Instinct Mi60显卡的各方面表现。帖子作者分享了其购买经历、性能测试结果以及在使用过程中遇到的散热和兼容性问题。评论者们则从多个角度进行了深入探讨，包括显卡在AI计算中的表现、与其他显卡的性能对比、软件支持情况以及在不同操作系统上的兼容性。整体氛围以技术讨论为主，用户们提供了大量实际数据和经验分享。

主要观点

  1. 👍 Mi60在AI计算中表现优异
    • 支持理由：双Mi60显卡在mlc和tensor parallelism方面表现良好，能在225W功率下处理70B模型，达到15-20 tokens/秒。
    • 反对声音：MLC对量化模型的支持不完全，可能成为使用障碍。
  2. 🔥 散热问题需重视
    • 正方观点：使用高效风扇和3D打印适配器可以有效解决散热问题。
    • 反方观点：散热解决方案可能不适用于所有用户，需根据实际情况调整。
  3. 💡 混合GPU使用的可能性
    • 解释：通过Vulkan或llama rpc服务器，可以在同一系统内混合使用AMD和Nvidia显卡，尽管会有速度损失。
  4. 📉 Windows兼容性问题
    • 解释：Mi60在Windows系统上存在兼容性问题，可能需要特定的工作站卡BIOS。
  5. 💰 性价比高
    • 解释：在$299的价格点上，Mi60对新系统构建非常值得，性能优于P40显卡。

金句与有趣评论

  1. “😂 You can expect about 50 t/s with llama 8B Q8, when running without a power limit.”
    • 亮点：简洁明了地描述了Mi60在无功耗限制下的性能表现。
  2. “🤔 But you need a blower fan to cool it, I’m using Delta BFB1012HH fans.”
    • 亮点：提供了实用的散热解决方案。
  3. “👀 With the llama rpc server on localhost, you could run the Amd and Nvidia cards together.”
    • 亮点：揭示了混合使用AMD和Nvidia显卡的可能性。

情感分析

整体情感倾向以积极为主，用户对Mi60的性能和性价比表示认可，但也存在对散热、兼容性和软件支持的担忧。主要分歧点在于Windows兼容性和MLC对量化模型的支持问题。

趋势与预测

  • 新兴话题：混合GPU使用的可行性和性能优化。
  • 潜在影响：Mi60的性价比和性能表现可能会吸引更多用户尝试在AI计算和挖矿领域使用该显卡，推动相关技术的发展。

详细内容：

标题：AMD Instinct Mi60 在 Reddit 上引发热烈讨论

近日，Reddit 上关于 AMD Instinct Mi60 的帖子引起了众多网友的关注。该帖子详细介绍了购买 AMD Instinct Mi60 的经历、在不同系统和驱动下的表现以及相关的性能测试数据，获得了大量的点赞和评论。

帖子中主要讨论了 AMD Instinct Mi60 在多种情境下的使用情况。有人表示，在运行 llama 8B Q8 时，如果不限制功率，预计能达到约 50 t/s。还有人提到，要同时使用 CUDA 和 Rocm，需要分别安装两个独立的 llama.pp，并启用 rpc。另外，关于散热问题，有人指出需要配备鼓风机风扇，如 Delta BFB1012HH 风扇，普通风扇在适配小开口时会损失很多气压。

对于将 AMD 和 Nvidia GPU 结合使用的问题，有人表示这样做会有速度上的损失，也有人通过 RPC 方式实现，并认为 Nvidia 卡用 CUDA、AMD 卡用 ROCm 能发挥各自优势。

在性能方面，有人分享使用双 MI60 时，在满功率（225w）下，llama-3.1 70B q4f16_1 每秒能生成约 15 - 20 个令牌，功率降至 150w 时为 10 - 12 个。还有人指出，在进行 prompt_eval 时，MI60 表现不佳，Nvidia 要快约 5 倍。

关于支持和通用性，有人认为如果价格合适，AMD Instinct Mi60 值得入手，但也有人担心 ROCM 对其支持的持续性，还有人表示在某些地区难以买到。

总的来说，Reddit 上关于 AMD Instinct Mi60 的讨论丰富多样，既有对其性能和应用的详细探讨，也有对其未来发展和适用性的思考。然而，对于这款产品，仍存在一些争议和不确定因素，等待更多用户的实践和探索。