原贴链接

我正在测试基于Radxa RK3688的系统级芯片（SoC）及其GPU和NPU能力。除了最初的困难（包括对软件开发人员的支持较差）之外，该硬件很有趣 - 它支持高达32GB的内存。对于像Qwen2.5 - 14b这样的140亿参数模型，它能够同时使用OpenCL GPU后端和NPU每秒推理几个标记。

更有趣的是新发布的产品 - Radxa Orion O6。

主要未知的是Cix P1 SoC（不是瑞芯微）的实际性能，但规格很不错：

  • 4个Cortex® - A720（大核心）4个Cortex® - A720（中核心）4个Cortex® - A520（小核心）12MB共享L3缓存
  • GPU：Arm Immortals G720 MC10 支持硬件光线追踪 图形API：Vulkan®1.3 OpenGL®ES 3.2 OpenCL®3.0
  • 神经处理单元（NPU）计算能力：28.8万亿次运算每秒（TOPs） 精度支持：INT4/INT8/INT16 FP16/BF16 TF32
  • 内存：LPDDR5 128位内存总线 5500MT/s传输速度 配置：4GB/8GB/16GB/32GB/64GB且带宽为100GB/s。

64GB版本售价约为450美元。请注意ARM的能效。

我认为它可能是一个有趣的Jetson Orin Nano替代品。

讨论总结

这个讨论主要是关于Radxa Orion O6这款产品。参与者从不同角度进行探讨，包括对产品性能的疑问，如计算能力、GPU和NPU性能等，也有对产品优势的认可，像带宽方面的优势。还有人提到资金不足影响测试、软件支持差等问题，同时也涉及产品价格的构成以及在Linux内核中的集成情况等，整体氛围比较理性务实。

主要观点

  1. 👍 希望有人能对Radxa Orion O6进行基准测试
    • 支持理由：对于资金不充裕的人很有帮助
    • 反对声音：无
  2. 🔥 目前还不能对Radxa Orion O6进行测试
    • 正方观点：首次发货要在2025年春季之后，运行模型不简单
    • 反方观点：无
  3. 💡 产品64GB版本带宽方面有优势
    • 解释：与同价格的Xeon服务器带宽相比更高
  4. 💡 Radxa Orion O6成本为Jetson的两倍且软件支持差
    • 解释：二者内存带宽相同，其唯一优势是内存更大，但在有限内存带宽下对LLMs无用
  5. 💡 对于新硬件要谨慎对待
    • 解释：以RK3688的Rockchip和AMD的GPU为例，说明软件支持很重要，不然会影响硬件的充分使用

金句与有趣评论

  1. “😂 Can anyone try generating a benchmark on this? It would be really helpful for poor people like me.”
    • 亮点：直接表达出希望有人进行基准测试的愿望并提及资金不足的状况
  2. “🤔 It’s not there yet. They announced the first dispatch will be after some Spring 2025 event.”
    • 亮点：告知产品目前还不能测试及发货时间
  3. “👀 Well it certainly sounds interesting, with that bandwidth the 64GB version would be pretty decent.”
    • 亮点：认可产品64GB版本带宽带来的优势
  4. “😂 FullstackSensei：Twice the cost of the Jetson with the same memory bandwidth and bad software support.”
    • 亮点：简洁地对比出Radxa Orion O6与Jetson在成本、带宽和软件支持方面的情况
  5. “🤔 Do you think $450 will be the normal lower end low quantity price of a board with that configuration or do you think that is a "kit" price which might include some developer accessories etc.?”
    • 亮点：对产品价格的构成提出疑问

情感分析

总体情感倾向比较中性。主要分歧点在于对产品性能和价值的判断，部分人看好产品带宽等优势，部分人对计算能力、软件支持等方面提出质疑。可能的原因是大家基于不同的经验和对硬件产品的不同需求进行评价。

趋势与预测

  • 新兴话题：可能会引发关于产品硬件配置选择（如为何不使用GDDR）以及其在开源内核中的集成情况的后续讨论。
  • 潜在影响：如果产品的软件支持等问题不能得到解决，可能会影响其在市场中的推广，尤其是在与类似产品竞争时；反之，如果能改善软件支持等方面，凭借硬件优势可能会在AI推理等领域有一定的市场份额。

详细内容：

《ARM 硬件新宠 Radxa Orion O6 引发热烈讨论》

近日，Reddit 上一则关于“Interesting ARM Hardware on the horizon - Radxa Orion O6.”的帖子引发了众多关注。该帖子介绍了 Radxa 相关产品的硬件配置和性能，获得了大量点赞和众多评论。

帖子中提到 Radxa RK3688 基 SoC 的 GPU 和 NPU 能力，称其硬件有趣，支持高达 32GB 内存，能为 14b 模型如 Qwen2.5-14b 进行每秒数token 的推理。而新公布的 Radxa Orion O6 更是引人瞩目，尽管 Cix P1 SoC 的真实性能未知，但规格不错。其中，64GB 版本约 450 美元，同时强调了 ARM 的功率效率。

讨论焦点主要集中在以下几个方面： 有人表示能否有人对其进行基准测试。有人称产品的首次发货要等到 2025 年春季的某个活动之后，运行模型并非易事，因为 GPU/NPU 需要转换模型并运行一些非标准推理引擎。还有人认为 64GB 版本带宽不错，但计算能力存疑，这个神秘的 GPU 可能会受 Vulkan 低效的影响，并且 NPU 是否实用、是否有软件支持也是问题。有人分享自己对于 RK3588 的使用经验，包括使用的 NPU 和 GPU 工具。有人觉得这对像自己一样没钱实验的人会很有帮助。

有人指出 100GB/s 带宽很酷，并对比了 Xeon 4 - channel DDR4 服务器的情况。也有人认为其软件支持差，内存带宽有限，多出来的内存对 LLMs 未必有用。但有人提到可以购买内存小的版本，早期 16GB 版本价格与 Jetson 相同。还有人称赞 CPU 和 GPU 性能不错，以及 I/O 配置良好。

有人询问关于 FOSS 以及相关设备在 LINUX 内核中的整合情况，以及价格是普通低端少量配置的价格还是包含开发者配件等。

有人质疑为什么不用 GDDR，有人回复称可能是因为 Lpddr 是低功耗芯片。有人提醒大家要谨慎，认为 Rockchip 对 RK3688 的支持一开始不太好，不过几年后有所改善，还提到 AMD GPU 由于软件支持在训练方面不太实用。

总的来说，大家对于 Radxa Orion O6 的性能、软件支持、价格等方面存在诸多争议和讨论，究竟它能否成为 Jetson Orin Nano 的有力替代品，还有待进一步观察。