原贴链接

大家都在谈论苹果M3有多棒，但是：

CPU：骁龙X Elite搭载Q4_0_4_8的CPU在性能上与苹果M3在其GPU上运行Q4_0时相似。

GPU：Phi - 3.5 - mini - instruct - q4f16_1 - MLC完全在本地GPU（88 - 100%利用率）上运行，每秒生成约14个token！在我的MacBook Air M2 10 - GPU上使用llama.cpp，相同量化为Q4_0的模型每秒有29个token。也许Adreno GPU并没有我想象的那么慢。

现在加上NPU：ONNX的QNN驱动正在开发中……

来源： https://github.com/ggerganov/llama.cpp/discussions/8273 https://github.com/ggerganov/llama.cpp/discussions/8336 https://github.com/ggerganov/llama.cpp/discussions/8273

讨论总结

该讨论围绕骁龙X Elite/Plus是否是新强者展开。评论者们从不同角度发表观点，包括设备对系统的支持（如是否支持Linux）、不同设备间的比较（如骁龙X Elite与谷歌Pixel 9 Pro）、模型运行的情况（如运行速度、量化选择等）以及个人使用该设备或相关设备的体验等，讨论氛围较为积极，充满了技术干货。

主要观点

  1. 👍 对骁龙X Elite/Plus感兴趣
    • 支持理由：新设备的性能等方面引起关注
    • 反对声音：无
  2. 🔥 关心骁龙X Elite/Plus设备设置是否支持Linux
    • 正方观点：不想为使用新设备切换系统
    • 反方观点：无
  3. 💡 认可骁龙X Elite/Plus作为新SoC的表现
    • 解释：认为新SoC能有这样的表现相当不错
  4. 💡 运行10核会使Surface Pro 11 Plus模型过热导致降频
    • 解释：分享使用Surface Pro 11 Plus模型的体验
  5. 💡 Q4_0_4_8 GGUF量化是较好选择
    • 解释：根据使用经验得出结论

金句与有趣评论

  1. “😂 PixelPhobiac: I’m very interested. Is Linux supported for this setup? I’d hate to switch to Windows to get the most out of it”
    • 亮点：直接表达对设备兴趣的同时提出系统支持的疑问
  2. “🤔 Intelligent - Gift4519: You need a base of Windows for the device drivers, but I have run Ubuntu via WSL with no problems.”
    • 亮点：解答设备驱动对系统的要求并分享使用经验
  3. “👀 carnyzzle: that’s pretty good for a brand new SoC”
    • 亮点：简洁地表达对新SoC的认可态度
  4. “😎 NarrowTea3631: WSL is so insanely slow compared to native Ubuntu. building some Python wheels takes me 10x the time”
    • 亮点：对比WSL和原生Ubuntu速度，给出具体事例
  5. “🤓 The_frozen_one: Have you tried WSL in the Linux file system? I made the mistake of trying to do things under /mnt/c/Users/User/bla/bla/bla and didn’t realize that it is incredibly slow there. If you run code in the isolated Linux FS it runs much more quickly.”
    • 亮点：针对WSL速度慢给出优化建议

情感分析

总体情感倾向是积极正面的。主要分歧点较少，可能是因为话题相对较技术向，参与者更多是分享经验和数据，而非进行激烈的观点对峙。大家主要围绕骁龙X Elite/Plus及相关设备的性能、支持情况等客观地进行讨论。

趋势与预测

  • 新兴话题：NPU用于LLMs的前景虽然目前不被看好，但可能会引发后续关于如何改善这一前景的讨论。
  • 潜在影响：如果骁龙X Elite/Plus被更多人认可，可能会影响消费者对相关设备的选择，也可能促使更多开发者针对其进行优化开发。

详细内容：

《骁龙 X Elite/Plus 能否成为新霸主？》

在 Reddit 上，一个题为“Is Snapdragon X Elite/Plus a new beast in town?”的帖子引起了众多关注。该帖子指出，在 CPU 方面，骁龙 X Elite 的 CPUs 与苹果 M3 的性能有相似之处；在 GPU 方面，其表现也超出了一些人的预期；同时还提到了 NPU 方面的情况。此帖获得了较高的关注度，评论区也十分热闹。

在讨论焦点与观点分析方面，有人对 Linux 系统的支持提出了疑问，比如[PixelPhobiac]表示：“我非常感兴趣。这种设置支持 Linux 吗？我不想为了充分发挥其性能而切换到 Windows 系统。”[Intelligent-Gift4519]回应称：“设备驱动程序需要 Windows 基础，但我通过 WSL 运行 Ubuntu 没有问题。”不过，也有人认为 WSL 与原生 Ubuntu 相比速度慢很多，如[NarrowTea3631]说：“WSL 比原生 Ubuntu 慢得离谱。构建一些 Python 轮子的时间是原生的 10 倍。”

[Some_Endian_FP17]几个月前写过相关内容，分享了使用 Surface Pro 11 Plus 型号的经验：运行 llama.cpp 的 -t 10 时，所有 10 个核心在 Windows 最佳性能模式下，机器会热到出现热浸导致严重降频；Q4_0_4_8 GGUF 量化是不错的选择；Llama 3.1 8B 提示处理能达到 180t/s，推理为 20t/s，8B 到 12B 模型成为这些笔记本电脑的最佳选择；Qwen 2.5 Coder 7B 和 Yi Coder 9B 作为常用的编码助手模型，在 16GB 的 Windows 平板电脑上运行速度非常快。还提到 Adreno WebGL 数字有趣，功耗可能较低，但 Vulkan 后端使用麻烦，且 NPU 用于大型语言模型的工作有限。

[Ok_Warning2146]则询问它与运行 Q4_0_8_8 的 Google Pixel 9 Pro 相比如何，认为 Pixel 9 Pro 在理论上是运行本地 llama 最快的智能手机，但内存速度是劣势。

[Intelligent-Gift4519]分享自己在 Surface Laptop 7 上运行 LM Studio 的体验，称性能出色，尝试运行 Llama 3.2 1B 变体时能达到 60 - 65 t/s，8B - 13B 范围的模型非常实用。

讨论中的共识在于骁龙 X Elite/Plus 在某些方面的性能表现具有一定优势，也存在一些有待改进和优化的地方。而特别有见地的观点如[Some_Endian_FP17]的详细经验分享，丰富了大家对该产品的了解。

总的来说，关于骁龙 X Elite/Plus 的讨论展现了大家对其性能的关注和期待，也为我们更全面地认识这款产品提供了多样的视角。