原贴链接

我有一部iPhone 14Pro，以下是能在其上以可用速度运行的最佳模型：Llama - 3.2 - 3B Q8、Qwen - 2.5 - 3B Q8、Gemma - 2 - 2b Q8、phi - 3.5 - mini - instruct Q8（这个可能是最差的）。使用PocketPal应用程序，我能够运行任何小于4.2GB的模型，但可能会非常慢。在大约3.5GB左右时速度与智能的平衡最佳。我希望新的mistral 3B能够发布。如果我遗漏了任何有价值的或者比这些更好的模型，请告诉我。

讨论总结

原帖作者分享了在iPhone 14Pro上能以可用速度运行的模型，之后评论者们展开了多方面的讨论。包括分享自己在其他设备（如iPhone 15 Pro Max、iPad Pro M2、iPhone 16 Pro等）上运行模型的速度，介绍相关应用（PocketPal），对原帖中提到的模型用途表示好奇，探讨不同手机（iPhone和Redmi）能运行相同最佳模型的现象，还涉及到新模型发布情况、模型测试建议、对自动更正功能的看法以及对PocketPal效率的质疑等内容，整体氛围积极且大家积极分享自己的观点和经验。

主要观点

  1. 👍 不同设备可运行相同的最佳模型
    • 支持理由：原帖中iPhone 14Pro能运行的最佳模型与200美元Redmi手机相同，有用户分享了这一现象。
    • 反对声音：无
  2. 🔥 PocketPal应用很实用且开源
    • 正方观点：可以运行多种文件，方便下载适合本地运行的模型，由reddit用户开发且开源。
    • 反方观点：无
  3. 💡 新发布的mistral 3b并非真正新模型
    • 解释：原帖作者认为所谓新模型只是从旧模型微调而来。
  4. 💡 Qwen 2.5 - 3B Q5在iPad Pro M2设备上运行速度可观
    • 解释：运行速度为每秒19 - 20t，这个速度下该模型是非常可用的。
  5. 💡 原帖分享内容新颖有趣
    • 解释：有评论者表示之前不知道原帖提到的内容，觉得很酷并感谢原帖作者。

金句与有趣评论

  1. “😂 12.84 T/s for me on Llama - 3.2 - 3B Q4_K on iPhone 15 Pro Max. Very usable! I did not know about this app, super cool!”
    • 亮点：分享了自己在iPhone 15 Pro Max上的运行速度，同时表达对新知道的PocketPal应用的惊喜。
  2. “🤔 funny enough, the best model you can run on your iPhone top of the line, is the same I can run on my 200$ Redmi”
    • 亮点：指出不同价位手机能运行相同最佳模型这一有趣现象。
  3. “👀 对不起让你失望了，那只是一个“从mistralai/Mistral - 7B - v0.1微调而来”。”
    • 亮点：揭示新发布的mistral 3b并非真正新模型的事实。
  4. “😂 I am dreaming about an autocorrect that is not lobotomized.”
    • 亮点：幽默地表达对自动更正功能的不满。
  5. “🤔 I think MMLU pro seems to be the current gold standard.”
    • 亮点：原帖作者推荐MMLU pro作为基准测试，表达其重要性。

情感分析

总体情感倾向是积极的。主要分歧点较少，其中关于新发布的mistral 3b是否为真正新模型存在一点小分歧，但整体氛围和谐。积极的原因在于原帖分享的内容对很多评论者来说是新的信息，大家更多是在分享自己的相关经验、提出疑问或者补充信息。

趋势与预测

  • 新兴话题：是否能利用相关神经网络改善自动更正功能以及是否有更高效使用模型的方式（如在更低层级使用模型）可能会引发后续讨论。
  • 潜在影响：如果能够找到利用神经网络改善自动更正功能的方法，可能会对手机等设备的输入体验有较大提升；对于模型使用方式的探索可能会影响到模型在不同设备上的应用和推广。

详细内容：

标题：iPhone 14 Pro 上的最佳模型运行测试引发热议

最近，Reddit 上有一个关于在 iPhone 14 Pro 上运行最佳模型的帖子引起了众多网友的关注。原帖作者表示自己拥有 iPhone 14 Pro，并列举了能够以可用速度运行的最佳模型，如 Llama-3.2-3B Q8 、Qwen-2.5-3B Q8 、Gemma-2-2b Q8 、phi-3.5-mini-instruct Q8 等。还提到使用 PocketPal 应用能够运行 4.2GB 以下的模型，但速度可能较慢，认为 3.5GB 左右的模型在速度和智能方面达到较好平衡。此外，作者还表达了对新的 mistral 3B 未发布的遗憾。该帖子获得了大量的点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 有人表示在 iPhone 15 Pro Max 上，Llama-3.2-3B Q4_K 能达到 12.84 T/s 的速度，非常好用，且之前不知道这个应用，觉得超级酷。 有用户指出该应用由一位 redditor 开发且是开源的，并提供了相关的链接，包括 Pocket PalAi Github 、PocketPal Ai 在 Play Store 和 App Store 上的链接，称可以运行任何.gguf 模型，应用开发者提供了预先选择的适合在手机上本地运行的模型列表，方便了用户。 有人认为尽管自己使用的是 200 美元的 Redmi 手机，能运行的最佳模型和 iPhone 顶级机型相同。 还有人分享了自己在不同设备上运行模型的速度和体验，比如在 iPad Pro M2 上 Qwen2.5-3B Q5 的速度为 19 - 20 t/s ，在 iPhone 16 Pro 上 Qwen 2.5 3b 能达到 22tk/s 。

关于新发布的模型，有人提到新的 mistral 3b 已经发布，但随后被指出只是“Finetuned from model: mistralai/Mistral-7B-v0.1”，并非全新的，这让人感到有些失望。

讨论中存在的共识是大家对在手机上运行模型的探索和分享充满热情。特别有见地的观点如有人提到可以使用 MMLU pro 作为测试基准，以及 GLM 新发布的一些边缘模型等。

总之，这次关于 iPhone 14 Pro 运行模型的讨论十分热烈，为广大手机用户提供了丰富的参考和经验。但关于如何选择最适合自己设备的模型以及如何进一步提高运行效率等问题，仍有待大家继续探讨和实践。