原贴链接

若有人感兴趣，在此分享 - https://apps.apple.com/us/app/panda-on-device-ai/id6445854325。我自己没有vision pro，所以无法说明该平台上的性能，但如果你遇到问题，请告诉我。如果有人有兴趣合作，或有功能需求或反馈，请私信我。目前模型从Hugging Face在应用内下载，不久我将增加对更多模型的支持以及导入功能。

讨论总结

这是一个关于在iOS、macOS和visionOS上运行MLX模型的app的讨论。发帖者分享了自己制作的app，评论者们从多个角度进行了回应，包括对app的赞赏、提出功能改进建议、反馈使用中遇到的问题等，整体氛围积极，开发者对很多反馈也做出了积极回应。

主要观点

  1. 👍 增加STT、TTS功能和快捷指令支持会让app更成功
    • 支持理由：会使功能更完善，增强用户体验
    • 反对声音：无
  2. 🔥 应用应支持从Hugging Face或本地存储导入或下载模型
    • 正方观点：有助于满足更多用户需求，完善功能
    • 反方观点：无
  3. 💡 如果能够解决如何纳入分布式推理的问题，将会是一个很大的突破
    • 解释：能提升应用的能力和竞争力
  4. 💡 应用运行得非常好，但希望添加更多可在最新款iPhone上运行的模型
    • 解释：在认可应用现有表现的基础上提出功能扩展需求
  5. 💡 一些用户在使用应用时遇到了问题，如应用崩溃、提示语消失等
    • 解释：反映出应用存在一些待改进之处

金句与有趣评论

  1. “😂 If you add STT and TTS as an option and then give it shortcuts support, you’ll have a real winner.”
    • 亮点：明确指出能提升app竞争力的功能改进方向
  2. “🤔 So to recap. 1. Add shortucts 2. Add voice TTS /STT (just use the apple standard ones) 3. Add very simple one off payment of $1 dollar 4. Be rich.”
    • 亮点：幽默地总结了对app功能改进和盈利的建议
  3. “👀 MostIncrediblee: This is great.”
    • 亮点：简洁地表达对app的赞赏
  4. “🤔 你的应用崩溃当我尝试加载lama3.2 1B q4但LLM农场能够运行q5版本没问题约9 - 14t / s。”
    • 亮点：指出应用在特定机型加载特定版本时的崩溃问题并对比其他应用
  5. “😂 Great app! My prompt disappeared after restarting the app. I did hit the Save button on the top right though.”
    • 亮点：反映出应用存在的bug

情感分析

总体情感倾向是积极的。主要分歧点较少，大部分评论者对app表示认可或提出建设性意见。可能的原因是这是一个新兴的app，大家对它的发展持乐观态度，并且开发者积极回应评论者的反馈，让评论者感受到被重视。

趋势与预测

  • 新兴话题：将分布式推理纳入应用的可能性。
  • 潜在影响：如果成功纳入分布式推理等功能，可能会在iOS等系统的MLX模型应用领域占据更有利的地位，吸引更多用户使用。

详细内容：

《关于运行 MLX 模型的 APP 引发的 Reddit 热议》

近日，Reddit 上有一则关于运行 MLX 模型的 APP 的讨论引起了广泛关注。原帖作者分享了其开发的可在 iOS、macOS 和 visionOS 上运行 MLX 模型的 APP，并提供了链接（https://apps.apple.com/us/app/panda-on-device-ai/id6445854325）。目前，模型可在应用内从 Hugging Face 下载，作者表示很快会添加更多模型及导入功能。此帖获得了众多用户的评论和反馈。

讨论焦点主要集中在对该 APP 的功能建议和使用体验上。有人提出，如果添加 STT 和 TTS 作为选项，并给予快捷键支持，将会大获成功。还有用户分享了自己使用时的个人经历，比如一位使用第二代 iPhone SE 的用户表示，当尝试加载 lama3.2 1B q4 时，该 APP 会崩溃，但 LLM farm 的 q5 版本却能运行，猜测可能是默认上下文设置过高。

有用户称下载 Llama 并开始聊天后收到了奇怪的错误提示，关于缺失配置文件。还有用户反馈定义的提示在重启应用后消失，可能存在保存不当的问题。

对于这些反馈，作者表示会在接下来的几周努力改进和实现相关功能，比如添加对更多模型的支持、优化配置选项、解决保存提示的问题等。

大家在讨论中形成的共识是希望该 APP 能够不断完善，增加更多实用功能。而特别有见地的观点是，如果能够实现分布式推理，那将会带来巨大的提升。

总的来说，这次关于运行 MLX 模型的 APP 的讨论，展现了用户们对其的期待和关注，也为开发者提供了宝贵的改进方向。