原贴链接

一款适用于iOS和安卓本地模型的应用终于开源了！ :) [https://github.com/a-ghorbani/pocketpal-ai]

讨论总结

该讨论围绕PocketPal AI开源展开，大部分评论者对开源这一行为表示认可和赞赏，整体氛围积极向上。同时也有很多关于应用性能、在不同设备上的运行情况（如iPhone、Pixel等设备）、与ChatterUI等其他应用的比较、使用过程中存在的问题（如加载模型崩溃、查看聊天记录问题等）以及功能改进建议（如添加捐赠板块、角色卡片、支持iOS快捷方式等）的讨论。

主要观点

  1. 👍 认可PocketPal AI的开源行为
    • 支持理由：很多评论者直接表达对开源行为的赞赏、感谢，认为这一行为很棒、是了不起的举动等。
    • 反对声音：无。
  2. 🔥 PocketPal AI是很棒的本地APP
    • 正方观点：有评论者称其为最好的本地APP，且很多人对其试用体验良好，表示运行效果不错等。
    • 反方观点：无。
  3. 💡 不同设备运行相同模型速度不同
    • 解释：众多用户讨论了不同设备（如S24 +、iPhone 16、Galaxy Note 9等）运行该模型时的速度不同，涉及到量化版本、是否使用GPU加速、内存带宽等影响因素。
  4. 🤔 PocketPal和ChatterUI各有优劣
    • 解释：有评论者认为PocketPal更用户友好，而ChatterUI更强大，也有评论者根据自己的使用体验对两者发表了看法，如ChatterUI目前用户体验不佳，PocketPal虽不完美但更流畅、响应更快等。
  5. 😎 应用存在一些问题需要改进
    • 解释：如在Pixel手机上安装后加载模型崩溃、在iPhone上使用某些模型出现问题、应用存在查看聊天记录的问题等。

金句与有趣评论

  1. “😂 Good on you for open sourcing it. Mad props.”
    • 亮点：简洁有力地表达了对开源行为的赞赏。
  2. “🤔 Great! Thank you! Best local APP! Llama 3.2 20t/s on iphone 13”
    • 亮点：不仅夸赞了APP很棒，还给出了模型在特定设备上的运行速度数据。
  3. “👀 Awesome! Hopefully someone will add character cards now.”
    • 亮点：在对应用开源表示赞赏的同时，提出了希望增加角色卡片的功能建议。
  4. “😉 This will definitely have a very positive impact on the availability of local LLMs on mobile phones.”
    • 亮点：指出了开源对手机本地LLMs可用性的积极影响。
  5. “🤓 I use it sometimes to test new small models on my phone.”
    • 亮点：分享了使用该应用的用途。

情感分析

总体情感倾向为正面积极，大部分评论者对PocketPal AI开源表示赞赏、认可、感谢等。主要分歧点在于应用在不同设备上的运行情况，如部分用户遇到了模型加载崩溃、查看聊天记录问题等，这可能是由于设备差异、模型本身特性或者应用版本等原因造成的。

趋势与预测

  • 新兴话题：对应用图标外观改进的建议、在特定设备上推荐无审查模型、对应用视觉部分（如发送图像检查）的探索等可能会引发后续讨论。
  • 潜在影响：如果应用按照用户建议不断改进，可能会提高用户体验，吸引更多用户使用，对本地模型在移动端的推广和发展有积极影响；同时也可能促使其他类似应用在功能改进、开源等方面做出调整。

详细内容：

标题：PocketPal AI 开源引发热烈讨论

近日，PocketPal AI 这款适用于 iOS 和 Android 的应用终于开源啦，引发了众多网友的热烈讨论。该帖子https://github.com/a-ghorbani/pocketpal-ai获得了极高的关注度，评论数众多，大家主要围绕着该应用在不同设备上的性能表现展开了深入探讨。

在讨论中，有人称赞开源之举，比如有人说：“Good on you for open sourcing it. Mad props.”。还有用户分享了自己的使用体验，例如有用户在 S24+上进行测试，称“Installed the same quant on S24+(SD Gen 3, I believe)。Empty cache, had it run the following prompt: ‘Write a lengthy story about a ship that crashes on an uninhibited(autocorrect, ugh) island when they only intended to be on a three hour tour’。It produced what I’d call the first chapter, over 500 tokens at a speed of 31t/s. I told it to ‘continue’ for 6 more generations and it dropped to 28t/s, the ability to copy out text only seems to work on the first generation so I couldn’t get a token count at this point. ”

关于不同设备的性能差异，观点众多。有人指出 iPhone 16 pro 能达到 31.39 t/s，而继续操作后会下降到 28.3 。还有人认为苹果的 iPhone 芯片一直以来都很强劲，所以在性能表现上有优势。同时，也有用户对比了不同安卓设备的表现，如在 Tab S8 Ultra 和 S22 Ultra 上的测试结果。

在讨论中也存在一些共识，大家都对能够在手机上运行这些模型感到惊讶和兴奋。而特别有见地的观点比如有人提到 iOS 版本使用 Metal 进行加速，可能是其速度更快的原因。

总之，这次关于 PocketPal AI 开源的讨论充分展现了大家对其的关注和期待，也为该应用的进一步发展提供了丰富的参考和建议。