原贴链接

嗨，大家好。我知道已经有一些很棒的运行开源大语言模型（LLM）的选项，比如LMStudio和Ollama。尽管如此，我还是决定创建自己的MacOS和iOS应用来运行本地模型——主要就是想看看自己能不能做到！我是一名iOS开发者，我想试验本地大语言模型和苹果的一些新框架。这对我来说是一个有趣的副业项目，虽然它是免费的，但我一直致力于让我的软件高质量。我来问问是否有人愿意给我的应用一些反馈。因为这是我在业余时间做的一个爱好项目，我很想听听你们的想法和改进建议。如果是我能实现的建议，我肯定会尝试。我的目标是为社区做出贡献，帮助使开源大语言模型更容易被使用。希望我在这里发帖没有违反任何规则——只是想分享一些有用的东西。如果你们有任何问题，请尽管提问。谢谢，祝好！这个应用叫Enclave AI，象征着用户在其中做的任何事情都是机密和隐私的。这是你的安全空间。

讨论总结

这个讨论围绕一款MacOS和iOS上运行本地LLMs的免费应用展开。原帖作者寻求应用的反馈，评论者们从不同角度进行回应，包括应用功能的改进建议、正面评价、存在的问题如应用崩溃，以及应用的可用性等方面，整体氛围比较积极，大家以交流和提供建议为主。

主要观点

  1. 👍 应用中的模型是经过审查的
    • 支持理由：原作者提到应用中的模型是经过审查的，可能是为了避免不良后果使应用被苹果封禁。
    • 反对声音：无
  2. 🔥 可以考虑在MacOS应用中让用户上传自己的模型
    • 正方观点：有评论者提出这样可以使用未审查模型，增加应用的灵活性。
    • 反方观点：原作者未明确表示反对，但提到开源版本的iOS应用难以在App Store广泛分发，可能存在一定顾虑。
  3. 💡 应用功能虽然有限，但有着美观且非常流畅的用户界面
    • 解释：有评论者认可开发者的成果，指出尽管功能存在局限性，但界面设计不错。
  4. 💡 如果能有连接本地Ollama服务器以获取本地模型的选项就更好了
    • 解释：评论者认可应用部分成果的基础上，提出该功能可拓展性建议。
  5. 💡 希望应用能与ollama对接以访问更大的语言模型
    • 解释：有评论者认为对接ollama可以提升应用体验，满足更多需求。

金句与有趣评论

  1. “😂 xlogic87: I am not really sure about that. My main concern is that I will get in trouble with Apple when an uncensored model will tell some kid how to make heroin or something and his parents will report the app to Apple and it will get banned.”
    • 亮点：以一种夸张的例子表达了对使用未审查模型可能导致应用被封禁的担忧。
  2. “🤔 Expensive - Apricot - 25: u might be able to allow the user to upload their own (potentially uncensored) models”
    • 亮点：提出了一种可能改进应用的建设性意见。
  3. “👀 Thank you very much for the effort. Very generous.”
    • 亮点：表达了对开发者努力的感谢，态度积极。
  4. “👀 laexpat：It’s really neat. I actually looked at it last night and was really impressed with the voice chat interface.”
    • 亮点：对应用的语音聊天界面给予了肯定。
  5. “🤔 TransitoryPhilosophy: Nice UI, but it would be great to have an option to connect to a local Ollama server for access to local models”
    • 亮点：在肯定UI的基础上提出功能改进建议。

情感分析

总体情感倾向是积极的。主要分歧点在于应用是否使用未审查模型以及如何改进功能方面。积极的原因是大部分评论者认可开发者的努力，并且在提出建议时态度也比较友好；而关于未审查模型的分歧主要是出于对苹果政策以及应用可能面临风险的不同考虑。

趋势与预测

  • 新兴话题：应用与ollama的对接可能会成为后续讨论的新观点，还有如何在符合政策的前提下拓展应用功能。
  • 潜在影响：如果开发者根据反馈改进应用，可能会使应用在本地LLMs运行领域更具竞争力，也可能影响其他类似应用的开发方向。

详细内容：

标题：创新的 MacOS/iOS 本地 LLMs 运行应用引发热烈讨论

近日，Reddit 上一则关于创建免费的 MacOS/iOS 本地 LLMs 运行应用的帖子引起了众多用户的关注。该帖子获得了大量的点赞和众多评论。

原帖作者称自己身为 iOS 开发者，利用业余时间创建了此应用，旨在探索本地 LLMs 和苹果的新框架，希望为社区做贡献，让开源 LLMs 更易获取，并请求用户给予反馈和建议。该应用名为Enclave AI ，象征着用户使用的保密性和隐私性。

讨论的焦点主要集中在应用的多个方面。有人认为应用存在一些令人失望的地方。比如，有用户指出模型被审查，认为这很愚蠢。作者表示担心未审查的模型可能会带来麻烦，所以选择审查，但也会探索这个问题。还有用户建议可以让用户上传自己的潜在未审查模型，或者创建开源版本在 Github 上使用未审查模型。也有用户对应用的功能提出看法，有人觉得功能有限，有人称赞其 UI 美观流畅，还有人认为可以增加连接本地 Ollama 服务器获取本地模型的选项，或者将应用拓展到安卓平台，在更多地区提供 iOS 版本。

有用户分享自己的使用经历，如[–Tintin]表示会尝试使用，夸赞应用 UI 漂亮且操作顺滑；[PsychoMuder]提到在首次启动发起语音聊天说“hello”后应用崩溃并提交了崩溃报告。

总之，这次关于本地 LLMs 运行应用的讨论十分热烈，用户们从不同角度发表了自己的观点和建议，这既为作者提供了改进的方向，也让更多人对这类应用有了更深入的思考。