原贴链接

你们是否有人确实经常使用具有本地AI处理功能的应用中的功能?当我说“主流应用”时,我指的更像是JetBrains的PyCharm(即盈利较多、背后有大型团队等),而非开源/独立开发者的应用。我更多是在谈论应用中的一个功能(该应用除AI功能外还做很多其他事情),而不是像Ollama、LMStudio等完全关于本地使用AI的应用。我也不是在谈论操作系统功能,例如iPhone上的自动补全。我对你们下载过的应用更感兴趣。目前,在我的日常生活中我能想到的唯一事物是PyCharm中的代码补全(https://blog.jetbrains.com/ai/2024/11/jetbrains-ai-assistant-2024-3/),但即便那现在也是某种本地/云混合的东西。编辑:不一定只谈论大型语言模型(LLM)相关的东西。我意识到我偶尔也会使用一些带有本地机器学习模型的照片编辑应用(但那都是相当旧的技术,例如交互式背景去除/分割)

讨论总结

本次讨论围绕主流应用中真正有用的本地AI功能展开。大家推荐了不少应用,如VLC、PotPlayer、Proton Mail、Jetbrains相关工具、Firefox等,并阐述了这些应用在本地AI功能方面的特点、存在的问题等,像PotPlayer的字幕生成功能存在版本担忧,Proton Mail的“Proton Scribe”功能有用性存在争议等,整体是在理性探讨本地AI功能在主流应用中的现状。

主要观点

  1. 👍 Jetbrains的单行代码补全是完全本地的AI功能
    • 支持理由:被明确提及为本地AI功能。
    • 反对声音:无。
  2. 🔥 Proton Mail的“Proton Scribe”功能有用性值得商榷
    • 正方观点:功能目前的形式下存在局限,如模型小、仅对英语有用。
    • 反方观点:无。
  3. 💡 现代LLMs能效低导致缺乏本地运行AI功能的主流应用
    • 支持理由:能效低难以支持本地运行大型模型,所以本地运行AI功能的主流应用缺乏。
    • 反对声音:较小的本地可行模型可满足特定任务。
  4. 💡 Firefox有本地语言翻译功能可作为本地AI功能示例
    • 解释:Firefox是主流应用,其本地语言翻译功能可视为本地AI功能。
  5. 💡 主流应用集成AI受内存限制
    • 解释:内存不足难以良好运行通用AI,且主流应用追求轻量高效,AI资源消耗过重。

金句与有趣评论

  1. “😂 xmmr: VLC”
    • 亮点:简洁地推荐了VLC有相关本地AI功能。
  2. “🤔 It‘s debatable how useful it is in its current form, but Proton Mail has a feature called « Proton Scribe ».”
    • 亮点:指出Proton Mail功能存在争议且介绍了功能名称。
  3. “👀 Jetbrains single - line code completion is a completely local AI thing.”
    • 亮点:明确Jetbrains的单行代码补全为本地AI功能。
  4. “💡 The lack of such apps highlights the energy inneficiency of modern LLMs.”
    • 亮点:指出缺乏本地AI功能应用与现代LLMs能效低的关联。
  5. “😉 Sadly I had to make a powerpoint presentation, and I never used powerpoint before. So I shoved some text and an image on each slide and constantly pressed the ai designer button and selected the least worst one.”
    • 亮点:讲述了使用PowerPoint的AI设计按钮制作演示文稿的有趣经历。

情感分析

总体情感倾向为中性,大家主要是在理性探讨本地AI功能在主流应用中的情况。主要分歧点在于某些功能的有用性、本地运行的限制因素等方面,例如Proton Scribe功能是否有用,主流应用集成AI受内存限制等,原因是不同的应用场景、硬件条件以及用户需求等因素影响了人们对本地AI功能的看法。

趋势与预测

  • 新兴话题:随着硬件发展如骁龙精英芯片等,本地低功耗模型运行可能成为新的关注点,以及软件创新如MoE架构提高参数利用效率与本地AI功能的结合。
  • 潜在影响:如果本地AI功能在主流应用中得到更好的发展,可能会改变人们使用应用的方式,提高工作效率,也可能促使相关硬件进一步发展以适应AI功能需求,同时在隐私保护方面(如Firefox本地语言翻译功能提到隐私趋势)可能会有更多关注和要求。

详细内容:

标题:主流应用中的本地 AI 功能探索

在 Reddit 上,有一个引起广泛关注的话题:“Any ‘mainstream’ apps with genuinely useful local AI features?” 该帖子获得了众多点赞和大量评论。

原帖主要探讨了用户在日常使用中,主流应用里是否存在真正有用的本地 AI 处理功能。作者指出像 JetBrains 的 PyCharm 中的代码补全功能,目前也变成了本地与云服务的混合模式。

帖子引发的主要讨论方向包括各种应用中的本地 AI 功能,如 VLC 的字幕功能、Proton Mail 的邮件起草功能等。文章将要探讨的核心问题是:在当前的技术环境下,主流应用中的本地 AI 功能是否足够实用和高效。

在讨论焦点与观点分析方面,有人提到 PotPlayer 最近获得了实时生成字幕的功能。有用户认为 Proton Mail 的“Proton Scribe”功能虽然存在一定局限性,但考虑到公司的隐私专注,这一功能仍有意义。

关于 JetBrains,有人指出其单行代码补全是完全本地的 AI 功能,还有类似的 AI 工具但需要订阅。有人表示较小的本地可行模型在某些任务中已经足够好,比如 JetBrains 的模型只有约 100MB,但在代码质量和系统利用方面表现不错。

也有观点认为现代大型语言模型的能耗问题限制了本地 AI 应用的发展,我们需要在硬件和软件方面都取得重大改进。比如,有人认为只有让硬件更高效,才能让大规模参数模型在本地运行,也有人认为软件创新也能使我们无需依赖超大规模参数模型就能实现非常有用的 AI 功能。

还有用户分享了自己使用微软 Copilot 制作 PowerPoint 的经历,虽然有帮助但也存在一些问题。

总的来说,讨论中的共识在于大家都认为主流应用中的本地 AI 功能还有很大的发展空间,目前仍存在诸多限制和挑战,但未来有望逐步改善。特别有见地的观点是关于如何在硬件和软件的限制下,寻找最优的本地 AI 应用方案。

未来,我们期待看到更多高效实用的本地 AI 功能融入主流应用,为用户带来更好的体验。