原贴链接

我悲哀地意识到，我找不到任何日常使用本地模型的实际用途。我非常希望只使用本地模型，因为我是一个开源软件的狂热爱好者，并且不想以任何方式受益于OpenAI。

对于我来说，隐私方面在意识形态上也非常有价值。然而，在实践中，我无法让自己使用本地模型。我还没有找到一个（除了那些列出的）我更喜欢使用本地模型而不是大型封闭模型的用例。

在对此帖子进行踩之前，请注意以下几点：

  • 我有无限访问Claude/OpenAI和无限快速推理L3.1 405B的权限，所以对我来说没有成本问题。
  • 我显然明白小型模型无法与数十亿美元的公司和可能大100倍以上的参数规模竞争。我只在谈论旗舰模型——对于GPT 3.5垃圾桶，我宁愿选择低量化L3 8B。
  • 我只有M1 Max 32GB + 8GB Linux服务器。4x 4090s肯定会让我更多地使用本地模型。

现在，明确地说，有几个原因是完全可以理解的：隐私、成本和极其特定的用例。

我每天做的事情： 与大型AI配合更好：

  • 一般快速问题
  • Python和Lua
  • 重写，拼写检查
  • 学术研究和神学相关问题（当然总是需要事实核查）

本地：

  • 对我在学术科目上的观点和想法的批评
  • 所有私人对话的拼写检查和语法——文本，电子邮件等。

我真的在努力寻找更多使用本地模型的方法，但当我通常需要写更多考虑周到的提示，重新提示（通常），然后处理质量较低的响应时，这实在是太不切实际了。

我已经尝试了所有适合<24GB vRAM的主要模型。70B低量化是可能的，但M1的速度无法使用。低量化70B几乎总是比4o-mini差，并且大约慢10倍。

Gemma 9B和L3 8B在fp16/Q8是我主要使用的。当然，任何模型建议都欢迎。

我很想听听你们使用本地模型的一些方法，这些方法可以提供比Sonnet 3.5更好的整体体验（不一定质量——但用户体验）。

编辑：加粗：我对RP/ERP毫不在意

你们对此有什么看法？有人处于类似情况吗？

TLDR: 小模型不好，大模型好

讨论总结

本次讨论主要聚焦于本地AI模型的实用性、隐私保护和成本效益。许多用户分享了他们在日常使用中遇到的挑战，如硬件限制、模型性能不足以及用户体验不佳。尽管本地模型在隐私保护方面具有优势，但在实际应用中，大型商业模型因其更高的性能和更好的用户体验而受到青睐。讨论中还涉及了开源软件的支持、特定用途的模型选择以及在线服务的成本问题。总体而言，用户在寻求如何在隐私保护和实用性之间找到平衡点，同时也在探索提高本地模型用户体验的方法。

主要观点

  1. 👍 隐私保护是使用本地模型的主要动机
    • 支持理由：用户重视个人数据的安全，不希望数据被第三方收集和分析。
    • 反对声音：大型商业模型提供了更好的性能和用户体验。
  2. 🔥 成本效益分析
    • 正方观点：本地模型在长期运行中可能更经济，尤其是在硬件成本和电力消耗方面。
    • 反方观点：初始投资和维护成本较高，且性能不如商业模型。
  3. 💡 硬件限制是使用本地模型的主要障碍
    • 解释：用户需要高性能的硬件来运行大型模型，这对许多用户来说是一个负担。
  4. 👍 特定用途的模型选择
    • 支持理由：在某些特定场景下，如角色扮演游戏，本地模型提供了更好的自由度和个性化体验。
    • 反对声音：在大多数日常任务中，大型商业模型更胜一筹。
  5. 🔥 开源软件的支持
    • 正方观点：用户支持自由开源软件，希望尽可能不支持商业公司。
    • 反方观点：开源模型在性能和用户体验上仍有差距。

金句与有趣评论

  1. “😂 隐私不应仅被视为意识形态问题，而是一个实际重要的问题。”
    • 亮点：通过生动的比喻强调隐私的实际重要性。
  2. “🤔 运行大型本地模型虽然速度慢，但拥有权和隐私更重要。”
    • 亮点：强调了拥有权和隐私相对于速度的重要性。
  3. “👀 语音克隆和本地TTS技术是本地AI的一个实用应用。”
    • 亮点：展示了本地模型在特定应用中的优势。

情感分析

讨论的总体情感倾向是寻求平衡和解决方案。用户普遍认同本地模型在隐私保护方面的优势，但也认识到其在性能和用户体验上的不足。主要的分歧点在于如何在隐私保护和实用性之间找到最佳平衡点。一些用户对未来本地模型的发展持乐观态度，认为随着技术的进步，本地模型将变得更加实用和高效。

趋势与预测

  • 新兴话题：随着硬件技术的进步和模型优化，本地模型的用户体验有望得到显著提升。
  • 潜在影响：本地模型的普及可能会减少对大型商业模型的依赖，从而在一定程度上保护用户隐私和数据安全。

详细内容：

标题：关于本地 AI 模型使用的热门讨论

在 Reddit 上，有一个引发广泛关注的帖子探讨了本地 AI 模型的使用困境。该帖子获得了众多点赞和大量评论，引发了热烈的讨论。

原帖作者表示自己虽然是 FOSS 的狂热粉丝，也非常重视隐私，但在日常使用中却发现很难真正运用本地模型。尽管自己能无限制使用 Claude/OpenAI 等大型模型且拥有快速推理能力，但仍在努力寻找更多使用本地模型的方法。作者还列举了日常使用场景中本地模型和大型模型的表现。

讨论的焦点主要集中在以下几个方面：

  • 有人认为本地模型的主要优势在于能保证信息不泄露，比如运行 SillyTavern 时。
  • 也有人提到本地模型更便宜，且不会被审查或屏蔽。
  • 还有观点指出，从长期来看，本地模型在能源效率方面有优势。
  • 有用户表示本地模型可以直接微调并拥有权重，能运行未经审查的模型，还能优先保障隐私。
  • 但也有人认为，如果不考虑成本和隐私，就没必要使用本地模型。

例如，有用户分享道：“对于复杂的推理任务，GPT4 或 Claude 可能更好，但经过微调的小型本地开源模型可以用于多个小任务，或者在无法回答某些问题时充当指向大型模型的路由器。”

不同观点的争议点在于对成本、隐私和性能的权衡。共识在于使用本地模型还是云端模型取决于个人的具体需求和情况。

在这场讨论中，一些独特的观点如将本地模型用于语音克隆和本地 TTS 等特殊应用，丰富了讨论的维度。

您对于本地 AI 模型的使用又有怎样的看法呢？是否也处于类似的纠结之中？