原贴链接

我只是好奇大家都在将本地大语言模型用于哪些方面。就我个人而言，我在工作中每天都使用Claude。我喜欢在本地运行大语言模型的想法，但我知道在我仅有一块RTX 4090的个人电脑上运行的话，准确性会差一些。我喜欢不受不断变化的定价模式的约束，也不用担心使用了多少token，但我觉得由于能节省时间，哪怕准确性提高5%也是值得的。所以我只是好奇人们都用本地大语言模型做什么，以及与大公司的产品相比（在什么样的硬件条件下）现在它们的情况如何。

讨论总结

原帖对本地LLMs的用途以及和大科技公司产品的比较发出疑问。评论者们分享了本地LLMs在工作中的多种用途，如代码审查、处理敏感文档、邮件和团队消息总结等，还有在创意方面如创作科幻故事、与书中角色对话的用途。也提到了本地LLMs在隐私、成本控制方面的优势，以及与大公司产品在准确性等方面的比较，总体氛围比较积极地探讨本地LLMs的各种情况。

主要观点

  1. 👍 本地LLMs可用于多种工作任务
    • 支持理由：众多评论者分享了在工作中使用本地LLMs进行代码审查、总结消息、重写代码和文档等。
    • 反对声音：无。
  2. 🔥 本地LLMs在特定场景下可替代大公司产品
    • 正方观点：如在没有网络时，本地LLM可用于工作；因大公司LLM内容政策拒绝查询时，本地LLM可处理敏感文档。
    • 反方观点：有观点认为本地LLMs除小众用途外通常比大公司的差。
  3. 💡 本地LLMs有隐私和成本优势
    • 解释：部分评论者提到因不信任商业推理服务的可持续性、存在审查和隐私问题而倾向本地LLM技术，本地LLM用于代码审查可节省成本。
  4. 👍 新32b模型接近商业模型的竞争力
    • 支持理由：有评论者指出新32b模型现在几乎能与商业模型竞争。
    • 反对声音：无。
  5. 🔥 所有模型的答案都有不确定性
    • 正方观点：有评论者认为不管是本地模型还是其他模型，其答案都具有不确定性，只是基于训练数据的模式匹配。
    • 反方观点：无。

金句与有趣评论

  1. “😂 我正在努力熟悉一位同事的项目，他编写的软件非常难懂。我对其中一些源文件冥思苦想，对其他文件则让Gemma3 - 27B先给我解释，然后我再去钻研。”
    • 亮点：展示了本地LLMs在理解复杂项目代码方面的作用。
  2. “🤔 在飞机上：Seriously, having an LLM that you can run locally can be a good substitute to the internet if you need to be productive about something.”
    • 亮点：说明本地LLMs在无网络时的工作替代作用。
  3. “👀 我编写了一个脚本，该脚本也使用Gemma3 - 27B在玛莎·威尔斯（Martha Wells）的《谋杀机器人日记》（Murderbot Diaries）的设定下生成科幻故事。”
    • 亮点：体现本地LLMs在创作科幻故事方面的创意用途。
  4. “😂 我使用qwen2.5 14B本地，它处理75%的东西。对于剩下的25%，我使用Claude聊天界面（每月20美元，与按次收费的API或IDE集成相比，投资回报率要好得多）”
    • 亮点：对比本地LLM和大公司产品在成本和工作处理方面的情况。
  5. “🤔 我训练了一个小模型来总结我们领域语言内的会议记录，即使它只是一个7B模型，但效果非常好。”
    • 亮点：表明本地LLM在特定任务微调方面的良好效果。

情感分析

总体情感倾向为积极。主要分歧点在于本地LLMs和大公司产品的优劣比较，部分人认为本地LLMs在很多方面可与大公司产品竞争，甚至有优势如隐私和成本方面；而另一部分人觉得除小众用途外，本地LLMs通常比大公司的差。原因可能是大家使用的场景、需求以及对模型性能评判的标准不同。

趋势与预测

  • 新兴话题：随着本地LLMs的发展，可能会有更多关于如何在不同行业和任务中优化本地LLMs使用的讨论。
  • 潜在影响：如果本地LLMs能在更多方面与大公司产品竞争，可能会影响大公司的市场份额，促使它们调整策略；同时也可能推动更多人关注本地LLMs的隐私和成本优势，在更多场景下采用本地LLMs。

详细内容：

《关于本地 LLMs 的热门讨论：用途、比较与思考》

在 Reddit 上，一篇题为“ What are you using local LLMs for? How do they compare to the big tech offerings? ”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论，主要探讨了人们对本地 LLMs 的使用情况以及与大型科技公司提供的服务的比较。

讨论的焦点包括本地 LLMs 在各种任务中的应用，如理解复杂软件、生成科幻故事、翻译、辅助理解医学文献等。有人表示，Gemma3 27b 在数学方面表现出色，Phi-4 在翻译任务中表现良好。

观点分析方面，有人认为本地 LLMs 可用于处理敏感文档信息提取，避免因内容政策违规而无法获取答案。同时，在成本方面，使用本地模型如 Qwen2.5 14B 进行编码和审查相对昂贵的商业服务更具性价比。对于需要保证性能、低延迟和可控吞吐量的任务，本地 LLM 经过微调可能更适合。

也有用户分享了个人经历，比如因工作需要处理涉及隐私的项目而使用本地推理的视觉模型，还有非英语母语者借助模型使回答更清晰易懂。

有趣的观点诸如有人通过本地模型创建喜欢的书中角色并与之交流。还有人指出新的 32b 模型与商业模型的竞争力逐渐接近，但所有模型的回答都存在一定的不确定性。

关于本地 LLMs 与大型科技公司服务的比较，有人认为本地模型在特定任务上具有优势，如速度、隐私和避免依赖不断变化的定价模式，但在准确性和综合性能方面可能仍有差距。

总的来说，这次关于本地 LLMs 的讨论展现了其多样化的用途和潜在的发展空间，同时也让人们对其与商业服务的差异有了更深入的思考。