原贴链接

有没有人将工作代码库放入本地大语言模型？对于其效果以及使用了哪种本地大语言模型有何反馈？

讨论总结

主题围绕在工作中是否使用本地大型语言模型（LLM）展开。部分评论者分享了使用本地LLM的经验，如用于代码补全、处理脚本等工作事务、在ChatGPT故障时作为替代、避免代码暴露风险等；还有关于本地LLM涉及的知识产权问题的讨论，不同人持有不同观点；也有人提到工作中的其他AI使用情况、IDE寻找等相关话题，整体讨论氛围比较理性客观。

主要观点

  1. 👍 使用TabbyML有助于工作中的代码补全和推理
    • 支持理由：评论者以TabbyML为日常工具，补全接受率在30% - 50%之间能节省按键操作。
    • 反对声音：无
  2. 🔥 使用本地LLM不用担心机密或自身IP问题
    • 正方观点：可以避免将代码暴露给外部，如ChatGPT等。
    • 反方观点：本地LLM也是用他人成果训练的，生成的代码可能是需要许可的衍生作品。
  3. 💡 本地LLM处理长代码优于网络Copilot聊天功能
    • 理由：网络Copilot存在16k输入字符限制和一些输出限制。
  4. 💡 工作与个人数据分离，个人AI不处理工作事务
    • 理由：为了保证数据安全和工作的独立性。
  5. 💡 目前无将工作代码库放入本地LLM的打算
    • 理由：把问题分解为无安全问题的提问这种工作流程更有价值，本地模型对软件工程工作不值得折腾。

金句与有趣评论

  1. “😂 使用TabbyML作为我的日常工具。”
    • 亮点：直接表明日常使用的工具是TabbyML。
  2. “🤔 我的补全接受率在30% - 50%之间，这意味着它为我节省了三分之一到一半的按键操作。”
    • 亮点：用数据说明TabbyML在代码补全方面的效果。
  3. “👀 1 - when chatgpt was down 2 - when I really wanted to hear what AI thinks of my part of code but didn’t want to expose it”
    • 亮点：简洁地阐述了使用本地LLM的两种场景。
  4. “😎 All the time, has the benefit I don’t have to worry about secrets or IP issues.”
    • 亮点：表达使用本地LLM在机密和IP问题上的优势。
  5. “🤓 我发现将问题分解为没有任何安全问题的问题的工作流程极其有价值。”
    • 亮点：提出一种有价值的工作流程。

情感分析

总体情感倾向比较中性，主要分歧点在于本地LLM是否存在知识产权问题。支持使用本地LLM不用担心IP问题的一方认为本地LLM没有输入输出加密风险，不会泄漏自身IP，且很难证明生成的代码侵权；而另一方则认为本地LLM是用他人成果训练的，生成的代码即使经过消化转换也可能是需要许可的衍生作品。可能的原因是对知识产权的定义和理解不同，以及对本地LLM工作机制的认识差异。

趋势与预测

  • 新兴话题：本地LLM在不同工作场景下的适用性及与其他工具的比较可能会引发后续讨论。
  • 潜在影响：如果更多人在工作中使用本地LLM，可能会对企业的人工智能策略、代码安全管理以及知识产权保护等方面产生影响。

详细内容：

《关于工作中是否使用本地 LLM 的热门讨论》

在 Reddit 上，一则题为“Do you guys use local LLMs for work?”的帖子引发了众多关注，收获了大量点赞和评论。原帖询问是否有人将工作代码库放入本地 LLM 中，想了解其效果以及使用的本地 LLM 类型。

讨论焦点主要集中在以下几个方面： 有人表示使用 TabbyML 作为日常工具，完成接受率在 30%至 50%之间，节省了不少输入时间。还有人提到使用 Vulkan 进行推理，虽然比 CUDA 慢 10%至 30%，但能有效管理 VRAM。有人称未对模型进行微调，因为存储上不实际。

有人使用 OpenAI API 代理来配置多个模型。也有人使用本地 LLM 处理脚本和基础问题，认为其处理长代码的能力优于有输入和输出限制的网络 Copilot 聊天。

对于 IP 问题，有人认为使用本地 LLM 不用担心自己的 IP 泄露，而有人质疑其合法性。有人指出模型很少逐字输出训练代码，大多是经过消化和转换的。

有人表示工作和个人数据完全分开，在工作中使用公司提供的 AI，在家使用 Wilmer 并拥有复杂的设置。还有人使用 Azure OpenAI 和 AWS Bedrock 工作，需要保密的信息则使用本地 LLM，并偷偷使用 qwen。有人因合同和保密协议只能使用本地 LLM 处理私人代码库。

有人认为本地模型作为情感分析工具在产品评论中有特定用途，有人将其作为 VSCode 的智能文本编辑插件。

有人坦言不会使用本地 LLM，认为将问题分解后使用任何最佳模型更有价值，本地模型在软件工程工作中不值得费力使用。

这场讨论中，大家各抒己见。有人看重本地 LLM 在节省时间、保护隐私等方面的优势，有人则认为其在功能和价值上存在不足。究竟在工作中应如何选择，还需根据个人需求和实际情况权衡。