原贴链接

我很好奇为什么有人会使用本地大语言模型（LLM）以及他们使用的硬件类型（投入的资金）。我是从成本/效益的角度来问的。这是我的硬件（游戏组装机）： - 锐龙5 7600x - 4070ti 16gb - 32gb ddr5内存。软件： - Ollama - OpenWebUI - Windows 10。我大多使用适合我16gb显存的模型，经过几个月尝试多个模型，这是我目前的结论：没有哪种组装机能在成本效益上比云方案有很大优势。我总是回到我付费的VSCode中的Copilot来编码，在其他事情上总是回到付费的Gemini。我认为那些每月约50美元的专有模型是有价值的，它们不断进化，无需维护且能随处访问。但是为什么有人要构建本地LLM呢？你们投入了多少？我准备投资一个更好的组装机，但与云解决方案相比，我看不到好处。我还没有尝试私有云，但愿意比较运行更大模型的成本。

讨论总结

原帖作者分享自己的硬件配置并认为本地构建LLM成本效益不如云方案，询问大家使用本地LLM的原因及硬件投入情况。评论者从多种角度回应，包括隐私需求（如不想隐私信息被大公司获取、成人内容隐私等）、工作需求（如医疗数据处理、合同事务处理）、学习用途（如学校学习、构建小项目学习）、娱乐（如玩SillyTavern）等，也提到本地LLM免费功能的优势，同时也有部分人分享了自己的硬件配置，还有人对本地LLM与云方案的成本效益进行比较。整体氛围比较理性，大家各抒己见。

主要观点

  1. 👍 本地LLM可用于多种用途，如学习、工作、娱乐等
    • 支持理由：许多评论者分享了自己在不同场景下使用本地LLM，如学习知识、头脑风暴、处理合同事务、玩游戏等。
    • 反对声音：无。
  2. 🔥 隐私需求是使用本地LLM的一个重要原因
    • 正方观点：有评论者表示不想让自己的隐私信息被云服务提供商获取，如个人事务、成人内容等。
    • 反方观点：无。
  3. 💡 本地LLM有免费功能的优势
    • 解释：部分评论者提到喜欢本地LLM不用付费的功能，相比于付费的云服务更有吸引力。
  4. 🤔 本地LLM除特定用途外，与云方案相比在成本效益上可能不占优势
    • 解释：原帖作者通过自己的体验得出本地构建LLM成本效益不如云方案，部分评论者也表示赞同，认为在某些情况下使用付费的API很便宜。
  5. 😎 不同硬件配置可用于运行本地LLM
    • 解释：许多评论者分享了自己的硬件配置，包括从较旧的硬件到高端硬件，如GTX 1080ti、Ryzen 9 5950x、7950x3d等。

金句与有趣评论

  1. “😂 Use case 1: It ain’t nobody’s fuckin business, so it stays on my hardware.”
    • 亮点：直接表达出因隐私原因选择本地LLM的坚决态度。
  2. “🤔 i like all the features you don’t have to pay for, i’m not paying OpenAI for RAG… lol”
    • 亮点：强调本地LLM免费功能的吸引力。
  3. “👀 我使用KBs来整理我的东西。我有很多与我的项目/爱好相关的电子书，我用它来快速获取我的信息。”
    • 亮点：展示了本地LLM在信息获取方面的用途。
  4. “😎 如果不在乎隐私，云解决方案会在各方面更好。”
    • 亮点：客观地指出云解决方案在不考虑隐私时的优势。
  5. “🤯 我使用它们（本地LLM）来头脑风暴想法和学习东西，使用我构建的这个UI（https://github.com/namuan/chat - circuit）。”
    • 亮点：具体说明使用本地LLM进行头脑风暴和学习的方式。

情感分析

总体情感倾向比较中立，主要分歧点在于本地LLM和云方案的成本效益比较。部分人认为本地LLM有其独特的价值，如隐私保护、免费功能等；而另一部分人则认为云方案在成本效益上更有优势，如原帖作者通过自己的体验得出本地构建LLM在成本效益上远不如云方案。可能的原因是大家的使用场景、需求以及对成本效益的考量标准不同。

趋势与预测

  • 新兴话题：随着技术发展，本地LLM在性能提升后是否能改变成本效益的现状。
  • 潜在影响：如果本地LLM在性能和成本效益上得到提升，可能会改变用户在本地LLM和云方案之间的选择倾向，也可能会影响相关软件和硬件的市场发展。

详细内容：

《关于本地 LLM 使用案例及硬件配置的热门讨论》

在 Reddit 上，有一个引发热烈讨论的帖子“ What are your use cases for local LLM and the hardware you use?”，截至目前已获得了众多关注，评论数众多。帖子主要探讨了为何有人使用本地 LLM 以及所使用的硬件类型和投入的资金，并从成本效益的角度展开了思考。

讨论焦点与观点分析如下： 有人表示使用本地 LLM 是因为不想让相关业务被他人知晓，比如用于转录医疗数据。还有人单纯是出于兴趣，像用于头脑风暴、解决简单问题等。有人认为本地 LLM 在一些特定场景下有优势，比如工作中因网络限制无法使用 OpenAI 时。也有人提到本地 LLM 适合处理个人隐私事务，比如涉及心理健康或家庭问题时。

例如，有用户分享道：“我使用本地 llm 用于工作，以转录音频听写，然后使用 llama 将其转换为信件。由于是医疗数据，所以必须保存在本地。我用的硬件配置是 14900k 192gb 内存和 rtx 4090。”

然而，也有不同的声音。有人认为 GPT-4 等付费服务在很多方面更具优势，比如其更大的参数规模能更好地处理模糊或非特定的表述，还有巨大的上下文窗口等。尽管本地模型可定制且强大，但往往需要更精确的提示才能获得可比的结果。

讨论中的共识在于，使用本地 LLM 还是付费云服务取决于个人需求和具体场景。特别有见地的观点如有人从生存主义者的角度看待本地 LLM，认为在极端情况下它能发挥作用。

总的来说，关于本地 LLM 的使用和硬件配置的讨论展现了多样性和复杂性，每个人都根据自己的需求和经验做出了不同的选择。