原贴链接

嗨！我是ChatGPT两年的订阅用户，主要用它来编写代码和进行个人搜索（而不是使用谷歌），但现在我在考虑停用它并换成其他工具。我正在考虑购买OpenAI、Anthropic或DeepSeek的一些API积分用于临时查询，并购买Cursor的编码订阅。你们的工具组合是什么？你们有什么建议吗？

讨论总结

原帖作者是一名ChatGPT订阅者，想停止使用ChatGPT并寻求其他工具来构建自己的LLM栈，于是询问大家的LLM栈、订阅情况和工具使用情况。评论者们积极回应，分享了各自在本地、云端使用的不同LLM工具、工具组合、订阅服务、花费情况以及使用体验等内容，同时也有对某些工具的性能、可扩展性、成本的讨论，以及一些新工具的推荐。

主要观点

  1. 👍 可通过llama.cpp、vllm构建本地LLM栈并运行推理引擎。
    • 支持理由：segmond分享了这种构建本地LLM栈的方式。
    • 反对声音：无。
  2. 🔥 ollama是llama.cpp的包装，两者在不同场景下各有优劣。
    • 正方观点：brotie解释了ollama与llama.cpp的关系。
    • 反方观点：无。
  3. 💡 在本地LLM旅程开始时，可先构建并了解自身极限再进行设计。
    • 支持理由：brotie认为这样可以更好地优化LLM栈。
    • 反对声音：无。
  4. 👍 如果不是面向大量用户提供服务，无需过度追求性能差异。
    • 支持理由：brotie指出对于少量用户，过度追求性能差异没有必要。
    • 反对声音：无。
  5. 💡 使用Open WebUI和OpenRouter可方便使用多种模型。
    • 支持理由：Azuriteh分享了自己的使用经验。
    • 反对声音：无。

金句与有趣评论

  1. “😂 Our stack is llama.cpp, vllm, etc, run an inference engine with openAI compatible endpoint, point your tools to it. That’s the essense of local LLMs”
    • 亮点：segmond简洁地概括了本地LLM栈的构建核心。
  2. “🤔 ollama is a llama.cpp wrapper at the end of the day so if what it’s passing to the underlying library meets your needs then you’re all gravy.”
    • 亮点：brotie清晰地解释了ollama和llama.cpp的关系。
  3. “👀 I am starting my local LLM journey and I was hoping for a head start on performance metrics to get a baseline understanding of what through put would actually be.”
    • 亮点：amejin表达了在本地LLM之旅开始时对性能指标的关注。
  4. “😂 I use Ollama + openwebui + glm4 9b iq4xs”
    • 亮点：直接给出了自己简洁的LLM栈组合。
  5. “🤔 I found myself using gpt / claude less and less, and instead preferring specialized models / applications, such as Augment for coding, QwQ for daily chat, and Perplexity for web - related content.”
    • 亮点：Drkpwn分享了自己使用模型倾向的转变。

情感分析

总体情感倾向积极，大家积极分享自己的LLM使用经验和工具推荐。主要分歧点较少，个别工具如Windsurf存在使用体验上的差异，可能是由于工具更新或不同用户需求导致。

趋势与预测

  • 新兴话题：对本地LLM意义的探讨可能会引发更多关于数据隐私、成本和所有权等方面的深入讨论。
  • 潜在影响：随着更多人分享自己的LLM使用经验，可能会影响其他人对LLM工具的选择，推动相关工具的发展和优化，同时也可能影响到不同场景（如工作、家庭）下LLM的应用模式。

详细内容：

《Reddit 热门讨论：您的 LLM 技术栈是怎样的？》

在 Reddit 上，一篇题为“ What is your LLM stack? Subscriptions? Tools? self hosted?”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。帖子中，作者表示自己是 ChatGPT 两年的订阅用户，主要用于编码和个人搜索，但现在考虑停用并替换为其他工具，还提到打算购买 OpenAI/Anthropic/DeepSeek 的 API 积分以及 Cursor 的订阅服务用于编码，并询问大家的技术栈及建议。

讨论焦点主要集中在以下几个方面： 有人分享自己的技术栈是 llama.cpp、vllm 等，并运行带有 OpenAI 兼容端点的推理引擎。有人询问 llama.cpp 是否必要，ollama 和 API 框架能否处理高容量需求。还有人提到在开始本地 LLM 之旅时，希望获得性能指标方面的指导。也有观点认为，如果不是服务大量用户，没必要追求个位数的性能差异，先熟悉技术栈，找到用例后再优化。

有人推荐尝试 lmstudio，还有人表示使用 ollama 是自我伤害。有人提出疑问，若已有 llama.cpp，使用 vllm 的用途何在。有人分享自己在将 Qwen 2.5 部署到 VLLM 用于服务 200 - 300 用户的应用时，对所需 GPU 数量的疑问。

也有用户使用 Open WebUI 搭配 OpenRouter 来使用多个模型，还有人使用多种工具的组合，并分享了使用的费用和体验。有人提到在工作中使用特定模型，在家使用其他模型。有人探讨了不同模型在不同场景下的应用和优势。

总的来说，这次讨论展示了大家在 LLM 技术栈选择和应用上的多样性和思考。有人看重隐私和成本，有人追求便捷和高效。但无论如何，大家都在积极探索和分享，以找到最适合自己的方案。