原贴链接

我只能在本地运行7-13B的模型，对于更大的模型，我使用不同的在线服务。但是有很多选择：together、poe、you、groq、openrouter、fireworks，还有很多其他的。

我订阅了Poe，但我发现它相对于原始模型（或原始LLM提供商）显著减少了输出长度，这非常令人烦恼。

你使用哪个在线LLM提供商？你根据什么标准决定付费服务？我怎么知道哪个提供商使用的是“原始”LLM？（不会修改系统提示以保持输出简短，像Poe那样）

讨论总结

本次讨论主要围绕大型语言模型（LLM）提供商的选择展开，用户们分享了各自的使用体验和推荐。讨论中涉及的主要话题包括输出长度、性价比、免费服务、数据隐私保护等。用户们普遍关注在线服务的输出长度和原始模型的保真度，特别是对Poe服务在输出长度上的缩减表示不满。许多用户推荐使用Openrouter，认为其在性价比和模型选择上具有优势。此外，讨论中还涉及了免费服务的选择、本地运行模型的倾向以及数据隐私保护的重要性。总体而言，讨论氛围较为积极，用户们分享了丰富的使用经验和见解。

主要观点

  1. 👍 Openrouter的性价比高
    • 支持理由：Openrouter提供多种模型选择，价格范围广泛，包括免费选项，且负载均衡功能强大。
    • 反对声音：无明显反对声音。
  2. 🔥 Poe服务在输出长度上的缩减令人不满
    • 正方观点：许多用户对Poe服务的输出长度缩减表示不满，认为这影响了使用体验。
    • 反方观点：无明显反方观点。
  3. 💡 免费服务的选择
    • 解释：用户们分享了多个免费LLM提供商，如Google Gemini、Cohere等，认为这些服务在性价比上具有优势。
  4. 💡 数据隐私保护的重要性
    • 解释：用户们在选择LLM提供商时，特别关注服务条款和数据隐私保护，认为这是选择服务的重要标准。
  5. 💡 本地运行模型的倾向
    • 解释：部分用户倾向于本地运行模型，而不是依赖付费服务，认为这样可以更好地控制数据和使用体验。

金句与有趣评论

  1. “😂 Using openrouter + gemma2-9B-it: free for some time. It works perfectly fine.”
    • 亮点：用户分享了免费使用高质量模型的经验，展示了Openrouter的性价比优势。
  2. “🤔 You need to spend about $17 a month on requests to justify the price. Most people won’t (that’s how they make money, after all).”
    • 亮点：用户揭示了Poe服务的高成本，暗示了其盈利模式。
  3. “👀 I avoid services that charge a flat monthly fee (Poe, chatgpt/claude subscriptions, etc) since my usage typically doesn’t warrant that kind of monthly cost.”
    • 亮点：用户分享了避免高月费服务的策略，强调了成本效益的重要性。
  4. “💡 Google - SOTA level performance for free. Uniquely good at working with documents.”
    • 亮点：用户推荐Google作为免费且高性能的LLM提供商，特别适合处理文档。
  5. “👍 My首选通常是deepseek，因为它在成本与质量的平衡上表现最佳。”
    • 亮点：用户分享了deepseek在性价比上的优势，展示了其在选择服务时的标准。

情感分析

讨论的总体情感倾向较为积极，用户们分享了丰富的使用经验和见解。主要分歧点在于对Poe服务在输出长度上的缩减表示不满，而大多数用户推荐使用Openrouter等性价比高的服务。情感倾向积极的原因在于用户们普遍关注性价比和数据隐私保护，且有许多免费或低成本的替代方案可供选择。

趋势与预测

  • 新兴话题：免费服务和本地运行模型的趋势可能会继续增长，用户们越来越关注成本效益和数据隐私保护。
  • 潜在影响：随着更多免费和性价比高的LLM提供商的出现，市场竞争将加剧，可能会推动服务质量的提升和价格的进一步优化。

详细内容：

《大型语言模型服务提供商大讨论，用户们各有所好》

在 Reddit 上，一篇题为“Large LLM providers, which one do you use and why?”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。帖子中，作者表示自己只能在本地运行 7 - 13B 模型，对于更大的模型则使用不同的在线服务，同时提到订阅的 Poe 存在输出长度显著减少的问题，并对如何选择在线语言模型服务提供商、如何判断付费服务以及如何确定提供商是否使用“原始”语言模型提出了疑问。

讨论焦点集中在各种在线语言模型服务提供商的优劣。有人表示使用 openrouter + gemma2 - 9B - it：free 一段时间，效果很好，还称赞其负载均衡和自由选择模型的功能。有人认为 Openrouter 是不二之选，每月 5 美元就能有不错的体验。还有人提到 poe.com，认为其价格不算贵，更新及时且限制较为宽松。但也有人原本是 Poe 的支持者，后来改变了想法，指出每月花费 17 美元不太值，建议使用 open - webui，因为更便宜，对数据的控制也更全面。

对于工作，有人选择 bedrock，因为其与生产级基础设施兼容性好；对于个人使用，有人选择本地的 Ollama，甚至在台式机上运行。有人会使用多种服务，比如拥有 OpenAI、Anthropic、Google 等的 API 密钥，并说明了选择的原因。有人提到使用 Sillytavern 作为调用 API 的前端，控制提示结构的能力很强。还有人指出 groq 提供免费的 llama 70b 多功能模型且有 API 访问，每天有 30 次每分钟的限制和大量的令牌允许量。

有人提到 Nvidia nim 有 5000 次免费推断的商业邮箱试用，谷歌 gemini 有免费计划，Cohere 也有免费 API。有人对 DeepSeek 的产品进行了讨论，也有人推荐了 AWS Bedrock 和 Azure OpenAI，认为其条款清晰，数据和隐私保护较好。

这场讨论展示了用户在选择语言模型服务提供商时的多样性和考量因素，也反映出不同提供商在性能、价格、功能等方面的差异给用户带来的不同体验和选择。究竟哪个提供商能在竞争中脱颖而出，还需综合用户需求和市场发展来判断。