原贴链接

我们都看到很多包含AI聊天功能的网络应用出现。我最感兴趣的是，它们中有大量似乎都有免费版本且没有聊天限制。我目前正在构建一个应用，虽然是用于个人用途，但我可能会向全世界开放，因为我觉得它很酷。我正在尝试使用一个大型语言模型（LLM），进展很顺利。我打算对公众用户封锁这个功能，除非他们自带API密钥。在理想情况下，我希望为免费用户提供一个基本/受限版本，然后收取最低的月费，为他们提供我的应用的完整版本。但是，人们到底是如何做到这一点而又不至于花费巨大呢？很多开发者是不是仅仅为了期待付费产品的成功而直接承担成本呢？我最近在Reddit上看到了[https://www.open - health.me/](https://www.open - health.me/)，即使研究其源代码，开发者似乎也是这么做的。我试着问他，但没有得到回应，但从各方面来看，这就是人们正在做的事情。

讨论总结

原帖询问有AI功能的应用部署如何能不花费巨额成本，评论者们从不同方面进行了探讨，如利用免费的LLM API、旧设备，申请微软初创项目，采用不同的部署方式如无服务器GPU主机或推理即服务等，还涉及到了一些关于AI应用运营的情况，如初创公司可能的亏损运营、资金来源等，大家积极分享观点，氛围较为积极。

主要观点

  1. 👍 某些LLM API免费可降低成本。
    • 支持理由：一些LLM API本身是免费的，可被用于有AI功能的应用开发从而降低成本。
    • 反对声音：无。
  2. 🔥 可以使用无服务器GPU主机或推理即服务来部署。
    • 正方观点：这两种方式运行起来不是非常昂贵，还有免费层可利用。
    • 反方观点：有大量并发请求时成本会增加。
  3. 💡 有AI功能且提供免费版本的应用在花费VC资金。
    • 若不能快速盈利，将会面临严重后果。
  4. 🌟 以批次运行LLMs成本低。
    • 较小模型适用于相关用例，且能与RAG良好协作。
  5. 🤔 应用部署AI功能的成本与规模有关。
    • 低规模用户（几千个）时成本近乎为零，规模扩大后成本才会增加。

金句与有趣评论

  1. “😂 Could be a ton of things, some LLM api’s are currently free, some use cases have low enough load where they could just be repurposing an old gaming computer, and… more likely… They operate a startup and applied to Microsoft’s startup kind of "incubator" and get a ton of free credits a month.”
    • 亮点：从多个角度列举了可能降低AI应用部署成本的方式，全面且具有启发性。
  2. “🤔 If you are answering generic questions based on existing data, then chatbot will be significantly cheaper than even outsourcing from India.”
    • 亮点：通过与外包成本比较，突出了在特定情况下使用聊天机器人的成本优势。
  3. “👀 他们是在花VC的钱。如果不能很快盈利，崩溃将是惊人的。”
    • 亮点：简洁地指出了某些AI应用的资金来源和潜在风险。

情感分析

总体情感倾向是积极探讨的。主要分歧点在于不同方式对于成本控制的有效性，可能的原因是大家的应用场景、规模、资源等情况各不相同。

趋势与预测

  • 新兴话题：利用加密货币热潮遗留的GPU资源来控制成本，但这种资源在减少价格在攀升。
  • 潜在影响：如果更多开发者不能及时利用低成本资源，可能会导致AI应用成本上升，影响AI应用的推广和发展。

详细内容：

标题：关于部署具有 AI 功能的应用程序如何控制成本的热门讨论

在 Reddit 上，有一篇题为“How are people deploying apps with AI functionality and it not costing them an absolute fortune?”的帖子引发了广泛关注。该帖子获得了众多的点赞和大量的评论，主要探讨了在开发应用程序时，如何在引入 AI 功能的情况下控制成本。

讨论的焦点主要集中在以下几个方面： 有人认为，一些 LLM 的 API 目前是免费的，某些使用场景的负载较低，甚至可以利用旧的游戏电脑。还有人指出，许多初创公司为了获取市场份额，不惜烧钱，期待未来从付费服务中取得成功。例如，有用户分享说：“作为一名在硅谷工作了 10 年的软件工程师，我亲身经历了技术行业的快速变革。在 2015 年，我所在的初创公司还在为基础设施烦恼，但到了 2020 年，我们已经完全依赖云服务。这种转变不仅提高了效率，还彻底改变了我们的工作方式和团队结构。”

也有用户提到，对于部署来说，有使用无服务器 GPU 主机和使用推理即服务两种选择，且两者在没有大量并发请求的情况下成本并不高。但也有人质疑，这是否比人工回复更昂贵。

此外，有人表示，运行小模型的 LLM 成本较低，特别是对于特定用例。还有用户分享了自己的经历，比如在一个繁忙的医生办公室呼叫中心工作时，处理大量相同问题的用户咨询，利用 LLM 可以节省成本，但在处理某些特殊情况时可能会导致不良结果。

一些观点认为，许多应用程序本身没有流量，托管成本高于收入，但总成本在合理范围内。还有人提到，并非所有的 AI 应用都需要用户直接与 LLM 交互，可以通过合理的系统设计来控制成本。

总之，关于如何在应用程序中部署 AI 功能并控制成本，大家各抒己见，讨论热烈。但仍未形成明确的共识，这一话题仍有待更深入的探讨和实践。