原贴链接

我知道一些70亿参数模型仅在服务器上可用并准备使用就需要每天超过100美元。但考虑到70亿参数模型在平台上的平均使用频率，他们需要向托管服务支付多少费用？

讨论总结

本次讨论主要围绕70亿参数模型的托管费用展开，涉及多个技术层面和商业考量。讨论者们探讨了量化方法对VRAM需求的影响、不同云服务提供商的费用比较、批处理技术的应用以及自托管的可行性。总体上，讨论偏向技术探讨，旨在寻找降低托管成本和优化性能的解决方案。

主要观点

  1. 👍 量化方法显著降低托管成本
    • 支持理由：使用exl2等量化方法可以在单个48GB GPU上运行70B模型，大幅降低成本。
    • 反对声音：量化方法可能会降低模型性能，特别是在高吞吐量场景中。
  2. 🔥 云服务提供商的选择影响托管费用
    • 正方观点：AWS和Azure等大型云服务商费用较高，而runpod.io和Vast.ai则相对便宜。
    • 反方观点：大型云服务商在合规性和安全性方面更具优势，适合商业用途。
  3. 💡 批处理技术降低用户平均成本
    • 解释：通过VLLM等支持批处理的推理引擎，可以同时服务多个用户，显著降低每个用户的成本。
  4. 👍 自托管方式节省高额托管费用
    • 支持理由：自托管方式下，成本仅为电费，避免了支付高额的托管服务费用。
    • 反对声音：自托管需要较高的技术能力和硬件资源。
  5. 🔥 AI模型的运行成本并不高
    • 正方观点：通过neuroengine.ai等平台可以免费托管AI，成本主要是电力消耗。
    • 反方观点：免费托管可能存在性能和稳定性问题。

金句与有趣评论

  1. “😂 emperahsFury：You know you’ve asked a good question when all the comments have nothing to do with the answer.”
    • 亮点：幽默地指出原帖问题的深度和复杂性。
  2. “🤔 mayo551：You can rent a 48GB GPU for around $0.50/hour, bringing the total to $12/day.”
    • 亮点：提供了具体的硬件租赁成本计算，增加了讨论的实用性。
  3. “👀 ortegaalfredo：AI 模型的运行成本并不高，甚至比运行一个网页服务器还要便宜。”
    • 亮点：颠覆了传统观念，提出了AI成本低廉的新观点。
  4. “😂 nero10578：I just host them on my own hardware so we only pay for electricity”
    • 亮点：简短而直接地表达了自托管的成本优势。
  5. “🤔 ethereel1：Good question! A quick calculation: if you’re charging $1 per million tokens for the 70B, what AWS charges for Llama 3.1, then you need to serve 1157 tokens per second to cover the cost of $100 per day.”
    • 亮点：通过简单的计算，直观展示了高成本背后的逻辑。

情感分析

讨论的总体情感倾向偏向中性，主要围绕技术细节和成本分析展开。虽然有部分评论提出了成本低廉的观点，但大多数讨论仍集中在技术实现和商业考量上。主要分歧点在于量化方法对性能的影响、云服务提供商的选择以及自托管的可行性。

趋势与预测

  • 新兴话题：自托管和批处理技术可能会成为未来降低AI模型托管成本的主流方案。
  • 潜在影响：随着技术的发展，AI模型的托管成本有望进一步降低，推动更多企业和个人用户采用高级AI模型。

详细内容：

标题：关于 70B 模型网站和 AI 聊天机器人平台的托管服务成本讨论

在 Reddit 上，一个题为“On average, how much do websites and AI chatbot platforms pay hosting services to make 70b models available to users?”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。原帖主要探讨了在考虑 70B 模型在平台上的平均使用频率的情况下，网站和平台为使 70B 模型可供用户使用向托管服务支付的费用。

讨论焦点与观点分析： 有人提到 Duckduckgo 通过 together.ai 获取 70B 模型，其终端用户价格或许是网站为使模型可用而支付的上限。有用户表示，Q4 GGUF 的 70B 模型约需 42GB VRAM，租用 48GB GPU 每小时约 0.5 美元，每天总计约 12 美元，也可以购买 GPU 并进行托管。还有用户指出在 runpod.io 上，A100 pcie 约每小时 1.2 美元，每天约 115 美元左右，但通过 Vast.ai 可能更便宜。有人认为对于商业目的，每天费用可能在 40 - 50 美元。有人提到 Azure 上单个 A100 大多数地区约每小时 4.5 美元，所以每天超过 100 美元。选择 Azure/AWS 的主要优势在于合规性，能避免一系列安全和保密风险。甚至有用户表示自己在 neuroengine.ai 上免费托管 AI，成本主要是电力。也有人直接在自己的硬件上托管。

总之，关于 70B 模型的托管服务成本，大家观点各异，但都从不同角度进行了深入探讨。