原贴链接

我遗漏了什么?我不太了解部署像这样的大型模型,但对于那些了解的人来说,在云端部署它不是应该相当容易吗?这就是开放权重的好处,不是吗?如果你有硬件(如果你已经在使用VPS的话,这硬件要求也没那么疯狂),你就可以动态地运行和扩展它。而且由于它如此高效,分摊到多个用户身上应该相当便宜。为什么我们没有看到所有人(包括他们的奶奶)向我们出售他们网站的订阅服务呢?

讨论总结

原帖好奇为何没有很多人在云端部署R1 671b模型售卖访问权盈利,评论从多个角度进行分析。商业方面,提到需要接近100%的服务器利用率才可能盈利、获取客户成本高、推理业务盈利性差等;技术上,运行该模型对硬件要求高,如需要约320个GPU、大量的显存等;还有托管方面,需要建立声誉、赢得用户信任以及确保用户隐私等多种因素影响,整体氛围较为理性地探讨这种现象背后的原因。

主要观点

  1. 👍 在云端部署R1 671b模型售卖访问权面临诸多成本挑战,导致盈利困难
    • 支持理由:服务器保险成本高、硬件成本高昂、运行所需硬件如320个GPU及相关电力成本高,人力成本等多种成本因素存在,还有在不同利用率下的收支平衡计算等表明成本高难以盈利。
    • 反对声音:无
  2. 🔥 运行该模型有较高的硬件要求,小团队难以承担
    • 正方观点:如高效优化部署需要约320个GPU、模型超过400GB(q8超过700GB)、运行全规模模型需要约1.3TB的VRAM等硬件要求限制了很多人进行相关操作。
    • 反方观点:无
  3. 💡 已存在一些公司在进行相关的模型部署和售卖访问权操作
    • 已有公司如Groq、Deepinfra、Together.ai等在做在云端运行R1 671b并售卖访问权限的事,IBM和Oracle等云提供商也有相关操作。
  4. 🤔 不同客户使用该模型时需考虑多种成本效益因素
    • 以律所为代表的客户在使用模型时要考虑成本能否被收益覆盖,如是否带来竞争优势等。
  5. 😎 开源项目托管在商业上存在大客户流失的问题
    • 此类业务最大利润源于大客户,但开源项目托管时大客户发展到一定程度会自己托管,导致托管方剩下小且不稳定的客户,缺乏商业吸引力。

金句与有趣评论

  1. “😂 即使它(在云端部署R1 671b模型并售卖访问权)可行,也需要充分利用服务器,而且每月单台保险成本很高,所以每个月如果没有接近100%的利用率,就会亏损。”
    • 亮点:直接指出服务器利用率对盈利的关键影响,简单明了地阐述了盈利困难的一个重要原因。
  2. “🤔 如果阅读他们的技术报告,他们详细介绍了推理设置。简短的答案是,为了支持高效优化的部署,你需要大约320个GPU。然后,你的每个token的成本就会很低。小团队运行这个模型不会达到这种状态,所以他们不能如此廉价地提供API。”
    • 亮点:从技术报告角度说明运行模型所需的硬件要求,解释了小团队难以廉价提供API的原因。
  3. “👀 要想真正具有竞争力,并低于像[together.ai](收费7美元/百万)这样的公司,我们的目标是4美元/百万,我们每天需要销售1亿个令牌。”
    • 亮点:通过具体的数字计算,展示出要达到一定竞争力所需要的售卖令牌数量,体现出盈利的难度。
  4. “😏 律所的工资可以远远超过50万美元。如果这意味着竞争优势,这个数字不会吓到他们。”
    • 亮点:从律所的角度看待使用模型的成本与收益关系,提出不同的思考方向。
  5. “🤨 Ok I just saw this post by u/sanjay920, giving an example of the economics:”
    • 亮点:通过分享一个帖子引出关于模型经济成本的例子,进一步丰富了讨论内容。

情感分析

总体情感倾向为理性探讨,没有明显的情绪偏向。主要分歧点在于对在云端部署R1 671b模型售卖访问权盈利是否可行,部分人认为从成本、技术、商业等多方面因素来看很难实现盈利,而另一部分人则指出已经存在相关的实例或者认为这种情况可能即将发生。可能的原因是不同的人掌握的信息不同,以及对各个因素的权重考量不一样,例如有的人更看重硬件成本,有的人则更关注商业运营方面的因素。

趋势与预测

  • 新兴话题:随着Ollama对模型拉取量的增长,可能会引发关于模型使用量增长趋势以及对相关商业运营影响的后续讨论。
  • 潜在影响:如果在云端部署R1 671b模型售卖访问权难以盈利的情况持续,可能会影响相关技术在云端的推广和应用,也会促使企业重新评估在该模型上的商业策略;而如果盈利情况有所改善或者出现新的盈利模式,可能会改变整个行业在模型部署和售卖方面的格局。

详细内容:

《为何在云端部署 R1 671b 并售卖访问权未大规模流行?》

近日,Reddit 上一则关于“为何我们没看到很多人在云端运行 R1 671b 并售卖访问权赚钱”的帖子引发了热烈讨论。该帖子获得了大量的关注,评论数众多。

帖子主要探讨了在云平台上部署大模型并以此盈利的可能性。主要的讨论方向包括成本、硬件需求、竞争、数据隐私等方面。

讨论焦点与观点分析如下: 有人指出,即使可以在云平台上运行 R1 671b 并售卖访问权赚钱,也需要服务器的充分利用,而且每月的单一保险成本很高,如果每个月没有接近 100%的利用率就会亏损。还有用户怀疑项目需要 2 - 3 个全职等效员工支持。但也有人认为,这个模型可以很容易地部署,并且可以自动化以保持正常运行时间,保持其运行不需要太多支持。 [StyMaar] 作为一名学生,曾是管理校园基础设施团队的一员,为一千多人提供互联网接入以及为所有学生提供许多关键服务。他们在 5 台物理服务器上有大约 40 个虚拟机,加上大约 25 个网络路由器,通过 ssh 访问用 shell 脚本手动运行一切。所有这些都是由 5 名学生运行的,其花在和朋友喝啤酒、玩电子游戏上的时间比实际运行这些东西的时间要多得多。偶尔会遇到问题,需要花整晚的时间来让一切恢复正常,但这远远算不上一份全职工作。 有人认为,即使收取每百万个 token 5 美元的费用,除非真的拥有硬件并且能期望有足够的付费流量来每天赚取 250 美元左右,否则无利可图。竞争非常激烈,一些国家的公司会出于各种原因决定不使用它。也有人提到,Deepseek 有一个很大的内部市场,这提供了可观的收入。 有人分享自己使用 Fireworks 的经历,称其在 DS API 不可用时,虽然稍慢但仍能正常工作。 有人好奇使用像 Runpod 这样的服务是否可行,认为对于个人来说前期成本很高,但对于公司来说似乎并不差。 还有人指出,在云平台上运行大模型存在很多不确定性,比如未来更便宜更好的模型可能会出现,以及法律公司是否能从 AI 中获得足够的效率增益等。

总的来说,关于在云端部署 R1 671b 并售卖访问权这一话题,讨论中观点各异,既有对其盈利前景的质疑,也有对其可能性的探讨。但目前来看,还没有形成明确的共识。