原贴链接

Huggingface如何拥有可行的商业模式？它本质上是Github的git - lfs版本。但源代码的git克隆和拉取的规模较小且相对不频繁，而我发现自己要下载几十GB的模型权重，不是一次，而是为我的所有服务器下载几十次。我在一台服务器上试用一个模型，然后下载到其他服务器上。在我的1千兆光纤网络上，我的下载速度要么是10MB/s，要么是40MB/s，这似乎是他们服务的分叉点以及他们施加的限制。作为一个已经下载了数TB权重的未付费用户，我开始感到不安，也厌倦了等待权重下载。但我没有订阅（因为我需要资金购买更多硬件），而是开始使用简单的rsync。我选择rsync而不是scp是因为使用huggingface - cli会产生符号链接。首先在一台机器上正常下载权重：huggingface - cli download bartowski/Qwen2.5 - 14B - Instruct - GGUF Qwen2.5 - 14B - Instruct - Q4_K_M.gguf。然后将其rsync到网络中的其他机器（将homedir替换为您的用户名和目标IP）：rsync - Wav –progress /home/YOURNAMEonSOURCE/.cache/huggingface/hub/models–bartowski–Qwen2.5 - 14B - Instruct - GGUF 192.168.1.0:/home/YOURNAMEonDESTINATION/.cache/huggingface/hub。源模型目录的命名约定是：models–ORGNAME–MODELNAME。因此从https://huggingface.co/bartowski/Qwen2.5 - 14B - Instruct - GGUF的下载，变为models–bartowski–Qwen2.5 - 14B - Instruct - GGUF。我还有一个/models目录，它符号链接到~/.cache/huggingface/hub中的路径，这样更容易查看我拥有的内容并使用各种模型服务平台。棘手的部分是将快照哈希添加到符号链接命令中：mkdir ~/models；ln - s ~/.cache/huggingface/hub/models–TheBloke–TinyLlama - 1.1B - Chat - v1.0 - GGUF/snapshots/52e7645ba7c309695bec7ac98f4f005b139cf465/tinyllama - 1.1b - chat - v1.0.Q8_0.gguf ~/models/tinyllama - 1.1b - chat - v1.0.Q8_0.gguf

讨论总结

原帖对Huggingface的商业模式、存储和带宽使用情况表示疑惑，如非付费用户大量下载的影响、下载速度慢等。评论从多个方面进行讨论，包括对Huggingface商业模式的盈利性进行探讨，有人认为其专家支持服务、推理端点销售等是盈利点，也有人从投资角度分析其盈利状况；针对下载速度慢有人推荐hf - transfer；还有人讨论网络升级相关话题以解决模型权重的存储和读取问题等。整体氛围比较理性积极，大家积极分享观点和经验。

主要观点

  1. 👍 Huggingface根据CEO的文章是盈利的
    • 支持理由：CEO文章表明，虽未明确盈利方式但存在盈利情况
    • 反对声音：无
  2. 🔥 原评论者推荐使用hf - transfer解决Huggingface下载速度慢的问题
    • 正方观点：多位用户按照推荐操作后，下载速度大幅提升
    • 反方观点：无
  3. 💡 Huggingface的商业模式有多种支撑点，如存储成本低廉、带宽若规划得当则成本低等
    • 解释：从成本、服务销售、用户计划等方面阐述商业模式的合理性
  4. 👍 非付费用户可在未被制止时继续下载
    • 支持理由：只要Huggingface没有异议，就可继续，且用户数据对其有价值
    • 反对声音：无
  5. 💡 Huggingface可能利用CDNs处理模型资源
    • 解释：有助于成本和带宽管理，方便用户获取模型

金句与有趣评论

  1. “😂HuggingFace is actually profitable according to a post from their CEO.”
    • 亮点：以CEO文章为依据说明Huggingface的盈利情况
  2. “🤔You should probably start using hf - transfer lol https://github.com/huggingface/hf_transfer"
    • 亮点：为解决Huggingface下载速度慢提供了具体方案
  3. “👀1. Storage is cheap 2. Bandwidth can be cheap if you plan properly”
    • 亮点：从成本角度对Huggingface商业模式进行分析
  4. “😎There’s no free lunch kind sir. Download away. They’ll let you know if they have a problem with it.”
    • 亮点：对非付费用户大量下载情况给出一种态度
  5. “🤓I’m sure they making use of CDNs for assets like models.”
    • 亮点：从资源分发角度推测Huggingface的运营模式

情感分析

总体情感倾向积极理性。主要分歧点较少，对于Huggingface是否盈利有一些不同的分析角度，但没有形成激烈的争议。可能的原因是大家更多是从技术和商业逻辑角度分享自己的见解，而不是进行观点的争执。

趋势与预测

  • 新兴话题：网络升级方案以及不同设备在模型存储和读取中的应用可能引发后续讨论。
  • 潜在影响：如果Huggingface能优化存储和带宽等问题，将对AI模型的使用和推广产生积极影响，也可能影响类似平台的商业模式构建。

详细内容：

标题：Reddit 热讨：Huggingface 的存储与带宽之谜

在 Reddit 上，一则关于“Huggingface 及其惊人的存储和带宽”的帖子引发了热烈讨论。该帖主要探讨了 Huggingface 的商业模式如何可行，作者表示自己作为非付费用户已下载了数 TB 的模型权重，下载速度在 10MB/s 至 40MB/s 之间，这让其感到困扰。此帖获得了众多关注，评论数众多。

讨论的焦点主要集中在以下几个方面： 有人指出 HuggingFace 实际上是盈利的，其主要收入来源是专家支持服务。比如，有用户分享道：“HuggingFace 是实际上是盈利的，根据他们 CEO 的一篇帖子。他没有具体说明如何盈利，但据我了解，他们的主要收入来源是他们的专家支持服务。这本质上是一种咨询服务，可能利润丰厚。特别是现在，企业对将 AI 集成到业务中兴趣浓厚。” 也有人提到可以使用 hf-transfer 来提高下载速度，例如有用户说：“Meta-Llama-3.1-8B-Instruct-Q8_0.gguf: 100%|▉| 8.54G/8.54G [01:21<00:00, 105MB/s]，使用 huggingface-cli 像往常一样。见证速度。” 关于 Huggingface 盈利的方式，还有观点认为：

  1. 存储成本低。
  2. 合理规划带宽成本可以降低。
  3. 通过推理端点将模型作为服务出售。
  4. 为专业用户提供高级计划。
  5. 在其空间上出租 GPU。

有人认为使用 CDN 服务可以节省带宽成本，比如：“对于[一个例子](https://blog.blazingcdn.com/en - us/fastly - cdns - pricing - and - security - features - a - cost - analysis) 标价是每 GB 交付 0.12 - 0.19 美元。可以想象基于量的折扣会更低。模型下载，作为大对象是有吸引力的，因为每个 TLS 会话中有很多字节，这是运行 CDN 基础设施的另一个成本高昂的事情 - 建立 TLS 会话所需的不对称加密的 CPU 要求。”

同时，还有各种关于网络升级、不同硬件设备使用以及数据存储方式的讨论和个人经历分享。比如有人提到：“我正在考虑 10GBe 网络升级。拥有模型权重的单个副本并通过网络加载是否有意义？在最佳条件下，网络读取速度将达到 1.25GB/s。但可以节省磁盘空间并减少从 HuggingFace 下载或通过局域网复制的过程。”

讨论中的共识在于认为 Huggingface 确实有其盈利的途径和策略，但其具体方式存在多种观点和推测。

总的来说，这场关于 Huggingface 存储和带宽的讨论展示了大家对于其商业模式和技术实现的深入思考和多样见解。