原贴链接

Hugging Face的TGI团队真的很厉害！从今天开始，与vLLM相比，你可以得到开箱即用的改进 - 完全零配置，你所需要做的就是传递一个Hugging Face模型ID。

版本发布摘要： 性能飞跃：TGI处理的令牌数多3倍，在长提示上比vLLM快13倍。零配置！ 多3倍的令牌 - 通过减少内存占用，我们能够比以前摄入更多的令牌并且更具动态性。单个L4（24GB）可以在llama 3.1 - 8B上处理30k个令牌，而vLLM只能勉强处理10k个。在减少运行时的内存占用方面做了很多工作，其效果在较小的受限环境中最为明显。 快13倍 - 在长提示（20万+个令牌）的对话回复中，vLLM需要27.5秒，而TGI只需要2秒。为什么呢？我们保留初始对话，所以当有新的回复时，我们几乎可以立即回答。查找的开销约为5微秒。感谢@Daniël de Kok提供的优秀数据结构。 零配置 - 就是这样。去掉你正在使用的所有标志，你很可能会得到最佳性能。通过评估硬件和模型，TGI精心选择自动值以提供最佳性能。在生产中，我们的部署中不再有任何标志。我们保留了所有现有的标志，在特殊情况下它们可能会派上用场。 我们将运行基准测试和验证结果的所有细节放在这里：https://huggingface.co/docs/text - generation - inference/conceptual/chunking 期待你用这个构建的东西！🤗

讨论总结

Hugging Face发布TGI v3.0，大多数评论者认可其在性能上的提升，如处理长提示下的速度优势。然而，也有不少人提出各种疑问，包括与其他产品（如vLLM）在功能和性能上的比较、对特定硬件（如GPU、CPU）的支持情况、技术原理方面的疑惑等，同时也有少数负面体验反馈。

主要观点

  1. 👍 认可TGI v3.0在长提示下的快速回复能力
    • 支持理由：相比vLLM速度提升显著，数据对比明显
    • 反对声音：无
  2. 🔥 对TGI与vLLM比较中的部分内容存在疑问
    • 正方观点：TGI的优势可能需要更多比较维度来确定
    • 反方观点：原帖数据已表明TGI在长提示下的优势
  3. 💡 TGI在长提示下比vLLM快13倍可能是采用了类似llama.cpp中的缓存提示处理
    • 解释：从技术实现角度推测速度提升的原因
  4. 💡 vllm在单用户场景下因无前缀缓存而无用，速度慢，不是性能比较的好目标
    • 解释：从自身使用体验判断vllM的性能问题
  5. 💡 认为承诺不再撤销Apache 2.0许可证有助于TGI被采用
    • 解释：之前撤销许可证影响用户信任

金句与有趣评论

  1. “😂 +1 new TGI user”
    • 亮点：简洁表达因为TGI的速度优势成为新用户
  2. “🤔 Hmm, did you compare vLLM –with - prefix - caching?”
    • 亮点：对TGI与vLLM比较提出关键技术疑问
  3. “👀 They didn’t invent it first either. There have been many implementations of prompt caching.”
    • 亮点：指出TGI技术不是首创，有技术深度
  4. “😎 vllm has always been useless for the single user use case due to lack of prefix caching, it’s nice to see this library can do it now.”
    • 亮点：对比vllm和TGI在单用户场景下的情况
  5. “🤨 I’m a bit confused. Is this somehow different from kv - caching? Or was TGI not doing kv - caching before???”
    • 亮点：对TGI技术机制提出疑问

情感分析

总体情感倾向积极，大多数评论者认可TGI v3.0的发布及性能提升。主要分歧点在于部分技术细节，如与其他产品比较的公平性、测试方法是否合理等，原因是大家从不同的使用场景、技术理解角度出发看待TGI v3.0的发布。

趋势与预测

  • 新兴话题：TGI在更多特殊场景（如特定硬件组合、特殊任务类型）下的性能表现和适用性。
  • 潜在影响：如果TGI能持续优化并解决目前提出的疑问，可能会在自然语言处理推理领域吸引更多用户，对相关的人工智能应用开发产生积极推动作用。

详细内容：

《Hugging Face 发布 Text Generation Inference TGI v3.0 引发 Reddit 热议》

在 Reddit 上，一篇关于 Hugging Face 发布 Text Generation Inference TGI v3.0 的帖子引起了广泛关注。该帖子介绍了 TGI 的显著改进，如在处理长提示时性能大幅提升，处理的令牌数量增加，速度比 vLLM 快 13 倍，且无需配置，还提供了相关的基准测试详情链接。此贴获得了众多点赞和大量评论。

讨论的焦点主要集中在以下几个方面： 有人对 TGI 与 vLLM 的对比表现出浓厚兴趣，如“13 倍的速度提升令人惊叹，想知道具体是如何做到的”。 有用户分享了相关的 GitHub 链接，表示计划进行本地安装。 也有人关心数据收集问题，“它是否会收集数据，未来有无相关打算”。 对于 TGI 的适用场景，比如是否支持消费级 RTX 卡、奇数数量的 GPU 以及 CPU 仅推理等，大家展开了热烈讨论。

有人提出：“TGI 似乎在使用重用功能，这在本地已经是标准很长时间了，但在多用户环境的 API 中直到最近才被使用。” 还有人疑惑：“对于短但数量众多的查询，它是否也更快？” 关于与其他模型的比较，如“与 Llama cpp 相比如何”等问题也被提及。

讨论中也存在一些共识，比如大家都对 TGI 的性能提升表示期待。

特别有见地的观点如：“vllm 在单用户场景中一直因缺乏前缀缓存而无用，很高兴看到这个库现在能够做到。”

然而，也存在一些争议点，比如对于测试方法的不同看法，有人认为发送 100 或 200 个请求的测试与长期持续的基准测试有很大差异。

总的来说，Reddit 上关于 Hugging Face 发布 Text Generation Inference TGI v3.0 的讨论丰富多样，展现了大家对新技术的关注和思考。