原贴链接

大家好，

我有一个关于模型在显卡上运行方式的快速问题。

假设我有一张16GB VRAM的显卡。

我有一个使用8GB的量化模型。

如果我想运行一个服务器，让其他人可以连接并与我的模型聊天，那么运行两个这样的模型（通过FastAPI在不同的端口上暴露）会更快吗？还是让它们同时进行推理会使速度降低到只有一个模型的速度？

本质上，在这种情况下，是否只是更好选择一个更大的模型来适应我的显卡？

或者运行两个相同的模型不会影响彼此的速度？

谢谢！

编辑：为了澄清我所说的运行两个模型时的速度提升，我的意思是可以在用户之间进行轮询，这样，与其让10个用户查询一个模型，我可以每个模型有5个用户。

讨论总结

本次讨论主要围绕在拥有16GB VRAM的显卡上运行多个8GB量化模型的效率问题。发帖人询问是否通过FastAPI在不同端口上运行两个模型会提高速度，或者是否应该考虑使用更大的模型来充分利用显卡资源。评论者们提出了不同的观点，包括使用批处理后端（如exllama, vllm等）来提高处理速度，以及考虑大型语言模型（LLM）的并发性和周转时间。此外，还有讨论关于负载均衡和自动缩放的策略，以及通过轮询方式分配用户请求的可能性。

主要观点

  1. 👍 批处理后端的使用
    • 支持理由：批处理后端可以在一个模型上同时处理多个提示，从而提高整体处理速度。
    • 反对声音：批处理对单个提示稍慢，但可以同时处理多个提示。
  2. 🔥 LLM算法的并发性
    • 正方观点：LLM算法能够同时处理多个查询，提高效率。
    • 反方观点：周转时间是决定使用一个模型还是多个模型的关键因素。
  3. 💡 负载均衡和自动缩放
    • 解释：负载均衡和自动缩放是处理大量并发查询的有效策略，大型组织如Amazon和ChatGPT也采用类似策略。

金句与有趣评论

  1. “😂 Downtown-Case-1755：No, you just run one model in a batching backend like exllama, vllm, whatever.”
    • 亮点：强调了批处理后端在提高处理速度方面的重要性。
  2. “🤔 Playful_Criticism425：LLM算法具有并发性，能够同时处理多个查询。”
    • 亮点：指出了LLM算法在并发处理方面的优势。
  3. “👀 segmond：faster to run both if you can fit them both in VRAM.”
    • 亮点：提出了在VRAM容量允许的情况下，运行两个模型可能提高速度的观点。

情感分析

讨论的总体情感倾向较为中性，主要关注技术细节和效率问题。主要分歧点在于是否使用批处理后端或运行多个模型来提高速度。可能的原因是不同用户对模型部署和资源利用有不同的理解和需求。

趋势与预测

  • 新兴话题：批处理后端和模型并发处理策略可能会引发更多关于模型部署和资源优化的讨论。
  • 潜在影响：更高效的模型部署策略可能会对AI服务提供商和用户产生积极影响，提高服务质量和用户体验。