原贴链接

无实质内容（只有图片链接）

讨论总结

这是一个关于vLLM和llama.cpp在同一机器上分布式推理性能比较的讨论。原帖作者测试发现vLLM比llama.cpp快70%以上，在单卡测试时二者性能近乎相同。评论者们从多个角度进行讨论，包括二者的技术特点、性能差异的预期性、llama.cpp性能提升的可能性、可维护性等，还有部分评论涉及框架的疑问、提醒功能的使用以及vLLM在特定硬件下的使用和工作场景应用等，整体氛围比较理性、技术向。

主要观点

  1. 👍 vLLM在分布式推理性能上比llama.cpp快很多
    • 支持理由：原帖作者测试数据表明双卡分布式测试中vLLM的性能比llama.cpp快70 - 80%。
    • 反对声音：无。
  2. 🔥 llama.cpp的多GPU代码需要更多优化
    • 正方观点：评论者指出llama.cpp多GPU代码还需大量优化，所以vLLM比llama.cpp快70%以上是可预见的。
    • 反方观点：无。
  3. 💡 为可维护性过度优化llama.cpp可能不合适
    • 解释：评论者认为vLLM性能得益于手写CUDA内核和OpenMP，而llama.cpp使用普通C++并通过BLAS库与CUDA和ROCM交互，自定义CUDA内核生命周期短且需频繁更新，所以过度优化llama.cpp可能不合适。
  4. 💡 在使用两个GPU的单次请求测试中，llama.cpp性能有提升空间
    • 解释：因为llama.cpp虽使用两个GPU的显存但未使GPU核心百分百利用。
  5. 💡 vLLM性能得益于手写CUDA内核和OpenMP
    • 解释：评论者指出这是vLLM性能较好的一个因素。

金句与有趣评论

  1. “😂 我有一台带有4个4090卡的工作站，并且正在使用GPUStack对其进行一些测试，GPUStack同时支持vLLM和llama.cpp。”
    • 亮点：这是原帖作者进行测试的基本条件陈述，为整个讨论提供了测试背景。
  2. “🤔 LinkSea8324: Llama.cpp supports single gpu multiple batches”
    • 亮点：直接阐述了Llama.cpp的技术特性。
  3. “👀 DinoAmino: Yes, it’s expected. vLLM performance in this area is well known. Not sure you can optimize llama.cpp enough to ever match it.”
    • 亮点：表明了对vLLM性能好的预期以及对llama.cpp能否优化到匹配vLLM的怀疑。

情感分析

总体情感倾向比较中性客观。主要分歧点在于llama.cpp性能提升的可能性和必要性。可能的原因是不同评论者从不同的角度看待这两个工具，如从技术特性、可维护性等方面考虑，所以对llama.cpp性能提升有不同的看法。

趋势与预测

  • 新兴话题：vLLM在特定硬件资源（如16GB显存）下的运行方式以及如何更好利用。
  • 潜在影响：如果能够对llama.cpp性能进行优化提升，可能会影响到其在相关技术领域的应用场景和竞争力；同时对于vLLM，如果在功能上（如自动工具调用）进行改进，也会扩大其应用范围。

详细内容：

标题：vLLM 与 llama.cpp 分布式推理性能差异引发的热议

在 Reddit 上，一个关于“More than 70% faster distributed inference performance in the same machine: vLLM vs. llama.cpp, is it expected or can be improved?”的帖子引发了众多关注。该帖获得了大量的点赞和评论。

帖子主要讨论了 vLLM 相较于 llama.cpp 在同一机器上具有超过 70%更快的分布式推理性能这一现象，探讨了其是否是预期中的结果以及是否还有改进的空间。

讨论的焦点主要集中在以下几个方面： 有人指出可以尝试在 llama.cpp 命令行参数中添加“–split-mode row”标志。但也有人认为，split mode row 对于传统显卡（如 p40 等）效果更好，对于较新的显卡则效果较差。 有用户表示，可以考虑尝试为 GGML_CUDA_DMMV_X 和 GGML_CUDA_MMV_Y 设置不同的值，比如在 4090 这样的“快速 GPU”上。 有人认为 VLLM/Aphrodite 的优势在于能够同时处理大量请求并进行智能批处理。 还有人对 vLLM 在两种情况下的首次令牌生成时间是 llama.cpp 的两倍以上表示疑问，猜测其是否有更多的启动开销。

在个人经历和案例分享方面，一位用户称自己拥有一台配备 4 个 4090 显卡的工作站，并通过 GPUStack 进行测试，发现 vLLM 的分布式推理性能远优于 llama.cpp，而在单卡性能上几乎相同，并提供了相关测试结果的截图。还有用户表示，Row Split 对 AMD 显卡有帮助，性能提升 50%以上，利用率也更好。

在见解和观点方面，有人认为 llama.cpp 支持单个 GPU 多批次，而 vLLM 支持多个 GPU 多批次和多个节点。也有人认为 vLLM 在这方面的性能优势是众所周知的，不太确定能否通过优化 llama.cpp 来达到匹配的程度。还有人指出，vLLM 良好的性能得益于手写的 CUDA 内核和 OpenMP，而 llama.cpp 使用普通的 C++并通过各自的 BLAS 库与 CUDA 和 ROCm 接口，认为 llama.cpp 开发者应在性能优化和功能、错误修复之间找到平衡。

总之，关于 vLLM 和 llama.cpp 性能差异的讨论十分热烈，大家从不同角度提出了自己的看法和经验。但对于如何进一步优化 llama.cpp 的性能以及二者在不同场景下的适用性，仍有待进一步的探讨和实践。