原贴链接

用户SystemPanic刚刚向vLLM仓库提交了一个拉取请求（PR）（https://github.com/vllm-project/vllm/pull/14891）以添加Windows原生支持。在此之前，只能在Linux/WSL上运行。这应该会使在Windows上运行新模型（尤其是视觉语言模型，VLMs）变得更加容易。目前还看不到构建版本，但包含了构建说明。修改后的仓库在（https://github.com/SystemPanic/vllm-windows/tree/vllm-windows）。该PR提到提交一个添加Windows支持的FlashInfer PR，但截至撰写本文时似乎还没有完成，所以可能还无法构建。

讨论总结

这是一个围绕vLLM项目提交原生Windows支持PR展开的讨论。讨论涵盖了多个方面，包括系统切换、vLLM在Windows和Linux上的表现、编译相关、运行速度、多GPU使用等，大家从不同角度发表观点，有积极看好的，也有表示怀疑的，整体氛围较为理性、多元。

主要观点

  1. 👍 因多数平台支持Linux而从Windows切换到Linux。
    • 支持理由：多数平台对Linux支持更好。
    • 反对声音：无。
  2. 🔥 为vLLM增加原生Windows支持是好消息。
    • 正方观点：不是所有人都有专门AI设备，很多人不愿在游戏性能上做妥协，随着AI走向主流原生支持更有必要。
    • 反方观点：无。
  3. 💡 怀疑vLLM的Windows原生支持PR会被拒绝。
    • 正方观点：开发者可能不想在未来担心对Windows系统的支持，vLLM多在Linux上运行，Triton在Windows上未被官方支持。
    • 反方观点：无。
  4. 👍 从llama.cpp切换到vLLM后速度提升明显。
    • 支持理由：体验到速度的提升。
    • 反对声音：无。
  5. 🔥 vllm比基本变形器要好。
    • 正方观点：未详细阐述但表示优势非常明显。
    • 反方观点：无。

金句与有趣评论

  1. “😂 BABA_yaaGa：Today I swapped out windows with Linux due to such platforms mostly supporting Linux”
    • 亮点：直接表明从Windows切换到Linux的原因。
  2. “🤔 It’s just shocking how much vllm is better than basic transformers”
    • 亮点：简洁地表达出vllm的优势。
  3. “👀 Not everyone has dedicated AI rigs or is willing to compromise on gaming performance - especially when AI is just a hobby at this stage.”
    • 亮点：指出在AI作为爱好阶段，人们对于性能妥协的态度。
  4. “😂 I don’t know why you are getting downvoted…”
    • 亮点：对被点踩现象表示疑惑。
  5. “🤔 I’ll try Unsloth later since it can use vllm to speed up training and vllm refused to start on Windows despite triton - windows.”
    • 亮点：阐述因为vllm在Windows无法启动而尝试其他方案。

情感分析

总体情感倾向较为复杂，既有对vLLM增加Windows原生支持表示赞同、看好的积极态度，如认为这是个好消息、对自己使用场景有很大意义等；也有怀疑的态度，如怀疑PR是否会被接受。主要分歧点在于vLLM的Windows原生支持是否能持续以及是否有必要，可能的原因是不同用户的使用场景、对Windows和Linux系统的认知以及对vLLM未来发展方向的不同预期。

趋势与预测

  • 新兴话题：可能会有更多关于vLLM在Windows上具体性能表现以及与其他平台对比的讨论。
  • 潜在影响：如果vLLM在Windows上得到更好的支持，可能会促使更多AI相关操作在Windows平台上进行，对Windows平台上的AI发展有推动作用。

详细内容：

标题：vLLM 提交原生 Windows 支持的 PR 引发热烈讨论

近日，用户 SystemPanic 向 vLLM 仓库提交了一份添加原生 Windows 支持的 PR，此帖获得了众多关注，引发了网友们的热烈讨论。此前，vLLM 仅能在 Linux/WSL 上运行，而此次提交有望让在 Windows 上运行新模型（尤其是 VLMs）变得更加容易。目前虽然还没有可用的构建版本，但包含了构建指令，修补后的仓库链接为：https://github.com/SystemPanic/vllm-windows/tree/vllm-windows 。

讨论焦点主要集中在以下几个方面：

有人表示因技术原因将 Windows 换成了 Linux。还有人提到尽管尝试了各种方法，但 vLLM 在 Windows 上启动仍存在问题，比如 Unified memory 在 Ubuntu LTS 与 RTX 3060 12gb 的搭配上无法正常工作，而在 Windows 上可以使用一些系统内存来稍微提高最大序列长度。

有人对 triton windows 提出疑问，想了解它是否能使 vllm 与 Windows 兼容。也有人分享了自己在 Windows 上运行多 GPU 的经历。

一些人认为为了信念而非技术原因切换到 Linux ，还有人觉得在 Windows 上运行这种复杂的配置需要更多的调整和折腾。

有人表示很高兴其他平台得到关注，也有人指出尽管 vLLM 在 Windows 上有了新进展，但 Linux 在某些方面仍有优势。

不少用户分享了自己在 Windows 上安装和运行 vLLM 的详细步骤和遇到的问题，以及相应的解决方法。

然而，也有人担心原生 Windows 支持的持续性，认为开发人员可能不愿长期支持 Windows 版本。

这场关于 vLLM 原生 Windows 支持的讨论，充分展现了技术爱好者们对于新进展的关注和思考，也揭示了不同操作系统在实际应用中的优缺点和面临的挑战。未来，我们期待看到 vLLM 在 Windows 上的进一步发展和优化。