原贴链接

刚出炉的成果，不确定是否100%毫无问题地正常工作，但在ComfyUI中torch.compile与Flux一起使用时确实能提升性能。也许这里的一些人会用到，因为我知道像Kyutai的Moshi这样的一些大型语言模型（LLM）项目需要Triton才能运行。https://github.com/woct0rdho/triton。不是我的成果。感谢u/woctordho_达成此事。

讨论总结

这个讨论围绕Triton for Windows展开，主要涉及技术方面的问题，如在特定CUDA版本下Triton相关代码的检测逻辑错误及修改方法，Triton与VLLM在Windows环境下的关系，也包含了对支持Windows项目是否合理的争议，因为有观点认为不应给大型公司（可能与Windows相关）免费开发支持，而应更多关注Linux社区。整体氛围比较平静，讨论热度低。

主要观点

  1. 👍 CUDA toolkit v12.6下Triton相关代码存在检测逻辑问题
    • 支持理由：PTX ISA 8.5在v12.5和v12.6之间通用，但检测逻辑返回错误版本，需修改特定路径下的compile.py文件。
    • 反对声音：无。
  2. 🔥 在Windows环境下使用Triton或VLLM可能不是好的选择
    • 正方观点：未明确提及，但有人认为不明智。
    • 反方观点：有人请求给予Windows server一些信任。
  3. 💡 这里提到的Triton是OpenAI Triton，与Nvidia Triton不同
    • 解释：由woctordho_指出，后续有补充讨论。

金句与有趣评论

  1. “😂 我真的不知道为什么有人想在Windows环境中使用Triton或VLLM，这可能违反《日内瓦公约》。”
    • 亮点：用幽默的方式表达对在Windows环境使用相关内容的不理解。
  2. “🤔 如果VLLM支持windows，它将允许你用Triton管理VLLM推理服务器。”
    • 亮点：对Triton和VLLM关系的一种解释。
  3. “👀 因为PTX ISA 8.5在v12.5和v12.6之间是通用的，所以当前检测逻辑是不正确的（会返回8.6而非8.5）。”
    • 亮点：指出检测逻辑错误的原因。

情感分析

总体情感倾向比较中立，主要分歧点在于是否应该支持Windows相关项目（如Triton for Windows），可能的原因是部分人站在Linux社区的角度，认为不应给大型公司（可能与Windows相关）免费开发支持，而其他人则认为Windows也有其合理性，不应被歧视。

趋势与预测

  • 新兴话题：Triton在不同环境（如A100 - enabled VM、WSL等）下的使用情况可能会引发后续讨论。
  • 潜在影响：如果更多人关注到对不同平台开发支持的不平衡，可能会影响社区对Windows和Linux相关项目的开发资源分配。

详细内容：

《关于 Windows 版 Triton 的热门讨论》

近日，Reddit 上一则关于“Triton for Windows (unofficial, tested to work in ComfyUI)”的帖子引发了广泛关注。该帖指出刚出炉的此版本不确定是否完全功能正常无问题，但 torch.compile 在 ComfyUI 中能与 Flux 协同工作从而提高性能，还提供了相关的 GitHub 链接https://github.com/woct0rdho/triton。此帖获得了众多用户的参与，评论数众多。

讨论的焦点主要集中在以下几个方面： 有人提到因为 CUDA 工具包 v12.6 的问题需要修改相关代码，并提供了文档链接https://docs.nvidia.com/cuda/parallel-thread-execution/index.html#release-notes-ptx-release-history。 有用户表示相关问题在 Triton 的主分支中已修复，但会破坏 torch 2.4.1 所以未发布。 关于此版本对 Windows 环境下用户的作用，有人表示疑惑，如 [Porespellar] 问道：“对不起，问个蠢问题，这是否能让 Windows 原生支持 VLLM？如果不能，那这对专注于推理的用户有什么用？我是新手，只是想搞清楚这在 AI 堆栈中的位置。” [KallistiTMP] 认为如果 VLLM 支持 Windows，Triton 可以用于管理 VLLM 推理服务器，但在 Windows 环境运行推理服务器有诸多问题，不建议这么做，Windows 完全不适合任何生产服务用例。 [woctordho_] 指出这是 OpenAI Triton，用于 torch.compile。 有人认为命名很不幸容易混淆。 [Porespellar] 询问 A100 支持的 VM 是否足以考虑使用此版本以及能否在 WSL 上运行。 [KallistiTMP] 表示对不允许运行 Linux 而只能用 WSL 的情况感到无奈，并指出在 Windows 上运行的性能、安全和稳定性可能不佳。

讨论中存在一些共识，比如大家都认为在 Windows 环境下运行相关服务存在诸多挑战。同时，也有一些独特的观点，比如有人希望对 Windows 服务器抱有一些信心。但总体来说，对于 Windows 在相关领域的应用，大家持谨慎和不太乐观的态度。

综上所述，关于 Windows 版 Triton 的讨论展示了用户对于其功能、适用环境以及潜在问题的深入思考和争议。