只是觉得如果人们有一些特定的模型想要能够用MLX运行（这些模型在HF上还找不到），就可以提出请求。是的，转换它们相当容易，但对于拥有更大机器和更好网络的人来说更容易，而且也许你不是唯一想要那个特定模型的人。
讨论总结
这个讨论的主题是关于将各种特定模型转换为MLX。有用户提出想要将Qwen 2.5 Coder的特定版本用于代码自动补全，还有用户请求对DF2K_JPEG、epicrealism SDXL等模型进行转换。同时，有用户关注MLX和GGUF在相同硬件上的性能差异，整体氛围比较专注于技术交流，大家都在分享自己的需求和经验🧐
主要观点
- 👍 需要Qwen 2.5 Coder的特定版本用于代码自动补全
- 支持理由：在LMStudio中MLX模型无法实现代码自动补全，需要基础版本来满足需求。
- 反对声音：无
- 🔥 BaysQuorv开始转换新的Kimi模型月光版，但可以之后转换Sky_Linx所需的模型
- 正方观点：BaysQuorv有自己的转换计划，同时也愿意满足Sky_Linx的需求。
- 反方观点：无
- 💡 想了解MLX和GGUF在相同硬件上的实际性能差异
- 解释：拥有相关硬件资源，如果性能提升显著则考虑进行模型转换。
- 💡 在24B+ 8bit模型下，MLX较GGUF每秒多1 - 2个标记
- 解释：这是对两者性能比较的具体数据体现。
- 💡 在特定模型测试中，GGUF随着上下文达到60%左右速度下降，而MLX速度基本不变
- 解释：展示了在不同上下文情况下两者的性能差异。
金句与有趣评论
- “😂 Sky_Linx: I’d like Qwen 2.5 Coder 3b and 7b versions, not the Instruct ones. I need the base models for code autocompletion.”
- 亮点：明确表达了对特定版本模型的需求以及用途。
- “🤔 BaysQuorv: Just started converting new Kimi model moonlight but can do this later if its not already done by others x)”
- 亮点：展示了BaysQuorv的转换计划以及灵活性。
- “👀 Gallardo994: For larger models like 24B+ 8bit, it gives 1 - 2 tok/sec above GGUF pretty consistently.”
- 亮点：给出了MLX和GGUF性能比较的具体量化数据。
情感分析
总体情感倾向是中性的，大家主要在交流技术相关的信息，没有明显的情绪偏向。主要分歧点在于部分模型转换是否可行以及不同模型间性能差异的理解，这是因为不同用户的使用场景和测试条件有所不同导致的。
趋势与预测
- 新兴话题：可能会有更多关于不同模型转换为MLX过程中的问题及解决方案的讨论。
- 潜在影响：有助于提高社区内对模型转换的认知，推动相关技术在不同场景下的应用。
详细内容：
《关于模型转换为 MLX 的热门讨论》
在 Reddit 上，一个题为“What models do you want converted to MLX”的帖子引起了广泛关注。该帖子指出，如果人们有特定想转换为 MLX 运行但在 HF 上找不到的模型，可以在此提出请求。目前，此贴已获得了众多点赞和大量评论。
帖子引发的主要讨论方向集中在对不同模型的转换需求及性能比较。比如，有人想要 Qwen 2.5 Coder 3b 和 7b 版本用于代码自动补全；有人刚开始转换新的 Kimi 模型月光，并提供了相关链接。还有人询问 DF2K_JPEG 模型是否能转换，并附上了链接。
在讨论中，大家对于模型转换为 MLX 后的性能差异也各抒己见。有人提出，在相同硬件条件下，不同模型的实际性能表现有所不同。例如，对于较大的模型，如 24B+ 8bit，MLX 比 GGUF 每秒生成的令牌数高出 1 - 2 个。有人通过具体测试指出，在相同模型和量化方式下，GGUF 在上下文达到 60%左右时，每秒生成的令牌数下降，而 MLX 能保持稳定。还有人认为，对于自己来说，内存带宽是令牌生成的限制，MLX 版本因为量化稍小所以速度稍快。
同时，也有人分享了个人经历和案例。比如，有人在 MBP 16 M4 Max（高端型号）128GB 的硬件上进行了 Mistral Small 24B Instruct 2501 的快速比较。
这场讨论的核心问题在于如何更高效地将模型转换为 MLX 以及转换后的性能提升和实际应用效果。究竟哪种模型在转换后能带来更显著的优势，还需要更多的实践和探索。
感谢您的耐心阅读！来选个表情，或者留个评论吧！