原贴链接

我一直在下载模型并用MLX库中的转换脚本将其转换为MLX。这很耗时，而且我的16GB内存限制了我能转换的模型大小。我刚得知在HF（Hugging Face）上有一个空间，在那里你可以转换模型，只需输入模型名称和量化参数，它就会直接将其上传到你的HF个人资料中！不需要下载或做任何其他操作。这也意味着我不再受内存限制，现在我可以转换任何模型，你们也可以。[https://huggingface.co/spaces/mlx - community/mlx - my - repo]

讨论总结

原帖分享了在HF空间可直接转换模型而无需下载的便捷操作。评论者们围绕MLX模型展开讨论，包括希望在非苹果硬件上运行MLX模型以便测试转换正确性、向MLX社区提出创建模拟器的建议、模型量化与否的需求、MLX模型的性能表现以及某些模型存在的问题等，整体讨论氛围积极，大家都在积极分享观点和经验。

主要观点

  1. 👍 希望在非苹果硬件上运行MLX模型以便测试转换是否正确
    • 支持理由：没有苹果设备且内存不足时无法测试转换是否正确。
    • 反对声音：无。
  2. 🔥 向MLX社区建议创建模拟器是很有必要的
    • 正方观点：能让没有苹果设备的人也能测试MLX模型。
    • 反方观点：无。
  3. 💡 希望在模型转换空间能不量化模型进行转换
    • 支持理由：非量化MLX版本的模型与量化版本一样受欢迎，量化操作可能带来不便。
    • 反方观点：无。
  4. 👍 在自己服务器上加载模型验证其功能很重要
    • 支持理由：可以验证模型是否正常工作。
    • 反对声音：无。
  5. 💡 8位的MLX模型在Mac硬件上有性能提升
    • 解释：有人测试发现8位MLX模型在Mac硬件上每秒的token处理有10 - 30%的提升。

金句与有趣评论

  1. “😂 I just wish that it was possible to run MLX models, even super unoptimized and slowly, on non - apple hardware.. makes it impossible to test if a conversion is proper unless I also have a mac with a ton of RAM”
    • 亮点：表达了没有苹果设备难以测试MLX模型转换是否正确的无奈。
  2. “🤔 My only wish for whoever created this space is that I can convert models without also quantizing them.”
    • 亮点：提出在模型转换时不量化的独特需求。
  3. “👀 Phi 4 8 - Bit MLX models are completely busted.”
    • 亮点：指出特定模型存在的严重问题。

情感分析

总体情感倾向积极，大家主要是在分享关于MLX模型转换相关的经验、需求和发现的问题。主要分歧点较少，只是在模型量化与否上存在不同需求，可能是因为不同用户的使用场景和目的不同导致的。

趋势与预测

  • 新兴话题：可能会围绕如何解决Phi 4 Mini 8 bit模型存在的问题展开后续讨论。
  • 潜在影响：如果MLX社区根据建议创建模拟器等改进措施，将使更多人能够参与到MLX模型的相关测试和使用中，推动MLX模型在更广泛的硬件设备上的应用。

详细内容：

标题：HF 上无需下载即可转换模型为 MLX 的新空间

最近，Reddit 上有一个关于在 HF 上转换模型为 MLX 的热门讨论。原帖作者称之前一直下载模型并用 MLX 库的转换脚本来进行转换，这既耗时又受限于 16GB 内存能转换的模型大小。但现在发现 HF 上有一个空间，只需输入模型名和量化参数，就能直接上传到个人 HF 档案，无需下载，也不受内存限制。该帖子还附上了相关链接：https://huggingface.co/spaces/mlx-community/mlx-my-repo ，此话题引发了众多网友的热烈讨论。

讨论焦点主要集中在以下几个方面： 有人希望能在非苹果硬件上运行 MLX 模型，不然很难测试转换是否正确，除非有配备大量内存的 Mac 电脑。 有人认为可以向 MLX 社区的主要贡献者提议，为 CUDA 或 Vulkan 创建 MLX 模拟器，或者直接在 GitHub 上创建问题。 有人表示哪怕有 x86 支持，能在自己的服务器上加载模型来验证其功能也行。 有人提到在 8 位情况下，MLX 在每秒处理的令牌数上有 10 - 30%的提升。 有人认为 4 位的 MLX 量化方式比较普通，若有误希望有人纠正。 有用户分享了自己使用 4 位 MLX 模型的经历，称其速度更快且未出现明显的质量损失，主要用于转录、总结和文本清理。

同时，也存在一些不同的声音和需求。比如有人希望创建这个空间的人能允许在不量化的情况下转换模型，因为经验表明非量化的 MLX 版本和任何单个量化版本一样受欢迎。还有人指出 Phi 4 8 位的 MLX 模型存在问题，简单查询会导致冗长且无意义的响应。

在讨论中，大家对于 HF 上这个新的模型转换空间表现出了浓厚的兴趣，也提出了不少改进和完善的建议。希望未来这个空间能够不断优化，为用户带来更好的体验。