原贴链接

嘿，大家好，我们为R1 - 1776上传了2位到16位的GGUF。这是Perplexity新的DeepSeek - R1微调版本，它在保持推理能力的同时去除了所有审查：[https://huggingface.co/unsloth/r1 - 1776 - GGUF](https://huggingface.co/unsloth/r1 - 1776 - GGUF)。我们还上传了动态2位、3位和4位版本以及标准的3位、4位等版本。动态4位版本甚至比中等版本更小且实现了更高的准确性。1.58位和1位版本将稍后完成，因为它依赖于iMatrix量化，这需要更多时间。运行该模型的说明在我们提供的模型卡中。不要忘记<｜User｜>和<｜Assistant｜>标记！或者使用聊天模板格式化程序。也不要忘记 ！提示格式：<｜User｜>用Python创建一个Flappy Bird游戏。<｜Assistant｜> 。你也可以参考我们之前关于1.58位R1 GGUF的博客获取提示和结果：[https://unsloth.ai/blog/r1 - reasoning](https://unsloth.ai/blog/r1 - reasoning)。表格（不同位版本的信息，包括MoE Bits、类型、磁盘大小、HF链接等）。并且你可以在模型卡上找到6位、8位等其他版本。运行愉快！附言：我们很快就会有一个新的更新，你们肯定会喜欢的！

讨论总结

原帖发布了R1 - 1776的GGUFs相关内容，包括不同比特版本的磁盘大小、HF链接等。评论者大多对发布者的工作表示认可和感激，也有不少人对新的发布计划表示期待。同时，还围绕模型展开了多方面的讨论，如技术提醒、运行要求、量化相关、版本创建等。整体氛围积极且充满技术探讨的热情。

主要观点

  1. 👍 对原帖发布者的工作表示认可和称赞
    • 支持理由：原帖发布者持续输出成果，为社区带来资源，如Azuriteh称“Damn you’re always cooking good lol”。
    • 反对声音：无。
  2. 🔥 运行模型时添加<think>\\n的重要性
    • 正方观点：有助于促使模型产生推理轨迹，如danielhanchen的提醒。
    • 反方观点：无。
  3. 💡 原作者本周和下周有新的发布计划
    • 解释：yoracale透露本周有重要发布，下周有重大发布，引起了社区的期待。
  4. 💡 询问是否能为V3版本创建
    • 解释：反映出社区对特定版本创建的需求，原作者表示下周晚些时候会做。
  5. 💡 对R1 - 1776的GGUFs表示肯定
    • 解释：多位评论者如maayon表达了对发布内容的赞赏。

金句与有趣评论

  1. “😂 Do you guys ever take a break? Out here serving non - stop Michelin star meals to us hungry degenerates 😂”
    • 亮点：以幽默诙谐的方式形容发布者不断输出成果，像供应美食一样。
  2. “🤔 Damn unsloth faster than bartowski these days, great work!!”
    • 亮点：直接肯定unsloth的速度和工作成果。
  3. “👀 Just a reminder when running these models to add <think>\\n to force the model to produce reasoning traces.”
    • 亮点：提供了运行模型时的重要技术提醒。
  4. “😉 Well tomorrow’s release is something to do with long context. Next week, it’s something 10,000+ people (literally) have been asking for.”
    • 亮点：透露发布计划相关内容，引起读者兴趣。
  5. “🤩 Damn nice!”
    • 亮点：简洁表达对R1 - 1776的GGUFs的赞赏。

情感分析

总体情感倾向为正面积极。主要分歧点较少，大部分评论者都认可原帖发布者的工作成果。可能的原因是发布者的工作对社区有积极贡献，如提供模型资源和新的发布计划等。

趋势与预测

  • 新兴话题：关于模型的进一步优化（如蒸馏、量化等）可能会引发后续讨论。
  • 潜在影响：如果新的发布按计划进行且满足社区期待，可能会提升unsloth在相关领域的影响力，也有助于推动模型相关技术在社区内的进一步发展。

详细内容：

标题：Unsloth 推出 R1-1776 多种位动态 GGUFs 模型

在 Reddit 上，一则关于 Unsloth 发布 R1-1776 从 2 位到 16 位 GGUFs 的帖子引起了广泛关注。此帖获得了众多点赞和大量评论。

帖子主要介绍了为 R1-1776 上传的多种位动态 GGUFs 模型，包括不同位的版本及对应的磁盘大小和链接，还提到了运行模型的相关指令及注意事项。

讨论的焦点集中在多个方面。有人对 Unsloth 的工作表示称赞和感谢，比如有人说：“Damn you’re always cooking good lol”。也有人期待后续的更新，比如有用户表示：“明天的发布与长上下文有关，下周的发布是 10,000 多人一直期待的。”还有用户关心模型在不同设备上的运行情况，如“我有 384GB VRAM，足够运行 Q3 但不太够运行 Q4，能否将 Q3 层合并到 Q4 模型中？”

在讨论中，有人分享了自己的使用经历，比如“我在 MacBook Pro 上运行了 1.58 位版本，每秒能得到大约一个令牌，运行起来真的很酷！”

对于模型的性能和应用，大家观点不一。有人质疑模型的量化效果，如“这些量化如何与原始模型相比？Flappy Bird 基准测试不足以展示全貌。”但也有人通过实际使用给出积极反馈，比如“使用 <｜User｜>Create a Flappy Bird game in Python.<｜Assistant｜><think>\\n 是推荐的模板，动态 2 位的磁盘大小为 211GB，我使用了与 1.58 位 DeepSeek R1 GGUFs 相同的程序来保持最大精度。”

对于未来的发展，用户们提出了各种建议和期待，比如“能否为 V3 版本创建？”“是否能尝试将模型蒸馏为更小的用于草案目的或进行压缩？”

总之，Reddit 上关于 Unsloth 发布的 R1-1776 动态 GGUFs 模型的讨论热烈且多样，既充满了对现有成果的肯定，也包含了对未来改进的期待。