原贴链接

我认为Perplexity悄悄发布了DeepSeek R1 Llama 70B蒸馏版本的无审查版本 - 我完全没注意到 - 有人看到公告或者知道这件事吗？我上传了这个模型从2位到16位的GGUF格式文件：[https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - GGUF](https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - GGUF)。还上传了用于微调及vLLM服务的动态4位量化文件：[https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - unsloth - bnb - 4bit](https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - unsloth - bnb - 4bit)。几天前我上传了完整R1无审查671B MoE版本的动态2位、3位和4位量化文件，通过不对某些模块进行量化大大提高了准确性，这和我们对DeepSeek R1做的1.58位量化类似：[https://huggingface.co/unsloth/r1 - 1776 - GGUF](https://huggingface.co/unsloth/r1 - 1776 - GGUF)

讨论总结

原帖是关于Perplexity可能悄悄发布了DeepSeek R1 Llama 70B的无审查版本以及相关的模型上传工作。评论内容比较多样化，包括对特定模型版本（如32B）的需求，对70B蒸馏模型动态量化意义的疑问，GGUFs的标签错误，不同模型间的技术对比等，但各个话题的讨论热度都不高。

主要观点

  1. 👍 对32B内容有需求
    • 支持理由：未明确提及，可能是个人使用需求。
    • 反对声音：无。
  2. 🔥 对70B蒸馏模型动态量化的意义表示疑惑
    • 正方观点：无（只是提出疑问）。
    • 反方观点：无（后续是解答疑惑而非反对观点）。
  3. 💡 GGUFs存在从Q3 - Q5的标签错误
    • 解释：[https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - GGUF/tree/main]中的GGUFs存在标签错误，Q3、Q4和Q5文件大小和标注有问题。
  4. 💡 70B R1有32B没有的原生128k上下文
    • 解释：这一特性对部分用户很重要，除此外二者相当。
  5. 💡 对Perplexity发布无审查版本表示怀疑
    • 解释：认为虽然可能移除部分内容，但整个R1版本还有其他校准内容，不相信完全无审查。

金句与有趣评论

  1. “😂 Reader3123：Need that 32B broda”
    • 亮点：简洁表达对32B内容的需求。
  2. “🤔 danielhanchen：Oh the 1.58bit dynamic quants? Those technically only make sense in the MoE world.”
    • 亮点：明确特定动态量化的适用范围。
  3. “👀 Looks like [the GGUFs](https://huggingface.co/unsloth/r1 - 1776 - distill - llama - 70b - GGUF/tree/main) are mislabeled from Q3 - Q5.”
    • 亮点：指出GGUFs存在标签错误的问题。
  4. “🤔 One thing that the 70B R1 has that the 32B don’t is native 128k context.”
    • 亮点：指出70B R1和32B在上下文方面的区别。
  5. “😕 我不相信他们已经无审查化了。”
    • 亮点：表达对无审查版本发布的怀疑态度。

情感分析

总体情感倾向比较中性，主要是在讨论技术相关的话题。分歧点在于对Perplexity发布无审查版本的看法，一方怀疑，一方解释是本地操作无二级审查等原因。可能是因为大家对审查标准和模型内容的理解不同导致的。

趋势与预测

  • 新兴话题：无明显新兴话题，各话题讨论热度较低且较分散。
  • 潜在影响：如果关于模型无审查版本的争议继续，可能会影响用户对该模型的信任度；对模型相关技术（如量化、上下文扩展等）的讨论如果深入下去可能会对模型优化有一定帮助。

详细内容：

标题：关于 Perplexity R1 Llama 70B 相关版本的热门讨论

近日，Reddit 上出现了一个有关 Perplexity R1 Llama 70B 版本的热门帖子，引起了众多网友的关注。该帖子不仅分享了多个相关模型的链接，还引发了热烈的讨论。截至目前，帖子获得了众多点赞和大量评论。

帖子主要内容是作者提到 Perplexity 似乎悄然发布了未审查版本的 DeepSeek R1 Llama 70B 蒸馏版本，并上传了一系列模型的 GGUFs 和动态 4 位量化版本的链接。

讨论的焦点主要集中在以下几个方面： 有人表示需要 32B 版本；有人询问动态量化对于 70B 蒸馏版是否有意义，还是仅对 MoE 和大型模型有用；还有人就动态量化的优势和劣势与已有的 Q4 K_M 进行比较。有人指出 GGUFs 存在标签错误，作者随后进行了修正并提供了新链接。有人讨论 70B R1 与 32B 版本的差异，包括原生 128k 上下文等。同时，对于模型是否真正未审查也存在争议，有人不相信已未审查，认为仍存在其他对齐设置，也有人认为没有二次审查，是一种胜利。

有用户分享道：“作为一名长期关注模型开发的技术爱好者，我一直期待着更先进的模型版本。这次 Perplexity R1 Llama 70B 的发布，让我看到了技术不断进步的希望。”

也有用户提供了一个相关的介绍链接：https://ollama.com/library/r1-1776 ，进一步丰富了讨论内容。

讨论中的共识在于大家对新模型版本的关注和对技术进步的期待。而争议点在于模型是否真正未审查以及不同量化方式的实际效果和适用范围。

特别有见地的观点是关于如何通过改进训练让 YaRN 在扩展 32B R1 到 128k 上下文时效果更好，这为解决实际应用中的问题提供了新的思路。

总之，这次关于 Perplexity R1 Llama 70B 版本的讨论，展现了网友们对技术发展的热情和深入思考。