原贴链接

DeepSeek R1的GGUF文件现已在Ollama库中可用。目前，所有模型，包括蒸馏版本（1.5B、7B、8B、14B、32B和70B）以及671B的DeepSeek R1模型，都以Q4_K_M量化方式提供。相关链接：https://ollama.com/library/deepseek - r1。列出了不同规格（1.5B、7B、8B、14B、32B、70B、671B）与不同类型（Qwen、Llama）组合的DeepSeek R1模型的运行命令。

讨论总结

此讨论围绕DeepSeek R1模型在Ollama库中的情况展开。包含了模型在不同设备上的运行状况，如14B模型在16GB内存的M1 Macbook上运行良好但内存占用多；还有关于32B模型上下文窗口的探讨，包括其窗口大小、最大标记数等；也探讨了14B和32B模型在24GB VRAM下各自的优劣情况。

主要观点

  1. 👍 14B模型在16GB内存的M1 Macbook上运行良好
    • 支持理由：评论者jwestra提到实际运行情况不错。
    • 反对声音：无
  2. 🔥 32B模型的上下文窗口为32k
    • 正方观点：rajwanur根据HuggingFace模型卡信息和示例代码得出。
    • 反方观点：无
  3. 💡 32B模型更智能，但14B模型的上下文情况也需考虑
    • 解释：PavelPivovarov认为32B更智能，但在R1中上下文很重要。

金句与有趣评论

  1. “😂 14B模型在16GB内存的M1 Macbook上运行良好。”
    • 亮点：为有相似设备想运行该模型的用户提供参考。
  2. “🤔 According to the model card information for the 32B model on HuggingFace, all of their models have a 32k context window.”
    • 亮点：给出32B模型上下文窗口大小的依据。
  3. “👀 32b would be smarter for sure but you cannot disregard context importance especially with R1 where 50% of the generation is chain of thoughts, quickly populating context on mukti - turn conversation.”
    • 亮点：综合考虑32B模型智能程度和14B模型上下文情况的观点。

情感分析

总体情感倾向为中性，主要是对模型相关技术问题进行理性探讨。没有明显的分歧点，大家都是基于自己的知识或者尝试给出观点，目的是互相交流模型相关的技术信息。

趋势与预测

  • 新兴话题：可能会有更多关于不同配置下如何更好地运行DeepSeek R1模型的讨论。
  • 潜在影响：有助于用户更好地了解和使用DeepSeek R1模型，提高其在相关领域的应用效率。

详细内容：

《DeepSeek R1 GGUFs 在 Ollama 库中的热门讨论》

在 Reddit 上，一则关于“DeepSeek R1 GGUFs 现已在 Ollama 库中可用”的帖子引起了广泛关注。该帖子详细列举了包括各种蒸馏版本（1.5B、7B、8B、14B、32B 和 70B）以及 671B 的 DeepSeek R1 模型，且均采用 Q4_K_M 量化，并提供了相关链接https://ollama.com/library/deepseek-r1 。此帖获得了众多点赞和评论，引发了大家对这些模型性能、适用场景等方面的热烈讨论。

讨论的焦点主要集中在以下几个方面：

有人分享称，14B 模型在配备 16GB 内存的 M1 Macbook 上运行良好，是一款在普通笔记本电脑上表现超强的模型。

对于模型的性能，有人询问是否有人对蒸馏模型进行了基准测试。

还有人听说效果是有好有坏，并好奇他人的使用体验。

有人询问每秒的令牌数。

关于 32B Qwen Deepseek R1 的上下文窗口，有人根据 HuggingFace 上的模型卡信息指出其为 32k，也有人表示所有配置的最大令牌数为 131k，还有人提到通过设置可以扩展上下文。

有人好奇对于只有 24GB VRAM 的情况，是选择 14b 但有更大的上下文，还是 32b 但上下文较小更好。有人认为 32b 肯定更明智，但也不能忽视上下文的重要性，特别是对于 R1 模型，50%的生成是思维链，在多轮对话中会迅速填充上下文。同时，有人建议为 ollama 服务器设置 OLLAMA_KV_CACHE_TYPE = q8_0 环境变量，以帮助减轻上下文窗口的内存压力。

在这场讨论中，大家对于模型的性能和特点各抒己见，共识在于需要根据具体需求和硬件条件来选择合适的模型。而那些独特且有见地的观点，如关于内存优化和不同模型适用场景的分析，丰富了整个讨论，为大家提供了更多思考和选择的方向。