好的，我已经在我的4090显卡上让Deepseek 32b R1的Qwen微调模型在VLLM中启动并运行了。目前我是这样运行的：vllm serve casperhansen/deepseek - r1 - distill - qwen - 32b - awq \ --max - model - len 8192 \ --gpu - memory - utilization 0.98，这是8192的上下文。我确定通过KV量化（也许是tabbyapi exl2或者GGUF）我可以将其扩展到32k的上下文，但目前我只是用VLLM和AWQ进行测试，直到上传稳定并且有一些不错的EXL2版本出现。不管怎样……我已经做了一些搜索，但是我找不到关于这个模型的任何系统提示信息。有人知道这些蒸馏模型的确切系统提示吗？我甚至不知道如何给它添加系统提示。我已经尝试了一些方法，比如（我编辑了这个，我最初使用的是chatml，但我发现这个模型使用自己独特的标记，所以我在下面尝试使用它们）：<｜begin▁of▁sentence｜> 你是一个有用的推理助手。总是将你的想法包裹在标签中，然后根据你的思考和知识提供最终回复。<｜end▁of▁sentence｜> <｜User｜>嗨，你今天准备好开始了吗？<｜end▁of▁sentence｜> <｜Assistant｜> 好的，用户用‘嗨，你今天准备好开始了吗？’来跟我打招呼。他们看起来很友好，可能正在寻求帮助或者指导。我想要以一种欢迎的方式回应。我会承认他们的问候并提供我的帮助。保持开放性很重要，这样他们就可以舒服地问任何问题。也许像这样，‘你好！是的，我在这儿并且准备好帮助你了。今天我能为你做什么呢？’这样应该就可以了。你好！是的，我在这儿并且准备好帮助你了。今天我能为你做什么呢？<｜end▁of▁sentence｜> <｜User｜>所以……有谁能帮忙吗？有人想聊聊他们是如何设置这个模型的吗？我的初次测试看起来相当不错。我很乐观，我只是想确保我得到最佳质量，这通常意味着如果我能找到的话就使用他们定义的系统提示。但它似乎不在代码库中。
讨论总结
原帖作者在运行Deepseek 32b R1模型时，寻求该模型的系统提示。评论者们从不同方面进行了讨论，有从论文查找相关内容的，有分享自己测试情况的，有指出模型不需要复杂系统提示的，有介绍模型自定义格式的，也有在运行模型时遇到其他技术问题的，整体是围绕模型运行展开的技术交流氛围。
主要观点
- 👍 相关信息可在论文中找到
- 支持理由：OedoSoldier指出相关对话模式等信息在论文里。
- 反对声音：无
- 🔥 Deepseek 32b R1模型不需要复杂系统提示
- 正方观点：AaronFeng47认为基本的“你是一个有用的助手”这样的提示就可工作，且模型推理过程已硬编码。
- 反方观点：无
- 💡 模型基于自定义Deepseek格式而非ChatML训练
- 解释：mikael110根据模型的聊天模板得出此结论。
金句与有趣评论
- “😂 OedoSoldier：It’s in the paper: A conversation between User and Assistant. The user asks a question, and the Assistant solves it. The assistant first thinks about the reasoning process in the mind and then provides the user with the answer. The reasoning process and answer are enclosed within and tags, respectively.”
- 亮点：明确指出可在论文中找到相关模式。
- “🤔 我不认为它需要一个复杂的系统提示；即使是最基本的“你是一个有用的助手”提示也能很好地工作。”
- 亮点：提出与其他人不同的关于系统提示的观点。
- “👀 cyberuser42: Just use OpenAI api:”
- 亮点：给出使用OpenAI api解决问题的思路。
情感分析
总体情感倾向是积极的，大家都在积极分享关于Deepseek 32b R1模型的信息和自己的见解。主要分歧点在于模型是否需要复杂的系统提示，可能的原因是大家对模型的理解和测试情况不同。
趋势与预测
- 新兴话题：对模型中未理解的工具调用令牌的研究。
- 潜在影响：有助于完善该模型在不同场景下的应用，提高使用效率。
详细内容：
标题：关于 Qwen Deepseek 32b R1 模型的系统提示探讨在 Reddit 引发热议
在 Reddit 上，一则关于如何让 Qwen Deepseek 32b R1 模型运行良好及系统提示设置的帖子引起了众多关注。原帖作者在自己的 4090 显卡上成功运行了该模型，但却表示找不到有关此模型系统提示的信息，不知道如何添加，还分享了自己尝试的一些方法。该帖子获得了较高的关注度，评论数众多，引发了关于系统提示的多种讨论方向。
在讨论焦点与观点分析中，主要观点包括： 有人指出系统提示在相关论文中有说明，比如“用户与助手的对话。用户提出问题，助手解决问题。助手首先在脑海中思考推理过程，然后向用户提供答案。推理过程和答案分别包含在 和 标签中”，并提供了 API 文档的链接。 也有人认为该模型不需要复杂的系统提示，“你是一个有帮助的助手”这样的基础提示就足够，甚至使用 Q4 gguf 效果也不错。但也有人表示，在其经验中，如果有官方训练的系统提示可用，能获得更好的结果。 还有人提到模型的格式似乎是系统提示直接放在消息开头，无需特殊标记，用户消息用<｜User｜>标记，助手消息用<｜Assistant｜>标记并以<｜end▁of▁sentence｜>结尾。 更有人分享了自己的测试经历，比如在加载 Q4 gguf 时遇到的问题，以及找到的能运行得更好的 exl2 量化方式，并提供了相关链接。
讨论中的共识在于大家都在积极探索如何优化该模型的系统提示设置，以获得更好的性能和效果。特别有见地的观点是，从终端用户和机器学习的不同视角，探讨了系统提示对模型性能的影响。
总之，关于 Qwen Deepseek 32b R1 模型的系统提示设置，Reddit 上的讨论展现了多样性和复杂性，大家都在努力寻找最佳方案。
感谢您的耐心阅读！来选个表情，或者留个评论吧！