原贴链接

无有效内容可翻译

讨论总结

这是一个关于Deepseek特殊标记不使用下划线和竖线字符的讨论。参与者从特殊标记本身的字符使用情况出发，探讨了由此可能引发的各种问题，如是否使用了错误的聊天模板、模型开发者的设置要求不明确、相关文件信息不足等。同时也包含一些特定场景下的问题、实用建议，以及一些人对这一情况的疑问和个人经历分享，整体讨论氛围较为理性，不过也存在对模型开发者等方面的不满情绪。

主要观点

  1. 👍 Deepseek特殊标记的字符使用情况与常见的不同
    • 支持理由：computemachines指出ChatML格式和Deepseek特殊标记使用字符的差异
    • 反对声音：无
  2. 🔥 模型开发者应明确模型的设置要求
    • 正方观点：很多使用者不清楚如何正确设置，开发者明确要求有助于避免问题
    • 反方观点：无
  3. 💡 特定操作在特定使用场景下才可能有问题
    • 解释：如在使用v1 / completions且发送自己的聊天模板时，某些操作才可能出现问题
  4. 💡 不建议使用特殊标记的文本表示形式，推荐使用编码形式
    • 解释：采用编码形式可避免额外空白和换行的困扰
  5. 💡 对Deepseek distills是否存在特殊标记情况存疑并寻求确认
    • 解释：Wonderful_Alfalfa115提出疑问，其他人给出相关链接和经验分享

金句与有趣评论

  1. “😂 computemachines: <|im\\start|> from ChatML format uses normal | and \\ characters. \n<｜begin▁of▁sentence｜> and other deepseek special tokens use ｜and ▁. \nThat was not fun to discover.”
    • 亮点：直观展示了ChatML格式和Deepseek特殊标记在字符使用上的差异
  2. “🤔 No_Lime_5130: I really don’t get why we have these chat template token problems with every new model being released. Why are model developers dropping their spaghetti about this so much. Just clearly specify how to setup.”
    • 亮点：表达了对模型开发者在聊天模板标记问题上不明确做法的疑惑与不满
  3. “👀 kovnev: Yeah this shit drives me insane.”
    • 亮点：用比较直白的话语表达出对特殊标记相关问题的烦躁情绪
  4. “💡 sr1729: I came across the |-difference in DeepSeek - R1 - Distill and Qwen - 2.5, too.”
    • 亮点：分享了在其他项目中遇到类似差异的经历
  5. “😉 对于Debian - based Linux用户，使用unicode。它能准确告诉你每个字符的代码点。”
    • 亮点：针对Debian - based Linux用户给出了关于unicode的使用建议

情感分析

总体情感倾向是负面中带有理性探讨。主要分歧点在于模型开发者是否应该对特殊标记相关的设置要求更加明确。负面情绪的可能原因是特殊标记使用情况的不清晰导致使用者在使用过程中遇到诸多不便，如可能一直使用错误的聊天模板、相关文件缺乏有用信息等。

趋势与预测

  • 新兴话题：在特殊标记的处理上是否会出现新的规范或者通用的解决方法。
  • 潜在影响：如果特殊标记的使用问题得不到解决，可能会影响Deepseek相关模型或产品的推广与使用体验，同时也可能促使开发者在模型设置要求方面更加严谨规范。

详细内容：

标题：关于 Deepseek 特殊令牌的热门讨论

在 Reddit 上，一篇题为“PSA: Deepseek special tokens don’t use underscore/low line ( _ ) and pipe ( | ) characters.”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论。

帖子主要探讨了 Deepseek 特殊令牌在使用过程中不能使用下划线（_）和竖线（|）字符的问题。讨论方向主要集中在对这一规定的困惑、不满以及对相关模型开发者的质疑。

文章将要探讨的核心问题是：为何会有这样的特殊令牌使用限制，以及如何更好地规范和明确相关的使用要求。

在讨论中，有人指出从 ChatML 格式使用正常的“|”和“_”字符，而其他 Deepseek 特殊令牌使用不同的符号，这让人感到意外和不便。还有用户抱怨每次新模型发布都会出现这类聊天模板令牌问题，质疑模型开发者为何如此混乱，呼吁清晰明确地说明如何设置。

有人认为，在 huggingface 等平台上应该强制要求提供详细的聊天模板、推荐设置等信息，否则就应立即删除。

也有人分享了相关的链接，比如https://huggingface.co/deepseek-ai/DeepSeek-R1/blob/main/tokenizer_config.json ，并表示一些模型的 tokenizer_config.json 中包含了相关信息。

对于特殊令牌的用途，有人认为是为了与固定宽度的亚洲字符兼容。还有用户分享了自己在添加 DeepSeek-R1-Distill-Qwen 支持时的经历。

有人提出应该使用特殊令牌的编码而不是文本表示，以避免空格和换行带来的问题。

部分用户认为像 SillyTavern 这类平台在添加适当的聊天模板方面做得不错，实际中模板写错的情况并非普遍问题。

总之，讨论中既有对这一问题的抱怨和质疑，也有一些建设性的意见和实际经验的分享。但大家普遍希望模型开发者能更加清晰规范地说明特殊令牌的使用方式，以减少用户的困扰。