原贴链接

所以我创建了这个帖子，因为关于 Mistral 提示格式的误解太多了，这实际上对模型造成了很大的伤害，很多人用这种错误的格式训练和使用模型。

基本上，你只需要在对话开始时使用一次 BOS 标记！（在其他所有内容之前！这里还有另一个来源：https://community.aws/content/2dFNOnLVQRhyrOrMsloofnW0ckZ/how-to-prompt-mistral-ai-models-and-why )

示例：

[INST]

我喜欢喝茶。

[/INST]

很高兴听到这个！茶是一种受欢迎的饮料…

[INST]

泡茶的最佳方法是什么？

[/INST]

选择合适的水…

通过附带的 SillyTavern 格式，我实际上成功地添加了一个可用的“假”系统提示，尽管模型官方不使用它，但你可以提示它理解它。我测试过，效果非常好，无论是角色扮演还是其他任何事情！（在系统提示和记忆、世界信息中使用 Markdown 格式也非常有效！）

所以…我真的很想喜欢 Nemo 12B，但它在长上下文大小方面表现太糟糕了，经常产生幻觉。相比之下，Mistral-Small 真的很好，好得多，不过我只测试了它在 24k 令牌以内的总结任务。

另外，我建议使用大约 0.3 - 0.5 的温度。我测试了更高的温度，但它会在总结中产生幻觉（就像 Nemo 一样）。即使在较低的温度下，它也非常有创意和多样性，更高的温度肯定会损害这两个模型的“智商”。

我用 0.5 的温度，min-p 0.03 和默认的 DRY 设置使用它。效果非常好，比 Nemo 和 Gemma 27B & LLama 3.1 8B 好得多。如果你有 16 GB 的 VRAM，你真的可以在本地运行它。

我也很好奇你的看法！^^

PS：非常感谢 Marinara，感谢她过去的帖子和她出色的微调！Mistral 格式比它应有的要复杂得多。默认设置在 SillyTavern 和 koboldcpp 中甚至是错误的，甚至在 Huggingface 的许多模型描述中也是如此。 她的 Huggingface 页面： https://huggingface.co/MarinaraSpaghetti

image

这就是官方提示格式应该看起来的样子。模型也第一次通过了愚蠢的草莓测试。:D

SillyTavern 的设置。

讨论总结

本次讨论主要围绕Mistral-Small-Instruct-2409模型的使用指南展开，涉及提示格式的正确使用、系统提示的优化、温度设置的影响以及模型在不同场景下的表现。讨论中，用户们分享了各自的使用经验和技巧，同时也提出了一些困惑和疑问。整体氛围积极，用户们互相帮助，共同探讨如何更好地利用这一模型。

主要观点

  1. 👍 正确使用提示格式

    • 支持理由：正确的提示格式可以显著提升模型的输出质量，避免误解和错误使用。
    • 反对声音：部分用户对提示格式的复杂性表示困惑，希望有更简化的模板。

  2. 🔥 温度设置的影响

    • 正方观点：推荐使用0.3到0.5的温度设置，以避免模型在总结任务中产生幻觉。
    • 反方观点：有用户提出使用Mirostat 2设置，认为可以更好地表达情感和个性。

  3. 💡 系统提示的优化

    • 解释：通过调整系统提示，可以在不正式支持的情况下让模型理解系统提示，提升模型的逻辑连接能力和故事延续性。

  4. 👍 模型在长上下文中的表现

    • 支持理由：Mistral-Small-Instruct-2409模型在长上下文任务中表现出色，能够处理大量世界信息并合理连接历史元素。

  5. 🔥 新手用户的困惑

    • 正方观点：新手用户对模型的具体细节和技术术语表示不理解，需要更多的指导和简化模板。
    • 反方观点：有经验的用户分享了自己的使用经验，帮助新手用户更好地理解和使用模型。

金句与有趣评论

  1. “😂 YearZero：I don’t think you need carriage returns around [INST] or [/INST] - at least I didn’t see that mentioned at the link you provided.”

    • 亮点：指出了提示格式中的一个小细节，引发了进一步的讨论。

  2. “🤔 mrskeptical00：I think you mean: “you just need to use BOS token at the start” as opposed to “you don’t need to use BOS token just at the start”?”

    • 亮点：纠正了原帖中的一个小误解，帮助其他用户更好地理解提示格式。

  3. “👀 vevi33：When I used Nemo with tokens with every \\[INST\\] (user instruction) I realized that it basically somehow kills its memory and getting out of its personality and confuses the model.”

    • 亮点：分享了使用Nemo模型时的经验，强调了正确使用提示格式的重要性。

  4. “😂 Biggest_Cans: "I’m afraid I’ll type it in wrong if I just go off the screenshot."”

    • 亮点：表达了新手用户对复杂提示格式的担忧，引发了其他用户的共鸣。

  5. “🤔 Thomas27c：To give you a specific example of where mirostat worked for me over regular samplers, I have it part of my system prompt to have the AI state its emotional state and an internal monologue at the start of each output.”

    • 亮点：分享了Mirostat 2设置的具体应用，展示了其在情感表达和个性塑造方面的优势。

情感分析

讨论的总体情感倾向是积极的，用户们普遍对Mistral-Small-Instruct-2409模型的潜力表示认可，并乐于分享自己的使用经验和技巧。主要分歧点在于提示格式的复杂性和温度设置的选择。部分新手用户对技术细节表示困惑，而有经验的用户则提供了详细的指导和建议。

趋势与预测

  • 新兴话题：未来可能会出现更多关于如何简化提示格式和提高模型易用性的讨论。
  • 潜在影响：随着更多用户掌握正确的使用方法，Mistral-Small-Instruct-2409模型在实际应用中的表现将进一步提升，尤其是在复杂对话和长上下文任务中。

详细内容：

《关于 Mistral-Small-Instruct-2409 模型的热门讨论》

在 Reddit 上，一篇关于 Mistral-Small-Instruct-2409 模型的帖子引起了广泛关注。该帖子获得了众多点赞和大量评论。帖子主要探讨了该模型正确的提示格式以及使用心得，还提供了相关的链接，如https://github.com/mistralai/cookbook/blob/main/concept-deep-dive/tokenization/chat_templates.md 。

文章将要探讨的核心问题是如何正确设置 Mistral-Small-Instruct-2409 模型的提示格式，以获得更好的使用效果。

讨论焦点与观点分析：

有人认为不需要在[INST]或[/INST]周围使用回车符，并且分享了自己的使用方式，比如[INST] Hi there little model [/INST]。但也有人表示，在某些情况下，如群聊中，使用是必要的，否则模型可能会出现混乱，比如角色互相替对方回答等问题。

有用户测试了在不同模型中使用提示格式的效果。比如，在 Nemo 模型中，如果不按照特定格式使用，模型可能会出现记忆混乱、回答不符合预期等问题。

还有用户分享了自己在不同设置下的测试结果，比如使用 0.5 的温度和 0.3 的最小概率，取得了不错的效果。也有人提到了米罗斯塔特 2 的参数设置，如 mirostat v2，tau 5，eta 0.1 ，温度为 0.8 。

有人表示对该模型的标准模板在 Ollama 模型中的表现感到满意，而有人则对模型的提示格式感到困惑，不知道是单纯的设置窗口输入还是所有指令都要遵循的格式。

一些用户对帖子提供的信息表示感谢，认为节省了时间；也有人希望模型能切换到新的更简单的格式。

讨论中的共识是正确的提示格式对于模型的性能和输出效果有重要影响。特别有见地的观点是关于在群聊中使用特定提示格式来避免角色混乱的发现，丰富了大家对模型使用的理解。