原贴链接

我一直在使用 Nemo 的微调版本（magnum-12b-v2.5-kto, NemoReRemix）

它们在创意写作方面都非常出色，但有时候它们会完全忽略‘简单’的指令…

我有一个包含大量对话的故事，我告诉它：不要用对话形式写。

但它坚持用对话形式写；完全无视指令。

_

我尝试了很多聊天模板（Mistral, ChatML, Alpaca, Vicuna）…没有一个奏效。

设置：温度：1，重复惩罚：禁用，DRY：1/2/2，Min-P：0.05。

_

有人有建议吗 - 关于 Mistral Nemo 的提示？

谢谢 🙏❤️

讨论总结

本次讨论主要聚焦于Mistral Nemo模型在创意写作中的优秀表现与其在遵循简单指令方面的不足。用户普遍反映，尽管模型在生成创意文本时效果显著，但在执行如“不要写对话”等基本指令时经常忽视。讨论中涉及了多种解决方案，包括调整温度设置、使用特定的提示模板、选择官方发布的模型等，以及对模型设置和数据集质量的讨论。整体氛围偏向技术探讨和寻求优化方法。

主要观点

  1. 👍 Mistral Nemo在创意写作中表现优秀
    • 支持理由：模型能够生成高质量的创意文本。
    • 反对声音：在遵循简单指令方面存在问题。
  2. 🔥 数据集质量影响模型性能
    • 正方观点：高质量数据集能提升模型遵循指令的能力。
    • 反方观点：小规模模型训练者难以优化数据集。
  3. 💡 使用官方发布的模型可以避免问题
    • 解释：官方模型经过优化，性能更稳定。
  4. 💡 调整温度设置可能改善指令遵循
    • 解释：降低温度至0.3或0.65可能有助于模型更好地遵循指令。
  5. 💡 使用特定提示模板和标签
    • 解释：如ChatML模板和[INSTR]标签，有助于模型理解指令。

金句与有趣评论

  1. “😂 ArtyfacialIntelagent：Yes they do. About 90-95% of finetunes are complete crap.”
    • 亮点：直接指出微调模型的普遍问题。
  2. “🤔 Xhehab_：You can try this one. ChatML prompt template format.”
    • 亮点：提供了一个具体的解决方案。
  3. “👀 ProcurandoNemo2：“I’ve been using the original instruct version and, at 20k context for a book I’m writing, it’s still very consistent at following my prompts.””
    • 亮点：分享了使用原始指令版本的成功经验。

情感分析

讨论的总体情感倾向为技术探讨和寻求解决方案。主要分歧点在于模型在创意写作和指令遵循之间的平衡，以及如何通过调整设置和选择合适的模型来优化性能。可能的原因包括模型训练数据的质量、温度设置的影响以及提示模板的选择。

趋势与预测

  • 新兴话题：如何通过调整模型设置和使用特定提示模板来提高指令遵循能力。
  • 潜在影响：优化后的模型可能在创意写作和指令遵循方面达到更好的平衡，提升用户体验和应用范围。

详细内容：

标题：关于 Mistral Nemo 有时忽略简单指令的讨论

近日，Reddit 上有一则关于 Mistral Nemo 的帖子引发了热烈讨论。原帖作者表示在使用 Mistral Nemo 微调（magnum-12b-v2.5-kto, NemoReRemix）时，发现它在创意写作方面表现出色，但有时会完全忽略“简单”指令。比如作者让其不要以对话形式写作，但它仍坚持如此。该帖子获得了众多关注，评论数众多。

讨论焦点主要集中在如何解决 Mistral Nemo 忽略指令的问题，以及不同版本和设置的效果。有人指出，约 90-95%的微调效果不佳，因为优质数据集的整理工作繁重。有人建议避免使用微调版，使用 Nemo 官方发布版，称其表现出色。还有用户分享了 ChatML 提示模板格式的链接：https://huggingface.co/cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b-gguf 。

有人称自己使用原始的 instruct 版本进行书籍写作，在 20k 上下文的情况下仍能很好地遵循提示，并搭配 Text Generation WebUI by Oobabooga 进行创作。还有人建议将温度设置调低，比如从 1.0 调至 0.3，或在系统提示中明确说明角色。也有人提到 Mistral 推荐该模型的温度为 0.4，自己在 0.65 时也有可接受的结果。有人认为大多数微调版的表现不如基础的 instruct 版，还有人指出使用创意微调模型可能存在偏差，建议使用官方 inst. 模型或 Gemma2 9b。有人提醒注意聊天模板是否与需求矛盾，尝试调整采样器。甚至有人指出拼写“dialog”可能存在问题，使用整数设置温度效果不稳定，建议采用小数。

这场讨论中，大家各抒己见，共同探讨解决 Mistral Nemo 相关问题的方法。但对于究竟哪种方法最为有效，尚未达成完全的共识。