原贴链接

最近我正在尝试数十个参数小于等于70B的模型，所有模型都针对角色扮演场景进行了量化。基础模型有llama、qwen、mistral，还有很多基于它们的微调模型和蒸馏模型。纯粹的个人观察：一旦模型参数量大于等于70B，就会有一些神奇的质量提升。很难用定量的方式来说明这一点。当我在相同的提示和相同的角色扮演思路下使用不同的模型时，那些70B的模型让我感觉像是在和真人一起进行，特别是在脱离角色的头脑风暴中。这不是关于单个句子的质量，而是整体的感觉。并不是说70B的模型更直白或者词汇量更大。例如，由DeepSeek R1蒸馏的qwen 32B肯定足够聪明，但它不能按照我的指示给出像人类一样的回应。脱离角色扮演的情境，它的输出是好的，但就是不像人类。

讨论总结

原帖探讨70B（量化）是否是复杂角色扮演的关键因素，分享了个人在角色扮演场景下对不同规模模型的体验，发现70B及以上模型有特殊之处。评论者们从不同角度进行了讨论，如比较70B与30B等其他规模模型在角色扮演、推理速度、整合上下文等方面的表现，有认同70B模型在角色扮演中有特殊意义的，也有认为70B模型存在不足的，还涉及模型量化、硬件限制、推荐模型等方面内容，整体氛围较为理性和专业。

主要观点

  1. 👍 70B级别的模型在细微差别和复杂性处理上比30B级别的模型更优。
    • 支持理由：从角色扮演场景中的体验发现70B模型能更好处理细微差别和复杂性。
    • 反对声音：未在评论中发现明显反对观点。
  2. 🔥 Mistral small 22B（旧版）在70B以下是较好的角色扮演模型。
    • 正方观点：通过与其他模型对比得出该结论。
    • 反方观点：有评论者指出小于70B的其他模型表现差，暗示可能不认同。
  3. 💡 70B对于复杂角色扮演可能是关键因素。
    • 支持理由：很多评论者通过自身角色扮演体验得出此结论。
    • 反对声音：有评论者认为70B模型太小，120B左右才比较有用。
  4. 💡 30B及更小模型虽然聪明但整合上下文能力不及70B模型。
    • 支持理由：根据在角色扮演中的观察。
    • 反对声音：无。
  5. 💡 微调对角色扮演者能力没有提升反而有损害。
    • 支持理由：通过自身对模型的测试和使用经验。
    • 反对声音：无。

金句与有趣评论

  1. “😂 It’s all fun and games until it won’t let you kill the troll.”
    • 亮点：以诙谐幽默的方式表达模型限制对角色扮演趣味性的影响。
  2. “🤔 70B - class models are better at nuance and complexity than 30B - class models.”
    • 亮点：简洁地概括了70B和30B模型在细微差别和复杂性处理上的差异。
  3. “👀 Kind of, yes.”
    • 亮点：简单回复却表明对70B在角色扮演中有特殊意义的认同。
  4. “😎 70b+ keeps up the suspension of disbelief and is less likely to break it.”
    • 亮点：形象地表达70B+模型能维持“置信度”的特点。
  5. “🤓 I can get by on some ~30b models, but the illusion wears off much faster.”
    • 亮点：清晰地描述了30B左右模型在角色扮演中的不足。

情感分析

总体情感倾向较中立，有部分评论者认同70B（量化）在复杂角色扮演中的关键作用，认为70B及以上模型在处理细微差别、整合上下文、营造与真人互动氛围等方面表现更好；也有部分评论者提出反对意见，如认为70B模型存在不足，120B左右才更有用。分歧点主要在于对70B模型在角色扮演中的能力评价。可能的原因是评论者们各自的使用场景、测试模型的范围和深度以及对角色扮演的要求不同。

趋势与预测

  • 新兴话题：不同量化水平对模型在角色扮演中的表现影响，如4bit以上的量化值是否足够满足需求等。
  • 潜在影响：对于模型开发者而言，讨论结果有助于优化模型在角色扮演方面的性能；对于使用者来说，能帮助他们更好地选择适合角色扮演的模型。

详细内容：

标题：关于复杂角色扮演中 70B 模型是否是关键的热门讨论

最近，Reddit 上有一个关于模型在复杂角色扮演场景中表现的热门讨论，原帖作者表示尝试了数十个小于等于 70B 且经过量化的模型，包括 llama、qwen、mistral 以及基于它们的微调版本。作者发现，一旦模型参数达到 70B 及以上，会有一种神奇的质量提升。这一帖子获得了众多关注，评论数众多，引发了大家对于不同规模模型在角色扮演中的表现差异的热烈讨论。

讨论的焦点主要集中在以下几个方面：

  • 有人指出 70B 级别的模型在细微差别和复杂性处理上优于 30B 级别的模型，但也表示 30B 级别模型能满足 90%以上的需求。
  • 有用户认为 70B 模型仿佛具有额外的“社会直觉”，能让角色扮演更自然。比如，有人说：“在 70B 模型中，就好像它们有一层额外的‘社会直觉’，这使得角色扮演感觉更自然。但对于一般任务来说，30B 级别的模型肯定是可靠的。”
  • 有用户分享，Mistral 22B 是 70B 以下最好的角色扮演模型，能在一些奇怪场景中给出惊人的回应，但也有人对此提出质疑。
  • 有人提到模型的推理速度对游戏体验的影响，因长延迟会影响游戏玩法，所以在游戏中倾向于使用 8B 模型以保证响应速度。
  • 一些用户表示 70B 以上的模型知识储备丰富，在角色扮演中优势明显，也有人认为其在某些方面可能被浪费。

讨论中的共识在于大家普遍认可 70B 及以上规模的模型在某些方面具有独特优势，但对于其具体的优势和适用场景存在不同看法。

特别有见地的观点如，有人认为较小模型在不断改进，其通过训练和优化而非单纯依靠参数来提升表现。

总的来说，关于 70B 模型在复杂角色扮演中的作用，大家各抒己见，讨论十分热烈，为我们全面了解这一话题提供了丰富的视角。