原贴链接

只是好奇大家现在在用哪些中大型的模型（20-100B）进行聊天/RP/企业资源规划。虽然我很喜欢Midnight Miqu，但它感觉有点过时了。我一直在尝试使用Llama 3.1 70B Instruct模型，效果还可以，但它非常枯燥，说话方式像ChatGPT… :/

那么，你们现在都在用什么呢？

讨论总结

本次讨论主要围绕当前最佳的约70亿参数的对话/角色扮演模型展开。参与者们分享了各自的使用体验，推荐了多个模型，如Reflection 70B、Mistral Large、Magnumv2-123b等，并对这些模型的性能进行了比较。讨论中还涉及了开源与闭源模型的优劣，以及模型的创意应用和指令跟随能力。部分评论者对现有模型表示不满，认为它们缺乏趣味性和生动性，期待更好的模型推荐。总体而言，讨论氛围较为活跃，参与者们积极分享见解和经验。

主要观点

  1. 👍 Reflection 70B 是目前最好的模型
    • 支持理由：性能与 Claude Sonnet 3.5 相当，且开源。
    • 反对声音：部分评论者认为该评论具有讽刺意味。
  2. 🔥 Midnight Miqu 70b或103b是目前最好的模型
    • 正方观点：没有其他模型能与之媲美。
    • 反方观点：有人认为Llama 3.1模型有不错的微调版本，但也有人持怀疑态度。
  3. 💡 Mistral Large 2 123B 是目前最好的模型之一
    • 支持理由：在使用缓存量化后，其 VRAM 使用情况可以与未量化的 100B 模型相媲美，甚至更低。
  4. 👍 Llama 3.1 70B Instruct模型过于枯燥
    • 支持理由：对话风格过于机械，类似于ChatGPT。
    • 反对声音：有人认为可以通过微调系统提示和添加对话示例来改善表现。
  5. 🔥 创意应用的模型选择具有主观性
    • 正方观点：难以有客观标准。
    • 反方观点：Mistral Large 2407 在逻辑能力和创意质量上表现出色。

金句与有趣评论

  1. “😂 ThroughForests：nothing beats Reflection 70B atm”
    • 亮点：简洁有力地表达了对Reflection 70B的认可。
  2. “🤔 HvskyAI：创意应用的模型选择具有主观性，难以有客观标准。”
    • 亮点：指出了模型选择的主观性，引发思考。
  3. “👀 Lissanro：I think Mistral Large 2 123B is the best, and if you use cache quantization, its VRAM usage can be comparable to 100B model without it, or even lower, depending on context length and quant you use.”
    • 亮点：详细解释了Mistral Large 2 123B的优势，特别是量化技术带来的性能提升。
  4. “😂 e79683074：Midnight Miqu 70b or 103b. Nothing comes close for now.”
    • 亮点：简洁地表达了对Midnight Miqu的高度认可。
  5. “🤔 Bitter_Square6273：Llama 3/3.1 is great for RP/ERP, just fine tune your system prompt and add "examples of dialogue" whatever.”
    • 亮点：提出了通过微调改善Llama 3.1模型表现的建议。

情感分析

讨论的总体情感倾向较为积极，多数评论者乐于分享自己的使用体验和推荐模型。然而，部分评论者对现有模型表示不满，认为它们缺乏趣味性和生动性，期待更好的模型推荐。争议点主要集中在模型的性能比较和推荐上，尤其是开源与闭源模型的优劣。可能的原因是不同用户对模型的需求和使用场景各异，导致评价标准不一。

趋势与预测

  • 新兴话题：量化技术在模型性能优化中的应用，以及微调技术在改善模型表现中的作用。
  • 潜在影响：随着量化技术和微调技术的进一步发展，未来可能会出现更多性能优越且资源消耗低的模型，满足不同用户的需求。

详细内容：

标题：当前最佳约 70B 规模的 RP 模型引发激烈讨论

在 Reddit 上，一则关于“Current best ~70B RP model?”的帖子引发了众多关注，获得了大量的点赞和评论。原帖主要是探讨在 20 - 100B 规模的模型中，哪些适用于聊天、角色扮演（RP）和企业资源规划（ERP），并表示对现有的一些模型不太满意，如觉得 Midnight Miqu 有些过时，Llama 3.1 70B 太过枯燥等，想了解大家目前正在使用的模型。

这场讨论的焦点主要集中在众多模型的性能对比上。有人认为 Reflection 70B 目前表现最佳；也有人称赞 Luminum 很不错；还有人提到 Magnumv2 - 123b 体验很好。

有用户分享道：“我一直是 Midnight Miqu 的粉丝，但 Magnumv2 - 123b 现在感觉是最先进的。”

但也有人提出质疑，比如：“也许，我通常喜欢 250 - 300 个令牌的回复，所以我觉得它比 Midnight Miqu 更好。但我认为 Midnight Miqu v1 更适合写长篇故事，v1.5 更适合 RP。”

在众多观点中，HvskyAI 进行了详细的分析。比如，“Command - R 08 - 2024（35B）在给定规模下表现出色，但在回复的结尾有时会产生一些不理想的内容，并且存在一定的积极偏向。”

还有用户提到，“Mistral Large 2 123B 是最好的通用模型，基于它的 Magnum 微调在提高散文质量的同时，会损失一些智能和多语言能力。”

讨论中也存在一些共识，比如大家都认为选择适合自己需求的模型非常重要，而且不同模型在不同应用场景下的表现各有优劣。

这场关于 70B 规模 RP 模型的讨论十分热烈，为大家在选择模型时提供了丰富的参考和思考。