原贴链接

嗨，又见面了！我们有个激动人心的消息要告诉大家——这可能是Magnum v5的第一个（或者第二个？）垫脚石的小预览。我们的一名成员（DeltaVector）进行了一些实验——这次是在更容易达到的12b范围内，并且得到了Gryphe、DoctorShotgun和PocketDoc的帮助。我们的内部测试表明，这个实验几乎在所有指标上都胜过v4，就像DoctorShotgun在L3.3 70b上的实验一样——而且它也很好地遵循了opus - style预填充！一旦我们处理完其余的数据集和管道以全面启动v5，这应该会是一个很棒的前奏。权重和量化在这里：https://huggingface.co/collections/Delta - Vector/rei - 12b - 6795505005c4a94ebdfdeb39。祝大家周末愉快！感谢大家长久以来的支持，我们非常感谢你们的反馈！

讨论总结

原帖介绍了Magnum v5相关的12B模型实验成果，感谢用户支持并分享了权重和量化链接。评论中有多种观点，一些用户表达了对Magnum工作的喜爱并对比了Magnum不同版本，认为在12B模型中Lyra V4比Magnum有优势；还有用户提到了特定gguf的加载错误并探讨可能是ollama相关的问题；也有评论偏离主题询问在deepseek - r1的蒸馏模型上是否进行微调。整体氛围比较积极，大家各抒己见探讨相关话题。

主要观点

  1. 👍 喜爱Magnum工作并对不同版本有不同评价
    • 支持理由：回顾使用体验表明不同版本各有优劣。
    • 反对声音：无。
  2. 🔥 在12B模型中Lyra V4比Magnum更能遵循指令
    • 正方观点：从指令遵循角度Lyra V4表现更好。
    • 反方观点：无。
  3. 💡 特定的gguf能加载但在第一个提示后立即报错
    • 解释：用户使用ollama 0.5.7加载特定gguf时遇到该问题。
  4. 🤔 可能是ollama特定问题
    • 解释：因为其他工具加载正常所以推测是ollama的问题。
  5. 😎 询问是否会在特定模型上进行微调
    • 解释：对deepseek - r1的蒸馏模型微调感兴趣而提问。

金句与有趣评论

  1. “😂 我一直非常喜欢Magnum，V2是稳定版本中的最爱，从V3开始我喜欢基于Yi的版本，而V4在我看来完全是一场灾难。”
    • 亮点：简洁地总结了对Magnum不同版本的态度。
  2. “🤔 在12B部门中，让我放弃Magnum的是Lyra V4。它虽然不同，但似乎比Magnum更能遵循指令和卡片信息，而这是Magnum V2相对于当时其他模型的一个非常强大的优势。”
    • 亮点：对比不同模型的优势并阐述了放弃Magnum的原因。
  3. “👀 HansaCA: Error: template: :1:69: executing \"\" at <.System>: can’t evaluate field System in type \\*api.Message”
    • 亮点：直接给出技术问题的报错信息。
  4. “💡 lucyknada: might be something ollama specific because kcpp and lcpp both load fine; maybe try making your own model via ollama instructions from the fp16 or re - quanting with whatever ollama expects?”
    • 亮点：对技术问题给出合理的推测和可能的解决办法。
  5. “😉 Will you try the finetuning process on deepseek - r1’s distilled models?”
    • 亮点：提出一个新的关于模型微调的话题。

情感分析

总体情感倾向是积极的，大部分评论者表达了对Magnum工作的喜爱。主要分歧点在于不同模型之间的比较，如在12B模型中Magnum和Lyra V4谁更有优势，这可能是因为不同用户对模型的使用需求和评价标准不同。

趋势与预测

  • 新兴话题：关于deepseek - r1的蒸馏模型的微调可能会引发后续讨论。
  • 潜在影响：如果Magnum v5正式推出，可能会影响到用户对相关模型的选择，也可能促使其他模型开发者进一步改进自己的模型。

详细内容：

标题：关于 [Magnum/Rei] Mistral Nemo 12b 的热门讨论

在 Reddit 上，有一篇关于 [Magnum/Rei] Mistral Nemo 12b 的帖子引起了大家的关注。该帖介绍了其成员 DeltaVector 开展的相关实验，并称内部测试显示该实验在几乎每个指标上都优于 v4，还遵循了 opus 风格的预填充。帖子还提供了权重和量化的链接：https://huggingface.co/collections/Delta-Vector/rei-12b-6795505005c4a94ebdfdeb39 。此帖获得了不少的点赞和众多评论，引发了热烈的讨论。

讨论的焦点主要集中在对不同模型版本的评价和比较。有人表示非常喜欢 Magnum 的 v2 版本，认为 v4 是一场灾难，还提到在 12B 领域，Lyra V4 似乎比 Magnum 更能遵循指令和卡片，而自己已转向 Mistral Small、Cydonia 等模型。不过，也有人表示会对任何新推出的 Magnum 版本进行尝试，并希望 v5 能超越 Lyra 和 Rocinante 等竞争对手。

有人指出，感觉 Magnum V2、V3 和 V4 基于 Nemo/Mistral Small 从卡片中获取的信息比 Lyra/Rocinante/Cydonia/Mag Mell 等要少，而且有时会出错，给出与卡片内不符的内容。

还有用户提出测试包含 Magnum 模型和 Rocinante 等的 12B 合并模型，并给出了相关链接。但有人尝试后反馈出现错误，交流中探讨了可能的原因和解决办法。

总的来说，这次关于 [Magnum/Rei] Mistral Nemo 12b 的讨论，充分展现了大家对不同模型版本的深入思考和多样评价，也反映了大家对于模型性能提升的期待。