原贴链接

大家好，r/LocalLLaMA的善良的朋友们，Anthracite团队的每个人都一直在努力创建一个32b的Qwen微调模型；我们很高兴地宣布，Magnum 32b v1今天正式发布！

72b非常受欢迎，但不适合16-24GB的显卡范围。

因此，我们发布了一个12b的迷你Magnum（非常适合12-16GB），现在32b针对下一个显卡范围。

欢迎任何反馈，并将成为模型下一次迭代的组成部分。

完整权重（BF16）：https://huggingface.co/anthracite-org/magnum-32b-v1
GGUF：https://huggingface.co/anthracite-org/magnum-32b-v1-GGUF
EXL2：https://huggingface.co/anthracite-org/magnum-32b-v1-exl2

讨论总结

Reddit社区对新发布的Magnum 32b v1模型表现出浓厚兴趣，讨论涵盖了模型的性能评价、角色扮演应用、基准测试需求、开源许可证期待等多个方面。用户们积极分享使用体验，提出改进建议，并对模型的未来发展表示期待。

主要观点

  1. 👍 创建角色扮演基准测试
    • 支持理由：有助于评估模型在特定场景下的表现。
    • 反对声音：自动化这一过程存在困难。
  2. 🔥 Mini Magnum版本值得更多关注
    • 正方观点：与Mistral Nemo有不同的使用感受，性能表现良好。
    • 反方观点：暂无。
  3. 💡 需要定制的基准测试来评估模型的不同能力
    • 解释：不同的基准测试可以更全面地展示模型的性能。
  4. 👀 对Magnum 32b v1模型的发布表示支持
    • 解释：鼓励社区成员支持开发团队。
  5. 🤔 对32b模型基于的qwen1.5模型表示疑惑
    • 解释：该模型近期较少被提及，引发用户好奇。

金句与有趣评论

  1. “😂 We should make a roleplay benchmark.”
    • 亮点：提出了一个创新的想法，以更好地评估模型性能。
  2. “🤔 Mini magnum deserves more attention!”
    • 亮点：强调了小尺寸模型的优势和潜力。
  3. “👀 give this guy all of your money”
    • 亮点：简洁而直接地表达了对开发团队的支持。

情感分析

讨论总体呈现出积极和支持的情感倾向，用户们对新模型的发布表示欢迎，并积极参与到性能评估和改进建议中。主要的分歧点在于是否需要特定的基准测试来评估模型性能，以及对模型开源许可证的期待。

趋势与预测

  • 新兴话题：角色扮演基准测试的创建和应用。
  • 潜在影响：模型的性能提升和社区参与度的增加，可能会推动更多创新应用的开发。