原贴链接

没有人谈论新的Mistral Small 3.1，没有关于其性能表现等的帖子。根据我的测试，Mistral Small 3.1的性能与最初的Mistral Small 3差不多。存在同样的重复问题、长文本问题、高温不稳定的情况。在一些任务上，例如编码，我的结果甚至更差一点。MS3.1只是让MS3成为多模态的一种手段吗？对于纯文本工作我们是否应该回归MS3？你们使用它的体验如何？

讨论总结

原帖对Mistral Small 3.1和Mistral Small 3的性能比较发起讨论，质疑Mistral Small 3.1的改进效果。评论者们分享了各自使用这两个模型的经验，包括在不同任务（如编码、写作、角色扮演等）中的表现，提及模型存在的问题如重复、长文本性能下降、不稳定响应等，还与其他模型（如Gemma 3、Nemo等）进行了对比，同时也探讨了一些影响模型表现的因素如采样器设置、量化版本等。

主要观点

  1. 👍 Mistral Small 3.1在参数相同且增加视觉功能的情况下，与Mistral Small 3性能持平是一种成就。
    • 支持理由：考虑到增加了视觉功能还能持平是不错的成果。
    • 反对声音：无。
  2. 🔥 Mistral 3和3.1除视觉能力外无重大改变且模型不错，但存在一些问题。
    • 正方观点：在一些任务中有不错的表现。
    • 反方观点：存在重复循环、长文本性能下降、不稳定响应等问题。
  3. 💡 Mistral Small 3和3.1在文档理解方面表现优异，但在创意用途时会有枯燥和重复的问题。
    • 解释：在不同用途下有不同表现。
  4. 💡 Mistral 3.1在按指令行事方面比Mistral 3更好。
    • 解释：有使用者发现3.1在工作和角色扮演按指令行事方面改进很大。
  5. 💡 Mistral Small 3.1有小幅度改进且多模态是一个优势，但存在部分任务性能下降的情况。
    • 解释：从基准测试角度有小改进，但有使用者反馈部分任务性能下降。

金句与有趣评论

  1. “😂 我没有大量使用它，但我确实通过一些基准测试运行了它，在广泛的日英测试混合中它似乎表现得相当好。”
    • 亮点：在没有大量使用的情况下通过基准测试得出还不错的结果。
  2. “🤔 frivolousfidget：I havent notice any major change (other than the vision capabilities) on the mistral between 3 and 3.1. Which I like, this model is imho really good”
    • 亮点：表明3和3.1除视觉能力外无重大变化且觉得模型不错。
  3. “👀 3.1的写作风格对我来说似乎没那么枯燥。”
    • 亮点：指出3.1在写作风格上的特点。
  4. “🤔 我在零温度时遇到重复问题，但在较高温度时没有。”
    • 亮点：说明温度对模型重复问题的影响。
  5. “😂 我更关注LLMs如何精准地按照我的指令做我需要的事情或者达到我想要的结果，无论是在工作还是角色扮演中，我都很在意这一点。”
    • 亮点：强调关注模型按指令行事的能力。

情感分析

总体情感倾向较为中性客观。主要分歧点在于对Mistral Small 3.1的评价，一部分人认为它在性能上有小幅度改进或者持平且多模态是优势，另一部分人则指出它存在各种问题如性能下降、重复、在某些任务中的表现不如其他模型等。可能的原因是使用者的使用场景、测试方法以及对模型的期望不同。

趋势与预测

  • 新兴话题：关于模型参数提升（如将Mistral Small 3.1提升到25B参数）及其带来的训练成本增加的讨论可能会引发后续讨论。
  • 潜在影响：如果这些模型在性能、功能等方面不能满足用户需求，可能会影响用户对其的选择，进而影响其在人工智能领域的市场份额或者推动开发者对模型进行改进。

详细内容：

标题：关于 Mistral Small 3.1 与 Mistral Small 3 的热门讨论

在 Reddit 上，一个关于 Mistral Small 3.1 与 Mistral Small 3 的帖子引发了广泛关注。该帖子称，没人谈论新的 Mistral Small 3.1，也没有关于其性能表现的帖子。从发帖者的测试来看，Mistral Small 3.1 的表现与原始的 Mistral Small 3 大致相同，存在同样的重复问题、长上下文问题和不稳定的高温情况，在某些任务（如编码）上甚至还出现了稍差的结果。帖子还提出了一些疑问，比如 Mistral Small 3.1 是否只是为了让 Mistral Small 3 具备多模态能力的手段？是否应该在纯文本工作中回归到 Mistral Small 3？这一帖子获得了众多的评论和讨论。

在讨论中，观点各异。有人表示，从自己的测试来看，Mistral Small 3.1 的表现与 Mistral Small 3 相当，在某些任务上还更差。但也有人认为，Mistral Small 3.1 在某些方面表现不错，比如在基准测试中表现良好。

有用户分享道：“我还没有深入使用，但做了一些基准测试，它在各种 JA/EN 测试中表现相当不错。”还有用户指出，其他用户也报告了 Mistral Small 3 和 3.1 的问题，比如重复循环、在长 8k+上下文中性能下降、不稳定的响应等。

有人提到不同的量化方式会影响效果，比如使用特定的量化方式能得到更好的结果。还有人探讨了设置不同的参数，如重复惩罚、温度、上下文大小等对模型表现的影响。

对于 Mistral Small 3.1 在创意写作方面的表现，大家看法不一。有人认为它在创意写作方面表现不佳，情节平淡、写作风格“草率”，但也有人觉得在 STEM 任务上表现还不错。

有人觉得 Mistral Small 3.1 的写作风格不像 3 那么枯燥，但在遵循指令方面稍差，且重复问题依然存在。

也有人表示，在实际使用中没有发现 Mistral Small 3 和 3.1 有显著差异，它们在文档理解方面表现出色，但在创意使用方面存在干燥和重复的问题。

总的来说，关于 Mistral Small 3.1 与 Mistral Small 3 的讨论充满了争议和不同的观点。到底哪个版本更优，还需要根据不同的使用场景和需求来判断。