原贴链接

大家好，

据我所知，Codestral Mamba目前还不支持llama.cpp，但我也可能错了。

只是为了提供一些背景信息 https://mistral.ai/news/codestral-mamba/

关于这个话题你们有更多的信息吗，或者你们知道如何本地测试Codestral Mamba吗？

讨论总结

Reddit用户围绕Codestral Mamba在llama.cpp上的支持情况展开讨论，主要关注技术细节、本地测试方法和架构差异。讨论中，用户分享了在GitHub上搜索相关信息的方法，讨论了当前仅能通过mistral-inference运行的局限性，以及对不同平台兼容性的担忧。此外，用户还提到了MAMBA架构与llama家族的差异，以及对支持进度的期望管理。

主要观点

  1. 👍 在GitHub仓库的issues和commits列表中搜索关键词可以获取最新状态信息
    • 支持理由：提供了具体的搜索链接，帮助用户快速定位相关信息。
    • 反对声音：无
  2. 🔥 Codestral Mamba目前只能通过mistral-inference运行
    • 正方观点：这是目前唯一的方法。
    • 反方观点：这种方法存在局限性，需要完整的权重并且仅限于单个GPU。
  3. 💡 MAMBA架构与llama家族完全不同，预计需要较长时间才能实现支持
    • 解释：架构差异导致支持进度缓慢，用户需耐心等待。

金句与有趣评论

  1. “😂 You should know (now) that you can just search for the keywords you want in their repo’s issues / commits list and find the current status of anything.”
    • 亮点：提供了实用的搜索技巧，帮助用户快速获取信息。
  2. “🤔 Run it with mistral-inference. That’s the only way for mere mortals right now.”
    • 亮点：幽默地表达了当前方法的局限性。
  3. “👀 MAMBA is a completely different architecture than the llama family.”
    • 亮点：指出了架构差异对支持进度的影响。

情感分析

讨论的总体情感倾向较为中性，用户在讨论技术细节和局限性时表现出一定的担忧和期待。主要分歧点在于对支持进度的期望，一些用户持谨慎态度，而另一些用户则希望有人能提供更好的解决方案。

趋势与预测

  • 新兴话题：用户可能会继续关注Codestral Mamba在不同平台上的兼容性和支持进度。
  • 潜在影响：对Codestral Mamba的支持情况将影响其在开发者社区中的普及和应用。