原贴链接

还有人玩过这个模型吗？

我在mistral的API平台上激活了免费试用版进行测试，这个模型一眼看上去和aider（编码工具）配合得很好。我测试了在浏览器中创建一个井字棋游戏，它需要两个提示，第二个提示是添加一个CPU对手。有一个奇怪的地方是，当我最初要求创建一个名为tic.html的文件时，它创建了path/to/tic.html。当我最初使用completion时，它有一个代码块重复的问题：（没有聊天模板）https://api.mistral.ai/v1 Aider似乎也没有使用采样器惩罚并将温度设置为0，我不确定这是否是最优的，但我想对于Claude和deepseek来说已经足够好了？

免费试用版无法用于基准测试，因为有限制消息会破坏尝试。

我还没有看到这个模型的openai兼容API，或者可能在tensorrt-llm上有办法，我遇到了依赖冲突，最终在tensorrt的docker中安装了mistral的推理程序。聊天功能正常。

我对架构很好奇，不知道注意力部分是否像人们早期与RWKV4交互时感觉那么糟糕，尽管我没有投入很多时间测试编码模型，所以我对它们通常能达到的水平没有预期。

如果你有关于这个模型的好/坏/有趣的体验，请分享，谢谢！

讨论总结

本次讨论主要围绕mamba-codestral-7B-v0.1模型的使用体验展开，涉及代码生成、模型架构、内存问题等多个方面。用户们分享了他们在不同平台和环境下的测试结果，包括模型在创建井字棋游戏时的表现、处理代码块重复问题的不足、以及在处理较大上下文窗口时的问题。此外，用户们还讨论了模型的量化问题、CPU卸载功能以及内存需求，这些因素都限制了模型的应用范围。总体上，讨论呈现出对模型性能和应用范围的深入探讨。

主要观点

  1. 👍 模型在创建井字棋游戏时表现良好
    • 支持理由：需要两次提示来添加CPU对手，显示出一定的灵活性。
    • 反对声音：在生成文件路径时存在问题，生成了path/to/tic.html而不是tic.html。
  2. 🔥 模型在处理代码块重复问题上有不足
    • 正方观点：模型在处理复杂代码时可能需要更多提示。
    • 反方观点：这可能是由于模型的训练数据或算法限制。
  3. 💡 模型在处理较大上下文窗口时存在问题
    • 解释：与Jamba (AI21)模型有相似的混合架构，这种架构在处理大上下文时可能不够高效。
  4. 👍 模型在常规聊天中表现正常
    • 支持理由：没有随机代码出现，感觉像是正常的mistral 7B模型。
    • 反对声音：缺乏量化和CPU卸载功能，限制了其应用范围。
  5. 🔥 高内存需求限制了模型的应用范围
    • 正方观点：即使使用16GB的VRAM也只能支持8K的上下文。
    • 反方观点：相比之下，其他模型如Mistral-Nemo 12B或Llama 3.1 8B在量化配置下能支持更长的上下文。

金句与有趣评论

  1. “😂 randomanoni：I couldn’t get it to use more than one GPU so I left it alone after all the new models got released.”
    • 亮点：反映了用户在尝试让模型使用多个GPU时的挫败感。
  2. “🤔 dreamfoilcreations：It was available on nvidia nim but context length was just 1024 tokens so I could barely test it on my code, now they removed it for some reason, no idea why.”
    • 亮点：揭示了模型在特定平台上的上下文长度限制。
  3. “👀 Aaaaaaaaaeeeee：Yes, regular chats work fine, there’s no random code in the conversation and it feels like a normal mistral 7B”
    • 亮点：确认了模型在常规聊天中的正常表现。

情感分析

讨论的总体情感倾向较为中性，用户们对模型的性能和应用范围进行了客观的评价。主要分歧点在于模型的内存需求和上下文长度限制，这些因素限制了模型的应用范围。可能的原因包括模型的架构设计、训练数据以及算法优化程度。

趋势与预测

  • 新兴话题：用户对模型的量化和CPU卸载功能表示关注，这可能是未来模型优化的方向。
  • 潜在影响：模型的性能和应用范围将直接影响其在不同领域的应用，特别是在编程和非编程任务中的表现。