原贴链接

嗨。我弄不清楚什么是性能等同于gpt - 4o - mini的最小模型。有人做过比较吗？而且如果我想要使用托管API的话，有没有提供商的定价与4o - mini（100万个token收费0.15美元）相当的呢？谢谢。

讨论总结

原帖寻求与gpt - 4o - mini性能相当的最小开源模型以及具有可比价格的托管API提供商。评论者们纷纷给出自己的推荐，如Qwen2.5系列、Llama 3.1系列、Deepseek - v2.5等模型，并针对这些模型的性能、是否能本地运行、API价格、使用限制等方面展开讨论，氛围积极活跃，大家分享各自的经验与见解。

主要观点

  1. 👍 Qwen2.5系列模型可与gpt - 4o - mini性能相当
    • 支持理由：多人推荐Qwen2.5不同版本（如32B、14B等）在性能上接近或能胜过gpt - 4o - mini，有使用案例和排行榜数据支撑。
    • 反对声音：有部分人认为Qwen2.5 14B实际表现不足。
  2. 🔥 不同开源模型在不同使用场景下各有优劣
    • 正方观点：如在科学应用中Qwen 2.5 14B较可比；编码场景下DeepSeek是不错选择；不同硬件条件下某些模型有优势等。
    • 反方观点：部分人认为某些开源模型相比gpt - 4o - mini过小或性能差距大。
  3. 💡 模型的性能判断需考虑使用场景
    • 解释：不同场景下对模型性能要求不同，如处理大量标记时微调模型可能是较好选择。
  4. 🤔 部分开源模型可免费或低成本使用但存在限制
    • 解释：如Mistral Large 2 API可免费使用一定量token但有每秒请求数限制。
  5. 😎 除了直接使用模型，还可对模型进行微调
    • 解释：根据具体使用情况对模型微调可能会达到较好效果，尤其是有特定任务和构建数据集能力时。

金句与有趣评论

  1. “🤔If I want a decent free API model I use the free Hermes or Llama 3.1 405b on Openrouter.”
    • 亮点：提供免费API模型的选择。
  2. “😂Wait—Hermes and Llama 3.1 free on OpenRouter? Mind blown. That’s some serious power on a zero - dollar budget. Game - changer.”
    • 亮点：表达对免费模型的惊讶和认可。
  3. “👀In my use case, it’s much better than GPT - 4o - mini. It’s correctly create analysis and tables from a large taxonomy.”
    • 亮点：通过使用案例说明模型性能优势。
  4. “😎Qwen2.5 32B is doing 99% of what GPT - 4o is capable of.”
    • 亮点：直观地给出模型性能对比。
  5. “🤔Depends heavily on the use case of course, but for scientific applications Qwen 2.5 14B will be most comparable.”
    • 亮点：强调使用场景对模型选择的重要性。

情感分析

总体情感倾向积极，大家积极分享自己的观点和经验来回答原帖问题。主要分歧点在于不同模型与gpt - 4o - mini性能比较结果的不同观点，以及开源模型在不同场景下的适用性。可能的原因是大家的使用场景、测试方法和数据来源不同。

趋势与预测

  • 新兴话题：对特定开源模型进行微调以适应不同任务可能会引发更多讨论，包括如何避免过拟合等问题。
  • 潜在影响：有助于开发者和使用者更好地选择适合自己需求的开源模型，推动开源模型在更多领域的应用和发展。

详细内容：

标题：探索与 GPT-4o-mini 性能相当的开源模型

在 Reddit 上，一篇题为“Which open source model is comparable to gpt-4o-mini?”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。帖子主要探讨了寻找与 GPT-4o-mini 性能相当的开源模型，以及相关模型的使用成本和运行配置等问题。

讨论焦点与观点分析： 有人提到，如果想要免费的 API 模型，可以使用 OpenRouter 上的 Hermes 或 Llama 3.1 405b。还有人指出 Llama 3.1 70b 在 ddg chat 中也是免费的。 有用户表示，DDG chat 被严重低估，还制作了[OpenAI 兼容的 API 包装器](https://github.com/callbacked/keyless - gpt - wrapper - api)，可以在一些 AI 编码工具中使用。 有人称 Qwen2.5 32B Q4_K_M 表现不错，并提供了相关链接https://www.reddit.com/r/LocalLLaMA/comments/1fps3vh/estimating_performance_loss_qwen25_32b_q4_k_m_vs/ 。 有人认为 Mistral Small 在某些情况下运行速度很快，如https://huggingface.co/bartowski/Mistral-Small-Instruct-2409-GGUF 。 关于不同模型与 GPT-4o-mini 的性能比较，观点各异。有人认为 Mistral-Large 和 Qwen2.5 72B 明显更好，而有人认为 GPT-4o-mini 表现出色。 有人提到 DeepSeek V2.5 是目前较便宜的 API，价格为 0.14 美元 100 万tokens，性能略优于 4o-mini，但模型较大可能无法本地运行。 还有人建议根据具体使用场景微调模型。

在这场讨论中，对于哪个模型与 GPT-4o-mini 性能相当以及如何选择适合自己的模型，大家各抒己见，尚未形成统一的结论。但通过这些讨论，为寻找合适模型的人们提供了丰富的参考和思考方向。