原贴链接

我需要一些建议，你们是如何决定哪些模型是最好的？我在考虑一个设置，针对特定任务更换模型，还是选择最大的模型并坚持使用它？

我在寻找编程和代码补全模型。编程指的是那些能理解所提问题的模型，并且在代码补全方面能编写测试等内容。

然后是数学和STEM领域的模型。最后，还需要一个比其他模型更擅长理解对话的模型。

讨论总结

本次讨论主要围绕如何选择适合不同任务的模型，特别是编程和代码完成、数学和STEM领域，以及对话理解的模型。讨论中涉及了模型的性能比较、硬件限制、个人经验分享等多个方面。许多用户分享了他们的个人使用经验，推荐了各种模型，并讨论了选择模型时应考虑的因素。总体来说，讨论氛围积极，用户们提供了丰富的信息和建议，帮助其他人更好地选择适合自己需求的模型。

主要观点

  1. 👍 选择模型时应考虑任务特定的性能指标

    • 支持理由：不同的模型在不同的任务上表现不同，应根据具体需求选择。
    • 反对声音：有些用户认为模型的大小和通用性更重要。

  2. 🔥 Mistral 123b 是最佳的可访问编码器，但速度慢

    • 正方观点：Mistral 123b 在提供长答案和短代码片段方面表现出色。
    • 反方观点：速度较慢，不适合对速度有高要求的任务。

  3. 💡 Gemma 2 2b 在内存有限的设备上表现出色

    • 解释：Gemma 2 2b 是一个小巧且性能良好的模型，适合资源有限的设备。

  4. 👍 选择模型时应基于实际使用体验

    • 支持理由：实际使用体验比基准测试更能反映模型的真实性能。
    • 反对声音：有些用户认为基准测试是选择模型的重要参考。

  5. 🔥 Deepseek Coder v2 被认为是目前最好的编程模型

    • 正方观点：Deepseek Coder v2 在代码理解和生成方面表现出色。
    • 反方观点：有些用户认为其他模型在特定任务上可能更优秀。

金句与有趣评论

  1. “😂 Mistral Large 2 works the best for me.”

    • 亮点：用户分享了个人使用经验，强调了Mistral Large 2的优秀表现。

  2. “🤔 Choose models based on task-specific performance metrics, not just size.”

    • 亮点：强调了选择模型时应考虑任务特定的性能指标，而非仅仅模型的大小。

  3. “👀 Google and trial and error.”

    • 亮点：提供了选择模型的一种实用方法，通过谷歌搜索和尝试错误来找到最佳模型。

情感分析

讨论的总体情感倾向积极，用户们分享了大量的个人经验和建议，帮助其他人更好地选择模型。主要的分歧点在于选择模型时应考虑的因素，如任务特定的性能、模型的大小和通用性、硬件限制等。这些分歧反映了不同用户在选择模型时的不同需求和偏好。

趋势与预测

  • 新兴话题：随着技术的不断发展，未来可能会有更多新的模型出现，特别是在编程和代码完成领域。
  • 潜在影响：选择合适的模型可以显著提高工作效率和任务完成质量，对相关领域的发展有积极影响。

详细内容：

标题：面对众多模型，如何选择成难题

在 Reddit 上，一则题为“Just too many models. I really don’t know which ones to choose”的帖子引发了热烈讨论。该帖作者表示在选择模型时感到困惑，不知如何抉择，特别是对于编程和代码完成、数学和 STEM 以及更好理解对话的模型。此帖获得了众多关注，评论数众多，大家纷纷分享自己的经验和看法。

讨论的焦点主要集中在不同模型的性能、适用场景以及个人偏好等方面。

有人作为程序员分享了自己的模型使用发现。比如使用 192GB M2 Ultra Mac Studio 和 Macbook Pro，在精度选择上，编码任务会选择 q8，还提到了 Koboldcpp 作为后端、SillyTavern 作为前端等，并使用自定义中间件来允许同时使用多个 LLM 以获取单个响应。有人表示 Qwen 72b 虽强大但不适合自己，而 Deepseek 6.7b 在小型编码模型中表现出色。

有人提到模型的精度和设置问题，如在 Ollama/llama.cpp 中使用 int4 还是 int8，是否使用插件等。也有人展示了不同模型的性能指标对比表格，显示各模型在通过率、拒绝率和平均 Token 价格等方面存在差异。

对于选择模型，有人认为应根据任务特定的性能指标而非仅看大小，有人建议先确定预算和硬件条件，有人觉得应亲自尝试以找到适合自己的模型，还有人认为不要过于追求完美模型，而是找到适合工作的工具。

在这场讨论中，大家的共识是选择模型要综合考虑多方面因素，没有绝对的“最佳”模型。特别有见地的观点如根据任务需求深入了解和选择模型，而非盲目尝试众多模型。

总之，在众多模型中做出选择并非易事，需要综合考量个人需求、硬件条件和模型特点等多方面因素。