原贴链接

我仍在使用谷歌的Gemma 9B。想知道是否有开源的新模型发布，在函数调用方面比它更好，且在这个规模附近。要运行速度快，所以我认为DeepSeek不太适合我的使用场景。我只有6GB显存，需要能完全在显存内运行的模型，无CPU卸载。

讨论总结

原帖作者想要寻找比谷歌Gemma 9B更好的用于函数调用且满足一定硬件条件（6GB VRAM、无CPU卸载且运行速度快）的开源模型。评论者们纷纷根据自己的经验给出建议，涉及到不同模型在准确率、特定使用场景、知识类型表现、显存适配等方面的情况，同时也提到了一些模型存在的限制。

主要观点

  1. 👍 Gemma2 9b是能在自己使用案例中达到100%准确率的最小模型。
    • 支持理由：评论者ArcaneThoughts通过自己的使用案例得出。
    • 反对声音：无
  2. 🔥 推荐EXAONE 4B / 7B作为可能比Gemma 9B更好的模型。
    • 正方观点：能满足原帖作者需求。
    • 反方观点：该模型存在非商业限制和专有许可。
  3. 💡 推荐IBM Granite 3.2 8b可作为除Gemma 9B之外的尝试选项。
    • 理由：在STEM任务和知识方面表现优于Gemma 2 9b，但在综合和流行文化知识方面稍差。
  4. 💡 在构建大系统之前Gemma 2 9B是最佳选择。
    • 理由：评论者在构建更大系统用于更大模型之前没有找到能胜过Gemma 2 9B的模型。
  5. 💡 对于函数调用，Mistral是最好的。
    • 理由：评论者基于自身经验得出。

金句与有趣评论

  1. “😂 You know I’m somewhat on the same boat, for me Gemma2 9b is the smallest model that solves the evaluation for my use case with 100% accuracy.”
    • 亮点：清晰表达了Gemma2 9b在特定使用案例中的高准确率。
  2. “🤔 EXAONE 4B / 7B. Interesting, hadn’t seen this one. But non - commercial restrictions and proprietary license.”
    • 亮点：既推荐了模型又指出了模型的限制。
  3. “👀 Aside from Gemma 3 4b, another one worth trying is IBM Granite 3.2 8b.”
    • 亮点：直接推荐了可尝试的模型。
  4. “😎 Before I built a bigger system for larger models, nothing could beat Gemma 2 9B for me.”
    • 亮点：表明Gemma 2 9B在特定阶段的优势。
  5. “🤓 对于函数调用Mistral ls最好。”
    • 亮点：直接给出在函数调用方面的最佳模型。

情感分析

总体情感倾向是比较积极客观的，大家都在积极分享自己的经验和看法来帮助原帖作者。主要分歧点在于不同模型在不同场景下的表现，原因是每个评论者的使用场景和需求不同，例如有的注重准确率、有的注重特定知识类型的表现等。

趋势与预测

  • 新兴话题：不同量化方式对模型在特定硬件下的运行效果可能会引发后续讨论。
  • 潜在影响：这些讨论有助于人们在类似的硬件条件和使用需求下更好地选择合适的模型，推动相关模型在不同场景下的优化和应用。

详细内容：

标题：寻找超越 Google Gemma 9b 的模型

在 Reddit 上，有一个备受关注的帖子，探讨了在特定参数规模下是否存在比 Google 的 Gemma 9b 更出色的模型。该帖子获得了众多的关注和讨论，点赞数众多，评论区也十分热闹。

原帖作者表示仍在使用 Google 的 Gemma 9B，想知道是否有新的开源模型在功能调用方面表现更优，同时由于自身只有 6GB VRAM，需要能完全在其内部运行且无需 CPU 协助的模型。这一帖子引发了大家对于不同模型的讨论。

讨论焦点与观点分析： 有人表示，对自己而言，Gemma2 9b 是能以 100%准确率解决其使用案例评估的最小模型。有人分享说 Gemma3:1b-fp16 取代了 Gemma2:2b-q4。还有人提到是否尝试过 falcon 10b 和 gemma3 4b。有人回应称 falcon 10b 太大，gemma3 4b 尝试过但在其特定使用案例评估中准确率约为 50%。有人询问原帖作者的使用案例，原帖作者回复是使用约 2k 令牌的上下文进行文本分类，并使用 json 模式。有人好奇原帖作者在提示中是否放入示例、微调、Lora 、textgrad 等。原帖作者表示有放入示例，但由于输入存在较大上下文，示例范围有限，微调等操作也有难度。有人询问模型输出 json 是否可靠，原帖作者回应使用 json 模式所以知道输出结果。还有人提出 Gemma2 还是 Gemma3 的问题，原帖作者回答是 Gemma2，因为 Gemma3 没有 9b 模型，12b 大于 Gemma2 9b 且 4b 表现不佳。有人推荐 EXAONE 4B / 7B，也有人提到 IBM Granite 3.2 8b 在 STEM 任务和知识方面表现较好，但在一般和流行文化知识方面稍逊。有人推荐 Mistral Small 3 2501 24B，称在相同 VRAM 下表现出色。有人认为对于功能调用，Mistral 是最佳的。

讨论中的共识在于大家都在积极寻找适合自身需求且性能更优的模型。特别有见地的观点是对于不同模型在特定任务和资源条件下的详细比较和分析，这丰富了整个讨论，让大家对各种模型有了更深入的了解。然而，对于哪个模型才是最优选择，仍存在较大争议，这取决于具体的使用场景和需求。

总之，Reddit 上的这场讨论充分展示了大家对于模型选择的关注和探索，也为面临类似问题的人们提供了丰富的参考和思考方向。