原贴链接

我们已将Gemma 3的GGUF版本和16位版本上传到Hugging Face！Gemma 3是谷歌新的多模态模型，有1B、4B、12B和27B四种规模。我们还制作了一个关于如何正确运行Gemma 3的逐步指南：[https://docs.unsloth.ai/basics/tutorial - how - to - run - gemma - 3 - effectively](https://docs.unsloth.ai/basics/tutorial - how - to - run - gemma - 3 - effectively)。使用Unsloth训练Gemma 3是可行的（目前），但目前在4位QLoRA训练方面存在一些漏洞（不是Unsloth这边的问题），所以使用我们的笔记本进行4位动态和QLoRA训练将在明天发布！Gemma 3的GGUF上传：|[1B](https://huggingface.co/unsloth/gemma - 3 - 1b - it - GGUF)|[4B](https://huggingface.co/unsloth/gemma - 3 - 4b - it - GGUF)|[12B](https://huggingface.co/unsloth/gemma - 3 - 12b - it - GGUF)|[27B](https://huggingface.co/unsloth/gemma - 3 - 27b - it - GGUF)|；Gemma 3的16位指令上传：|[1B](https://huggingface.co/unsloth/gemma - 3 - 1b - it)|[4B](https://huggingface.co/unsloth/gemma - 3 - 4b - it)|[12B](https://huggingface.co/unsloth/gemma - 3 - 12b - it)|[27B](https://huggingface.co/unsloth/gemma - 3 - 27b - it)|。查看我们文档中的其他模型[https://docs.unsloth.ai/get - started/all - our - models](https://docs.unsloth.ai/get - started/all - our - models)。记得拉取最新的llama.cpp以确保工作正常！更新：已与Gemma + Hugging Face团队确认，推理的推荐设置为（我自动制作了一个参数文件示例，例如在[https://huggingface.co/unsloth/gemma - 3 - 27b - it - GGUF/blob/main/params](https://huggingface.co/unsloth/gemma - 3 - 27b - it - GGUF/blob/main/params)，如果你使用Ollama（例如像ollama run [hf.co/unsloth/gemma - 3 - 27b - it - GGUF:Q4_K_M](http://hf.co/unsloth/gemma - 3 - 27b - it - GGUF:Q4_K_M)）会有帮助）：温度 = 1.0，top_k = 64，top_p = 0.95。聊天模板为：<start_of_turn>user Hello!<end_of_turn> <start_of_turn>model Hey there!<end_of_turn> <start_of_turn>user What is 1+1?<end_of_turn> <start_of_turn>model 。警告：不要给llama.cpp或其他推理引擎添加，否则你将得到双 标记！llama.cpp会自动为你添加标记！更宽松的聊天模板（换行显示）：<start_of_turn>user Hello!<end_of_turn> <start_of_turn>model Hey there!<end_of_turn> <start_of_turn>user What is 1+1?<end_of_turn> <start_of_turn>model 。阅读我们的文档以了解更多关于如何有效运行Gemma 3的信息：[https://docs.unsloth.ai/basics/tutorial - how - to - run - gemma - 3 - effectively](https://docs.unsloth.ai/basics/tutorial - how - to - run - gemma - 3 - effectively)

讨论总结

这个讨论主要围绕Gemma 3展开，涉及到模型的性能表现（如语法错误、运行速度、VRAM占用等）、在LMSYS上的排名、基准测试的可靠性、模型与系统指令的交互、不同格式在推理方面的比较、在不同平台（如LM Studio、Ollama、open - webui）上的运行问题以及一些发布计划等话题，参与者各抒己见，整体是对Gemma 3的多方位技术探讨。

主要观点

  1. 👍 Gemma 3的27B模型在高温度下存在语法错误
    • 支持理由：评论者AaronFeng47指出在温度为0.7时发现语法错误，如标点和拼写问题。
    • 反对声音：无。
  2. 🔥 Lmsys不是一个基准测试
    • 正方观点：Healthy - Nebula - 3603等指出Lmsys是用户偏好而非基准测试。
    • 反方观点：部分人如danielhanchen认为LMSYS可能是较容易理解的基准测试。
  3. 💡 Gemma 3 - 27B在LMSYS排名较前
    • 解释：有评论者提到该模型在仅27B参数的情况下，目前排名第9。
  4. 💡 Gemma 3 27B似乎是个不错的模型
    • 解释：Few_Painter_5588根据其在Chat LMSYS上的排名情况作出此判断。
  5. 💡 官方qat ggufs模板存在疑惑之处
    • 解释：MoffKalast对官方模板中类似包含用户系统提示的情况表示疑惑。

金句与有趣评论

  1. “😂 I found that the 27B model randomly makes grammar errors, for example, no blank space after "?", can’t spell the word "ollama" correctly, when using high temperatures like 0.7.”
    • 亮点：具体指出Gemma 3模型在高温度下的语法错误表现。
  2. “🤔 Gemma3-27B is currently ranked #9 on LMSYS, ahead of o1 - preview.”
    • 亮点：给出Gemma 3 - 27B在LMSYS上的排名情况。
  3. “👀 Few_Painter_5588: Gemma 3 27B seems to be a solid model.”
    • 亮点：表达了对Gemma 3 27B模型的积极看法。
  4. “😎 MoffKalast：They really have to make it extra annoying for no reason don’t they.”
    • 亮点：体现对官方qat ggufs模板设计麻烦的不满。
  5. “💥 Great. Thanks for your hard work u/danielhanchen! For me and my simple structured output scenarios, Gemma 3 27B (the original and yours) in Ollama is completely useless :/”
    • 亮点：在感谢相关人员工作的同时否定了模型在特定场景下的实用性。

情感分析

总体情感倾向是较为中性的，主要是对Gemma 3进行技术探讨。分歧点在于对模型性能的评价（如在不同场景下是否好用）、LMSYS是否是可靠基准等。可能的原因是不同用户使用场景、测试条件以及对模型评估标准的差异。

趋势与预测

  • 新兴话题：随着R2的即将到来，可能会引发关于DeepSeek - R1相关GGUF版本发布计划取消后的替代产品或改进计划的讨论。
  • 潜在影响：如果Gemma 3在不同平台的运行问题持续存在，可能影响其在相关用户群体中的使用和推广；对模型性能的讨论有助于开发者改进模型或调整推荐设置，提高用户体验。

详细内容：

标题：关于 Gemma 3 模型的热门讨论

在 Reddit 上，一则有关 Gemma 3 模型的帖子引起了广泛关注。该帖子介绍了 Gemma 3 模型的相关信息，包括上传至 Hugging Face 的 GGUFs 和 16 位版本，还提供了运行该模型的详细指南和设置建议。此贴获得了众多点赞和大量评论。

讨论的焦点主要集中在 Gemma 3 模型的性能、参数设置以及与其他模型的比较等方面。有人指出 27B 模型存在语法错误且运行速度较慢，比如 [AaronFeng47] 提到其在高温度下会出现诸如空格缺失、单词拼写错误等问题，且比 Qwen2.5 32B 运行慢，尽管 Gemma 3 的上下文占用空间更小。还有用户如 [maturax] 表示 Gemma 3 的性能表现令人惊讶地慢，特别是在 RTX 5090 上。

对于温度设置，存在不同的看法。[danielhanchen] 确认对于 Ollama 应将温度设为 0.1，而其他框架设为 1.0。但也有人如 [-p - e - w -] 质疑为何温度设置会因推理引擎而异。

关于模型在不同平台和框架上的表现，[custodiam99] 表示在 LM Studio 上加载模型时遇到错误，而 [JR2502] 则分享了 llama.cpp 和 LM Studio 对 Gemma 3 支持的升级情况以及在图像使用方面的差异。

在讨论中，也有用户提到 Gemma 3 模型在某些方面的优势，比如 [danielhanchen] 认为其具有视觉和多语言能力。

然而，对于 Gemma 3 模型的评价仍存在争议，比如它在 LMSYS 上的排名是否能真实反映其整体质量，不同用户持有不同观点。有人认为 LMSYS 是可靠的基准，而有人如 [Healthy-Nebula-3603] 则认为并非如此。

总之，关于 Gemma 3 模型的讨论展现了其多方面的特点和问题，也反映了用户对于模型性能和应用的关注和思考。