原贴链接

更新到最新可用的运行时（v1.19.0），你将能够运行带有视觉功能的Gemma 3 GGUF。补充两点：1. 他们刚刚推送了另一个更新，启用了视觉功能的GPU使用，如果你想加快处理速度，可以获取这个更新。2. 似乎很多量化文件缺少mmproj文件，尽管它们仍被标记为图像 - 文本到文本，但这会导致在LM Studio中运行出错，如果你想使用视觉功能，一定要从lmstudio - community或者我（bartowski）那里获取。https://huggingface.co/lmstudio - community?search_models = Gemma - 3 https://huggingface.co/bartowski?search_models = Google_gemma - 3经快速搜索，以下用户也正确上传了带有视觉功能的文件：second - state、gaianet和DevQuasar

讨论总结

该讨论围绕LM Studio更新支持Gemma 3 GGUF展开。用户分享了在使用过程中的各种情况，包括积极的使用体验、遇到的问题如模型不支持图像输入、未知模型提示、推测性解码失败等，也有一些对软件操作的建议，还有对更新工作表示感谢的声音，整体氛围以积极探讨和反馈问题为主。

主要观点

  1. 👍 Gemma 3 12b初始印象很好，可能是最佳约12b模型且视觉理解能力令人印象深刻。
    • 支持理由：评论者在测试中的主观感受。
    • 反对声音：无。
  2. 🔥 unsloth的GGUF不能工作，但社区模型可以。
    • 正方观点：hyxon4的实际使用体验。
    • 反方观点：无。
  3. 💡 unsloth的4B模型可能因为缺少mmproj文件而存在问题。
    • 支持理由：noneabove1182根据观察提出推测。
    • 反对声音：无。
  4. 🤔 在LM Studio中遇到模型不支持图像输入的问题，即使更新相关程序和运行库仍存在。
    • 支持理由：Trick_Text_6658和Adventurous - Paper566的实际遭遇。
    • 反对声音：无。
  5. 😕 在运行最新版本软件时遇到未知模型提示，怀疑软件更新可能未包含运行模型所需内容。
    • 支持理由：mixedTape3123的遇到的情况。
    • 反对声音：无。

金句与有趣评论

  1. “😂 hyxon4: Couldn’t get GGUF from unsloth to work. The community model worked right away.”
    • 亮点：简洁明了地对比了unsloth和社区模型在使用GGUF时的不同情况。
  2. “🤔 我正在LM Studio测试Gemma 3 12b，我的初始印象非常积极！”
    • 亮点：直接表达对Gemma 3 12b的积极印象。
  3. “👀 I only get that "Model does not support image input".”
    • 亮点：直接反馈在LM Studio中遇到的图像输入问题。
  4. “😎 noneabove1182: Oh weird.. I notice his 4B model doesn’t have an mmproj file, so maybe that’s why?”
    • 亮点：对模型不能工作提出合理推测。
  5. “🙏 Thank you for your hard work!!!”
    • 亮点：表达对LM Studio更新工作的感谢。

情感分析

总体情感倾向是积极的，多数用户积极反馈使用体验、提出建设性问题或对更新表示感谢。主要分歧点在于部分技术问题上的不同看法，例如模型不能正常工作的原因等。可能的原因是不同用户的使用场景和对技术的理解存在差异。

趋势与预测

  • 新兴话题：关于不同格式的mmproj文件性能差异以及Gemma 3模型在LM Studio中的参数设置（如默认温度）等可能会引发后续讨论。
  • 潜在影响：对LM Studio的进一步优化和Gemma 3模型的改进可能有积极影响，有助于提升用户体验，也可能为相关模型在视觉功能等方面的发展提供参考。

详细内容：

标题：LM Studio 对 Gemma 3 GGUF 支持的更新引发热议

近日，Reddit 上一则关于“LM Studio updated with Gemma 3 GGUF support!”的帖子引发了众多网友的关注和讨论。该帖子获得了较高的关注度，评论数众多。

帖子主要介绍了 LM Studio 已更新，可运行带有视觉功能的 Gemma 3 GGUF，并补充说明了一些相关事项，还提供了多个相关的链接。

帖子引发的主要讨论方向包括不同用户在使用过程中的各种情况和问题，比如有人成功运行，有人则遇到困难。

文章将要探讨的核心问题是 Gemma 3 GGUF 在 LM Studio 中的运行表现和可能出现的问题。

在讨论中，有人表示自己正在测试 Gemma 3 12b 在 LM Studio 中的表现，最初印象非常好，认为这可能是自己用过的最好的约 12b 模型，其视觉理解也令人印象深刻，但也有一次出现了单词拼写错误的情况。有人询问其运行的量化水平，还有人分享自己在本地运行 LLMs 时因内存不足出现随机拼写错误的经历。

有用户称无法获取图像输入，确保使用特定的上传版本，并确认是否已更新。还有人询问 LM Studio 是否能为 Gemma 3 27B 做推测解码，以及不同版本的 mmproj 文件是否有明显差异等。

对于运行中出现的问题，有人认为可能是模型本身的训练方式导致，也有人怀疑是设置或文件缺失等原因。

总体而言，大家对 LM Studio 支持 Gemma 3 GGUF 的更新既有积极的评价，也有对出现问题的探讨和疑惑。