原贴链接

所以我从TogertherAI进行了测试，说实话，我相当失望。我等待这一天已经很久了，但在视觉方面，Qwen 2 VL的表现更好。Llama的一个优势是聊天模型的质量完全保留，而Qwen则略有下降。另外，由于这次发布，我希望llama.cpp/Ollama能尽快支持所有视觉模型。

在我的测试中，Qwen 2 VL 7B » Llama 3.2 11B。 而且，Qwen 2 VL 72B与GPT4o/Sonnet竞争，而3.2 90B则没有达到那个水平，根据我的小测试。

请评论一下你在测试中的表现。

链接： https://api.together.ai/playground/chat/meta-llama/Llama-3.2-11B-Vision-Instruct-Turbo https://app.hyperbolic.xyz/models/qwen2-vl-7b-instruct

image

示例：

Qwen 2 vl 7b

Llama 3.2 11b

讨论总结

本次讨论主要围绕Llama 3.2 Vision模型的表现展开，普遍表达了对该模型在视觉表现上的失望。许多评论者认为Llama 3.2在视觉测试中表现不佳，甚至不如Qwen 2 VL。讨论中还涉及到对测试方法的质疑，认为仅凭几次测试不足以得出结论，建议使用正式的评估（evals）来更准确地比较模型性能。此外，有评论者对Llama 3.2在处理NSFW内容方面的表现表示认可，认为其审查机制相对宽松。总体而言，讨论氛围偏向负面，但对AI领域的发展和高质量视觉模型的期待依然存在。

主要观点

  1. 👍 Llama 3.2在视觉表现上令人失望

    • 支持理由：许多评论者指出Llama 3.2在视觉测试中的表现不佳，甚至不如Qwen 2 VL。
    • 反对声音：无明显反对声音，但有评论者建议进行更多测试以验证其性能。

  2. 🔥 测试方法的质疑

    • 正方观点：仅凭几次测试不足以得出结论，应使用正式的评估（evals）来更准确地比较模型性能。
    • 反方观点：评估可能存在被操纵的风险，但Llama 3.2在评估方面确实落后。

  3. 💡 Llama 3.2在处理NSFW内容方面表现较好

    • 解释：有评论者认为Llama 3.2 90B在处理NSFW内容方面表现较好，审查机制相对宽松。

  4. 👍 对AI领域发展的期待

    • 支持理由：尽管对Llama 3.2的表现失望，但评论者依然期待AI领域的发展，特别是高质量视觉模型的出现。
    • 反对声音：无明显反对声音。

  5. 🔥 模型适用性的质疑

    • 正方观点：Llama 3.2模型是经过视觉优化调整的，不适合进行数学测试。
    • 反方观点：无明显反方观点，但有评论者认为这种测试方法可能误导用户对模型能力的理解。

金句与有趣评论

  1. “😂 UpperDog69：It is miserable. Like genuinely bad.”

    • 亮点：直接表达了对Llama 3.2 Vision表现的极度失望。

  2. “🤔 hamada0001：Can you really come to a conclusion based on a few tests? This is why we have proper evals…”

    • 亮点：质疑仅凭几次测试就得出结论的合理性，强调正式评估的重要性。

  3. “👀 mpasila：At least the Llama 3.2 90B one is a bit less censored (understands NSFW stuff better…).”

    • 亮点：指出Llama 3.2 90B在处理NSFW内容方面的优势。

  4. “😂 AmazinglyObliviouse：It’s insane to me how hard they flubbed this.”

    • 亮点：表达了对Llama 3.2 Vision发布结果的难以置信和失望。

  5. “🤔 dannyboy2042：Why would you do math tests on a model that were fine tuned for vision?”

    • 亮点：质疑在视觉模型上进行数学测试的合理性。

情感分析

讨论的总体情感倾向偏向负面，主要集中在对Llama 3.2 Vision表现的不满和失望。主要分歧点在于测试方法的合理性和模型适用性，部分评论者认为仅凭几次测试不足以得出结论，应使用正式的评估来比较模型性能。此外，有评论者对Llama 3.2在处理NSFW内容方面的表现表示认可，认为其审查机制相对宽松。

趋势与预测

  • 新兴话题：对测试方法和模型适用性的讨论可能会引发后续的深入探讨，特别是在如何更准确地评估模型性能方面。
  • 潜在影响：高质量视觉模型的出现将对AI领域产生重大影响，特别是在图像生成和处理方面。此外，对模型适用性的讨论可能会影响未来模型设计和测试的标准化。

详细内容：

标题：Llama 3.2 Vision 测试引发的热议

近日，一则关于 Llama 3.2 Vision 测试的帖子在 Reddit 上引起了广泛关注。该帖子称，经过测试，对结果感到相当失望，认为在视觉方面，Qwen 2 VL 表现更优。Llama 的一个优势在于聊天模型质量得以完全保留，而 Qwen 有所降级。此外，还希望 llama.cpp/Ollama 能尽快支持所有视觉模型。此帖获得了众多点赞和大量评论。

帖子引发的主要讨论方向包括不同模型的性能比较、测试的可靠性以及模型的优化方向等。核心问题在于如何客观准确地评估这些模型在视觉任务中的表现。

在讨论中，有人认为新发布的 molmo 模型在视觉方面有巨大进步；有人直言测试结果糟糕得令人难以置信，毕竟训练数据庞大；还有人询问是否有 qwen2.5VL-7B。有人提出 Intern_VL 在许多任务（尤其是 OCR/图像检测任务）中表现最佳且推理速度快，不过也有人认为这取决于具体的测试基准。有人质疑仅凭几次测试就下结论的做法，认为应该依靠专业评估，但也有人指出评估可能被操纵，还是要自己根据使用场景去比较。有人一直期待 Llama 能凭借其资源优势推出推动行业发展的成果。还有人提出，对一个为视觉任务微调的模型做数学测试是否合理。另外，有人认为至少 Llama 3.2 90B 在某些方面（如对 NSFW 内容的理解）稍好一些。

讨论中的共识在于认识到评估模型性能需要综合多种因素和更多深入测试。独特的观点如对评估的质疑以及对模型期待与现实的落差，丰富了讨论内容。