原贴链接

嗨，伙计们，我只是想知道大家现在都在用什么模型呢？我正在使用qwen2.5 14b、Marco、llama 3.1和llama 3.2以及4070S Ti。

讨论总结

原帖询问当前大家正在使用的模型，引发了一系列与模型相关的讨论。评论者们分享了各自正在使用的模型，如llama 3.3 70b q4、Mistral Small 22B、Mistral Nemo 12B等，同时还对不同模型进行了比较，讨论了模型在不同场景下的表现、优劣以及选择模型时需要考虑的因素，包括硬件、上下文长度等，整体讨论氛围积极，提供了很多关于模型使用的实用信息。

主要观点

  1. 👍 Qwen2.5 - 14B等模型很不错
    • 支持理由：多位评论者提到这些模型在使用中的良好表现，如ttkciar推荐了Qwen2.5 - 14B等一系列模型且得到他人认可。
    • 反对声音：无
  2. 🔥 模型的选择取决于硬件
    • 正方观点：评论者指出硬件是选择模型时的关键因素。
    • 反方观点：无
  3. 💡 16GB时qwen2.5 - 32b质量可能最好但上下文窗口小
    • 解释：根据评论者的经验，在16GB情况下该模型有这样的特性。
  4. 💡 在角色扮演方面Mistral Small 22B和Mistral Nemo 12B的微调模型比大模型表现更好（趣味性方面）
    • 解释：评论者s101c在角色扮演场景下进行比较得出此结论。
  5. 💡 Qwen VL在图像分类方面表现比llama 3.1 vision好
    • 解释：Available - Stress8598在工作中对比得出该结论。

金句与有趣评论

  1. “😂 Qwen2.5 - 14B, Qwen2.5 - 32B - AGI, EVA - Qwen2.5 - 32B, Gemma - 2 - Ataraxy - 9B, and Big - Tiger - Gemma - 27B are all pretty great.”
    • 亮点：一次性推荐了多个模型，体现了对这些模型的认可。
  2. “🤔 fully depends on your hardware tbh”
    • 亮点：简洁地指出模型选择与硬件的关系。
  3. “👀 Are these fined - tuned models really better than the regular Gemma - 2 - it and Qwen 2.5 - instruct?”
    • 亮点：提出了对微调模型与常规模型优劣的疑问，引发思考。
  4. “😂 big tiger ftw, but all mentioned are really good”
    • 亮点：肯定了特定模型同时也认可其他被提到的模型。
  5. “🤔 Finetunes of Mistral Small 22B / Mistral Nemo 12B for roleplay. Beats larger models in terms of fun for me.”
    • 亮点：给出了在角色扮演场景下模型对比的个人经验。

情感分析

总体情感倾向为积极，大家都在积极分享自己使用模型的经验、推荐认为不错的模型，对不同模型的评价也比较正面。主要分歧点在于微调模型与常规模型的优劣，可能是由于不同用户对模型的需求和使用场景不同，导致对这一问题存在疑问。

趋势与预测

  • 新兴话题：随着硬件的发展，不同模型在特定场景下的表现可能会发生变化，例如新的硬件能否让模型克服如上下文窗口小等问题。
  • 潜在影响：对人工智能模型开发方向可能有影响，开发者可能会根据不同场景下用户的需求和模型的表现来优化模型，同时也有助于用户根据自己的硬件和使用场景选择更合适的模型。

详细内容：

《当下最佳模型的热门讨论》

在 Reddit 上，一则题为“Best models out at the moment”的帖子引发了众多关注。该帖子中，发帖者表示自己正在使用 qwen2.5 14b、Marco、llama 3.1 和 llama 3.2 在 4070S Ti 上运行。此帖获得了大量的点赞和众多评论。

讨论的焦点主要集中在不同模型的性能和适用性上。有人指出 Qwen2.5-14B、Qwen2.5-32B-AGI、EVA-Qwen2.5-32B、Gemma-2-Ataraxy-9B 和 Big-Tiger-Gemma-27B 都非常出色。也有人表示“big tiger 很棒，但提到的所有模型都确实不错”。还有用户提出疑问：“这些微调模型真的比常规的 Gemma - 2 - it 和 Qwen 2.5 - instruct 更好吗？”

有人认为完全取决于硬件配置。还有人使用 llama 3.3 70b q4，有人提到 3 -bit 量化（可能是 IQ3M）的 qwen2.5 -32b 在 16GB 中应该是质量最佳的模型，但它的上下文窗口较小。也有人认为 Mistral small(q4km) 或 gemma2 -27b 是不错的选择，如果需要更大的上下文长度（8k+），可能还是需要转向像 qwen2.5 -14b 或 phi -4（只有 16k 上下文）这样的 14b 模型。

有人表示对 Mistral Small 22B / Mistral Nemo 12B 微调用于角色扮演很满意，认为在乐趣方面胜过更大的模型。也有人提到 Small 22B 能够理解一些 Llama 3.3 70B 和 Mistral Large 无法理解的场景，可能是由于提示的原因，但这意味着 22B 更能理解混乱的提示。

有人使用 Qwen VL Chat 用于基于视觉的任务，并将其部署在服务器上。对于测试脚本，由于 llama 3.2 的 API 免费而使用它，对于基准测试则使用 azure 的 gpt 4o。有人询问 qwen vl 是否比 llama 3.1 视觉效果更好，并得到肯定的回答，称在图像分类方面，Qwen 表现完美，而 Llama 视觉模型只是进行文本提取，并且还不够准确。对于翻转的图像，Qwen 仍然能够提供提取的文本而无需重新翻转，而 Llama 在这两方面都表现不佳。

还有人表示自己仍然日常使用 Mistral Large 2411 与 Mistral 0.3 7B 进行推测解码，拥有 96GB 的 VRAM，尚未找到更适合自己使用情况的组合，Llama 3.3 即使在低温下也会产生幻觉。

在这场讨论中，大家对于不同模型的优缺点各抒己见，但也有一些共识，比如硬件配置会对模型的选择产生影响。而一些独特的观点，如特定模型在某些特定任务中的出色表现，丰富了整个讨论。对于正在寻找适合模型的用户来说，这些讨论无疑具有重要的参考价值。