原贴链接

（表情）编辑澄清：在有24GB显存（如今这不算多高端）的情况下，8 - 12B模型太小了，而且能适配（如q1或q2量化）的70B模型量化完全没用。

讨论总结

原帖作者抱怨在24GB显存情况下，没有合适的20 - 35B模型，8 - 12B模型太小，70B模型量化版本也不适用。评论者们从多个角度进行了回应，包括推荐新的模型、讨论模型性能和量化方式、分享个人使用经验、提出替代建议以及进行调侃等，总体氛围比较活跃，大家各抒己见。

主要观点

  1. 👍 Qwen 2.5及其相关微调模型适合写作
    • 支持理由：评论者提及相关模型并给出HuggingFace链接，可能基于自身使用或了解到的情况。
    • 反对声音：未发现明显反对。
  2. 🔥 20 - 35B模型介于8 - 12B和70B模型之间意义不大
    • 正方观点：弱硬件不量化难以运行，性能提升不如70B + 模型显著。
    • 反方观点：Q4K*量化的35B模型在24GB显存上运行良好且知识量更丰富。
  3. 💡 可以通过模型合并来满足更多需求
    • 支持理由：有评论者直接提出这一方式来满足对模型的需求。
    • 反对声音：未发现明显反对。
  4. 👍 Qwen2.5 - Coder 32B有不错的性能
    • 支持理由：有评论者指出其具有GPT - 4o级别的性能。
    • 反对声音：未发现明显反对。
  5. 💡 不同的量化方式对模型输出有影响
    • 支持理由：如8B - 14B有FP16/F16变体的模型在长文本输出上有不同表现等例子。
    • 反对声音：未发现明显反对。

金句与有趣评论

  1. “😂 MORE! - Kylo Ren on LLM models”
    • 亮点：以诙谐的方式表达对更多LLM模型的需求。
  2. “🤔 Been there through the back and forth of 8B, 70B, and GPT - 4o… until Qwen 2.5 32B Instruct came to life.”
    • 亮点：描述了在多个模型使用过程中的体验，体现Qwen 2.5 32B Instruct模型的重要性。
  3. “👀 damn, "The more you buy, the more you save"”
    • 亮点：以消费逻辑调侃原帖技术需求，脱离具体技术探讨。
  4. “😂 Time for a new addiction. How about image gen?”
    • 亮点：针对原帖需求提出了图像生成这一替代的“成瘾项目”。
  5. “🤔 In my PERSONAL experience, the quality of long context outputs is improved, but there’s no scientific data to back up that claim, it’s purely based on my usage, prompting, and frameworks for inference.”
    • 亮点：诚实地分享个人在模型使用中的经验，但也表明缺乏科学依据。

情感分析

总体情感倾向比较复杂。一方面有积极分享模型使用经验、推荐模型的正面情感；另一方面也有对原帖中提到的模型现状不满的情绪。主要分歧点在于20 - 35B模型是否有存在意义以及不同量化方式的效果等。可能的原因是大家使用模型的硬件条件、需求目的不同，导致对模型的评价和期望有所差异。

趋势与预测

  • 新兴话题：探索更多模型在特定硬件（如4090）上的使用，以及不同量化方式对不同任务的影响。
  • 潜在影响：对模型开发者来说，了解用户在不同硬件下的需求和问题，有助于优化模型或推出更适合的量化版本；对用户来说，可能会引导更多人尝试不同的模型和量化方式以满足自己的需求。

详细内容：

标题：关于模型大小与性能的热门讨论

在 Reddit 上，一篇题为“Shit post: Why no new 20-35B models to keep feeding my addiction?!”的帖子引发了众多关注。该帖子获得了大量点赞和评论，引发了关于模型大小、性能以及相关应用的热烈讨论。

讨论焦点主要集中在不同模型的性能特点、合并模型的方法、硬件需求以及个人使用体验等方面。有人提出疑问，如“什么是 Qwen 2.5 及其微调的问题？”，并分享了一些模型的链接，如“https://huggingface.co/nbeerbower/Qwen2.5-Gutenberg-Doppel-32B”“https://huggingface.co/EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2”。

有人表示“没什么问题，只是想要更多”，还有人建议“通过学习如何合并模型来满足需求，或许能创造出下一个优秀模型”。有用户分享个人经历，说“我总共有 14GB 的 VRAM，分别在 8GB 和 6GB 上，但不知道能否合并 8B 模型”。也有人指出“合并可以通过 CPU 完成，虽然速度慢，但可以在后台运行”。

对于不同模型的性能，有人提到“我们刚得到 Qwen2.5-Coder 32B 几天，有 GPT-4o 级别的性能”，但也有人认为“在 Reddit 上使用它的人似乎不太兴奋”。

在模型合并方面，有人询问“有没有不同模型家族、大小和非基础版本成功合并的例子？”，也有人分享了相关的合并成果，如“https://huggingface.co/ParasiticRogue/EVA-Instruct-32B-v2”。

关于硬件需求，有人表示“考虑增加更多 24GB 的 GPU 怎么样？”，还有人说“24GB 仍然无法容纳 70B 模型，是不是需要 3 个 12GB 的 GPU 呢？”，有人则提出“可以购买二手的挖矿设备，使用便宜的 GPU 来满足需求”。

同时，有人认为“每个模型都有其独特之处，会同时使用多个模型”，也有人感叹“模型的更新永远无法满足需求，就像对食物上瘾的人永远在渴望更多”。

总的来说，这次讨论展现了大家对于模型相关问题的深入思考和多样观点，反映了人们在追求更好模型性能和应用体验方面的不断探索。