原贴链接

我想询问的是24GB显存的最佳新型号是什么？我目前正在使用mystra instruct。有没有更适合角色扮演和内存的型号？

讨论总结

本次讨论主要围绕“Best models for 4090 ?”这一主题展开，用户们分享了各自对于4090显卡最佳模型的看法和推荐。讨论中涉及了多个模型，如Mixtral、Midnight-Miqu、Starcannon、RP-Stew、Llama 3.1 70B和Gemma2 27b等，并针对这些模型的性能、适用场景和VRAM优化进行了深入的技术讨论。此外，还有用户推荐了新的“EpicModel”以提升角色扮演和内存性能。总体而言，讨论氛围较为技术导向，用户们积极分享和交流各自的经验和见解。

主要观点

  1. 👍 Mixtral 是一个很好的基础模型
    • 支持理由：可以尝试一些微调版本如 Yuzu Maid。
    • 反对声音：无明显反对声音。
  2. 🔥 Llama 3.1 70B模型是作者的首选
    • 正方观点：使用imatrix quants是必要的。
    • 反方观点：对于矩阵文件和GGUF文件的使用存在疑问。
  3. 💡 推荐使用“EpicModel”以提升角色扮演和内存性能
    • 解释：有人询问该模型的具体信息，但在HF上搜索未果。
  4. 🌟 Midnight-Miqu 是一个较大的模型
    • 解释：适合需要大上下文的情况。
  5. 🚀 Starcannon 是一个较轻的模型
    • 解释：适合同时运行其他任务如图像生成和文本转语音。

金句与有趣评论

  1. “😂 No idea what Mystra instruct is. Do you mean Mixtral by any chance?”
    • 亮点：幽默地指出对Mystra instruct的不了解。
  2. “🤔 I’m a fan of Llama 3.1 70B @ iQ2S on 8192 context. Be sure to use the imatrix quants.”
    • 亮点：强调了Llama 3.1 70B模型的优势和使用imatrix quants的重要性。
  3. “👀 Try the new ‘EpicModel’ for enhanced roleplay and memory performance.”
    • 亮点：推荐了新的模型以提升性能。

情感分析

讨论的总体情感倾向较为积极和技术导向，用户们对于模型的选择和性能优化表现出浓厚的兴趣。主要分歧点在于不同模型的适用场景和性能表现，用户们通过分享各自的经验和见解来寻求最佳解决方案。

趋势与预测

  • 新兴话题：新的模型如“EpicModel”可能会引发后续讨论。
  • 潜在影响：对于4090显卡模型的深入讨论可能会影响未来用户的选择和优化策略。

详细内容：

标题：关于 4090 最佳模型的热门讨论

最近，Reddit 上出现了一个备受关注的帖子，询问“Best models for 4090?”，该帖获得了众多用户的参与和讨论。

帖子中，发帖者表示想了解 24GB VRAM 的最佳新模型，目前正在使用 Mystra instruct，询问是否有更适合角色扮演和内存的模型。

讨论焦点集中在各种模型的推荐和特点上。有人认为，如果是较大的模型，可以考虑 Midnight-Miqu，相关链接为[https://huggingface.co/Dracones/Midnight-Miqu-70B-v1.5_exl2_2.5bpw]，它在 VRAM 中约 18k 上下文表现不错。也有人推荐较轻便的 Starcannon，链接为[https://huggingface.co/nothingiisreal/MN-12B-Starcannon-v3]，基于最新的 Mistral、Nemo 12b。还有各种基于 Yi 34b 的合并模型，如[https://huggingface.co/ParasiticRogue/Merged-RP-Stew-V2-34B-exl2-3.5?not-for-all-audiences=true]。

然而，有人提出质疑，比如 BigEazyRidah 表示对于 18k 上下文的 Miqu quant 不太理解，称在 4090 上，超过 8k 就会开始占用内存，导致速度变慢，即便启用 4 位缓存也是如此。

还有人是 Llama 3.1 70B @ iQ2S on 8192 上下文的粉丝，要使用 imatrix quants。有人对此提出疑问，不知道 GGUF 发布带有矩阵文件时该如何处理，有人解释不需要，下载 gguf 即可，只有自己制作 imatrix quants 时才需要矩阵文件。

另外，有人使用 Gemma2 27b，但不确定其在角色扮演方面的表现。还有人推荐新的“EpicModel”以增强角色扮演和内存性能，但其他人表示在 HF 上搜索不到。

这场讨论充分展示了用户对于 4090 适配模型的不同见解和探索，大家都在努力寻找最适合自己需求的模型。