原贴链接

对于新发布的无审查版本的模型及其编写故事的能力，我有点迷茫。

顺便说一下，我有24GB的显存。

讨论总结

本次讨论主要围绕如何选择和使用最佳模型来创作包含NSFW（Not Safe For Work）内容的故事。参与者们分享了各自的模型推荐、硬件配置、写作能力和上下文注意力等方面的经验。讨论中涉及的模型包括Midnight Miqu、Mistral Large、RP Stew (34B)等，以及它们在不同硬件配置下的运行速度和质量。此外，还有关于VRAM使用和模型版本的进一步讨论，以及如何通过特定的量化设置来优化性能。总体而言，讨论氛围较为活跃，参与者们积极分享自己的经验和见解。

主要观点

  1. 👍 24GB显存足以用于创作NSFW内容
    • 支持理由：AP_MASTER幽默地回应说，24GB的显存已经足够创作NSFW内容，而回复者xylont则简单地以“Loool”表达了对这一幽默的认同。
  2. 🔥 TheLocalDrummer分享了他自己的模型在Story-Instruct模式下的表现
    • 正方观点：该模型能够输出连贯、刺激且独特的写作。
    • 反方观点：结果可能因人而异，LoafyLemon询问模型是否能保持超过8k的上下文注意力。
  3. 💡 推荐使用Midnight Miqu模型，特别是2.25 bpw exllama2版本
    • Herr_Drosselmeyer推荐使用Midnight Miqu模型，并提供了运行速度和VRAM使用的相关信息。
  4. 👀 Mistral Large是目前编写故事的最佳模型
    • ZABKA_TM和Iamblichos分享了Mistral Large在叙事流畅性和逻辑过渡方面的优势，以及如何通过提示技巧来优化模型使用。
  5. 🌟 推荐使用RP Stew (34B)模型
    • 2shinrei推荐使用RP Stew (34B)模型，并提到4.65bpw版本在24GB VRAM下与Q4缓存完美适配。

金句与有趣评论

  1. “😂 AP_MASTER：It’s already nsfw with 24GB of Vram”
    • 亮点：幽默地表达了24GB显存足以用于创作NSFW内容的观点。
  2. “🤔 TheLocalDrummer：Sorry for bringing up my own model, but I wanted to share my experience where this test model of mine outputted some coherent, spicy, and unique writing during Story-Instruct mode (using the default Kobold settings).”
    • 亮点：分享个人模型在Story-Instruct模式下的表现，展示了模型的写作能力。
  3. “👀 Herr_Drosselmeyer：On my 3090, the 2.25 bpw quant runs at about 20-30 t/s.”
    • 亮点：提供了具体硬件配置下的模型运行速度信息，对其他用户有参考价值。
  4. “😆 2shinrei：the 4.65bpw fits perfectly into 24GB VRAM with Q4 caching.”
    • 亮点：分享了模型在特定VRAM配置下的优化效果，对寻求高性能模型的用户有帮助。
  5. “💡 Iamblichos：Prompting, as always, is key.”
    • 亮点：强调了提示技巧在模型使用中的重要性，对提升模型输出质量有指导意义。

情感分析

讨论的总体情感倾向较为积极，参与者们积极分享自己的经验和见解，对模型的性能和使用方法进行了深入探讨。主要分歧点在于不同模型的性能和适用场景，以及如何在有限的硬件配置下优化模型运行。可能的原因包括不同用户对模型性能的期望不同，以及对新模型的了解程度不一。

趋势与预测

  • 新兴话题：随着新模型的不断发布，未来可能会有更多关于模型性能和使用技巧的讨论。
  • 潜在影响：这些讨论可能会对NSFW内容创作者选择和使用模型产生积极影响，帮助他们找到更适合自己需求的模型，并优化创作过程。