原贴链接

所有新模型发布必须包含以下信息：模型名称：Behemoth 123B v2.0，模型网址：https://huggingface.co/TheDrummer/Behemoth - 123B - v2，模型作者：Drumm，与之前版本不同/改进之处：v2.0是Largestral 2411的微调版本，等同于Behemoth v1.0，后端：SillyKobold，设置：Metharme（在ST中也被称为Pygmalion）+ Mistral系统标签。所有新模型发布必须包含以下信息：模型名称：Behemoth 123B v2.1，模型网址：https://huggingface.co/TheDrummer/Behemoth - 123B - v2.1，模型作者：Drummer，与之前版本不同/改进之处：等同于Behemoth v1.1，比v1.0/v2.0更具创造性，后端：SillyCPP，设置：Metharme（在ST中也被称为Pygmalion）+ Mistral系统标签。所有新模型发布必须包含以下信息：模型名称：Behemoth 123B v2.2，模型网址：https://huggingface.co/TheDrummer/Behemoth - 123B - v2.2，模型作者：Drummest，与之前版本不同/改进之处：是Behemoth v2.1/v1.1的改进版本，在创造性和散文性方面更上一层楼，后端：KoboldTavern，设置：Metharme（在ST中也被称为Pygmalion）+ Mistral系统标签。我的建议是？v2.2。很可能成为未来迭代的标准。（除非进一步测试表明并非如此，但在123B版本上进行A/B测试会很有趣）

讨论总结

这个讨论主要围绕Drummer’s Behemoth 123B的不同版本（v2.0、v2.1、v2.2）展开。话题涵盖了模型的特性、量化情况、采样器设置、与OpenAI的兼容性、模型运行中的预设配置以及模型存在的问题等多方面。大多数评论者表现出积极的态度，对模型的发展表示关注，部分评论者对模型相关概念存在疑惑，也有评论者指出模型存在的问题，整体氛围是积极探索的技术交流氛围。

主要观点

  1. 👍 对Behemoth v2.x基于Largestral 2411微调且测试者反馈良好表示认可
    • 支持理由：测试者反馈改进之处明显。
    • 反对声音：无。
  2. 🔥 希望有Behemoth 123B的exl2版本并且想要自己进行量化
    • 正方观点：对模型发展有积极期待。
    • 反方观点：无。
  3. 💡 对帖子中的模型相关信息不理解
    • 解释：信息涉及模型多方面专业内容，较复杂。
  4. 💡 询问Behemoth 123B模型与OpenAI聊天完成端点的兼容性
    • 解释：对模型的应用场景存在疑问。
  5. 💡 Behemoth v2.2在正确预设下能提供优秀NSFW故事
    • 解释：分享模型使用中的体验。

金句与有趣评论

  1. “😂 From the Hugging Face page: >Behemoth v2.x is a finetune of the new Largestral 2411 with system prompt support. Testers have noted that everything felt improved. >Everything sounds good enough to me.”
    • 亮点：强调了测试者对模型改进的积极反馈。
  2. “🤔 128username: what sampler settings should i use for this >Huzderu: Try these: temp 1, min p 0.02, XTC threshold 0.1, XTC probability 0.5, DRY: repetition penalty multiplier 0.8, base 1.75, allowed length 2. Rest of the samplers all neutralized.”
    • 亮点：提问与回答给出模型采样器设置相关内容。
  3. “👀 Sabin_Stargem：Now that I got the right preset, Behemoth v2.2 has delivered an excellent NSFW story for me.”
    • 亮点：体现模型在特定预设下的良好效果。
  4. “🤔 Nabushika: Would love an exl2 of this… Happy to quantize it myself, but what calibration dataset should I use?”
    • 亮点：表达对模型量化版本的期待并提出量化相关疑问。
  5. “👀 Geechan1：I’ve noticed you have quite a high min P in relation to your temperature.”
    • 亮点：对模型采样器预设参数提出见解。

情感分析

总体情感倾向是积极的。主要分歧点在于对模型的评价，部分人认为模型表现不错，部分人指出模型存在如创意不足、重复性高等问题。可能的原因是不同人使用模型的目的、场景以及对模型的期望不同。

趋势与预测

  • 新兴话题：模型的量化版本（如exl2版本）、不同格式（如AWQ格式）以提高推理速度等话题可能引发后续讨论。
  • 潜在影响：如果这些问题得到解决或优化，可能会提高模型在相关领域（如需要高推理速度场景）的应用，也可能影响模型在社区中的受欢迎程度和使用率。

详细内容：

标题：关于 Drummer’s Behemoth 123B 系列模型的热门讨论

近期，Reddit 上一则关于 Drummer’s Behemoth 123B 系列模型的帖子引发了广泛关注。该帖子详细介绍了从 v2.0 到 v2.2 版本的相关信息，包括模型名称、URL、作者、改进之处、后端以及设置等。截至目前，帖子已获得了众多点赞和大量评论。

讨论主要集中在模型的性能、设置以及适用性等方面。有人从 Hugging Face 页面了解到，Behemoth v2.x 作为新 Largestral 2411 的微调版本，测试者称感觉一切都有所改进。有用户指出，v2.2 版本的所有量化现在都可用，还有用户分享了针对该模型的采样器设置，如温度 1、最小概率 0.02 等，按照这些设置使用效果出色。还有人提到了系统提示对于模型响应的影响，并提供了相关链接进一步支持这一观点。

不过，讨论中也存在一些困惑和疑问。比如有人表示不知道这些内容的具体含义，有人询问该模型是否与 OpenAI 的 chat completetions 端点兼容。对于校准数据集的选择，大多数人认为使用默认数据集。

有用户在获得正确预设后，用 Behemoth v2.2 生成了出色的 NSFW 故事，希望未来模型发布者能在 Huggingface 页面提供推荐预设配置。还有用户在尝试不同的预设和采样设置时，对模型的重复性和创造力提出了看法，并在他人的建议下尝试调整参数。

总之，关于 Drummer’s Behemoth 123B 系列模型的讨论丰富多样，为用户提供了多方面的参考和思考。但在一些技术细节和适用性方面，仍存在待进一步探索和明确的地方。