原贴链接

亲爱的LocalLLaMA社区，我自豪地在此TGWUI拉取请求中介绍我的新采样器“排除顶级选择”：https://github.com/oobabooga/text-generation-webui/pull/6335

XTC能显著提升模型的创造力，几乎不影响连贯性。在测试过程中，我看到了一些模型全新的面貌，其表达方式和想法是我以前在LLM输出中从未遇到过的。角色扮演和故事写作明显更有趣，我发现自己不断敲击“重新生成”快捷键，只是为了看看这次它会想出什么。XTC与提高温度感觉非常非常不同。

有关其工作原理的详细信息，请参阅PR。我非常感谢任何反馈，特别是关于参数选择和其他采样器交互的反馈，因为我还没有测试所有组合。请注意，为了在GGUF模型中使用XTC，您需要首先在“模型”选项卡中使用“llamacpp_HF创建者”，然后按照PR中的描述使用llamacpp_HF加载模型。

讨论总结

本次讨论主要围绕新发布的“Exclude Top Choices”（XTC）采样器，该采样器旨在提高模型的创造力并减少写作陈词滥调。评论者们普遍认为XTC能够显著提升模型的创造性，同时几乎不影响其连贯性。讨论中涉及了XTC的工作原理、参数设置、与其他采样器的交互以及在实际应用中的表现。评论者们对XTC的效果表示肯定，并讨论了采样器在控制模型输出风格和创造性方面的具体应用和局限性。此外，还有关于如何提供反馈、文档需求以及希望其他软件集成XTC功能的讨论。

主要观点

  1. 👍 XTC能显著提高模型的创造性，几乎不影响连贯性
    • 支持理由：通过排除最可能的选项，XTC保留了其他相对可能的选项，从而促进创造性输出。
    • 反对声音：部分评论者担心过度冗长和难以完成段落的问题。
  2. 🔥 XTC应被视为控制风格的工具，而不仅仅是修复分布缺陷的补丁
    • 正方观点：采样器提供了基于数字的精细控制，这是语言无法比拟的。
    • 反方观点：采样器在控制风格方面过于粗糙，更好的方法是修改模型的内部倾向。
  3. 💡 重复性在某些领域是必要的，但在创意写作中应避免
    • 解释：XTC通过移除最可能的选项，有助于避免重复和陈词滥调。
  4. 👀 XTC的阈值设置是关键参数，影响模型的输出质量和创造性
    • 解释：在特定情境下，如角色名称的正确回忆，XTC不会排除最可能的选项。
  5. 🌟 XTC的设计理念是概率性的，不同位置的令牌有不同的约束
    • 解释：通过调整XTC的参数，可以获得不同程度的创造性输出。

金句与有趣评论

  1. “😂 Great news, perhaps this will be another sampler that goes into my "always on regardless of what model" for storywriting just like DRY.”
    • 亮点：评论者对XTC的效果表示高度赞赏，认为它将成为故事写作的必备工具。
  2. “🤔 I now think of samplers as tools for controlling style, not just band-aids for fixing bugs in the distribution.”
    • 亮点：评论者重新定义了采样器的角色，强调其在控制风格方面的作用。
  3. “👀 The threshold idea seems pretty good, it ensures that ‘obvious’ tokens are never skipped, and adds a layer of randomness to token truncation from top choices to improve creativity.”
    • 亮点：评论者对XTC的阈值概念表示肯定，认为它有助于提高创造性。

情感分析

讨论的总体情感倾向是积极的，评论者们普遍对XTC采样器的效果表示赞赏。主要分歧点在于采样器的参数设置和与其他采样器的交互，以及如何在保持连贯性的同时最大化创造性。可能的原因包括对新技术的期待、对模型输出质量的追求以及对创新工具的探索。

趋势与预测

  • 新兴话题：XTC采样器的进一步优化和与其他采样器的结合使用。
  • 潜在影响：XTC采样器可能会改变模型输出的风格和创造性，对角色扮演和故事写作等领域产生深远影响。

详细内容：

标题：新采样器“Exclude Top Choices (XTC)”在Reddit引发热烈讨论

在Reddit的LocalLLaMA社区，一篇关于新采样器“Exclude Top Choices (XTC)”的帖子引起了广泛关注。该帖子获得了众多点赞和大量评论。原帖作者自豪地在TGWUI的拉取请求中介绍了这款新采样器，并表示它能显著提升模型的创造力，对连贯性影响甚微。在测试中，模型展现出了前所未有的表达方式和创意。

讨论焦点与观点分析： 有人称赞这可能会成为像DRY一样在故事写作中“始终开启”的采样器。也有人认为应开展针对特定不良重复行为的强化学习，而非依赖算法上的拼凑。还有用户长期以来认为采样器本质上是一种权宜之计，应该能够直接采用来自转换器的原始分布。

对于重复是否总是不好的问题，有人指出许多学术文献和源代码因良好的原因而高度重复，并且希望模型能够产生此类输出。有人好奇采样器在过程中是否存在节奏。有人认为采样器是控制风格的工具。

有人提出将温度设为无穷大与XTC是否有相似效果的疑问，而原作者解释称这会完全破坏分布的形状，XTC则能在保留相对概率的同时排除最可能的一些选项。

有人对如何设置温度为无穷大提出了疑问。有人探讨了XTC如何知道何时需要最可能的令牌，原作者回应称若令牌在特定位置是“必要的”，则不会被排除。

有人认为阈值参数可用于获得不同结果，原作者表示在这种情况下，输出质量和创造力并非客观指标，所以很难确定“客观上的最佳值”。

有人提出将阈值设置为类似于最小p，即顶部对数的百分比。有人认为像Typical-p这样试图更科学解决问题的方法在低设置下效果不佳。

关于采样器的理论基础与实践效果，有人认为理论基础扎实的采样器在实践中表现不佳，而直觉和实验能带来更好的结果。但也有人对此提出警告，认为应谨慎对待，避免产生反科学偏见。

有人认为XTC的“xtc_probability”的动态基于全有或全无的基础很奇怪，原作者解释其目的是为了保证创造力。

有人表示XTC的简单性使其更具可用性和直观可控性。

有人认为这款新采样器非常大胆，有人期待它能被整合到更多的软件中，还有人希望能有更详细的官方文档。也有人建议将其应用于更相关的部分，或者用其他模型来判断是否需要更具创造力的采样。

总之，关于新采样器“Exclude Top Choices (XTC)”的讨论十分热烈，涵盖了其效果、参数设置、与其他方法的比较以及应用前景等多个方面，反映了社区对提升模型创造力和优化采样方法的关注与探索。