原贴链接

同一人（u/-p-e-w-）创建了DRY采样器，又提出了另一个新的采样器XTC（排除顶部选择），我已在最新的KoboldCpp版本中实现。

XTC采样器智能地在适当时候移除最可能的令牌——通过两个值xtc_threshold和xtc_probability配置。该采样器设计为仅在足够多的候选令牌以足够高的概率超过阈值时触发（确保存在足够好的替代品），从而关键令牌不会被丢弃。

结果是，尤其是在易受GPT影响的模型上，生成的文本更具创意和吸引力。

现在就来尝试KoboldCpp 1.74版本 - https://github.com/LostRuins/koboldcpp/releases/latest，并分享你的体验！

还有一个尚未合并到ooba的PR，尽管Kcpp实现是独立创建的。

讨论总结

Reddit用户围绕KoboldCpp v1.74中新增的XTC（Exclude Top Choices）采样器展开了热烈讨论。主要关注点包括采样器的效果、参数调整、模型适用性以及对文本生成质量的影响。评论中既有对新功能的热情期待，也有对具体实施细节的深入探讨和技术疑问。整体氛围积极，用户们分享了各自的尝试和建议，共同推动了这一技术的优化和应用。

主要观点

  1. 👍 XTC采样器需要排除EOS和新行以提高效果
    • 支持理由：排除特定标记可以减少不必要的中断，提升文本连贯性。
    • 反对声音：部分用户认为这可能限制了文本的自然流动。
  2. 🔥 调整阈值和概率参数可以改善采样器的性能
    • 正方观点：通过精细调整参数，可以更好地控制文本的多样性和创意。
    • 反方观点：过度调整可能导致文本输出不稳定。
  3. 💡 低温度和高最小概率参数有助于提升文本的多样性和创意
    • 解释：这些参数设置有助于减少常见词汇的重复，增加文本的新颖性。
  4. 🚀 在特定模型上，XTC可能需要进一步的微调
    • 解释：不同模型对采样器的响应不同，需要针对性的优化。
  5. 🌟 采样器的性能优化应考虑计算效率
    • 解释：在追求高质量输出的同时，也应确保计算资源的合理利用。

金句与有趣评论

  1. “😂 a_beautiful_rhind：Lower the threshold, raise the probability and have low temperature with slightly higher min_P. That’s made it very nice on large models.”
    • 亮点：简洁而具体的参数调整建议，对实践有直接指导意义。
  2. “🤔 Stepfunction：100% agree on newline/EOS.”
    • 亮点：直接表达了对于排除特定标记的支持，简洁有力。
  3. “👀 FaceDeer：Oooh, maybe now song lyrics without "intertwined" every other verse!”
    • 亮点：幽默地表达了对于减少常见词汇重复的期待，增加了讨论的趣味性。

情感分析

讨论的总体情感倾向积极，用户们对新功能表示兴奋和期待。主要分歧点在于参数的具体调整和采样器在不同模型上的表现。可能的原因包括技术细节的复杂性和个体使用场景的差异。

趋势与预测

  • 新兴话题：XTC采样器在不同模型上的最佳实践和参数设置。
  • 潜在影响：XTC采样器的优化将进一步提升文本生成的多样性和创意，对创意写作领域产生积极影响。

详细内容：

《KoboldCpp v1.74 新采样器 XTC 引发热议》

在 Reddit 上，一则关于 KoboldCpp v1.74 新增 XTC（Exclude Top Choices）采样器的帖子引发了众多关注。该帖获得了大量的点赞和评论。帖子主要介绍了由 u/-p-e-w- 创造的新采样器 XTC 已在最新的 KoboldCpp 版本中实现，并详细说明了其工作原理，还提供了下载链接（https://github.com/LostRuins/koboldcpp/releases/latest ）。此帖引发了关于 XTC 采样器的多方面讨论。

有人认为这是个不错的采样器，但指出需要排除 EOS 和换行，且默认设置有待改进。比如，有人分享道：“Lower the threshold, raise the probability and have low temperature with slightly higher min_P. That’s made it very nice on large models.” 也有人表示 XTC 的使用需要平衡，像“我发现 XTC 有点像是一种平衡行为..05/.5-.8 与 0.9 的温度和.03 的 min_P 在多个模型中表现良好，能赋予它们更多主动性和多样化的表述。当表述变得奇怪或偏离角色时，我就会开始调整。”

有人提到在相关问题上存在激烈讨论，并给出了链接（https://github.com/oobabooga/text-generation-webui/pull/6335 ）。有人就模型 Gemma-27b 产生换行的问题进行交流，还有人期待这一采样器能应用到更多平台，也有人在使用过程中遇到了配置变量未显示等问题。

这场讨论的核心争议在于如何优化 XTC 采样器的设置以获得更好的效果，以及它在不同模型和应用中的适应性。同时，大家对于新采样器的期待和对其性能提升的渴望也是讨论的重点。

总的来说，这次关于 KoboldCpp v1.74 新采样器 XTC 的讨论充分展现了用户对于技术创新的关注和探索精神。