原贴链接

此为一个视频链接（https://v.redd.it/6i8mt98oqv5e1/DASH_480.mp4?source=fallback），未提供关于大型语言模型的实质内容，无内容可翻译

讨论总结

原帖作者作为LLM新手遇到了诸如模型自我对话停不下来、不清楚如何操作停止等问题，并分享了在使用不同模型时的情况。评论者们积极回应，给出了包括添加特定字符串到停止字符串、修改系统提示、让答案尽量简短、删除不使用的聊天记录等解决办法，还对影响模型输出停止的因素如温度等进行了分析，整体氛围是积极地探讨解决方案。

主要观点

  1. 👍 针对LLM停止操作的办法是添加<extra_id_1>到停止字符串然后按回车键
    • 支持理由：另一位评论者称这个办法有效解决了问题
    • 反对声音：无
  2. 🔥 原帖作者遇到模型自我对话停不下来的问题并尝试多种解决办法
    • 正方观点：原帖作者详细描述了遇到的问题及尝试解决的过程
    • 反方观点：无
  3. 💡 温度会影响LLM的响应长度，高温度下停止标记可能不被选中
    • 解释：通过分析温度与模型停止输出的关系，解释了模型在高温度下可能出现异常输出的原因
  4. 💡 可通过删除不使用的聊天记录来提高LLM推理速度
    • 解释：这是一种简单有效的提升推理速度的操作建议
  5. 💡 模型处理自身提示模板不完善可能导致输出异常
    • 解释：从模型自身特性出发，分析了模型可能出现问题的内在因素

金句与有趣评论

  1. “😂 LSXPRIME: add <extra_id_1> to Stop strings and press enter”
    • 亮点：直接给出了解决LLM停止操作的关键指令
  2. “🤔 machinesmith: Hi! Thanks for replying, I’m not sure where to put the prompt itself, I tried this but so far it hasn’t worked :(”
    • 亮点：真实地呈现了原帖作者在尝试解决问题过程中的困惑
  3. “👀 温度绝对会影响响应的长度，通过增加更多可能的标记来抽取。”
    • 亮点：阐述了温度影响LLM响应长度的原理

情感分析

总体情感倾向积极，大家都在积极地帮助原帖作者解决问题，没有明显的分歧点。主要原因是原帖作者是在寻求技术帮助，评论者们专注于给出解决方案和分析问题。

趋势与预测

  • 新兴话题：可能会进一步探讨如何优化模型提示模板以避免模型出现各种问题。
  • 潜在影响：有助于LLM新手更好地理解和操作模型，提高使用体验，也可能促使开发者对模型进行优化改进。

详细内容：

标题：关于 LLM 的困惑与解决方案探讨

最近，Reddit 上一个题为“LLM Noob here, can any explain what’s happening here? Also, how to make it stop?”的帖子引起了广泛关注。该帖子包含了一个视频链接（https://v.redd.it/6i8mt98oqv5e1/DASH_480.mp4?source=fallback），并引发了众多热烈讨论，目前已有大量点赞和众多评论。

帖子中，machinesmith 称在自己的 PC 上用 LMStudio 尝试不同模型，其中 [Mistral - Nemo - Minitron - 8b] 表现不错，但不知如何让它停止，它会自顾自地持续对话。

讨论的焦点主要集中在如何让模型停止输出的方法以及对相关原理的探讨。

有人提出在 Stop strings 中添加 <extra_id_1> 并按下回车键。有人建议将系统提示改为“you are a helpful assistant”。还有人说要加上“make answers as short as possible”。

SomeOddCodeGuy 表示：“温度绝对会影响响应的长度，通过增加更多合理的令牌来抽取。当与不良的标记器或不正确的模板结合时，高温绝对会导致模型在令牌用完并停止响应之后继续。”同时还指出“模型是那个应该在完成时呈现停止令牌的一方。在较高温度下，停止令牌可能不是最有可能被抽取的令牌，而是更多延续对话的令牌。”

micemusculus 则认为：“这与温度无关。模型被训练输出特定令牌来标记消息的结束。运行模型的软件通过寻找此令牌来决定何时停止。所以实际上不是模型决定何时停止。模型实际上只能预测单个下一个令牌的概率分布。”

SomeOddCodeGuy 回应说温度在其中作用很大，模型产生 EOS 令牌是导致其结束的原因。

micemusculus 再次强调：“运行模型的软件决定一切，而不是温度或结束消息令牌。软件可以寻找任何令牌或文本来结束生成。模型只是给出建议。”

mrjackspade 提出了一个有趣的观点：“很奇怪‘<extra_id_0>’甚至不是标记器中的令牌。我原以为是标记器的问题，因为它显然将其呈现为多部分字符串，但事实并非如此……它只是一个多部分字符串。”

总的来说，这次讨论呈现出了对模型停止输出机制的不同理解和观点，各方争论激烈但也丰富了对这一问题的认识。