原贴链接

我正在尝试理解提示格式，因为我想从头开始编写自己的聊天机器人实现。虽然我能理解llama2格式，但llama3却让我很困惑。我给出了llama3提示格式的示例，想知道其中{{model_answer_1}}之类的东西是什么，是否需要在代码中实现，以及发送给模型的字符串到底是什么样的。我能理解llama2的格式，但是不知道在llama3格式下{{model_answer_1}}该填什么，在开始推理时我没有这个model_answer。我知道可以随便给模型输入一些文本以得到答案，但我认为理解模型的训练格式会得到更好的响应并减少无用信息。此外，我还想在代码中通过配置提供系统提示、知识和行为规则，所以我认为理解如何最好地格式化以让模型理解从而确保指令不被忽略是很好的。

讨论总结

原帖作者在尝试自己编写聊天机器人时，对llama3的提示格式感到困惑，尤其对其中的一些元素如{{model_answer_1}}不理解。评论者们对此展开了技术层面的讨论，有的通过分享自己的项目经验来解释llama3提示模板的各部分，有的对原帖作者的具体疑惑点如{{model_answer_1}}的含义进行解答，也有评论者表示自己也存在类似困惑希望得到指导，还有人提出可以尝试向ChatGPT询问等建议，整体氛围是积极的技术交流。

主要观点

  1. 👍 llama3提示模板各部分有长标签，可通过示例项目中的模板来理解。
    • 支持理由：评论者通过自己项目中的模板示例进行讲解。
    • 反对声音：无
  2. 🔥 model_answer_1代表模型放置答案之处。
    • 正方观点：详细解释了其在提示模板中的意义。
    • 反方观点：无
  3. 💡 所涉及的是Jinja模板，可手动或借助库解析。
    • 解释：指出在处理相关模板时有多种方式。
  4. 💡 {{ system_prompt }}或{{ model_answer_1 }}是占位符。
    • 解释：明确这些符号在模板中的性质。
  5. 💡 不同模型对系统消息异常情况处理不同，有的模型对提示模板很敏感，有的则不太在意。
    • 解释：结合不同模型的特性阐述。

金句与有趣评论

  1. “😂 Notice that I left the begin of text off at the start; toy with that and see what results you get.”
    • 亮点：以一种轻松的方式分享在处理模板起始标记时的经验。
  2. “🤔 Normally at the end I’ll add a generation prompt to tell the AI to go next, and I’ve had pretty good results with that.”
    • 亮点：提供了在使用提示模板时提高效果的实用技巧。
  3. “👀 Different models handle it differently.”
    • 亮点：简洁概括了不同模型在处理提示模板相关情况时的差异。
  4. “😂 Have you tried feeding these questions to ChatGPT?”
    • 亮点：提出一种不同寻常的解决困惑的途径。
  5. “🤔 这些是Jinja模板。你如果想的话可以手动解析它们，但有很多库会为你做这件事。”
    • 亮点：对Jinja模板的处理给出清晰建议。

情感分析

总体情感倾向是积极的，大家都在积极地分享知识、解答疑惑或者提出合理的建议。主要分歧点较少，可能的原因是这是一个较为专业的技术话题，大家更多地是在陈述事实和分享经验，没有太多涉及主观喜好等容易产生分歧的方面。

趋势与预测

  • 新兴话题：通过查看标记器文件了解模型看到的内容，可能会引发更多关于模型如何处理输入的讨论。
  • 潜在影响：有助于开发人员更好地理解提示格式，从而提高聊天机器人开发的质量，也可能会影响到相关技术文档的编写和技术培训的内容。

详细内容：

《探索 prompt 格式：在困惑中寻求清晰》

在 Reddit 上，一则题为“我就是不理解 prompt 格式”的帖子引发了热烈讨论。该帖子获得了众多关注，众多用户纷纷发表自己的看法。原帖中，作者表示在尝试理解 prompt 格式以自行编写聊天机器人实现代码时，能理解 llama2 格式，但 llama3 格式让其感到困惑，不知道像“{{model_answer_1}}”这样的内容在代码中如何处理，也不清楚要向模型发送的确切字符串格式。帖子中还提供了相关的示例和链接，如https://huggingface.co/blog/llama3#how-to-prompt-llama-3。

讨论的焦点主要集中在如何正确理解和应用 prompt 格式。有人指出，想象一个包含系统提示和几条消息的对话，以具体的模板示例来帮助理解，比如https://github.com/SomeOddCodeGuy/WilmerAI/blob/master/Public/Configs/PromptTemplates/llama3.json。同时，对于直接调用 llama.cpp 时是否应放入所有标签等问题也有讨论。

有用户分享道：“不同的模型对 prompt 格式的处理方式不同。比如，我对 Qwen 进行操作时（见底部的 Sysmes；这只是更多的系统内容，因为 SillyTavern 允许这样做，而我在 ST 中进行编码工作），我输入的内容总是能得到尊重。”

还有用户表示：“{{ system_prompt }}或{{ model_answer_1 }}是占位符。system_prompt 可以是实际的字符串或先前定义的变量。”

对于 prompt 格式的应用，有人认为这在一开始确实很棘手，但很快就能适应，而且有些模型对其非常敏感，而有些则不太在意错误的 prompt 模板。

总的来说，理解和应用 prompt 格式需要不断的探索和实践，不同模型的差异也需要我们在实际操作中加以注意。