原贴链接

大家好，Llama 爱好者们，

Llama 3.1 的聊天模板再次更新了。在过去的一周里，我们收到了两次更新：第一次更新 增加了函数调用功能，而 第二次更新 修复了一个小问题。

我认为 llama.cpp 没有 Jinja 解析器，这意味着这些更改对 GGUF 量化器无关紧要。不过，我听说在同一时间修复了一个与函数调用无关的特殊标记错误，这可能会影响 llama.cpp 的推理，但这一切都是猜测。我不记得在哪里看到过这些信息，所以这些信息不能太当真。

编辑：在第一个链接的第一条消息中找到了信息：

这个新的聊天模板增加了对工具调用的适当支持，并修复了 add_generation_prompt 支持缺失的问题。

我不知道 add_generation_prompt 在我们的情况下是否有用。

我尝试使用 gguf_set_metadata.py 手动编辑我的量化器元数据。但遗憾的是，这个工具似乎不支持字符串编辑，所以无法编辑聊天模板 :(

$ python gguf_set_metadata.py Meta-Llama-3.1-8B-Instruct-Q4_0.gguf tokenizer.chat_template "$(jq -r .chat_template < tokenizer_config.json)"
INFO:gguf-set-metadata:* 加载中: Meta-Llama-3.1-8B-Instruct-Q4_0.gguf
ERROR:gguf-set-metadata:! 此工具仅支持更改简单值，'tokenizer.chat_template' 的类型不支持 [<GGUFValueType.STRING: 8>]

我犹豫是否要重新量化所有内容并重新上传。你们怎么看？

讨论总结

Reddit用户围绕Llama 3.1聊天模板的更新展开了讨论，主要关注点包括新聊天模板的使用示例、工具调用、元数据编辑以及特殊标记错误的修复。用户们分享了他们在处理这些更新时遇到的技术挑战，如手动编辑元数据失败、特殊标记的处理等。此外，一些用户提供了如何更新gguf文件中聊天模板元数据的解决方案，并讨论了这些更改对llama.cpp的影响。总体上，讨论涉及了技术细节和实际操作中的困难，反映了用户对新功能和修复的关注。

主要观点

  1. 👍 新聊天模板的使用示例
    • 支持理由：用户dhruvmullick询问如何使用新聊天模板，并猜测可能需要按照JSON工具调用格式进行格式化。
    • 反对声音：无明确反对声音，但存在对具体操作的疑问。
  2. 🔥 聊天模板更新对GGUF quants用户的影响
    • 正方观点：评论者指出这些更新可能对GGUF quants用户不相关，因为llama.cpp似乎没有jinja解析器。
    • 反方观点：无明确反方观点，但有用户尝试手动编辑元数据并遇到困难。
  3. 💡 特殊标记错误的修复
    • 解释：评论者提到虽然有一个与函数调用无关的特殊标记错误被修复，但这只是基于不确定的信息。
  4. 💡 元数据编辑的挑战
    • 解释：评论者尝试手动编辑quants元数据，但发现工具不支持字符串编辑，因此无法更新聊天模板。
  5. 💡 更新gguf文件中聊天模板元数据的解决方案
    • 解释：rusty_fans提供了使用./gguf-py/scripts/gguf_new_metadata.py脚本更新元数据的解决方案。

金句与有趣评论

  1. “😂 Is there an example of how to use this new chat template?”
    • 亮点：dhruvmullick的提问简洁直接，反映了用户对新功能的具体操作需求。
  2. “🤔 None of it is relevant unless you use those specific tool calling tokens.”
    • 亮点：a_beautiful_rhind的观点清晰，指出了更新对特定用户群体的不相关性。
  3. “👀 In some of my really simple experiments, I’ve been using requests.post() directly, and manually building up my giant prompt by adding the tokens ("<|start_header_id|>ipython<|end_header_id|>", etc) and that is painful!”
    • 亮点：Simusid的评论生动描述了手动处理特殊标记的繁琐过程，引起共鸣。

情感分析

讨论的总体情感倾向较为中性，用户们对新聊天模板的更新持关注态度，但也表达了对技术挑战和操作困难的担忧。主要分歧点在于更新对不同用户群体的相关性和实际操作的可行性。可能的原因包括技术细节的复杂性和用户对新功能的不确定性。

趋势与预测

  • 新兴话题：用户对如何有效利用新聊天模板和处理特殊标记的讨论可能会持续，特别是关于工具调用和元数据编辑的技术细节。
  • 潜在影响：这些讨论可能会促使开发者提供更详细的文档和工具支持，以帮助用户更好地适应新功能。