原贴链接

我可以运行高达123B的模型，我需要一个能够理解和编写复杂叙述，并将其输出为严格一致的JSON结构的模型。

请提供建议 :)

讨论总结

本次讨论主要聚焦于如何选择和优化大型语言模型（LLM）以输出严格正确的结构化JSON。参与者们推荐了多种工具和方法，包括使用Mistral 0.3、EXL2与aphrodite-engine、outlines和Formatron等，以及通过优化提示和示例来确保输出符合pydantic模式。此外，讨论还涉及了模型组合、输出修正和自动化思维链等高级应用，以及格式限制对模型性能的影响。总体上，讨论呈现出一种技术探索和实践分享的氛围，旨在帮助用户找到最适合其需求的解决方案。

主要观点

  1. 👍 使用支持约束生成的后端可以使任何LLM输出严格正确的结构化JSON。
    • 支持理由：这种方法确保了输出的准确性和一致性，适用于需要严格JSON格式的场景。
    • 反对声音：可能需要额外的开发和配置工作，对非技术用户不够友好。
  2. 🔥 Mistral 0.3、EXL2与aphrodite-engine、outlines和Formatron是推荐的工具。
    • 正方观点：这些工具在处理复杂叙述和输出JSON方面表现出色，得到了广泛推荐。
    • 反方观点：部分用户可能对这些工具的性能和兼容性持保留态度。
  3. 💡 良好的提示和示例对于确保输出符合pydantic模式至关重要。
    • 解释：通过提供清晰的提示和示例，可以显著提高模型输出JSON的准确性和一致性。
  4. 🚀 使用两个代理来分别处理查询和JSON格式化。
    • 解释：这种方法有助于模型理解和编写复杂叙述，并确保输出的JSON结构严格一致。
  5. 🌟 Qwen 2 72B是处理复杂叙述并输出JSON结构的最佳智能模型。
    • 解释：该模型在处理复杂任务时表现出色，尤其适合需要高智能输出的场景。

金句与有趣评论

  1. “😂 Any LLM can do strictly correct structured JSON output if you use a backend that supports constrained generation.”
    • 亮点：强调了使用正确工具和方法的重要性。
  2. “🤔 On a related note, llama.cpp supports strict JSON schema outputs now.”
    • 亮点：提供了关于新工具支持的信息，增加了讨论的实用性。
  3. “👀 You could use 2 models instead of one, the first model can be any model really, just don’t tell it to output json, then you can use the nuextract model to put everything into a nice json”
    • 亮点：提出了创新的模型组合方法，为解决复杂问题提供了新思路。

情感分析

讨论的总体情感倾向是积极和探索性的，参与者们分享了多种工具和方法，旨在找到最佳解决方案。主要分歧点在于不同工具和方法的性能和适用性，以及格式限制对模型性能的影响。这些分歧主要源于技术细节和实际应用中的挑战。

趋势与预测

  • 新兴话题：模型组合和自动化思维链的应用可能会引发更多后续讨论。
  • 潜在影响：优化LLM输出JSON格式的技术和方法可能会对相关领域产生深远影响，特别是在需要严格结构化输出的场景中。

详细内容：

《寻找最佳本地 LLM 以实现优质 JSON 输出》

近日，Reddit 上有一个热门讨论帖引起了广泛关注，题为“ What’s the BEST local LLM for JSON output, while also being smart?”，帖子获得了众多的点赞和大量的评论。原帖作者表示能运行多达 123B 的模型，需要一个能理解并编写复杂叙述，并将其输出为严格且一致的 JSON 结构的模型，希望大家给出建议。

这一话题引发了热烈的讨论，观点众多。有人提到任何 LLM 若使用支持约束生成的后端，都能实现严格正确的结构化 JSON 输出，比如个人使用的 Mistral 0.3，EXL2 搭配 aphrodite-engine 和 outlines，还推荐了近期发布的 Formatron：https://github.com/Dan-wanna-M/formatron 以及 LM Format enforcer：https://github.com/noamgat/lm-format-enforcer 。有人指出 llama.cpp 现在支持严格的 JSON 模式输出，还能使用自定义 GBNF 文件让 LLM 生成任何无上下文语法。有人认为 Qwen 2 72B 是完成此任务的最佳且最智能的模型，若只想要 JSON 输出而不需要太多智能，可使用约束生成。还有人提到 Gemma 2 系列在相关任务中的表现出色。

同时，也有人提出了疑问和担忧。有人想知道这种方法的速度惩罚是多少，需要进行一些基准测试。有人提醒在需要 JSON 输出时要注意输出令牌限制，如果令牌限制小于整个 JSON，将无法完成任务，在这种情况下需要让 LLM 继续写，并通过代码组合。有人指出一篇近期的论文称强制 LLM 输出 JSON 会大大降低其质量，但也有人对此进行了澄清和讨论。

讨论中的共识在于，选择合适的模型和工具来实现 JSON 输出需要综合考虑多种因素，包括模型的性能、智能程度、输出限制等。特别有见地的观点是，要根据具体任务和需求来灵活选择和运用不同的模型及方法。

总之，关于寻找最佳本地 LLM 以实现优质 JSON 输出的讨论仍在继续，为相关领域的探索提供了丰富的思路和参考。