原贴链接

有没有人在这个规模的模型中成功实现多步工具调用？如果有，我很想听听你是怎么做的。我通过大量的提示在几个例子中实现了它，但对结果不满意，因为结果不稳定。

讨论总结

这是一个关于在Llama 70b模型中多步工具调用实现的讨论。原帖主对自己目前通过强力提示在几个例子中实现多步工具调用但结果不稳定不满意，寻求成功的实现方法。评论者们给出了不同的回应，包括可能相关的模型或方案名称、手动操作的经验分享、在调用工具前让模型思考的成果等，但整个讨论热度较低，没有形成广泛深入的交流。

主要观点

  1. 👍 可能推荐Athena - v2 - 72b - agent用于Llama 70b多步工具调用
    • 支持理由：无（仅给出名称，未做解释）
    • 反对声音：无
  2. 🤔 对多步工具调用概念不了解而询问
    • 正方观点：希望得到概念解释以便更好地参与讨论
    • 反方观点：无
  3. 🔥 分享手动多步工具调用的相关工具链接并解释手动操作的原因
    • 正方观点：满足streamlit模式运行和应对大量用户流量需求
    • 反方观点：无
  4. 💡 阐述手动操作中通过系统提示和检测文本内容来调用工具的方法
    • 解释：详细说明如通过设置系统提示让模型输出标签/块来检测文本中的代码块从而调用工具
  5. 🤝 正在让LLM在调用工具前先思考且实现方式放在gallama库中
    • 解释：这是一种独特的多步工具调用实现思路，还可通过xml格式定制思考内容

金句与有趣评论

  1. “😂 it’s manually from scratch not using agent, library, langchain, etc because it need to be able to run in streamlit mode and hold huge traffic user so any built in code not suitable for this they build for locals or 1 user only”
    • 亮点：详细解释了为什么要手动进行多步工具调用，涉及到运行模式和用户流量等关键因素。
  2. “🤔 Here [Cohere](https://docs.cohere.com/v2/docs/multi - step - tool - use) has a good write up on it. Basically the agent calls a tool (or several), thinks through the results, then calls another tool autonomously and the cycle repeats until task completion”
    • 亮点：给出了关于多步工具调用概念的解释链接，并简单概括其原理。
  3. “👀 我正在让llm在调用工具之前先进行一些思考。”
    • 亮点：提出了一种新的多步工具调用思路，让模型在调用工具前先思考。

情感分析

总体情感倾向比较积极正向，主要分歧点较少。大部分评论者都是在分享自己的成果或者询问相关概念以更好地交流，没有出现明显的争论。可能是因为这个话题比较小众和专业，大家更多是抱着交流学习的态度参与讨论。

趋势与预测

  • 新兴话题：无（目前讨论较为基础，没有明显新话题的产生）
  • 潜在影响：如果能有更多成功的多步工具调用实现方法分享，可能会对Llama 70b模型在相关领域（如自然语言处理、人工智能研究等）的应用和发展有一定推动作用。

详细内容：

标题：关于 Llama 70b 多步工具实现的热门讨论

在 Reddit 上，一则关于“Llama 70b 多步工具实现”的帖子引发了众多关注。该帖子提到，发帖者在一些例子中通过不断提示让其运行起来，但对不一致的结果感到不满意，想了解是否有人成功实现了这种规模模型的多步工具调用。此帖获得了一定的点赞和不少评论。

讨论的焦点主要集中在多步工具调用的实现方式、相关概念的解释以及个人的实践经历。有人提问什么是多步工具调用，以获取更多关于主题的信息。有用户解释说，比如Cohere就有很好的阐述，基本原理是代理调用一个或几个工具，思考结果，然后自动调用另一个工具，循环重复直到任务完成。

有人分享了手动操作的相关工具，并进一步解释手动操作的原因，称这是从头手动完成的，没有使用代理、库、langchain 等，因为需要能够在 streamlit 模式下运行并承载巨大的流量用户，任何内置代码都不适合，它们是为本地或单个用户构建的。还有人给出了具体的操作示例，比如制作一个系统提示，让模型输出标签/块等。

讨论中也存在一些疑问，比如有人不理解手动从无到有的意思，有人询问是否有整个过程的大致示例。同时，也有人表示将尝试某些方法或查看相关的库。

通过这次讨论，我们可以看到大家对于 Llama 70b 多步工具实现的积极探索和交流，不同的观点和实践经验丰富了讨论内容，也为解决问题提供了更多的思路和可能性。