原贴链接

有人成功创建了能按需智能调用工具的聊天机器人吗？我一直在使用Langchain，它在闭源模型上运行良好，但在开源模型上运气不佳。其中一些问题是由于Ollama的提示模板不正确。但我最近也尝试使用了Groq，例如，即使是Llama 3.3效果也不太好。如果你有任何成功案例，我很乐意听听：你的大型语言模型调用了什么工具？你使用的是什么大型语言模型？如果使用了框架/库（如Langchain、Smolagents等），是哪一个？

讨论总结

原帖寻求创建能按需智能调用工具的聊天机器人成功案例，询问相关的工具、模型和框架等信息。评论者们分享了各自的经验，如在使用Ollama时遇到问题但切换模型托管方式后工具调用正常，也有人推荐Llamaindex因其文档和工具调用功能较好，还有人提到不同模型在智能调用工具或结构化生成方面的表现，以及不同场景下基准测试结果、代理构建情况等内容，并且有对特定模型使用效果不佳情况的讨论，也包含了一些工具或框架的推荐。总体氛围比较平和，大家专注于分享知识和经验。

主要观点

  1. 👍 Ollama存在工具调用问题，切换模型托管方式可解决
    • 支持理由：评论者GortKlaatu_分享自身经历表明切换到LM Studio托管相同模型后工具调用正常，而使用Ollama时存在问题。
    • 反对声音：无
  2. 🔥 工具调用不一定要用Langchain，良好工具描述即可
    • 正方观点：评论者指出自己团队构建代理时不需要Langchain，仅靠良好的工具描述就能进行工具调用。
    • 反方观点：无
  3. 💡 Llamaindex的文档和代码示例容易理解且工具调用功能很棒
    • 解释：评论者SkyCandy567使用Llamaindex时得出这一结论。
  4. 💡 Llama 3.3使用效果不佳，回应存在奇怪之处
    • 解释：原帖作者edmcman在再次尝试Llama 3.3后发现回应奇怪，如挑选函数询问不合理、未按要求提供反编译代码等情况。
  5. 💡 不同模型在结构化生成方面表现不同
    • 解释：评论者hedonihilistic指出gpt 4o mini、Claude、部分Llama模型在结构化生成方面表现较好，部分Mistral模型存在困难。

金句与有趣评论

  1. “😂 我的最大问题是使用Ollama。”
    • 亮点：简洁直白地指出使用Ollama时存在较大问题。
  2. “🤔 works ok for me.. the as needed part all depends on the definition of the tool.”
    • 亮点：提出了聊天机器人按需调用工具的情况取决于工具定义这一独特观点。
  3. “👀 我发现他们的文档和代码示例对我来说很容易理解。”
    • 亮点：表明Llamaindex在文档和代码示例方面的优势。
  4. “😎 我有一个前端，带有网络搜索和YouTube转录工具，当我想获取信息但不想看一小时臃肿且有七次广告中断的视频时就会使用。”
    • 亮点：生动描述了使用前端工具获取信息的场景和原因。
  5. “💥 You can do this with Langroid, works with any LLM, see my earlier post here: https://www.reddit.com/r/LocalLLaMA/s/yZv5ioxovl"
    • 亮点：推荐了Langroid用于智能调用工具并给出获取更多信息的途径。

情感分析

总体情感倾向比较中性。主要分歧点较少，不过在对不同工具和模型的评价上存在一些差异，例如对Ollama的评价既有喜爱又有无奈（因为有问题但没时间研究解决），对Llama 3.3的使用效果有不好的评价。这些差异主要是因为大家使用的场景、对工具和模型的需求以及自身经验不同。

趋势与预测

  • 新兴话题：探索Llama 3.3得分低的情况以及Langroid工具调用的更多应用可能会成为后续讨论话题。
  • 潜在影响：这些分享有助于其他人在创建聊天机器人时选择合适的工具、模型和框架，提高智能调用工具的效率，推动相关技术在不同应用场景中的发展。

详细内容：

标题：关于工具调用聊天机器人的热门讨论

在 Reddit 上，一篇题为“Tool-calling chatbot success stories”的帖子引起了广泛关注。该帖子提到了在创建能够按需智能调用工具的聊天机器人方面遇到的问题，作者使用 Langchain 与闭源模型配合效果不错，但开源模型效果欠佳，例如 Ollama 存在错误的提示模板，使用 Groq 及 Llama 3.3 也不太理想，并希望听到成功案例。此帖获得了众多点赞和大量评论。

讨论的焦点主要集中在不同模型和框架在工具调用方面的表现。有人表示从 Ollama 切换到 LM Studio 后一切都变得顺利；也有人吐槽在 Ollama 上浪费了很多时间，建议避免使用，因其不支持某些功能。还有人分享使用 smolagents 与 qwen coder instruct 32B 的经历。

例如，有用户称自己最大的问题是使用 Ollama，切换到 LM Studio 后就好了。但也有人指出 Ollama 曾经是不错的提示信息源。还有用户分享了在使用 Llama 3.3 时遇到的奇怪响应，如随机选择函数询问、未给出分解代码等。

一些有趣或引发思考的观点包括：有人提到对于 BFCL 基准测试，不同模型的得分情况有所不同；有人认为 vLLM 用于本地自托管模型搭配合适的解析器是个好选择；还有用户提到在很多应用中使用结构化生成，不同模型表现各异。

总之，这次关于工具调用聊天机器人的讨论呈现出观点的多样性，大家在分享经验和观点的同时，也为进一步探索和改进提供了有价值的参考。