原贴链接

有人在本地使用智能体吗？使用的是什么框架和模型？用于哪些用例？我一直在使用智能体进行编码，但本地运行速度太慢了。好奇是否有人能找到好的智能体，能在本地解决现实世界的问题，并且不用花一天时间才能得到结果。

讨论总结

原帖询问是否有人在本地使用智能体（agents），在讨论中，首先大家对智能体的定义展开了热烈讨论，有不同观点的交锋。接着许多评论者分享了自己在本地使用智能体的经验，包括用于编码、自动化任务等用途，还提到了使用不同框架和模型的情况，如Agentic、CrewAI、Langchain等，同时也指出了一些框架和模型存在的局限性、性能下降等问题。此外，还有人推荐了相关的资源和工具。

主要观点

  1. 👍 在讨论本地使用智能体相关问题前应先确定其定义。
    • 支持理由：如果对智能体的定义不明确，大家可能在讨论不同的概念，无法有效交流。
    • 反对声音：无
  2. 🔥 本地使用agents可用于多种用途。
    • 正方观点：多位评论者提到从RAG到编码等不同用途，如有人分享自己在编码方面使用本地agents。
    • 反方观点：无
  3. 💡 曾经尝试在本地使用代理但失败了。
    • 解释：有评论者表示去年花费很多时间尝试在本地使用代理，但是未能成功。
  4. 💡 Qwen2.5 Coder 14B GPTQ INT4运行速度快且遵循指令。
    • 解释：评论者在对比多种工具用于自动化代码相关工作时，发现该工具在这方面表现较好。
  5. 💡 试用知名代理框架结果失望。
    • 解释：评论者试用后发现一旦脱离gpt4，框架性能骤降，并且有些框架存在局限性，有些过度设计。

金句与有趣评论

  1. “😂 segmond：first we gotta agree on what an agent is so we can know if we are talking about the same thing…”
    • 亮点：提出在探讨本地使用智能体之前先明确其定义这一重要观点，引发后续深度讨论。
  2. “🤔 从一切从RAG到编码，我都在用。”
    • 亮点：表明本地使用agents用途广泛。
  3. “👀 我现在使用Qwen2.5 Coder 14B GPTQ INT4，它运行得快得要命，而且总是遵循指令。”
    • 亮点：直观地体现出该工具在运行速度和遵循指令方面的优势。
  4. “😂 我试用过最知名的代理框架，结果很失望。”
    • 亮点：直接表达对知名代理框架的不满。
  5. “🤔 我编写了自己的Python脚本，它能运行shell，可以做从下载文件、搜索谷歌、爬取网站和搜索结果、运行bash和Python等任何事情。”
    • 亮点：显示出自制脚本功能强大。

情感分析

总体情感倾向较为中性。主要分歧点在于智能体的定义、不同框架和模型的优劣等方面。对于智能体定义的分歧可能是由于其概念相对较新且复杂，不同人从不同角度理解。而对框架和模型评价的差异，是因为大家使用场景、需求以及所使用的硬件设备等因素不同导致的。

趋势与预测

  • 新兴话题：可能会进一步探讨如何优化本地使用智能体的性能，包括如何解决速度慢的问题。
  • 潜在影响：对智能体相关技术的发展和应用有推动作用，如果能够解决本地使用的各种问题，可能会促使更多人采用本地智能体技术，进而影响相关业务和开发模式。

详细内容：

标题：关于本地使用代理的热门讨论

在 Reddit 上，有一个题为“Anyone using agents locally?”的热门帖子引发了广泛关注。该帖子询问大家是否在本地使用代理，以及使用的框架、模型和应用场景。截至目前，它已获得了众多点赞和大量评论。

帖子引发了对代理定义、不同框架和模型的效果、运行所需的硬件条件等多方面的讨论。比如，有人认为代理是多个LLM（或具有多个角色的一个LLM）共同完成任务，并配备工具；但也有人指出，代理的关键在于采取行动，而不一定需要多个LLM或多个角色。

有人分享说：“我一直在使用代理进行编码，但在本地一切都太慢了。好奇大家是否找到了能在本地解决实际问题且响应迅速的好代理。”

有用户提到：“我有在做。从RAG到编码的各种应用。这在本地不应该花费太长时间，取决于你的设置，因为它只是将文本传递给LLM。我用过Agentic、CrewAI和Langchain。我发现Agentic和CrewAI相当有限，但两者的编码或使用界面都更简单。用Langchain构建代理需要更多的编码工作，理解起来有点难，但最终你可以创建一些强大的编码代理。”还有用户分享链接：“https://github.com/BrainBlend-AI/atomic-agents”

有人表示：“去年浪费了足够的时间试图让它工作。等待合适的模型再试一次。”也有人称：“Qwen 32b 几乎已经达到要求。”

还有用户讲述自己的经历：“我曾试图使用 GPT - 4o 和 Claude Sonnet 来自动化规划（文档记录）、开发，然后进行测试/验证代码。使用 GPT - 4o 获得准确格式的结果很糟糕，Claude 可以做到但成本高昂且经常出问题。我现在使用 Qwen2.5 Coder 14B GPTQ INT4，运行速度极快且总是遵循指令。本地模型最大的未被充分重视的好处是，你不必为每个令牌付费，所以你可以向它们发送大量的澄清、递归提示，以获得极其具体的输出，并通过强力方式解决问题。我正在使用 vLLM，对其性能非常满意。我没有使用框架。我开发了自己的提示循环和特定的提示序列，类似于 Cline vscode 扩展的方法。”

有人说自己在使用 ChatGPT 时没有格式问题的困扰，还分享了相关链接：“https://platform.openai.com/docs/guides/function - calling”

有人提到：“我玩过今年最知名的代理框架，但很失望，一旦离开 gpt4，它们的性能就急剧下降。有些有限制（crewai，autogen），有些过于复杂（langchain）。Openwebui 管道看起来很有前途，当我可以用一些 Python 代码就能完成事情时，为什么要使用复杂的代理框架呢？”

有人询问：“在本地运行代理需要什么样的设备？你们是使用云基础设施还是其他的？”有人回答自己拥有一台带有 rtx 4090 和 rtx 3090 的 Linux 机器。

有人提到 Qwen 和 deepseek 是不错的编码工具。

有人表示正在使用 CrewAI，认为在需要更自主的基于任务的工作且能自我纠正的系统时，它非常有用。

有人推荐了 Langroid 这个多代理框架，并提供了相关链接。

有人在公司的 Macbook Air M2（24Gb）上使用 ollama，称 7 - 9b 的效果不错。

有人在玩 Phidata，称其在某些任务上响应迅速。

有人自己编写了能完成多种任务的 Python 脚本，运行效果良好。

关于代理的定义和效果，大家各抒己见。有人认为速度取决于 LLM 而非代理本身。那么，到底如何在本地找到高效实用的代理框架和模型，以及如何优化运行效果，这仍需大家进一步探讨和实践。