原贴链接

嘿，如果你看到了我之前的帖子，谢谢！我一直在努力工作，终于成功地在GitHub上更新了新版本，该版本在选择顶部结果后完全抓取网页内容来回答用户的问题。LLM会选择搜索查询，然后从该查询中选择10个最相关的结果中的2个。

然后，它将从这些结果中获取大量信息，并决定是否进行进一步搜索，或者直接回答用户的问题。这个更新花费了无数个小时，我真的很希望这是一个改进！此外，我还更新了程序，使其包含一个llm_config.py文件，该文件允许你更改llama.cpp设置，并且如果你的llama.cpp启用了GPU支持，还可以使用GPU运行程序！

https://github.com/TheBlewish/Web-LLM-Assistant-Llama-cpp

去看看吧，我希望你们都能欣赏它！

讨论总结

本次讨论主要围绕一个通过 llama.cpp 运行的本地 LLM（大型语言模型）程序的更新展开。作者分享了程序的新版本，该版本能够通过网络抓取最相关的结果来回答用户的问题，并支持 GPU 加速。讨论中，评论者们对作者的努力表示赞赏，并提出了一些改进建议，如增加对 OpenAI 兼容 API 的支持、模块化设计等。此外，还有一些关于程序功能和未来发展的讨论，如与 continue.dev 平台的集成、绕过机器人阻止程序的方法等。总体而言，讨论氛围积极，充满了对作者的感谢和期待。

主要观点

  1. 👍 赞赏作者分享作品的行为
    • 支持理由：评论者认为作者的分享行为值得赞赏，有助于社区的发展。
    • 反对声音：无
  2. 🔥 建议增加对 OpenAI 兼容 API 端点的支持
    • 正方观点：这将使程序更加通用和易于使用。
    • 反方观点：实现这一功能需要时间和测试，可能存在技术挑战。
  3. 💡 程序通过 DuckDuckGo 进行搜索，并抓取最相关的两个搜索结果
    • 解释：该程序通过 DuckDuckGo 进行搜索，并抓取 LLM 认为最相关的两个搜索结果来回答用户问题。
  4. 💡 讨论了如何绕过机器人阻止程序
    • 解释：评论者询问如何绕过机器人阻止程序，回复者解释说程序会阅读并遵守 robot.txt 文件。
  5. 💡 提出将本地 LLM 程序与 continue.dev 平台集成
    • 解释：评论者建议将本地 LLM 程序与 continue.dev 平台集成，认为这种集成将会非常出色。

金句与有趣评论

  1. “😂 Everlier：Kudos on making something and sharing it with the world!”
    • 亮点：表达了对作者分享作品的赞赏。
  2. “🤔 Dazzling-Albatross72：Hey this is a really good project but I feel like one crucial thing it is missing is the ability to use OpenAI compatible api endpoints.”
    • 亮点：提出了一个关键的改进建议。
  3. “👀 tapiocode：I like how different tones of voice play a part in the precise science of LLM tools engineering.”
    • 亮点：强调了 LLM 工具工程中语调控制的重要性。
  4. “👀 swagonflyyyy：How do you get around robo blockers? Or do you just go down the next search result?”
    • 亮点：提出了一个实际操作中的问题。
  5. “👀 fka_nate：Would there be a way to integrate this into continue?”
    • 亮点：提出了一个有趣的未来发展方向。

情感分析

讨论的总体情感倾向积极，大部分评论者对作者的工作表示赞赏和感谢。主要分歧点在于对程序未来发展的建议，如增加对 OpenAI 兼容 API 的支持、模块化设计等。这些分歧主要源于对程序功能和易用性的不同期望。

趋势与预测

  • 新兴话题：将本地 LLM 程序与 continue.dev 平台集成，以及绕过机器人阻止程序的方法。
  • 潜在影响：这些改进可能会使程序更加通用和易于使用，吸引更多用户和开发者参与。

详细内容：

标题：Python 程序重大更新，实现本地 LLMs 互联网搜索功能引发热烈讨论

在 Reddit 上，一篇关于大幅更新 Python 程序的帖子引发了众多关注。该程序能让通过 llama.cpp 运行的本地 LLMs 在互联网上进行搜索，目前已在 GitHub 上更新了新版本，能对搜索结果进行全面的网络抓取。原帖获得了大量的点赞和评论。

这一更新花费了作者无数个小时，还为程序添加了 llm_config.py 文件，支持更改 llama.cpp 的设置，并在 GPU 支持启用的情况下使用 GPU 运行程序。帖子中还提供了 GitHub 链接：https://github.com/TheBlewish/Web-LLM-Assistant-Llama-cpp ，希望大家能前去查看。

讨论的焦点主要集中在以下几个方面： 有人称赞作者与世界分享成果。有用户提出项目缺少使用 OpenAI 兼容的 API 端点的能力，作者表示会尝试在几周内解决。还有人认为将 llama.cpp 运行在服务器上通过 OpenAI API 访问通常会更快。有人建议通过一系列步骤实现相关改进，如添加可选步骤启动服务器，并将获取 LLM 响应的功能进行模块化等。也有人认为应专注于本地 llm 和 llama.cpp，还有人提到不同的推理引擎都使用 OpenAI API 标准的端点。

有用户认为构建有用的软件关键在于接口。还有人好奇该程序是否类似于 perplexity，能否用于 pubmed。作者回复称该程序适用于互联网搜索，并非专门针对 pubmed。有人询问如何绕过机器人拦截器，作者表示会直接查看下一个搜索结果，并强调程序会遵守所有网站的 robot.txt 规则。

总之，关于这个程序的讨论丰富多样，既有对作者努力的肯定，也有对其功能改进和拓展的期待。