原贴链接

大家好，这是我第一次尝试做这样的东西，也许其他人之前已经做过类似的事情，也许没有。无论如何，这花费了我很多很多小时的编码和解决问题，我很乐意得到一些反馈，也许还有一些兴趣，那些比我更擅长编码的人可能会进一步完善这个程序。

https://github.com/TheBlewish/Web-LLM-Assistant-Llama-cpp

老实说，考虑到核心目标是让一个LLM通过Llama.cpp来搜索互联网，我对我的成果感到相当满意。它并不完美，但它100%可以用LLM来搜索互联网，比单独使用Llama.cpp要好得多（它实际上根本做不到，哈哈）。欢迎大家查看，并随意尝试一下！

编辑：在请求之后，我现在制作了一个视频来演示这个程序的使用，请查看：

https://youtu.be/3t4_NdwmgUw?si=EYI93qyE9jDnttbx

讨论总结

本次讨论主要围绕一个基于 Llama.cpp 的 Python 程序展开，该程序允许用户通过 LLM 进行互联网搜索。开发者们分享了各自的项目，讨论了技术实现细节、改进建议和未来功能计划。整体讨论氛围积极，开发者们互相提供反馈和建议，展示了技术交流和合作意愿。主要话题包括程序的技术实现、API 使用、演示视频的制作、以及未来功能的扩展，如网页抓取。

主要观点

  1. 👍 程序使用 DuckDuckGo 搜索 API 进行互联网搜索

    • 支持理由：DuckDuckGo 提供了高效的搜索服务，且无需依赖 Google API。
    • 反对声音：无明显反对声音，但有开发者建议考虑其他 API 支持。

  2. 🔥 建议制作演示视频以更好地展示程序功能

    • 正方观点：演示视频能够直观展示程序的工作原理和实际应用。
    • 反方观点：有开发者认为视频已经足够，但也可以考虑添加预览图片。

  3. 💡 开发者之间表达了合作意愿

    • 解释：开发者们分享了各自的项目，讨论了项目的相似性和差异，并表达了共同提升本地 LLM 网络搜索能力的意愿。

  4. 💡 计划在未来添加网页抓取功能

    • 解释：作者计划在未来扩展程序功能，添加网页抓取功能以增强实用性。

  5. 💡 程序不需要服务器，直接运行 Python 脚本即可

    • 解释：这一点被认为是项目的优点之一，简化了部署和使用流程。

金句与有趣评论

  1. “😂 Is it using a Google api, request or some sort of selenium?”

    • 亮点：询问程序的技术实现细节，引发了关于 API 使用的讨论。

  2. “🤔 Its using duck duck go search API!”

    • 亮点：确认了程序使用 DuckDuckGo 搜索 API，为其他开发者提供了有价值的信息。

  3. “👀 Thanks for the feedback! It was constructive, I can do the video tomorrow, but for now, what I mean is that you can ask the LLM a query, for example: "Is the boeing starliner still stuck on the international space station", then the LLM will decide on a search query and a time frame for which to show results from as in results for the last day or last year, depending on the needs of your search.”

    • 亮点：详细解释了程序的工作原理，展示了 LLM 在互联网搜索中的应用。

  4. “👀 No worries, thanks for your interest! It took a while to make, so I hope it’s useful!”

    • 亮点：作者对评论者的兴趣表示感谢，并强调了项目的实用性。

  5. “👀 在 README 文件中添加预览图片会很好，你可以看看 Perplexica 是如何实现某些功能的，比如使用 searnxg。”

    • 亮点：提出了改进建议，强调了展示优化的重要性。

情感分析

讨论的总体情感倾向积极，开发者们互相提供反馈和建议，展示了技术交流和合作意愿。主要分歧点在于程序的技术实现细节和展示方式，但整体上没有明显的负面情绪。可能的原因是开发者们对技术实现和功能扩展的兴趣，以及对项目实用性的认可。

趋势与预测

  • 新兴话题：未来可能会围绕网页抓取功能的实现展开更多讨论，以及如何进一步优化 LLM 在互联网搜索中的应用。
  • 潜在影响：该项目的成功可能会激发更多开发者探索本地 LLM 在互联网搜索中的应用，推动相关技术的发展和创新。

详细内容：

标题：用 Python 编写的基于 Llama.cpp 的互联网搜索 LLM 程序引发 Reddit 热议

在 Reddit 上，一位用户分享了自己编写的一个 Python 程序，声称能够通过 Llama.cpp 让 LLM 搜索互联网。此帖获得了众多关注，点赞数众多，评论也十分热烈。主要讨论方向集中在程序的实现方式、功能特点以及改进建议等方面。

文章将要探讨的核心问题是该程序的实用性、创新性以及未来的发展潜力。

在讨论中，有人好奇这个程序是否使用了谷歌 API 或某种形式的 Selenium，作者回应称使用的是 Duck Duck Go 搜索 API。有人提出建设性反馈，不明白“简单网络搜索助手”的具体用途，建议录制视频进行演示，作者表示明天会录制视频，并详细解释了程序的工作原理，即用户提出查询，LLM 决定搜索查询和时间范围，执行网络搜索并收集结果，根据结果决定是否能回答问题，若不能则重新搜索。还有人表示会进行测试并感谢分享，有人认为在 README 中添加预览图片会更好，也有人提到可以从 perplexica 的实现中获取灵感，增加对 ClosedAI 等 API 的支持。另外，有用户分享自己构建了类似的程序，并指出两者的异同。

在这些观点中，有人认为作者的程序虽然可能相对业余，但无需服务器，运行 Python 脚本即可工作，这是一个优点。而另一位用户构建的程序在某些方面更加复杂，但也各有特色。

总的来说，这次讨论达成的共识是这个程序具有一定的创新性和实用性，但仍有改进和完善的空间。一些独特的观点，如增加预览图片和支持更多 API，丰富了关于程序发展的讨论。希望这个程序在未来能够不断优化，为用户带来更好的体验。