原贴链接

大家好！我刚刚完成了我在公司的第一个小项目：一个简单的基于检索增强生成（RAG）的聊天机器人，它能够根据常见问题的内部报告、手册、标准程序以及关于公司/产品链接的一般知识的网页页面来帮助客服部门的同事。我使用LangChain进行向量数据库搜索，使用Flutter构建用户界面，在树莓派（RPi）上本地托管。我很开心尝试从旧的办公硬件中尽可能地榨取性能。我试验了小型和量化模型（大部分来自Bartosky，感谢他们！）。不幸的是，正如所料，即使是LLaMA 3.2 1B Q4也无法达到像样的速度（大于1个标记/秒）。所以，在等待GPU的时候，我正在通过他们的API测试Mistral、groq（推理速度真的很快！）和其他几个提供商。人工智能开发已经成为我的一个真正的爱好，尽管我的背景是其他类型的工程。我在工作中的“空闲”时间（简单但耗时的任务）听模型测试、试图学习神经网络如何工作，或者观看像Google Colab教程这样的实操视频。我知道我不会成为发表论文的研究人员或者这个领域的顶级开发者，但我想变得更好。作为一名人工智能开发者，你们建议我关注或学习什么来提高自己呢？提前感谢任何建议！

讨论总结

原帖作者分享自己在公司做的小型AI项目，提到使用的技术和遇到的性能问题，并询问如何提升自己作为AI开发者的能力。评论者们从不同角度进行回应，有人给出提升能力的建议，如关注HuggingFace、参考GitHub项目工作指南等；有人提出发展方向如多模态；有人表示共鸣；也有人对原帖中的技术选择提出疑问或者表达对项目的兴趣并希望获取更多信息。总体氛围积极且充满交流探讨的氛围。

主要观点

  1. 👍 关注HuggingFace有助于跟进AI领域最新发展
    • 支持理由：可以在LinkedIn等平台关注获取信息。
    • 反对声音：无。
  2. 👍 空间领导者的GitHub上有项目工作相关的示例资源
    • 支持理由：很多行业领导者提供了RAG应用等的示例手册，对概念验证有用。
    • 反对声音：无。
  3. 🔥 尝试不同1B模型和精度有助于提升AI开发能力
    • 正方观点：不同模型和精度的尝试可以带来更多的开发经验。
    • 反方观点：无。
  4. 💡 建议原帖作者朝着多模态方向发展
    • 解释：这是一种AI开发的发展方向。
  5. 💡 可以尝试构建不同类型的RAG解决方案提升能力
    • 解释：不同的RAG解决方案有不同复杂度，可以提高开发能力。

金句与有趣评论

  1. “😂 作为从局外人角度对这个领域产生兴趣的人，我发现在LinkedIn（以及这个社区）上关注HuggingFace有助于了解该领域的最新发展。”
    • 亮点：从自身经历出发给出建议。
  2. “🤔 对于涵盖ML概念，我推荐StatQuest作为一种引人入胜的引入资料的方式。”
    • 亮点：推荐了学习ML概念的好资源。
  3. “👀 MadK_92: I guess you and I are in the same path 🎉☺️”
    • 亮点：表达了与原帖作者的共鸣。

情感分析

总体情感倾向积极，评论者们大多积极回应原帖作者的问题，给出建议、表达共鸣或者兴趣。主要分歧点较少，可能是因为原帖主要是寻求建议，大家更多是分享自己的经验和观点，没有产生冲突性的意见。

趋势与预测

  • 新兴话题：原帖中提到的一些技术如LangChain、Mistral等可能会引发后续关于这些技术细节和应用的讨论。
  • 潜在影响：如果更多人关注这些AI开发的建议和方向，可能会提高AI开发在不同场景（如公司内部、个人业务、家庭实验室等）的应用水平。

详细内容：

《在公司的首个小型 AI 项目引发的热议》

在 Reddit 上，有一则获得了众多关注的帖子，其标题为“My First Small AI Project for my company”。作者分享了自己在公司完成的首个小型项目：一个基于内部报告、常见问题手册、标准程序和公司/产品链接网站页面，能够为协助部门同事提供帮助的简单 RAG 聊天机器人。该项目使用 LangChain 进行向量 DB 搜索，Flutter 构建 UI，并在本地的 RPi 上运行。作者在旧办公硬件上努力提升性能，尝试了小型和量化模型，但速度仍不理想，目前正通过 API 测试 Mistral、groq 等提供商。尽管作者的背景并非相关专业，但已将 AI 开发视为爱好，并希望在这方面有所提升，因而向大家请教改进的建议。此帖获得了大量点赞和丰富的评论。

讨论的焦点主要集中在以下几个方面： 有人认为，从外行角度对这一领域产生兴趣后，关注 HuggingFace 在领英等平台上的动态，以及社区交流，有助于了解该领域的最新进展。对于项目工作，很多行业领先者在 GitHub 上提供的示例对概念验证很有帮助。还有人推荐通过 StatQuest 来学习机器学习概念，以及 Karpathy 的课程来深入学习如何从无到有创建 GPT-2。Kaggle 也是进行相关学习和竞赛的优质平台。 有人建议尝试多模态。 有人表示应尝试不同的 1B 模型和精度，还提到谷歌 gemini 有慷慨的免费层级。 有人推荐尝试构建不同类型的 RAG 解决方案，并提供了相关的数据抓取工具链接[https://hub.athina.ai/top - 5 - open - source - scraping - and - ingestion - tools/](https://hub.athina.ai/top - 5 - open - source - scraping - and - ingestion - tools/) 。 有人询问 LangChain 的相关信息，作者回应称 LangChain 是一个很有帮助的 Python 库，通常使用提供商的 API，通过 Hugging Face 的 Python 库可下载开放权重模型的权重并在本地运行，但小模型也需要大量 VRam，在预算范围内运行 8b 模型较为可行。 有人好奇作者选择 Flutter 的原因，作者表示自己原本就对移动应用有所了解，且 Flutter 对浏览器支持良好。

讨论中的共识在于大家都积极分享经验和建议，帮助作者在 AI 开发的道路上取得进步。特别有见地的观点如通过特定平台获取最新动态、利用行业领先者的示例资源等，为大家提供了实用的学习路径。

在这场热烈的讨论中，我们看到了众多热心用户为作者出谋划策，共同探索 AI 开发领域的成长之路。相信这样的交流能够激发更多人的创新和进步。