原贴链接

大家好！

我正在考虑制作一个新的工具包，用于从大型语言模型（LLMs）构建稳定可靠的API。目的是能够为特定任务提供一致、快速的结构化响应，这些响应适合实际产品。

在我开始之前，我想了解一下大家在这个领域最喜欢的工具。基本上，最好的工具和流程涵盖以下方面：

  • 提示工程

  • 训练数据管理（标注、合成数据生成/验证）

  • 微调：尝试不同的基础模型并选择合适的模型。从更大的模型中提取知识。

  • 主观评估：不仅仅是模型统计数据，更关注产品中的质量。

  • 迭代：随着时间的推移持续改进输出。包括反馈、数据集迭代、新的基础模型和路由。

如果在构建定制模型/API以解决实际问题时使用了其他工具，我非常好奇想听听。

我有构建大型机器学习产品的背景。最近的一个项目是iOS 16中的照片锁屏（离开苹果后开始构建新事物）。我想把我多年来在构建/迭代具有主观结果的机器学习问题中学到的一些最佳实践，融入到一个让任何人都能快速轻松使用的优秀工具包中。在我开始之前，我想对最新的/最伟大的工具进行一些研究，以免重复发明轮子。

提前感谢！

讨论总结

本次讨论主要围绕如何构建一个从大型语言模型（LLMs）到稳定API的工具包。参与者分享了多种工具和方法，包括简单的文本摘要工具、复杂工具的开发需求、数据微调、版本迭代以及提示工程。此外，还有用户分享了使用Llama3.1模型创建教程和新闻机器人的经验。整体讨论氛围积极，参与者提供了实用的工具推荐和经验分享。

主要观点

  1. 👍 简单的文本摘要工具
    • 支持理由：Master-Meal-77提供了一个简单的Python函数，用于总结任意文本，虽然简单但非常实用。
    • 反对声音：无
  2. 🔥 开发更复杂工具的需求
    • 正方观点：davernow强调了开发更复杂工具的需求，包括长提示构建、结构化输出、数据微调、评估和版本迭代。
    • 反方观点：无
  3. 💡 使用Llama3.1模型创建教程和新闻机器人
    • 解释：DunklerErpel分享了使用Llama3.1模型创建自定义教程和新闻机器人的经验，并表示愿意分享相关的提示和方法。

金句与有趣评论

  1. “😂 This might be way too simple / not what you mean at all, but I have a specific function just for summarizing a given text.”
    • 亮点：Master-Meal-77提供的简单但实用的文本摘要工具。
  2. “🤔 Plan here is to make tooling for more complicated cases.”
    • 亮点：davernow强调了开发更复杂工具的需求。
  3. “👀 Out of boredom I started playing around more and got some really good results.”
    • 亮点：DunklerErpel分享了使用Llama3.1模型取得不错效果的经验。

情感分析

讨论的总体情感倾向积极，参与者提供了实用的工具推荐和经验分享。主要分歧点在于工具的复杂性和实用性，但整体上大家对构建新工具包的想法表示支持。

趋势与预测

  • 新兴话题：可能会有更多关于使用Llama3.1模型和其他高级工具的分享和讨论。
  • 潜在影响：这些工具和方法的分享可能会促进更多创新和实用的API开发，特别是在大型语言模型应用领域。