原贴链接

嗨，我在Hugging Face工作，我的团队刚刚发布了一个基于Apache 2.0许可的免费无代码合成数据生成用户界面。合成数据生成器允许你创建用于训练和微调语言模型的高质量数据集。[公告博客](https://huggingface.co/blog/synthetic - data - generator)给出了如何使用它的实际示例，我们还制作了一个[YouTube视频](https://www.youtube.com/watch?v = nXjVtnGeEss)。支持的任务：文本分类（50个样本/分钟）用于监督微调的聊天数据（20个样本/分钟）。这个工具简化了创建自定义数据集的过程，使你能够：描述期望应用的特征迭代样本数据集生成全规模数据集将你的数据集推送到[Hugging Face Hub](https://huggingface.co/datasets?other = datacraft)和/或Argilla。一些很棒的附加功能：可pip安装本地托管替换Hugging Face模型使用与OpenAI兼容的API。一些任务打算根据[GitHub](https://github.com/argilla - io/synthetic - data - generator/issues)上的参与情况添加：用大型语言模型（LLM）评估数据集生成RAG数据集。一如既往，我们欢迎建议和反馈。

讨论总结

Hugging Face推出了合成数据生成器，评论者们从多个方面进行了讨论。包括数据合成方式、工具功能、与其他类似工具的比较、数据多样性提升等，整体氛围比较积极且多是建设性的意见。

主要观点

  1. 👍 数据合成应从种子数据开始
    • 支持理由：真正的数据合成需要原材料，仅靠提示生成的数据多样性低
    • 反对声音：无
  2. 🔥 Hugging Face合成数据生成器与InstructLab解决同一问题的不同方面的方式有差异
    • 正方观点：两者各有特点，InstructLab有前期投入大等局限，Hugging Face工具使用更灵活
    • 反方观点：无
  3. 💡 合成数据生成器每个样本默认标记数量为2048，可配置
    • 解释：自部署时可通过环境变量或免费推理端点配置，当前因共享资源速率低
  4. 💡 项目代码在GitHub上公开，询问是否有人关注内部机制
    • 解释：公开代码并探寻他人兴趣
  5. 💡 在文本分类和指令调整任务下有提升数据多样性的方法
    • 解释：可借助相关论文成果操作，不同任务操作不同

金句与有趣评论

  1. “😂 Spirited_Example_341: create billions and billions of poems about cats”
    • 亮点：用诙谐的方式提出利用合成数据生成器创作猫主题诗歌
  2. “🤔 EliaukMouse：Real data synthesis should start from seed data.”
    • 亮点：指出数据合成的正确起点
  3. “👀 chef1957：I think both tools take different approaches to solving different aspects of the same problem.”
    • 亮点：对两个工具的比较做出概括性的观点

情感分析

总体情感倾向是积极的。主要分歧点在于对数据合成方式的看法，部分人认为仅用一个提示生成大量数据存在问题，可能的原因是对数据合成的标准和要求有不同理解。

趋势与预测

  • 新兴话题：对小模型微调数据集的使用可能性。
  • 潜在影响：如果能解决数据多样性等问题并完善功能，可能会对自然语言处理模型的训练和优化产生积极影响。

详细内容：

标题：Hugging Face 推出合成数据生成器引发热烈讨论

Hugging Face 团队发布了一款免费的无代码合成数据生成器 UI，此消息在 Reddit 上引起了广泛关注。原帖介绍了该生成器在 Apache 2.0 许可下，能够为训练和微调语言模型创建高质量数据集，还提供了相关的博客和视频链接。

帖子获得了众多的评论和讨论，主要方向集中在以下几个方面： 有人认为，以往类似工具的最大问题是过于追求易用性，仅一个提示就能生成大量数据，但数据多样性过低，真正的数据合成应从种子数据开始，而当前这种方式不能称为合成数据，更像是由 LLM 生成的数据。但也有人指出，通过一些方法如 prompt 重写和动态类别注入等增加了多样性，在手动测试中效果显著。 关于每个样本能包含的 token 数量，默认是 2048，但可通过环境变量自行配置。 有人对内部机制感兴趣，相关代码已在 GitHub 上公开。 对于如何提高数据多样性，有人分享了针对不同任务的一般方法，并提供了相关论文链接。 有人认为用 streamlit 从零开始做类似的东西会更灵活。 还有人提出各种有趣的想法，如生成大量关于猫的诗歌，以及对生成 RAG 数据集的期待等。

在讨论中，大家对于该工具与其他类似工具如 InstructLab 的比较也进行了探讨，认为两者在解决问题的方式和适用场景上有所不同。

这一讨论展示了大家对数据生成工具的关注和思考，也为工具的进一步完善和发展提供了有价值的参考。