需要帮助：在大数据集（10万+文档）中按主题分类文档的最佳方法

大家好，

我正在做一个项目，涉及根据主题对超过10万份文档进行分类。我正在寻找最有效的方法来实现这一目标，无论是通过传统的机器学习技术还是利用大型语言模型（LLMs）。

以下是我数据集和目标的一些具体信息：

对于这项任务，有哪些推荐的方法或最佳实践？我既接受纯机器学习方法，也接受使用LLMs等高级模型的方法。任何您能分享的见解、资源或经验都将非常感谢。

提前感谢您的帮助！

编辑：我不知道我数据集中文档的不同主题。

本次讨论主要围绕如何有效地对超过10万份文档进行主题分类展开。参与者提出了多种方法，包括使用大型语言模型（LLM）和BERT模型，并强调了建立可信验证集的重要性。讨论中涉及了文档分类的复杂性、不同方法的效率和准确性，以及在新增主题时的模型适应性问题。

👍 手动标记一小部分文档作为验证集
- 支持理由：这是评估不同分类方法准确性的关键步骤。
- 反对声音：手动标记可能耗时且成本较高。
🔥 使用BERT模型进行多标签分类
- 正方观点：BERT模型在多标签数据集上取得了接近90%的F1分数，推理速度快。
- 反方观点：当新增主题时需要重新训练/部署模型。
💡 大型语言模型（LLM）的动态适应性
- 解释：LLM可以通过动态添加类别列表到提示中来适应新增主题，无需重新训练。

“😂 Any_Elderberry_3985：Alright, first manually tag a couple of hundred. If you don’t know the categories tag with an LLM and then verify manually. This is your validation set.”
- 亮点：强调了建立验证集的实用方法。
“🤔 justanemptyvoice：Each document is to be classified into a single topic?”
- 亮点：提出了关于文档分类的基本问题，引发进一步讨论。
“👀 grudev：Inference is much faster than using an LLM, but, on the other hand, I have to retrain/redeploy when new topics are added.”
- 亮点：对比了BERT和LLM在模型适应性方面的差异。

讨论的总体情感倾向较为积极，参与者提供了实用的建议和经验分享。主要分歧点在于选择使用BERT还是LLM，以及如何处理新增主题的问题。