微调思维链以教授新技能

有人尝试过在手写数据集上微调模型，这些数据集展示了思维链，以尝试教授模型如何思考新技能，例如通过提供助手分解任务的对话来教它计算字母表中的字母数量等。

本次讨论主要聚焦于如何通过不同的技术手段，如微调、RAG和上下文学习，来教授模型新的技能，特别是链式思维和计数能力。讨论中涉及了具体的实施方法和目标，以及这些方法在不同大小模型上的适用性。

👍 使用RAG来塑造链式思维提示
- 支持理由：RAG的嵌入和查询方面被用于创建针对性的CoT提示，有助于分类原本不在RAG中的数据。
- 反对声音：有讨论区分了微调和上下文学习的概念，指出这可能不是传统意义上的微调。
🔥 在小模型上进行特定推理步骤的微调
- 正方观点：在小模型上进行特定推理步骤的微调是可行的。
- 反方观点：对于大型模型，非特定推理更适合使用情境学习或零样本链式思考。
💡 通过告知模型不擅长计数来提高其计数能力
- 解释：将需要计数的内容放入表格中，有助于模型更好地执行计数任务，这种方法能够使小型模型通过特定的计数测试。

“😂 kontoeinesperson：I don’t know if that’s considered fine tuning in a conventional sense, since I wasn’t pruning or retraining the underlying network.”
- 亮点：提出了对传统微调定义的质疑，引发了对微调与上下文学习区别的讨论。
“🤔 PizzaCatAm：Not fine tuning, that’s RAG for in-context learning.”
- 亮点：明确区分了微调和上下文学习的概念，为讨论提供了清晰的定义。
“👀 bobbiesbottleservice：I was able to even get small models to count the number of letters by telling it that it’s not good at counting and that it should always put what needs to be counted in a table first.”
- 亮点：分享了一种创新的训练方法，通过简单的指导使模型能够执行计数任务。

讨论的总体情感倾向较为积极，主要集中在技术方法的分享和讨论上。虽然讨论热度不高，但参与者们提供了有价值的见解和实际操作经验。主要分歧点在于微调与上下文学习的定义和适用性。