原贴链接

我所理解的是，有一个次级模型对响应进行评分

主要模型被迫为同一个提示生成多个响应 每个响应都由次级模型根据质量评分进行评估

Q1) 基于质量评分，主要模型是如何训练的？是通过通常的监督微调方式吗？即指令“以下哪个是最佳响应”，将所有响应添加到“输入”中，并将次级模型的评分与输出的推理一起添加到“输出”中？

讨论总结

本次讨论主要围绕强化学习（RL）的实现方法展开，涉及多个具体项目和方法。讨论中，Optillm项目因其开源性质和蒙特卡洛树搜索（MCTS）的实现而受到关注，特别是其Docker支持和与Ollama等模型的兼容性。此外，Quiet-STaR方法作为RL训练的一种方式，被提及并讨论了其与OpenAI训练方式的相似性。讨论还涉及了RL在特定上下文中的实现问题，以及在数学等领域的应用。总体而言，讨论内容丰富，涵盖了从技术细节到项目管理和社区贡献等多个方面。

主要观点

  1. 👍 Optillm项目实现了多种强化学习方法，特别是蒙特卡洛树搜索（MCTS）
    • 支持理由：项目通过Docker运行，并且最近有社区成员贡献了Docker支持，增强了项目的实用性。
    • 反对声音：项目目前是自举的，尚未考虑资金支持，可能影响其长期发展。
  2. 🔥 Quiet-STaR方法使用REINFORCE算法进行RL训练
    • 正方观点：该方法与OpenAI的训练方式相似，强调了标注过程的重要性。
    • 反方观点：OpenAI可能不会偏离Quiet-STaR的训练方式，但具体实现细节未明确。
  3. 💡 在具有封闭、精确答案的领域中，可以使用特定数据集进行训练
    • 解释：通过足够的计算能力，可以探索推理树，使用类似于A*路径查找算法的方法来找到最优路径。
  4. 💡 创建能够遵循指令的LLMs的方法被称为RHLF
    • 解释：RHLF是一种从人类反馈中进行强化学习的方法，提供了OpenAI关于RHLF的论文链接。
  5. 💡 经典RLHF的实现步骤
    • 解释：包括获取人类对答案的偏好、训练奖励模型、使用PPO算法进行在线学习等步骤。

金句与有趣评论

  1. “😂 asankhs：There are multiple ways this can be done. The challenge often comes because it is hard to design good rewards for generic tasks.”
    • 亮点：指出了设计通用任务奖励的挑战性。
  2. “🤔 sheepbrother：The key is the labeling which I heard they hired PhDs to do that.”
    • 亮点：强调了标注过程在模型训练中的重要性。
  3. “👀 NyxeK：Then, with a clever enough model that can explore different reasoning paths (and hopefully one of them will lead to the correct answer) and enough computational power, you can explore the reasoning tree with a variations of A* path finding algo (after all, the token predictions tree is a directed acyclic graph) to find the optimal path to the right answer and reward the model based on how close it can get to the correct answer (and other scoring criteria)”
    • 亮点：详细描述了在数学领域中如何通过路径查找算法来训练模型。
  4. “👀 KevinCola：当不讨论 o1 但关于创建 LLMs 能够遵循指令时，它被称为 Reinforcement Learning from Human Feedback (RHLF)。”
    • 亮点：简洁地介绍了RHLF的概念。
  5. “👀 kindacognizant：Classic RLHF can be boiled down to these steps:”
    • 亮点：总结了经典RLHF的实现步骤，清晰明了。

情感分析

讨论的总体情感倾向较为积极，主要集中在对强化学习方法的探讨和技术细节的分享上。虽然存在一些对项目资金支持和长期发展的担忧，但整体氛围是建设性的，讨论者们对技术问题表现出浓厚的兴趣和深入的思考。

趋势与预测

  • 新兴话题：强化学习在特定上下文中的实现方法，特别是Quiet-STaR方法的应用。
  • 潜在影响：随着更多开源项目的出现和社区贡献的增加，强化学习的实现方法将更加多样化和实用化，可能对AI领域的发展产生深远影响。

详细内容：

标题：关于强化学习（RL）实际实现方式的热门讨论

在 Reddit 上，一篇题为“RL, how is it actually implemented?”的帖子引发了广泛关注。该帖子主要探讨了强化学习在相关模型中的实际应用方式，目前已获得了众多的点赞和大量的评论。

讨论的主要方向包括实现方法的多样性、技术细节的解释以及相关项目的开源情况等。其中的核心问题是：强化学习在模型训练中的具体运作机制究竟是怎样的？

在众多评论中，有人指出实现方式存在多种可能性，而设计通用任务的良好奖励往往具有挑战性，并提供了相关的实现项目链接，如 https://github.com/codelion/optillm 。有人认为这是一个非常有用的资源。也有人询问是否接受贡献者或赞助，作者表示乐于接受贡献，还分享了近期的一些成果和相关链接。

还有用户表示仍然不太理解具体的工作原理，作者进一步解释了基本的实现过程，包括使用 LLM 生成多个高温度的响应，并通过特定的提示和计算奖励的方式进行操作，同时提供了详细的代码链接，如 https://github.com/codelion/optillm/blob/main/mcts.py 。

有人提到与 ChatGPT API 的关系，作者解释这是一个透明的代理，可与任何兼容的 API 配合使用。对于不熟悉的部分，还提供了相关知识的链接供参考，如 https://en.wikipedia.org/wiki/Monte\_Carlo\_tree\_search 。

有人提到最接近的研究是Quiet-STaR，认为 OpenAI 可能不会偏离这种训练方式太多，关键在于标注环节。

也有人分享了在特定领域中通过探索推理路径来实现强化学习的方式。还有人介绍了 Reinforcement Learning from Human Feedback (RHLF)，并提供了相关论文链接：https://arxiv.org/abs/2203.02155 。

更有用户详细阐述了经典的 RLHF 步骤，包括获取人类对答案的偏好、训练奖励模型、进行强化学习设置以及优化奖励等，并指出开源微调者由于资源和成本限制往往无法完全实现这些步骤。

总之，这场讨论展现了强化学习实现方式的复杂性和多样性，为相关研究和应用提供了丰富的思考和参考。