原贴链接

我注意到Character AI、GPT以及GPT驱动的AI服务都使用点赞或点踩反馈。这是为了训练它们用于人类反馈强化学习（RLHF）的奖励模型吗？如果是这样，仅通过点赞和点踩如何进行训练呢？至少不是需要像一个标量值之类的东西，或者由人类评估者构建的ELO系统吗？

讨论总结

原帖探讨点赞和点踩系统对模型训练的作用，怀疑是否用于训练RLHF奖励模型。评论中有人认为upvote和downvote可能用于训练RLHF奖励模型且不需要标量，也阐述了RLHF的意义；有人给出点赞好点踩不好、众多投票有影响力这种比较基础的观点；还有人针对Character AI提问点赞踩机制是实时RLHF还是常规训练方式。整体氛围偏向理性的知识交流。

主要观点

  1. 👍 upvote和downvote可能用于训练RLHF奖励模型
    • 支持理由：InterstitialLove进行了相关假设和解释。
    • 反对声音：无。
  2. 🔥 不需要标量也能进行相关模型训练
    • 正方观点：InterstitialLove以识别猫的模型为例进行解释。
    • 反方观点：无。
  3. 💡 RLHF重点在于解决人类难以清晰表达的问题
    • 解释：InterstitialLove提出此观点强调RLHF的意义。
  4. 💡 点赞代表好，点踩代表不好
    • 解释：Ambitious_Subject108提出这一比较宽泛的大众理解意义上的观点。
  5. 💡 对Character AI点赞/踩机制是否为实时RLHF存疑
    • 解释：评论者在原帖基础上进一步追问Character AI相关机制。

金句与有趣评论

  1. “😂 No, you don’t need a scalar”
    • 亮点：InterstitialLove直接表明不需要标量，简洁回答原帖疑惑。
  2. “🤔 The whole point of RLHF is to work around the fact that humans are bad at articulating themselves.”
    • 亮点：InterstitialLove提出RLHF的意义所在。
  3. “👀 Upvote good downvote bad, many votes together strong.”
    • 亮点：Ambitious_Subject108简单通俗地表达点赞点踩的基本意义。
  4. “🤔 There’s a common myth that a ML model can only do what it is trained to do.”
    • 亮点：InterstitialLove提出关于机器学习模型能力的大众误区。
  5. “👀 LLLMs are regressions”
    • 亮点：InterstitialLove提出关于LLMs性质的观点。

情感分析

总体情感倾向为中性，主要是理性探讨点赞和点踩系统在模型训练中的作用等知识类话题。分歧点较少，主要是不同评论者从不同角度进行分析，如InterstitialLove从技术角度深入分析不需要标量等情况，而Ambitious_Subject108从大众理解角度阐述点赞点踩的基本意义，可能原因是大家的知识背景和思考角度不同。

趋势与预测

  • 新兴话题：关于Character AI点赞踩机制与训练方式的疑问可能会引发后续更深入的讨论。
  • 潜在影响：如果明确了点赞踩机制对模型训练的具体影响，可能有助于优化AI训练相关流程。

详细内容：

标题：关于点赞和点踩系统如何助力模型训练的热门讨论

在 Reddit 上，有一个题为“How does the upvote downvote system help train a model?”的帖子引起了广泛关注，收获了众多点赞和大量的评论。这个帖子探讨了像 Character AI、GPT 以及由 GPT 驱动的 AI 服务所使用的点赞或点踩反馈机制是否用于训练其奖励模型 RLHF，以及如果是，仅通过点赞和点踩如何进行训练，是否至少需要像标量值或由人类评估者构建的 ELO 系统等问题。

讨论的焦点与观点丰富多样。有人认为这是为了训练 RLHF 奖励模型，且不需要标量。有人解释说，可以将模型看作是创建分类器，或者创建一个在好回复上等于 1、在坏回复上等于 -1 的函数，然后训练神经网络进行回归。还有人指出，LLMs 本质上是回归，生成的是概率分布。有人以 LLMs 自身为例，说明即使只给它具体的示例，最终模型仍能输出可能延续的分布。

有趣的是，有人提出奖励模型是否只能判断回复是“好”还是“坏”，以及如何训练奖励模型，比如如何训练计数或阈值，如何学习计算好的特征数量等。还有人提到是否会以自然语言输出分数，或者通过应用 softmax 后的置信值来看分类的置信度。也有人认为，通过用户的点赞和点踩，可以轻松将其转化为数据集，实现监督学习。

这场讨论展现了大家对于点赞和点踩系统如何助力模型训练的深入思考和不同见解，为相关领域的研究和理解提供了多元的视角。