原贴链接

  • 所有基准测试都应首先通过仔细检查来确定模型是LLAMA、GPT-4、Sonnet还是其他模型。
  • 除非你能自己复制，否则不要相信任何基准测试。
  • 不要相信API对应的就是作者声称的模型。
  • ….

讨论总结

本次讨论主要围绕模型基准测试的信任问题展开，强调了自我验证的重要性。讨论中，许多评论者对未经自己验证的基准测试结果表示怀疑，并提出了对特定人物（如 Matt Shumer）和机构的信任问题。此外，讨论还涉及对未来技术的展望，如开源模型可能超越闭源模型的观点。整体氛围较为谨慎和怀疑，但也包含了一些幽默和讽刺的元素。

主要观点

  1. 👍 不应盲目信任外部提供的基准测试
    • 支持理由：外部基准测试可能存在误导性，甚至可能被操纵。
    • 反对声音：大型团队在技术研究和基准测试中的重要性。
  2. 🔥 不要信任 Matt Shumer
    • 正方观点：Matt Shumer 可能不可信，暗示其言论或行为存在问题。
    • 反方观点：缺乏具体证据支持这一观点。
  3. 💡 用户应开发自己的基准测试
    • 解释：基于实际使用场景，确保对模型的评估更为准确和可靠。
  4. 💡 技术领域中存在欺诈者
    • 解释：即使在技术领域的细分市场中，也存在欺诈行为。
  5. 💡 开源模型可能在不久的将来超越闭源模型
    • 解释：技术进步通过模型性能的提升和比较得以体现。

金句与有趣评论

  1. “😂 Never trust matt shumer”
    • 亮点：直接表达对特定人物的负面看法，简洁有力。
  2. “🤔 A lone retard will not find something billion dollar corporation teams have overlooked”
    • 亮点：讽刺地强调大型团队在技术研究中的重要性。
  3. “👀 Let’s reflect on this.lol”
    • 亮点：通过幽默的方式表达对原帖内容的质疑。
  4. “😂 Don’t believe dog ate my model stories. Models don’t get fucked up during uploads and there’s no way they refuse/unable to provide working weights using torrent or any other way”
    • 亮点：幽默地表达对模型上传过程中损坏的怀疑。
  5. “🤔 Well, the only true lesson is to not jump on a hype train whenever some random guy shows up and talks about bringing revolution.”
    • 亮点：强调保持批判性思维，不轻易相信未经证实的言论。

情感分析

讨论的总体情感倾向较为谨慎和怀疑，主要分歧点在于对基准测试和特定人物的信任问题。许多评论者对未经自己验证的基准测试结果表示怀疑，并提出了对特定人物（如 Matt Shumer）和机构的信任问题。这种怀疑态度可能源于技术领域中存在的欺诈行为和信息不对称。

趋势与预测

  • 新兴话题：开源模型与闭源模型的性能比较，以及未来技术的发展趋势。
  • 潜在影响：对模型评估和基准测试的透明度和可验证性提出更高要求，可能推动技术社区更加注重自我验证和独立测试。

详细内容：

标题：关于 Reflection 70B 的讨论热潮

最近，Reddit 上一篇题为“Reflection 70B lessons learned”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论，讨论围绕着对模型评估基准的信任问题展开。

帖子中提到，所有基准测试应首先仔细确认模型是 LLAMA、GPT-4、Sonnet 还是其他类型；除非自己能复制，否则不要轻信任何基准测试；不要相信作者声称的 API 与模型对应。有人评论说：“Force them to get checked up on Lmarena ( lmsys ), livebench, artificial analysis 。不要相信那些模型出问题的借口。要明白，即便真有这种事，也应来自研究团队而非无名之辈。”还有人提出：“我在想中国互联网是否有这样的问题，或许因为语言障碍我们不知道。” 但也有人反驳：“中国学术界以造假闻名的说法是不准确的。”

有人质疑在这种情况下是否还能信任马特·舒默，也有人认为不能盲目相信任何东西，要自己建立基准测试。还有人好奇格罗克-2 有没有可靠的识别方式。

对于这一事件，有人觉得这可能是某人的精神健康问题导致的一时冲动，也有人认为是故意欺诈。有人说：“有人声称对 llama 3.1 70b 进行了微调并在基准测试中表现出色，让人们通过 API 与模型互动，但似乎连接的是 Claude 3.5 sonnet，而非微调后的 Llama。”

讨论中，有人认为应该定期发布新测试并暂时保密一段时间以验证，也有人觉得测试应包含“真实世界”的情况，比如下载模型与本地模型比较结果。有人总结道：“不要轻信任何基准测试，自己没用过就别传播观点。”还有人认为不要被炒作冲昏头脑。

这场讨论的核心问题在于如何确保模型基准测试的可靠性以及在面对各种声称的创新时应保持怎样的态度。是应该完全依靠自己的测试和判断，还是可以在一定程度上相信已有的基准测试结果？在这个充满信息和炒作的时代，我们又该如何分辨真假，做出明智的选择？