原贴链接

我在想，仅通过观察大型语言模型（LLM）的输出，能多明显地看出其工作原理呢？科学家们会不会乍一看就说，哦，注意力机制在起作用且效果惊人，那我们就走这条路吧。或者恰恰相反，要绞尽脑汁好几年呢？我认为，就目前的Sonnet来说，我们就处于这种情况。它显然有某种能力，可以在新的/有缺陷的场景下稳健地得出简洁的结论，而我们已经为此绞尽脑汁半年了。封闭的研究很讨厌，我很高兴谷歌公布了Transformer，并且我希望更多的公司遵循这种理念。

讨论总结

整个讨论源于一个关于如果Transformer在Anthropic/OpenAI这类公司被发明，其他实验室能否逆向工程的问题。讨论涉及多个方面，包括AI公司的专利策略、技术架构的发展演变、模型是否会被泄露、不同模型架构间的关系以及一些与学术界、知识共享相关的担忧等。在讨论中有技术层面的深入分析，也有对原帖的不同态度，整体氛围较为多元。

主要观点

  1. 👍 在AI领域巨大突破下，专利难以阻止其他公司使用相同方法
    • 支持理由：利益太大时专利将失去意义，专利局对抽象概念的专利申请不太热衷。
    • 反对声音：无
  2. 🔥 如果AI实验室推出新架构，可能最初被当作新奇事物发布，人们可能要在几年后才能意识到新架构的真正潜力
    • 正方观点：以Transformer和GPT - 2的发布为例进行说明。
    • 反方观点：无
  3. 💡 未故意混淆时可发现输出长度与响应时间的二次依赖关系指向注意力机制
    • 解释：从模型的输出与响应时间关系角度分析注意力机制的可发现性。
  4. 💡 如果Attention机制保密，LSTM仍为SOTA时OpenAI推出聊天机器人会引发热潮，热潮下人们会积极复制成果，起始点可能是LSTM及相关研究
    • 解释：通过假设Attention机制保密的情况，探讨人们复制成果的起始点。
  5. 💡 2017年Transformer出现有前期研究基础，若被保密，相关领域发展会被延迟几年，但不会被无限期延迟
    • 解释：阐述Transformer出现并非凭空，保密会影响但不会终止领域发展。

金句与有趣评论

  1. “😂 如果您问如果一个AI实验室现在推出一种新架构会发生什么，我认为这个新架构可能会作为新奇事物发布，人们可能在几年后才意识到它的真正潜力。”
    • 亮点：对新架构发布后的发展情况作出一种有趣的推测。
  2. “🤔 我认为，在AI领域巨大突破下，专利并不能阻止其他公司（尤其是其他国家的公司）使用相同的方法，这是相当滑稽的。”
    • 亮点：指出AI领域专利在巨大利益面前的无力感。
  3. “👀 在极少数情况下，如果它的真正潜力立即显而易见，我敢打赌，在第一个模型发布不到一年的时间里它就会被泄露，无论是通过心怀不满的员工、间谍活动，还是老式的恶意黑客攻击。”
    • 亮点：从多种可能的途径分析模型潜力明显时可能被泄露的情况。

情感分析

总体情感倾向较为复杂，既有理性的技术探讨所带来的中性态度，也有对知识共享担忧所体现出的负面情绪，还有对某些观点表示赞同的正面态度。主要分歧点在于对原帖内容的理解，部分人认为原帖缺乏技术理解，部分人则能正常参与技术讨论。产生这种分歧可能是因为原帖表述不够清晰，也可能是不同评论者的技术背景和理解能力不同。

趋势与预测

  • 新兴话题：非Transformer架构的发展以及未来新架构可能不是Transformer架构。
  • 潜在影响：对AI技术发展方向产生影响，促使更多关于不同架构的研究和探索；如果公司过度保密成果，可能影响知识共享和学术界发展，进而影响整个AI领域的发展速度和方向。

详细内容：

标题：关于公司研发的类似变压器模型技术是否能被逆向工程的热门讨论

在 Reddit 上，一则题为“If transformers were invented in a company of Anthropic/OpenAI characteristics would other labs ever reverse-engineer them?”的帖子引发了广泛关注。该帖提出了一个有趣的问题：倘若变压器模型是由具有 Anthropic/OpenAI 特点的公司发明的，其他实验室是否能够对其进行逆向工程。此帖获得了众多的点赞和大量的评论。

讨论的焦点主要集中在以下几个方面： 有人指出，像 Liquid.ai 这样的公司会通过大量专利来展示其研究成果，但也有人认为专利在巨大的利益面前可能无法阻止其他公司采用相同的方法。比如有用户说道：“专利在关键时刻可能毫无意义，当利益受到威胁时，没有人会因为专利而放弃，我相信投资者也明白这一点。就算他们创造了通用人工智能，也没有人会为他们的专利组合支付数万亿美元。” 还有观点认为，即使新的架构被保密，也很可能会被泄露，比如通过不满的员工、间谍活动或者恶意黑客攻击。但也有人认为小团队的训练程序可能不会被泄露。 关于技术的发展历程，有人提到在变压器模型出现之前，LSTM 是当时的先进技术，但存在训练困难的问题，后来出现了“注意力”机制，再到后来仅使用“注意力”的变压器模型取得了更好的效果。

讨论中的共识在于，即使技术被保密，最终也很可能会被其他人发现或复制，只是时间早晚的问题。特别有见地的观点如：“将语言比作一个复杂的城市，模型通过大量数据学习来识别路径和模式，就像通过观看大量的行车记录来熟悉道路。”

总之，这场关于技术是否能被逆向工程的讨论，充分展现了大家对于人工智能领域技术发展和保密问题的深入思考。