原贴链接

论文：《长文本下的认知过载攻击：提示注入》1. 人类和大型语言模型（LLM）有何共同之处？它们都会受到认知过载的困扰！在我们的最新研究中，深入探究了情境学习（ICL），并发现人类认知和LLM行为之间存在惊人的相似之处。作者：[Bibek Upadhayay]、[Vahid Behzadan]、[amin karbasi]。2. 认知负荷理论（CLT）有助于解释为何过多信息会使人类大脑不堪重负。但将此理论应用于LLM时会怎样呢？结果很有趣——LLM和人类一样，会过载！而且随着认知负荷增加，其性能会下降。我们展示了在不同认知过载水平下，LLM生成的用于绘制独角兽的TikZ代码的图像。3. 关键之处在于：我们表明攻击者可利用LLM中的这种认知过载，通过特殊设计的提示来破坏安全机制。通过引发认知过载来突破模型的限制，使其安全机制失效。这里有Claude - 3 - Opus和GPT - 4中的攻击演示。4. 我们的实验使用了诸如GPT - 4、Claude - 3.5 Sonnet、Claude - 3 - Opus、Llama - 3 - 70B - Instruct和Gemini - 1.5 - Pro等高级模型。结果是惊人的攻击成功率——高达99.99%！5. 这种脆弱性程度对LLM的安全性有重大影响。如果攻击者能轻易通过过载绕过防护措施，这对现实世界中的人工智能安全意味着什么？6. 解决方案是什么？我们提议利用认知神经科学的见解来改进LLM设计。通过将认知负荷管理纳入人工智能，我们能使模型对对抗性攻击更具抵抗力。7. 请阅读Arxiv上的全文：[https://arxiv.org/pdf/2410.11272]，GitHub仓库：[https://github.com/UNHSAILLab/cognitive - overload - attack]，论文摘要：[https://sail - lab.org/cognitive - overload - attack - prompt - injection - for - long - context/]。如果您有任何问题或反馈，请告知我们。谢谢。

讨论总结

这篇帖子围绕着名为“COGNITIVE OVERLOAD ATTACK: PROMPT INJECTION FOR LONG CONTEXT”的论文展开。论文展示了通过诱导认知过载对LLMs进行攻击的实验成果，其攻击成功率很高，这对LLM安全有重大影响。评论中观点多样，有人肯定研究成果但认为关注越狱风险错过了更多有用研究，有人质疑人类和AI认知加载机制相似性，还有人对在reddit上推广研究成果的行为表示怀疑，也有人对攻击是否适用于ollama提出疑问等，整体氛围较为多元且有争议。

主要观点

  1. 👍 认为关注越狱假设风险会错过更有用的人工智能研究机会。
    • 支持理由：无审查模型已存在且未引发问题，没必要过度关注越狱风险。
    • 反对声音：无（未在评论摘要中提及）
  2. 🔥 在特定使用场景下，越狱会成为问题，不同场景下模型的适用规则应有所不同。
    • 正方观点：不同场景需求不同，有些场景越狱会带来问题。
    • 反方观点：无（未在评论摘要中提及）
  3. 💡 很多模型因过度审查而性能下降，可采用更合理的审查方式。
    • 解释：部分模型因为审查机制导致性能降低，需要更科学的审查方式来平衡。
  4. 💡 论文不仅关于越狱，还涉及LLMs与人类认知学习的相似性。
    • 解释：论文有更多的研究内涵，不只是越狱相关内容。
  5. 💡 越狱后专有模型的响应质量比开源模型好。
    • 解释：专有模型在越狱后的表现比开源模型在某些方面更好。

金句与有趣评论

  1. “😂 Many_SuchCases: I appreciate the effort that went into developing this, but I think we’re missing the opportunity to have more useful research in AI by focusing on the hypothetical risks of jail - breaking.”
    • 亮点：指出研究方向可能存在偏差，关注越狱风险可能错失其他研究机会。
  2. “🤔 hypnoticlife: Legitimate use cases exist where jailbreaking would be a problem in its context. Having uncensored models isn’t a problem as those aren’t used in those use cases.”
    • 亮点：从不同场景分析越狱风险的合理性，以及无审查模型的存在情况。
  3. “👀 DarthFluttershy_: CL (looking at fig 19 specifically) is interesting approach to jailbreaking, though I’m honestly more surprised the models followed the instructions at all, lol.”
    • 亮点：对论文中的越狱方式感兴趣并对模型遵循指令感到惊讶。
  4. “😒 Maybe everyone should develop their own theory and promote it on reddit as groundbreaking breakthrough lol”
    • 亮点：以讽刺的口吻质疑原帖研究的突破性和在reddit推广的行为。

情感分析

总体情感倾向较为复杂多元。部分评论者对研究成果持肯定态度，但也有不少质疑的声音。主要分歧点在于对越狱风险的重视程度、人类和AI认知加载机制的相似性以及研究的突破性等。可能的原因是不同评论者的研究视角、对人工智能发展的预期以及对模型安全等概念的理解不同。

趋势与预测

  • 新兴话题：论文中的攻击方式对ollama是否适用可能会引发后续讨论。
  • 潜在影响：如果这种认知过载攻击的研究被重视，可能促使人工智能领域在模型设计时更加注重安全性和认知负载管理，也可能影响人们对无审查模型的看法。

详细内容：

标题：关于“认知过载攻击：长上下文的提示注入”的热门讨论

在 Reddit 上，一篇题为“COGNITIVE OVERLOAD ATTACK: PROMPT INJECTION FOR LONG CONTEXT”的帖子引发了广泛关注。该帖子主要探讨了人类和语言模型（LLMs）在认知过载方面的相似性，以及攻击者如何利用认知过载突破 LLMs 的安全机制。截至目前，该帖子收获了众多评论。

主要的讨论方向包括对研究重点的看法、模型审查的合理性、未审查模型的影响，以及如何增强 LLM 设计以应对风险等。文章将要探讨的核心问题是如何在保障 LLM 安全的前提下，平衡审查机制与模型的实用性和性能。

讨论焦点与观点分析： 有人认为应将更多精力投入到更有用的 AI 研究中，而非过于关注破解的假设风险，因为未审查模型已存在且未造成严重后果，不明白为何仍在强调这种恐惧。但也有人指出，在某些合法使用场景中，破解模型确实会带来问题，这与人们在工作中有遵循的规则，而在工作之外则不受约束类似。 还有人提出，默认未审查的模型是合理的，但企业出于品牌维护等原因，担心对其投资的公共模型被用于有害用途而承担责任。也有人认为，审查过度的模型反而会因各种问题被更多提及，而像 Mistral Large 2 这样的模型则证明了适度审查不会带来负面影响。 有人认为，LLMs 被破解后的质量，在专有模型和开源模型之间存在差异。例如，Llama-3 的数据集在预训练时为了安全进行了清理，使其在应对破解尝试时更具稳健性，而 Claude 的响应则更详细。 有用户好奇人类和 AI 的认知加载机制是否相似，是否类似于用压力和混乱的指令迷惑人类，还想知道论文中是否有相关解答。

总的来说，讨论中既有对研究方向和模型审查的不同看法，也有对如何优化模型设计的思考。这场讨论充分展示了人们对 LLM 安全和发展的关注和思考。