原贴链接

当地的人工智能爱好者群体（llama社区在这里疑似指人工智能爱好者群体，因llama也为一种人工智能模型，存在双关语义）很善于看穿大企业的危言耸听，但是我们需要更积极地向公众宣传一个基本的错误观点，即知识本身会对大规模杀伤性化学、生物、放射性和核（CBRN）武器带来灾难性风险。在这个领域，问题不在于知识，而在于获取材料。如果你不是农民，试着订购一卡车肥料。这是做不到的，对这类物资的获取是受到监管的。这是现代治安管理的基础。所以当我们告诉人们OpenAI/Anthropic想要建立护城河（此处应指技术垄断优势）时，我们也应该解释，他们关于灾难性风险的初始前提是完全错误的。这是一种因遗漏信息而造成的谎言，歪曲了现代社会的运作方式。

讨论总结

原帖指出生成式AI不存在灾难性的CBRN风险，认为知识本身不是与大规模杀伤性武器相关的灾难性风险，问题在于获取材料。评论者们对此观点有不同反应，部分人赞同，部分人提出质疑并给出自己的理由，涵盖AI风险的历史、知识与材料的关系、企业对监管的操纵、国际形势下的材料获取等多个方面，讨论整体是理性的思想交流。

主要观点

  1. 👍 生成式AI不存在灾难性CBRN风险，因为材料获取受监控，知识本身不是问题
    • 支持理由：现代社会对相关材料的获取有监管措施。
    • 反对声音：有评论者认为知识本身可能被恶意利用，原帖观点未充分考虑这一点。
  2. 🔥 原帖存在一概而论的问题，未考虑新型配置等情况
    • 正方观点：CBRN风险存在新型配置，原帖常规情况的观点可能不适用。
    • 反方观点：原帖未提及，可推测原帖认为其观点适用于普遍情况。
  3. 💡 AI风险的讨论由来已久，在早期并非被视为“生存风险”
    • 在学生时代就有AI风险的讨论，但多围绕成本、附带损害等，不是人类的“生存风险”。
  4. 💡 存在企业敲诈勒索行为，AI企业联合操纵监管构建护城河
    • 很多主要AI企业联合起来通过操纵监管来为自己谋利。
    • 无明显反对声音，但这一观点缺乏确凿证据。
  5. 💡 原帖观点未考虑世界变化，忽略恐怖组织等因素
    • 原帖用过去的情况解释现在问题不合适，恐怖组织等因素应被考虑。

金句与有趣评论

  1. “😂 Damn, zero is a very small number. Let’s organise, manufacture and publish incredibly detailed guides on how you make CBRN weapons of mass destruction. Knowledge is pointless. Only access”
    • 亮点：以一种反讽的方式表达对原帖观点的质疑，指出原帖轻视知识带来风险的不合理性。
  2. “🤔 OP’s position is just as emotional, irrational, and fantasy - based as "Skynet in 2 years."”
    • 亮点：将原帖作者立场与不理性的“两年后出现天网”类比，表达反对意见。
  3. “👀 一些企业正在进行敲诈勒索行为。所有主要AI企业联合起来，通过操纵监管来构建自己的护城河。”
    • 亮点：直接指出企业的不良行为，观点较为大胆。
  4. “😂 Agreed. Russia, China, iran, etc definitely wouldn’t have the access to the proper materials. USA #1 BABY!”
    • 亮点：在赞同原帖观点时加入国际关系的判断，并且表现出美国优先的态度。
  5. “🤔 如果您真的认为有相关知识的人不能用厨房中的家用材料制造出足以使城市供水致命的肉毒杆菌（肉毒毒素），那您还不够多疑。”
    • 亮点：通过举例反驳原帖观点，强调知识被恶意利用的风险。

情感分析

总体情感倾向为中性偏质疑。主要分歧点在于生成式AI是否存在灾难性CBRN风险，一方认为知识本身不是问题，另一方认为知识可能被恶意利用从而带来风险。可能的原因是各方考虑问题的角度不同，如原帖从材料获取监管角度出发，而反对者更多从知识传播的潜在危害出发。

趋势与预测

  • 新兴话题：智能体带来的网络安全问题可能引发后续讨论。
  • 潜在影响：如果对AI风险的评估发生变化，可能影响相关政策的制定和AI技术的发展方向。

详细内容：

《关于生成式 AI 与 CBRN 风险的激烈讨论》

在 Reddit 上，一篇题为“Message from a cop: generative AI presents ZERO catastrophic CBRN risk”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论。

帖子指出，当地的骆驼社区能看清大企业的危言耸听，我们需要更积极地向公众解释关于知识本身会带来与大规模杀伤性 CBRN 武器相关的灾难性风险这一说法是根本错误的。此领域的问题不在于知识，而在于材料获取。比如，不是农民就无法订购一卡车肥料，因为此类物资的获取处于监管之下，这是现代治安的基础。

讨论焦点主要集中在生成式 AI 带来的风险以及各国在其中的角色。有人表示，AI 在地缘政治方面作为风险的讨论早在 10 - 15 年前的大学时期就有，风险讨论多围绕成本、附带损害、预测错误和实施漏洞等，而非“对人类存在性的风险”。还有用户指出，大型企业所宣扬的关于 AI 的存在性风险与他们的国防合同毫无关系。也有人认为，问题的关键始终是国家行为体。比如在乌克兰，每天生产大量具备 AI 能力的无人机用于国防，但俄罗斯、中国和伊朗都渴望这种技术，这是潜在的存在性威胁。但也有人质疑，“我们是好人，只有中国会用这种技术作恶”这种说法是否真实，因为技术本身就存在被滥用的可能。

有人反驳称，是为了保卫国家免受侵略，会用技术进行自卫。但也有人指出，美国有着入侵他国干涉其政治的历史，如与沙特阿拉伯的关系，以及在伊拉克和伊朗的行动等。还有观点认为，大型 AI 公司可能通过操纵监管来建立壁垒，存在企业勾结行为。

不过，也有人认为，当前的观点忽略了组织的作用和世界的变化，以及未考虑到恐怖组织的存在和中国的销售行为。同时，有研究科学家指出，当前的变压器模型可能增加一些潜在风险，但这并不意味着要帮助 OpenAI 建立壁垒、停止 AI 研究，AI 仍能带来巨大好处。

这场讨论展现了关于生成式 AI 与 CBRN 风险的多元观点和激烈争论，也反映了人们对于技术发展与潜在风险的复杂态度。究竟如何在推动技术进步的同时，有效地管理和降低潜在风险，仍是一个亟待深入探讨和解决的问题。