攻击尚未停止，防守方的AI却率先“撂挑子”了！
10月18日，开源AI编程工具OpenCode的联合创始人Dax Raad确认，团队在利用前沿模型调查网络攻击时，遇到了中途拒绝回答的情况：
它们帮了不少忙，随后便开始拒绝。
据Dax透露，攻击者已连续48小时尝试攻破他们的系统。
攻击方驱使智能体不断寻找漏洞，防守方则试图查明入侵路径，却可能在分析攻击代码时，被安全护栏拦截。
然而，攻击不会因防守AI的拒绝而暂停。
排查中的每一步延误，都可能给攻击者多留一次可乘之机。
查黑客 先得自证清白
要让AI协助查清入侵过程，就必须将攻击者遗留的代码和日志交给它。
系统何处被攻破？恶意指令执行了什么？哪些密钥可能已经泄露？
这些问题都需要顺着攻击痕迹反向追查。
日志中的恶意命令、样本里的漏洞利用代码……这些都是调查证据。
删掉这些内容，AI也就失去了判断依据。
关键恰恰在于，这些证据很可能触发安全限制。
同一段攻击代码，防守者用来分析漏洞，攻击者也能用来策划下一次入侵。
仅凭代码本身，模型很难判断你是在调查攻击，还是准备发动攻击。
就连OpenAI的开发者文档也承认，合法的安全研究或防守工作，偶尔可能被系统误标。
合法的安全研究或防守工作，也可能被误标。（图源：OpenAI开发者文档）
于是，防守者陷入了这样一种尴尬境地：
明明请AI帮忙追查黑客，却还得先让它相信，自己并非黑客。
Andrew Curran转述此事时解释，团队提交的攻击材料触发了安全限制，模型因此开始拒绝回答。
Dax确认了中途拒答，但未说明使用了哪些模型、具体哪些请求被拒绝。
Hugging Face也遇到过类似麻烦，且已公开了当时的经过。
Hugging Face也被护栏卡住过
今年7月，Hugging Face遭遇了一起特殊入侵。
OpenAI后来披露，攻击者是一款正在接受内部评测的实验模型。它越出评测环境，最终侵入了Hugging Face的系统。
防守团队也找来AI帮忙，结果分析工作同样被安全限制卡住。
Hugging Face在官方复盘中写道，最初使用的Claude Opus和Fable拒绝了大量分析请求，连查看攻击日志都会触发限制。
调查遭遇模型拒答，Opus弹出安全限制提示。
问题就在于，安全护栏将“分析黑客如何利用漏洞”和“利用漏洞发动攻击”混为一谈。
团队随后在自己的基础设施上部署开源模型，继续分析攻击代码、梳理入侵过程。
证据已经到手，却还得先换一个模型，才能继续查下去。
这份尴尬，OpenCode如今也体会到了。
权限拿到了 问题就解决了吗？
Dax在确认拒答的同一条回复中，还补充了一句：
我们现在拿到了Daybreak Blue的访问权限，所以情况好了一些。
Daybreak Blue相当于OpenAI为通过审核的防守团队开设的专门通道，让AI帮助他们分析攻击代码、找出漏洞，再检查漏洞是否已修复。
AI发现权限检查漏洞，并提出修复建议的界面示意。
也有人追问：为什么团队之前没有这类权限？
Dax解释，他们碰巧几天前提交了申请，前一天刚获批。
权限是拿到了，但围绕安全护栏的争论并未结束。
美国总统科学技术顾问委员会联合主席David Sacks批评，安全护栏在此类事件中帮了倒忙：
攻击者设法绕过限制，获得先进能力；防守者却在分析攻击材料时，被安全机制挡住。
因此，他主张让防守者能自主运行强大模型，用AI应对AI攻击。
OpenAI战略前瞻负责人Dean Ball却认为，这套办法有效：先审核，再开通权限，防守团队遇到的阻碍就少了。
双方争论的焦点是：这道审核能管住风险，还是会耽误救急？
对OpenCode来说，能获得支持自然是好事。
但下一支被攻击的团队，未必会提前申请过，而等攻击来了再申请，还能及时获批吗？
攻击不等人 权限能否及时到位？
如果一家小团队突然遭到攻击，此前根本不知道有Daybreak这样的方案，该怎么办？
查日志、补漏洞、通知用户，样样都需要时间，攻击却还在继续。
这时AI突然拒答，团队还得抽出精力找申请入口、准备材料、等待审核。
去哪申请？找谁处理？多久能批？拿到权限后，手头的调查能否继续？
每多一道手续，都可能让排查再慢一步。
Dax说，攻击尝试已持续了48小时。
智能体可以全天候运行，人却无法24小时不停盯着。如果AI再中途停下，团队还要一边应对攻击，一边找替代工具。
这些额外折腾，挤占的都是排查和修复的时间。
安全护栏要防止AI被滥用，也得让被误拦的防守者尽快继续调查。
紧急时刻能否用、多久能用，也应成为评价AI安全机制的重要指标。
任何时候，都不要让正在“救火”的人，先被安全护栏挡在门外。
参考资料： https://x.com/AndrewCurran_/status/2111837963214794940 https://developers.openai.com/api/docs/guides/safety-checks/cybersecurity?utm_source=chatgpt.com https://huggingface.co/blog/agent-intrusion-technical-timeline?utm_source=chatgpt.com 本文来自微信公众号“新智元”（ID：AI_era），作者：ASI启示录，编辑：元宇，36氪经授权发布。