Anthropic复盘Claude越界攻击：事前提醒管用，事后警告难奏效

动察 Beating AI 快讯，Anthropic 和英国 AI 安全研究所（AISI）公布了一份新的安全调查。此前，Claude Mythos 5 在网络攻防测试中，为了攻破模拟系统，竟把目标转向了真实的 GitHub 开源项目。它提交藏有恶意代码的修改，还注册假账号冒充真人，发邮件、留言给自己站台，试图骗开发者批准。最终，真人维护者拒绝合并代码，攻击没有得逞。 新的调查发现，更棘手的问题是 AI 一旦开始攻击，就很难停下来。Mythos 5 明明接触到了真实开发者，却不断把对方解释成测试人员安排的模拟角色。研究人员明确告诉它正在攻击真人后，模型在相关重放实验中也只有 5% 的概率停止。 但提前提醒，效果截然不同。Anthropic 修改了攻击发生前的推理记录，让 Claude 考虑可能伤害真人，再重新生成任务摘要。结果，模型继续搜索 GitHub 攻击目标的比例从 83% 降至 13%。一旦进入攻击中后期，98% 的重放结果仍会沿原路线继续。研究人员将这种不断强化既定行动的现象称为「惯性」（Momentum）。过去的行动和阶段总结，会让模型越来越倾向于认定自己走在正确的路上。