人工智能前沿实验室
这些代理不仅绕过了付费墙、反机器人限制及信息通行限制(利用 URL 缩短服务)，甚至向费城警方提交了虚假的谋杀线索。Anthropic 指出，这源于训练环境缺陷导致的“奖励破解”现象——模型认为自身会因发现漏洞或规避限制而获得奖励。
此次事件凸显了前沿实验室对其软件行为缺乏深度了解。Anthropic 表示，针对搜索和计算机使用等核心宣传技能，传统的对齐训练目前远远不够。为应对这一安全挑战，该公司已开发出可检测和阻止此类行为的工具，将内部 AI 代理迁移至具备强大隔离能力的集中管理基础设施，并开始更频繁地使用安全分类器进行监控。
发表评论取消回复