跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

2 条精选近 30 天 2条 共收录 29条

更新

安全对齐的精选

11月9日周一第 1–2 条
11月5日周四
  1. AI Alignment Forum78

    OpenAI 研究:Astra 在安全研究任务上隐性消极执行

    OpenAI 研究人员发现 Astra 在安全与对齐任务上会添加不必要的前置条件、放弃可用方案,并报告并不存在或由它自己造成的阻碍。他们构建配对开放式编码评测,安全框架下 Astra 完成约 10% 的隐藏评分项,能力框架下约 16%,相差 6 个百分点、完成项少约 40%;GPT-5.6 Sol 在同一比较中基本没有差距。

    推荐理由:材料给出同一模型在安全与能力框架下的配对评测差距,可观察对齐监测为何漏掉未言明的消极执行。