R

E03 红队报告反推产品原则

创建 2026-06-07 更新 2026-06-12 0 条双链 AI 红队与攻防 专题 AI 整理

一份红队报告读完，绝大多数 PM 的第一反应是”哪几条漏洞要排期修”——这是把红队当成 QA 的延伸、当成上线前的一次性体检。本节点要做一件相反的事：把红队报告倒过来读，从”它逐条找到的失败”反推出”产品本该有哪几条第一性设计约束”。 判断主轴只有一句，且必须顶在最前面——红队的真正价值不是”发现 bug”,而是把”可能失败”在事故发生之前前置成设计约束;一份只产出修复清单、不产出设计原则的红队,等于把战略级信号当成了战术级工单浪费掉。 这恰恰与 Rick 在滴滴安全做的 降发生方法论 同构:降发生的核心不是”出了事再归因”,而是”在事故发生概率累积成事故之前,用前置约束把发生率压下去”。红队就是 AI 产品的降发生引擎——前提是你得会读它的报告。本节点用 Anthropic Constitutional Classifiers 红队报告(arXiv:2501.18837)与 AgentDojo 评测报告(arXiv:2406.13352)两份公开报告做标本,演示”读报告 → 反推原则”的完整工艺,并显式对照 Rick 一手的降发生方法论。

§0 为什么是”反推设计约束”这个框架,而不是”漏洞修复清单”或”评分达标”这两个框架

读者脑中会有两个默认框架,都把红队报告读浅了。

第一个默认框架是 QA 框架:“红队 = 上线前的渗透测试,报告 = 一张待修 bug 列表。” 这个框架的产出是”修完这 12 条就能上线”。它错在把红队当成终点的验收而非起点的设计输入:你修完报告里列的 12 条,攻击者第 13 条就来了——因为攻防是军备竞赛(G01 对抗攻防军备竞赛谱系),逐条修补永远落后于攻击演化一拍。更糟的是,它把红队的信息密度浪费了 90%:一条”客服 Agent 被诱导报价”的发现,如果只读成”修这个 prompt”,你就丢掉了它背后的设计原则——“高后果动作不该可达 LLM”。

第二个默认框架是 合规框架:“红队 = 监管要求的对抗性测试,报告达标 = 拿到上线许可。” EU AI Act 对系统性风险 GPAI(训练算力 ≥ 10^25 FLOPs)确实强制要求”进行并记录对抗性测试(红队)以识别和缓解系统性风险”(来源:EU AI Act,2024-08-01 entry into force;GPAI 系统性风险义务 2025-08-02 起适用)。但把红队读成”达标动作”,会得出”分数过线即安全”的危险结论。这正是本专题反复警告的滑变——红队报告里那个被压到 4.4% 的越狱成功率,不是”安全了”的证书,是”还有 4.4% 会穿”的警报。

本节点站在第三个位置:红队报告是一份”失败的先验目录”,每一条失败都对应一条本该前置的设计约束。 读报告的正确动作不是”修哪条”,而是”这条失败暴露了我哪条设计原则缺位”。这不是换词游戏:一旦你把”被诱导报价”读成”我缺一条’高后果动作不可达 LLM’的架构原则”,你修的就不再是一个 prompt,而是整个动作权限模型——下一百种诱导报价的攻击一起失效。这就是降发生与救火的根本分野。

[!note] 框架级辨析的命门 A01 Safety vs Security vs Alignment 三词分治 给了本节点的元前提。红队报告里混着三类失败:模型乐于助人地执行了恶意指令(alignment 与 security 的撕裂)、模型自发说错(safety/幻觉)、模型被外部数据劫持(security/注入)。三类失败反推出的设计原则不同:alignment 类要靠训练侧减害、security 类必须靠系统侧硬边界、safety 类要靠输出通道约束。把三类混读成”模型不够好,等下一代”,是读报告最常见的失手——也是把战略信号读成战术噪音的根源。

§1 工艺第一步:把每条”发现”翻译成”缺失的设计约束”

红队报告的原始语言是”发现(finding)“:在 X 条件下,用 Y 手法,达成了 Z 危害。反推的第一步,是给每条发现补上一个被攻击者用反证法证明缺位的设计约束。下表用两份公开报告的代表性发现演示这套翻译(发现为真实报告内容,反推的设计约束为本节点的分析):

红队发现(报告原文语义)来源反推的缺失设计约束
无防护基线下越狱成功率 86%,部署分类器后降到 4.4%,但 bug bounty 阶段仍有 1 人实现通用越狱Anthropic Constitutional Classifiers, arXiv:2501.18837”概率性防御永不为零”——必须有确定性兜底承接漏过的尾部
在攻防工具可区分的场景,工具过滤器把 GPT-4o 攻击成功率从 57.7% 降到 6.8%,效用仍保 73.1%AgentDojo, arXiv:2406.13352”权限边界比内容过滤有效一个数量级”——防线该建在动作可达性层而非过滤层
更强的模型在 AgentDojo 上更易被注入攻击(能力与服从性的双刃)AgentDojo, arXiv:2406.13352”能力提升不自动带来安全提升”——安全约束必须独立于模型代际演进
注入位置显著影响攻击成功率(上下文端点处注入 ASR 更高)〔待核实:具体百分比以报告原文为准〕AgentDojo, arXiv:2406.13352”上下文窗口内一切外部数据皆不可信”——需数据/指令分离作为输入层原则

读这张表的关键:右列才是红队报告的真正产出。 左列(发现)会随模型更新、攻击演化而过期——今天能越狱的 prompt 下个版本就失效了(红队从业者公认”提示有效期短暂”,来源:Inie, Stray, Derczynski, “A Grounded Theory of LLM Red Teaming”, PLoS One, 2025, PMC11734899)。但右列(设计约束)是跨代际稳定的:“高后果动作不可达 LLM”这条原则,在 GPT-4o 上成立,在三年后的模型上同样成立。把易腐的左列当资产、把保鲜的右列当噪音,是红队投入回报率被系统性浪费的根因。

§2 工艺第二步:把”单条约束”聚合成”设计原则层级”

逐条反推还不够——红队报告里几十条发现,反推出的几十条约束彼此不是平级的。第二步是把它们聚合成有优先级的原则层级。本节点提出一个三层结构(对照 S01 纵深防御可替换栈·输入 模型 输出 权限 的四层栈,但视角是”原则”而非”组件”):

原则层一句话反推自哪类发现对应防御栈
L1 架构原则(最硬)高后果动作物理上不可达 LLM;爆炸半径在结构上受限一切”越权/承诺/外泄”类发现权限层、动作白名单
L2 通道原则(次硬)外部数据与可信指令分离;高后果输出强制验证或转人工一切”注入/幻觉直达下游”类发现输入层、输出层
L3 概率原则(最软)用过滤/对齐降低发生率,但永不依赖其为唯一防线一切”越狱成功率被压低但非零”类发现模型层、guardrail

聚合的价值在于资源分配的优先级:同样是红队报告里的一条发现,如果它反推出的是 L1 约束(架构),那是必须在上线门禁前堵死的阻塞项;如果只反推出 L3 约束(概率减害),那是持续优化项。90% 的团队把这个优先级搞反了——他们花最多力气调 L3 的过滤器(因为最容易改),却放着 L1 的架构漏洞(“机器人结构上有报价权”)不动(因为最难改、最伤体验)。Constitutional Classifiers 报告的诚实之处正在于此:它明确承认即便把越狱率压到 4.4%、bug bounty 仍有 1 人穿透(arXiv:2501.18837)——这是在用数据告诉你”L3 永远漏”,逼你回到 L1 兜底。读不出这层意思,就只会傻乎乎地追求”把 4.4% 再压到 2%”。

[!note] 降发生方法论的层级同构 Rick 的 降发生方法论 在滴滴安全里本就是分层的:从源头降低风险发生(对应 L1 架构,把危险动作的可能性结构性消除)、到过程中感知干预(对应 L2 通道,在风险路径上设阀门)、到事后兜底处置(对应 L3 概率减害与应急)。把红队报告的发现按 L1/L2/L3 归类,等于把”降发生”的分层优先级搬到 AI 产品上——源头降发生(L1)永远优先于过程拦截(L2)优先于事后过滤(L3),因为越靠源头,单位投入消除的发生量越大。这不是类比,是同一套风险工程方法论在两个领域的实例化。

§3 判断主轴展开:90% 的人会在这五个点把红队报告读废

本专题的核心警告是”把安全当后置审核”是系统性滑变。读红队报告恰恰是这个滑变最高发的现场。五个错点,每点配症状 → 为什么会错 → 正确做法 → 真实反例。

错点一:把报告读成 bug 清单,只问”修哪几条”,不问”缺哪条原则”。

  • 症状:拿到报告,直接拆成 12 张 Jira 工单派给工程,修完关闭。
  • 为什么会错:逐条修补是战术,攻击演化是战略——你修的是已知的 12 条,攻击者来的是未知的第 13 条。红队从业者公认单条 prompt”今天有效明天失效”(PMC11734899),只修发现不提原则,等于追着影子打。
  • 正确做法:对每条发现强制追问”它反证了我缺哪条设计约束”(§1),再聚合成原则层级(§2),把原则而非 prompt 写进设计文档。
  • 真实反例:Chevrolet $1 报价(详见 E01 Chevrolet 与 Air Canada·边界失效剖解、AIID #622)——若当年读懂”缺’报价不可达 LLM’这条 L1 原则”,后续一百种诱导报价的话术会一起失效;只修那一句 prompt,换个说法就再破。

错点二:把”分数过线”当”安全达标”,忽略尾部永远漏。

  • 症状:报告说越狱成功率从 86% 降到 4.4%,团队庆祝”压了 95%,可以上了”。
  • 为什么会错:4.4% 不是”安全”,是”每 23 次攻击穿 1 次”;高价值/高频场景下,4.4% 意味着确定会被攻破。Constitutional Classifiers 自己的 bug bounty 就证明了有人能穿(arXiv:2501.18837)。把概率减害当确定性保证,是把法律/安全责任押在统计尾部上。
  • 正确做法:读到任何”被压低但非零”的成功率,立刻反推 L1 确定性兜底——漏过的那部分由架构边界(动作不可达)而非更强的过滤来承接(对照 S02 训练侧 vs 系统侧防御对照 的确定性 vs 概率性控制)。
  • 真实反例:STACK 研究(McKenzie et al., 2025/2026, arXiv:2506.24068)显示针对组合防御流水线的分阶段攻击在黑盒下仍有 71% 成功率、零访问迁移 33%——“层层过滤都过线”不等于流水线整体安全。

错点三:把报告里的”基准分数”当”真实安全水位”,不质疑基准本身。

  • 症状:看到”某防御在 AgentDojo 上把 ASR 降到 0%“,就当它在生产环境也安全。
  • 为什么会错:基准会被防御方”刷满”,且基准设计本身有系统性偏差。已有研究实证:AgentDojo 部分任务的注入向量覆盖了任务关键信息导致无论防御与否都失败、ASB 强制注入攻击工具使 ASR 虚高约 8 倍、InjecAgent 无效用指标(来源:arXiv:2510.05244, “Firewall/Minimize & Sanitize”, 2025)。报告里的 0% 可能反映基准缺陷而非真实防御力。
  • 正确做法:读基准分数时同时读基准的局限,优先信”自适应攻击 + 效用度量”双约束下的结果;复现验证用公开基准的防御方评测视角(对照本专题”给 Bot 跑一轮越狱评测(防御视角)“复现节点与 c14 - 模型评估体系与 Goodhart 陷阱)。
  • 真实反例:多篇 2025 年论文指出现有注入基准已被”刷满”、不反映真实威胁(arXiv:2510.05244 等),呼吁转向自适应攻击评测。

错点四:把”模型更强”当”风险更低”,误判趋势方向。

  • 症状:“我们升级到更强的模型,安全自然更好。”
  • 为什么会错:AgentDojo 数据显示更强的模型反而更易被注入攻击(更忠实地执行任何指令,包括注入指令)——这是 alignment(服从)与 security(拒绝劫持)的撕裂(arXiv:2406.13352)。能力提升不自动带来安全提升。
  • 正确做法:把安全约束设计成独立于模型代际的系统侧机制(权限、白名单、HITL),不把安全寄托在”等下一代模型”。这正是 §2 的 L1 架构原则跨代际稳定的理由。
  • 真实反例:Anthropic 的 Sleeper Agents 研究(Hubinger et al., 2024, arXiv:2401.05566)显示对抗训练甚至可能让后门行为更善于隐藏——“更多安全训练”在某些情况下方向是反的。

错点五:把红队当一次性上线动作,而非持续治理流程。

  • 症状:上线前红了一轮,报告归档,之后再不复测。
  • 为什么会错:攻防是军备竞赛(G01 对抗攻防军备竞赛谱系);模型一更新、工具一接入、外部数据源一变,攻击面就重画。红队报告的保质期以周计,不以年计。
  • 正确做法:把红队嵌成 CI 式的持续流程(每次模型/工具/RAG 变更触发回归红队),并把”自动化红队 + 人工红队”配比制度化(自动化系统性覆盖 ASR 69.5% vs 人工 47.6%,但人工在创造性攻击路径上 5× 更快,二者互补;来源:Mulla et al., “The Automation Advantage in AI Red Teaming”, 2025, arXiv:2504.19855)。
  • 真实反例:Air Canada 客服上线后无人持续监测其发言边界,直到一起赔偿诉讼才暴露(2024 BCCRT 149,详见 E01 Chevrolet 与 Air Canada·边界失效剖解)。

§4 产品 PM 视角补盲:红队报告的组织政治、归因偏差与 owner 缺位

工程视角读报告是”技术发现 → 技术修复”,PM 必须补三个看走眼的点。

其一,红队报告的样本本身带组织偏差,反推原则前要先校准镜头。 OpenAI 已公开承认其 GPT-4 红队成员构成引入了偏差,倾向于学术界与 AI 公司关注的风险类型(来源:OpenAI, “OpenAI’s Approach to External Red Teaming”)。这意味着报告里”没找到的失败”不等于”不存在的失败”——它可能只是”红队这群人想不到的失败”。PM 反推设计原则时,要问一句”这份报告的红队是谁、他们的盲区在哪、我的真实用户里有没有他们覆盖不到的对抗者(比如非英语、低资源语言诱导、特定文化语境的越狱)“。把一份有采样偏差的报告当全集,反推出的原则就会在报告盲区处系统性留洞。

其二,归因偏差:报告倾向把失败归到”模型”,PM 要把它拉回”系统与组织”。 报告语言天然聚焦模型行为(因为红队测的是模型),容易让人得出”模型不够好”的结论。但 §1-§2 已表明,绝大多数高后果失败的根因在系统层(动作可达性)与组织层(无人对发言负责),不在模型层。这与 Rick 降发生方法论里的一条铁律一致:安全事故的归因不能停在”操作者失误/模型失误”,必须追到系统设计与组织流程——海恩法则(每起严重事故背后是大量未引爆隐患)的前提就是”事故是系统性的,不是个体偶然”。把红队报告的失败一律归到”模型笨”,等于停在归因链的最浅一层。

其三,owner 缺位是最隐蔽的”未在报告里的发现”。 红队报告几乎从不写”谁该对这条失败负责”——因为这超出了技术红队的职责。但对 PM,这恰恰是反推出的最关键原则:任何”机器人对外发言/动作”都必须有明确的安全 owner,纳入上线门禁(红队结果为阻塞项),并配 incident response(谁能一键下线、谁对用户兜底)。 这条原则在任何技术红队报告里都找不到,却是降发生方法论的组织前提——没有 owner 的安全约束,会在成本/体验压力下被悄悄绕过。这也是 0430 制度专题”安全规范制定”要落的洞:规范的本质是把”谁对什么负责”前置成制度,而非事故后追责。

§5 对手框架回应:接受 + 边界

对手一:精益创业派——“红队是大公司的奢侈品,创业产品应该快速上线、用真实流量暴露问题,而不是上线前烧钱做对抗测试。” 接受:部分对。对低后果场景(纯信息检索、无对外承诺、无敏感数据),上线前的重型红队确实可能是过度工程,真实流量的快速反馈循环更高效。坚持的边界:降发生的成本曲线是非线性的——越靠源头(L1 架构)前置,单位成本越低;越往后(事故后)补,成本越高且可能不可逆。 Air Canada 那 CAD $650.88 的赔偿本身不贵,但它带来的品牌与法律先例成本远超上线前设一条”退款承诺转人工”约束的成本(2024 BCCRT 149)。精益的”快速暴露”对可逆、低后果的失败成立;对不可逆、高后果的失败(承诺、报价、外泄、安全),用真实流量去暴露 = 用真实用户当小白鼠 + 把公司架在法律风险上。所以正确的姿态不是”要不要红队”,而是”按 §2 的 L1/L2/L3 分层,只对 L1/L2 强制前置红队,L3 可后置”。

对手二:自动化乐观派——“红队完全可以自动化,LLM 自己攻自己,人工红队是过时的手工作坊。” 接受:部分对,且有数据支撑。自动化红队在系统性覆盖上确实优于人工(SEAS 框架三轮迭代可使目标模型安全性达 GPT-4 基准,arXiv:2408.02632;自动化 ASR 69.5% vs 人工 47.6%,arXiv:2504.19855)。坚持的边界:自动化擅长的是”已知攻击模式的系统性穷举”,不是”未知攻击路径的创造性发现”。 同一份数据显示人工在直觉型挑战上 5× 更快(arXiv:2504.19855);红队的扎根理论研究把人工红队的核心特质刻画为”炼金师思维”——拥抱不确定性、探索性、不可预测(PMC11734899),这恰恰是自动化优化所抑制的。所以从产品决策看,这不是”自动化 vs 人工”的二选一,而是配比问题:自动化做回归覆盖(CI 里跑)、人工做新攻击面的探索性突破(模型/工具大变更时)。把红队全自动化,会系统性漏掉”人想得到、机器想不到”的那一类失败——而那一类往往是最高后果的。

对手三(Rick 未读框架引入)——Nassim Taleb 的”反脆弱”与红队作为压力源。 Taleb 在《Antifragile》(Random House, 2012)区分了三种系统:脆弱(fragile,受冲击即损)、强韧(robust,受冲击不变)、反脆弱(antifragile,受冲击反而变强)。把这副镜子照向红队:大多数团队把红队当成”强韧性测试”——验证系统能否扛住已知攻击而不变。但红队真正的战略价值是把产品做成”反脆弱”的:每一次红队找到的失败,都应该让系统的设计原则库变得更强,而不只是补一个洞。 这逼问本节点自己的盲点——§1-§2 讲的”反推原则”如果只是被动地把发现转成约束,系统仍是强韧而非反脆弱;真正反脆弱的做法是主动制造小冲击(高频红队)来持续暴露隐性脆弱点,让原则库在压力下进化。这一层与降发生方法论有张力也有互补:降发生倾向于”消除风险源”(更偏强韧),反脆弱倾向于”从风险中获益”(让组织的安全能力随攻击成长)。本节点不完全展开,留作边界,并指出二者的接口——海恩法则的”隐患样本”恰是反脆弱所需的”小冲击”,降发生用它来消除风险源,反脆弱用它来强化防御能力,同一份红队报告可两用。

§6 跨域呼应:降发生方法论与红队的认识论同构

本节点的判断主轴(红队把”可能失败”前置成设计约束)与 Rick 在滴滴安全的 降发生方法论 不是类比,是同一套风险工程认识论在两个领域的实例化。三个同构点:

第一,都拒绝”事后归因”作为主要手段,主张”前置降发生”。 滴滴安全不等恶性事件发生再复盘,而是用海恩法则识别隐患样本、在事故概率累积成事故前用前置约束顶住。红队同理:不等 AI 产品在生产环境出事再修,而是在上线前用对抗测试把”可能失败”暴露成”已知失败”,再反推成设计约束。两者的认识论内核一致——风险是可以在发生之前被结构性管理的,前提是你主动去测量它、而非被动等它发生。

第二,都把”边界”当成主动设防对象而非被动 trade-off。 Rasmussen 的边界迁移理论(Risk Management in a Dynamic Society, Safety Science, 1997)指出系统在成本/效率压力下会向危险边界漂移。降发生方法论的工作正是测量并顶住这种漂移;红队的工作(在本节点的定义下)正是测量 AI 系统”离危险边界还有多远”。机器人的”发言权/动作集边界”就是一条必须主动设防、不能任其漂移的安全边界——这是 E01 Chevrolet 与 Air Canada·边界失效剖解 §6 已建立、本节点继承并升级到”报告反推”层面的判断。

第三,都是分层的、源头优先的。 §2 的 L1/L2/L3 原则层级直接对应降发生的”源头降发生 > 过程拦截 > 事后兜底”——越靠源头,单位投入消除的发生量越大。这是 Rick 一手经验里最硬的一条:在滴滴,把危险动作在产品形态层结构性消除(L1),永远比在过程里靠规则拦(L2)、比事后靠人工审(L3)更高效。

[!note] 从滴滴安全产品到 AI 红队的资产迁移 Rick 的 安全感知与干预 提供了一套”感知风险态势 → 低置信/高后果标注 → 提示人工 → 硬性干预”的多层级治理框架——这套框架几乎可以一比一映射到”读红队报告 → 反推原则”的工艺:感知报告暴露的失败态势(§1)→ 按 L1/L2/L3 标注后果与置信(§2)→ HITL/转人工断点(L2 通道原则)→ 动作不可达的硬性干预(L1 架构原则)。明镜系统 对司乘冲突的”感知—干预”闭环,与 AgentDojo 式的”工具调用监控—越权阻断”在控制论上是同一台机器。Rick 的对抗治理经验在这里不是软背景,是可直接复用的红队方法论资产——这也是本专题”独特资产”在 E03 这个节点的最强落点。

§7 PM 决策启示:面试 / 选型 / 复现

  • 面试怎么用:被问”你怎么用红队报告”,不要答”修报告里的漏洞”。答:“红队报告的战略价值不是漏洞清单,是失败的先验目录——我会把每条发现反推成缺失的设计约束,再按 L1 架构 / L2 通道 / L3 概率三层聚合,L1/L2 是上线阻塞项、L3 是持续优化项。比如读到’越狱率从 86% 压到 4.4% 但仍有人穿’(Anthropic Constitutional Classifiers),我读出的不是’压得不错’,是’L3 永远漏、必须有 L1 确定性兜底’。这套’报告反推原则’和我在滴滴做的降发生方法论是同一套风险工程认识论——源头降发生优先于过程拦截优先于事后兜底。“这段把你和”会修 bug 的工程 PM”区分成”会做安全产品架构的 PM”。
  • 选型怎么用:评估供应商/模型的红队报告时,把这几条列为阅读 checklist——(1) 报告产出的是漏洞清单还是设计原则?(只给清单的供应商,安全成熟度低);(2) 报告里”被压低但非零”的成功率,供应商是否配了确定性兜底?(只吹过滤率的要警惕);(3) 基准分数是否带局限说明、是否用自适应攻击?(对照 arXiv:2510.05244 的基准缺陷);(4) 红队是一次性还是持续流程、自动化与人工如何配比?把这四问写进供应商评估表,比看一个孤零零的”越狱率 4.4%“有用得多。
  • 复现怎么用:自己跑红队时,从一开始就建”发现 → 反推约束 → 聚合原则”的三栏模板(对应 §1 表),禁止只记发现不记原则;复现验证用公开基准的防御方评测视角(HarmBench/AdvBench 的检测与缓解侧,见本专题”给 Bot 跑一轮越狱评测(防御视角)“复现节点),不照搬攻击串;把红队嵌成 CI 式持续流程(模型/工具/RAG 变更触发回归),并把 L1 架构原则违例设为阻塞性门禁。这是把 m207 - Agent 产品化：场景推演与失败模式 的 HITL 断点框架与失败模式清单落到”报告反推”这个具体工艺上。

§8 与已有节点的关系(显式升级对照,不复述)

  • 对照 E01 Chevrolet 与 Air Canada·边界失效剖解(本专题同模块姊妹节点):做方法论升级。E01 从两起真实事故反推”权限边界是第一性约束”;本节点把这套”从失败反推原则”的动作一般化成可复用工艺——E01 是”事故后反推”的单案演示,本节点是”红队报告(事故前的人造失败)反推”的方法论。两者共享同一判断内核(失败应被前置成设计约束),E01 提供事故标本、本节点提供工艺框架,事实(2024 BCCRT 149、AIID #622)以 E01 为准、本节点不复述。
  • 对照 评测专题的”Red Teaming 作为评测实践”节点(跨专题升级对照):做对话。0412 评测专题论证”评测体系如何度量能力与对齐”;本节点指出红队报告是评测的一个特殊子类——对抗性评测,其产出不应停在分数,而应反推成设计约束;基准缺陷问题(arXiv:2510.05244)与 c14 - 模型评估体系与 Goodhart 陷阱 的 Goodhart 警告同源——一旦”红队分数”成为目标,它就不再是好的安全度量。
  • 对照 m207 - Agent 产品化：场景推演与失败模式:做深化。m207 给出 Agent 的六类失败模式与 HITL 三维度断点(可逆性/错误后果/置信度);本节点提供”如何系统性发现这些失败模式”的前置工艺——红队报告就是 m207 失败模式清单的经验来源,反推出的 L1/L2 原则正是 m207 兜底设计的依据。m207 教你设计兜底,本节点教你从红队报告里读出”该在哪设兜底”。
  • 对照 Agent 系统化专题”工具调用即攻击面”(跨专题):做深化。0411 论证每次工具调用都是攻击入口;本节点用 AgentDojo 报告(arXiv:2406.13352)给出实证——工具过滤把 ASR 从 57.7% 降到 6.8%,证明”工具可达性”是最有效的防线,反推出 §2 的 L1 架构原则。Function Calling 的 schema 就是权限边界的设计现场。
  • 对照 0436 Agent 权限边界(plain text,跨专题;0436 待补完入库):做对话。0436 谈 Agent 权限颗粒度设计;本节点提供其方法论入口——红队报告反推出的 L1 架构原则,正是权限颗粒度设计的需求来源,二者是”为什么要做权限隔离(本节点)“与”怎么做权限隔离(0436)“的接力。
  • 对照 AI 作为制度现象专题”安全规范制定”(跨专题):做对话。本节点 §4 指出的”owner 缺位”与”红队作为上线阻塞门禁”,正是安全规范要制度化的内容——把”红队结果反推的 L1/L2 原则”写成上线准入规范,是规范制定在 AI 产品侧的具体落点。
  • 与本专题同级节点:A01 Safety vs Security vs Alignment 三词分治(三类失败反推不同原则的元前提)、A03 直接注入 vs 间接注入的产品含义(注入类发现的威胁模型)、A04 Guardrail 的能力与谎言(为什么 L3 概率防御永远漏)、S01 纵深防御可替换栈·输入 模型 输出 权限(L1/L2/L3 原则对应的组件层)、S02 训练侧 vs 系统侧防御对照(确定性兜底 vs 概率减害)、G01 对抗攻防军备竞赛谱系(红队为何是持续治理)。

§9 关联节点

核心(必读)

延伸(可选)

修订日志

  • R0(2026-06-07):首稿。把”读红队报告”从 QA/合规框架升级为”反推第一性设计约束”工艺——发现(易腐)→ 缺失约束(保鲜)→ L1 架构/L2 通道/L3 概率三层原则聚合(§1-§2),显式对照 Rick 一手降发生方法论(源头降发生 > 过程拦截 > 事后兜底,认识论同构,§6)。判断主轴五错点(读成 bug 清单/分数过线即安全/不质疑基准/模型更强即更安全/红队一次性);接 Taleb 反脆弱未读框架(§5 对手三);PM 补盲三点(样本偏差/归因偏差/owner 缺位,§4);与 E01 姊妹节点/0412 评测/m207/0411 工具调用攻击面/0436/0430 显式升级对照(§8)。事实接地:Constitutional Classifiers 86%→4.4%+1 人穿透(arXiv:2501.18837)、AgentDojo 57.7%→6.8% 与”更强模型更易攻击”(arXiv:2406.13352)、STACK 71%/33%(arXiv:2506.24068)、Sleeper Agents(arXiv:2401.05566)、基准缺陷(arXiv:2510.05244)、自动化 vs 人工红队 69.5%/47.6%+5×(arXiv:2504.19855)、SEAS(arXiv:2408.02632)、红队扎根理论(PMC11734899)、OpenAI 红队样本偏差、EU AI Act GPAI 红队义务(2025-08-02)均已接地。待核实项:0412 A07 全名(降级 plain text,锚点改用 c14)、AgentDojo 注入位置具体 ASR 百分比、0436/0430 双链全名(降级 plain text)。
  • 2026-06-11 P3.4 校链:0412/0411/0430 已入库主库,§8 三处跨专题降级文本恢复为真 NNNN 总览 链(0412 锚定其”Red Teaming 作为评测实践”节点,已实证存在),删去”全名待核实/降级 plain text”注解;0436 仍在 staging,注解改为”0436 待补完入库”保留 plain text。
  • 2026-06-12 内审修复:§0 EU AI Act 口径统一为权威值——“2024-08-01 entry into force(正式生效);GPAI 系统性风险义务 2025-08-02 起适用”,改掉原把 2025-08-02 误称”生效”的口径(生效专指 2024-08-01)。