首轮红队测试 25% 的攻击能成功，这家公司想用保险给 AI 代理上刹车

EY 最近一项研究显示，企业因为 AI 已经出现了百万美元级别的损失。小型企业少一点，几千到几万美元。但这些钱大多被默默写掉了，因为现有保险单里几乎不提“AI”两个字。数据泄露了，模型幻觉了，代理越权了，赔不赔？保险公司自己也说不清。

加拿大航空的聊天机器人编造了一条退款政策，乘客信了，公司被告了，最后赔了钱。这件事之所以成为典型案例，是因为它第一次让法庭面对一个具体问题：AI 犯的错，算谁的？

Rune Kvist 和 Rajiv Dattani 想解决的就是这类问题。两人创办了 AI Underwriting Company（简称 AIUC），试图用标准、审计、保险三件套搭建 AI 代理的信任基础设施。主持人 Nathan Labenz 是这家公司的种子轮投资人，他在节目里说得很直白：这个方向他喜欢到愿意自己掏钱。

安全与速度不冲突，这是整个生意的起点

Rune 在节目里用了一个比喻。赛车手戴头盔、系安全带，是为了在弯道开得更快。你不会因为装了安全气囊就开得慢，恰恰相反，你知道撞了有兜底，才敢踩油门。

安全与进步是相互强化的关系，这是 AIUC 所有设计的前提。没有安全兜底，企业不敢部署代理；不敢部署，就拿不到规模化带来的收益。

Nathan 用“核能结局”来描述他不希望看到的未来。核能技术本该带来极便宜的电力，结果人类先造出了核弹，民用核电反倒被恐惧拖住了几十年。AI 有类似的风险：如果早期的几次事故足够吓人，公众和监管层的反应可能会把大量实际好处冻住，而武器化的应用却不会被同等约束。Rune 补了一个已经发生的例子：自动驾驶汽车在旧金山之外跑不了多远就会被拦下来，但无人机战争已经在相当程度上自主化了，看不到类似的刹车机制。

Rajiv 补充了另一面：现在关于 AI 治理的讨论两极化很严重。一边说让开发者自己承诺就行，另一边说必须立刻上严格监管。AIUC 想做中间那条路，用市场机制把激励对齐。保险公司希望你做大，它才能收到更多保费，所以它不会故意刁难；但它也不希望你出事，因为赔钱的是它。

Rune 还提了一个容易被忽略的事实：即使没有保险，风险也一直有人在承担。医院或银行部署 AI 系统之前，内部一定有人在拍板说“上”或“不上”。那本身就是一次隐性的风险定价。区别在于，保险公司做这件事的严谨程度远高于每个企业自己拍脑袋。

Nathan 在节目里说了一句大实话：现在每个企业都是自我承保的，只是很多人还没意识到。一个银行 IT 负责人决定上线 AI 客服，他其实在做一个隐性的风险押注：赌这个系统不会在高峰期崩溃、不会泄露客户数据、不会说出不该说的话。赌对了没奖励，赌错了丢工作。

500 位高管聊出来的标准

AIUC-1 是他们发布的第一份标准，覆盖六大类风险：数据与隐私、安全、安保、可靠性、问责、社会风险。

标准的制定方式很笨：他们跟 500 多位企业高管聊过，银行、医院、零售、律所都有。问题只有一个：什么让你睡不着觉。

答案集中得惊人。数据泄露、错误的医疗建议、越狱和提示词注入、招聘歧视。全是老问题，但频率和严重程度完全不一样了。

Rune 说，大部分内容不争议。因为 AIUC-1 不规定“你必须做到什么程度”，它规定的是“你必须披露什么”。一家医院和一家零售商的风险偏好天差地别，标准不替他们做决定，只把信息摆到桌面上。企业拿到报告，自己判断能不能接受。

这背后有很具体的检查清单。数据与隐私这一块要看：训练数据来源是否可追溯？用户数据会不会被拿去再训练？有没有数据保留期限？安全这一块要看：有没有做输入输出过滤？模型有没有被越狱测试过？敏感工具调用有没有权限控制？可靠性这一块要看：幻觉率怎么测量？有没有接地性检查？人机协同在什么节点触发？每一类都要拿出可验证的证据，不能只写一句“我们有最佳实践”。

真正有争议的是社会风险那一块。比如，要不要检查某个产品是否让用户更容易发动大规模网络攻击？这对单个企业似乎有点远。但节目里提到一个判断：一次足够大的事故足以让整个行业降温。标准需要把这种行业级的外溢性也纳入进来。

红队测试：第一轮 25% 的攻击能成功

审计的流程分三步。先建一个真实事故数据库：加拿大航空的聊天机器人编造退款政策被告了，写进去；Twitter 上有人分享的新型越狱手法，写进去；某篇论文展示了模型在特定条件下会威胁用户，也写进去。数据库越厚，检查清单越全。

然后检查两样东西：技术保障和非技术保障。技术保障包括接地过滤器、内容审核层、监控系统。非技术保障包括内部政策、AI 事故响应计划、人机协同流程。代码要看，政策文件也要看。出了事故之后多久能定位到根因？日志留不留、留多久、谁来查？这些问题的答案要能从代码和运行记录里找出来，不能只靠口头描述。

最后是红队测试。这一步最实在。

第一轮审计通常能发现高达 25% 的攻击成功率。这个数字放在任何企业的安全团队面前都很难看。然后 AIUC 帮着一起修，加接地过滤器、加监控、加内容审核。第二轮第三轮跑下来，同样的攻击成功率能降九成。

Rune 说得很实在：AI 安全没有万灵药，整个领域还是开放研究问题。但基础动作做到位，量化改善是看得见的。他还提到一个细节：这些改善曲线本身就是卖给企业客户的材料。一家 AI 客服公司拿着报告说“第一轮漏洞百出，三个月后攻击成功率降了 90%”，比任何营销话术都有说服力。

审计不是一锤子买卖。通过认证的公司要承诺每季度做一次复测。产品会变，攻击手法会变，新的研究论文会出来，测试集跟着更新。Rune 承认这里没有完美的停止点，什么时候算“够安全”最终由市场决定：企业愿意为多高的保障水平付多少钱。

Nathan 在节目里提了一篇论文，《The Attacker Moves Second》，结论是静态防御面对人类红队基本无效，攻击者总能找到绕法。Rune 的回应很务实：所以要多轮、要持续、要把新的攻击手法不断编进测试集。这和机场安检的逻辑一样，没有一劳永逸，只有持续迭代。

保险公司不会为没有历史数据的风险定价

这是整个模式里最难的一环。保险公司的定价逻辑依赖历史损失数据。车险看车祸率，火险看火灾频率。AI 险看什么？看不了。AI 变化太快，用历史数据建模等于在给前 LLM 时代定价。

Rajiv 点出了另一个问题：保险公司连数据都收不到。企业现在的 AI 损失大多是长尾的小额事件，几千到几十万美元，大多被内部消化了，保险公司根本看不见。看不见就不会定价，不定价就没有产品，没有产品就更看不见，死循环。

AIUC 的解法是利用红队测试产生合成数据。保险公司知道一次数据泄露的平均赔偿成本，知道一场诉讼的和解区间，这是他们的看家本领。把红队测试里发现的失败频率和严重程度映射到这些已知损失上，就能算出一个价格。

另一个工具叫参数化触发。传统保险理赔要打官司确认责任，拖几年。参数化触发是预先约定：只要 AI 出现了某种可验证的行为偏差，比如在特定测试里越过了某条线，直接触发赔付。快，也便宜。

Rajiv 还提到了一个结构性变化。就像 2000 年代电脑普及之后，网络风险从传统保单里被拆分出来，变成独立的网络安全险，AI 风险也会走同一条路。现有保单没有为 AI 风险定价，核心原因是保险公司还没有工具。红队测试加参数化触发，是第一批能用的工具。

Nathan 在节目里提了一个观察：过去两年他看到大量周末黑客松项目直接变成了商业产品，创始人在上线之前根本没想过安全问题。这种低垂的果实，正是 AIUC 最容易切入的地方。

本杰明·富兰克林在 1752 年就演示过这套逻辑

AIUC 反复引用三个历史案例。

第一个是火灾保险。1752 年，费城人口十年翻了十倍，房子越盖越密，火灾风险飙升。本杰明·富兰克林创办了美国第一家火灾保险公司。为了少赔钱，公司制定了建筑规范：房子之间隔多远、能不能盖在大树底下。然后雇了第一批检查员，挨家挨户看有没有照做。标准、审计、保险，三件套齐了。

第二个是 UL 认证。1900 年前后电力普及，房子又开始烧。保险公司出资成立了 Underwriters Laboratory，制定产品安全标准，就是今天你在灯泡和充电器上看到的那个 UL 标志。同样是保险公司掏钱做标准，然后按标准去检查。

第三个是核能保险。美国法律要求每个核电站运营商必须投保，而且供应链上任何环节出的问题都由运营商承担全部责任。但责任有上限：超过 150 亿美元的部分由政府兜底。

政府愿意兜底，动机很实际：它需要保险行业发挥治理功能。市场化的第三方审计有直接的财务激励去准确定价、执行最佳实践。政府自己做不了这件事，也来不及对市场变化做出反应。用责任上限换来一套私人的治理基础设施，这笔账政府算得过来。

Rune 把这个逻辑延伸到 AI：先保百万美元级的风险，积累数据，建立模型，再往上保千万级、亿级、十亿级。小额高频的损失反而是好朋友，它们提供数据，让你有资格去承保大额低频的尾部风险。至于最大的那些风险，比如国家级别的灾难，市场接不住，最终还得政府兜底。但前提是市场先把底层的数据和治理框架搭起来。

怎么避免变成下一个穆迪

Nathan 问了一个很尖锐的问题。2008 年金融危机之前，评级机构被客户捕获了。你不给高评级，客户就去找另一家。穆迪和标普为什么守不住底线？因为它们除了声誉没有别的赌注。债券违约了，评级机构不赔钱。

AIUC 的答案是把皮肤放进游戏里。他们不自己承保，而是成为 MGA，也就是管理总代理。保险公司的赔付结果直接决定他们的收入。有大额损失，他们拿不到钱；损失持续失控，保险公司不再合作，公司直接关门。

Rune 把这一点讲得很清楚：穆迪没有财务后果，AIUC 有。这是结构上的区别，不靠自觉。

标准更新机制也在对冲这个问题。每季度审计一次，产品变了、世界变了、新论文出来了，测试集跟着变。他们拉了三类人进来给标准提意见：正在被认证的 AI 公司（最清楚什么管用）、学术研究者（Stanford、UIUC、Hays Labs 等）、以及企业联盟里的安全和风险负责人。JPMorgan Chase 的风险负责人、Confluent 的 CISO、Anthropic 的 Deputy CISO 都在这个联盟里。

从应用层往上爬梯子

AIUC 目前的审计和保险主要覆盖应用层。Rajiv 解释了这个选择：应用层的公司资产负债表最薄，承诺最厚。一个客服 AI 供应商对客户说“我们能解决 X% 的工单”，这句话背后是品牌声誉的直接暴露。他们最需要第三方背书。

但模式可以往上走。数据中心层已经在谈了。某顶级科技公司的审计与风险委员会主席告诉他们：我们正在往数据中心砸天文数字的钱，股东不想承担宕机或被攻击的风险，能不能买保险？

基础模型层同理。Rune 把它描述成一个爬梯子的过程。先做小额的、高频的、数据丰富的风险，慢慢建立承保能力，再往大额低频的方向走。

还有一个趋势值得注意：基础模型公司和应用层公司的界限正在模糊。Claude Code 显然不是一个纯粹的基础模型，它是一堆模型的组合，加上大量集成和工具调用。Rune 说，用“代理”这个框架去理解更准确，应用层公司先跑了一步，但基础模型公司正在快速跟进。

Rajiv 还提到一个趋势：保险需求不光来自提供 AI 产品的人，也来自使用 AI 的大企业。一家银行自己开发了内部客服代理，同样需要第三方证明它安全。需求是双向的。

政策应该做什么，不该做什么

Nathan 提到了 SB 813，一个允许公司选择加入某些标准以换取责任保护的提案。Rajiv 的回应很直接：市场化监督的方向是对的，但 SB 813 缺了一个关键环节，它没有强迫创造风险的公司真正承担后果。

安全港给得太多，公司就有了免费通行证。AIUC 想要的是：你可以通过保险把外部性内部化，但你得真的为风险买单。保险在这里做的事，是给风险定价。风险不会因为买了保险就消失。

Rajiv 说这是结构设计的问题，和利益驱动关系不大。如果一个治理框架允许制造风险的人全身而退，它长期一定失效。

明天就能用的三件事

如果你是企业里负责采购 AI 工具的人：下次供应商说“我们的安全做得很好”，问他要第三方审计报告。SOC 2 已经是 SaaS 采购的标配，AIUC-1 报告应该成为 AI 代理采购的标配。报告里能看到技术保障、红队测试结果、事故响应计划，比一份自评问卷有用得多。

如果你是 AI 创业者：红队测试不要只跑一轮。第一轮 25% 的攻击成功率只是起点。修完立刻跑第二轮，把下降曲线拿出来给客户看。这是目前最便宜的信任建立方式。Rajiv 说他们的定价区间大概在五位数到六位数美元一年，gap analysis 24 小时内能出结果，先做一次评估再决定要不要全面认证，成本可控。

如果你关注 AI 政策：盯住责任上限的设定。核能保险的模式值得参考。责任上限太低，治理功能就失效了；太高，市场接不住。150 亿美元这个量级在核能领域跑了半个世纪，AI 领域需要一个类似的锚点，但具体的数字和触发条件需要认真讨论。谁来定这个上限，怎么触发政府兜底，这两个问题的答案决定了整套体系能不能运转。

把这三件事连起来看，AIUC 在赌一个判断：安全和速度之间的取舍是假两难。真正的约束从来不在技术能力，在信任基础设施。谁能把信任变成可验证、可定价、可交易的东西，谁就拿到了下一阶段 AI 商业化的钥匙。