训练花到1亿美元才被监管：加州AI法案SB 1047终局复盘

2024年8月下旬，加州议会大厦里有两封信在飞。一封来自OpenAI，明确反对SB 1047；一封来自Anthropic，说这份法案「可操作，收益大于成本，风险真实存在，合规可行」。同一周，前众议院议长佩洛西也公开表达担忧。法案已过全部委员会，8月31日前要完成州议会两院表决，然后送上州长纽森的办公桌。

这是播客Cognitive Revolution的一期特别节目，三位嘉宾5月刚同台聊过这份法案，因为「立场对立却好好说话」广受好评。主持人Nathan Labenz把人请了回来：Nathan Calvin，来自AI安全中心行动基金，法案共同发起方的代表；Dean W. Ball，Mercatus中心研究员，法案文本公布次日就发文批评的第一人；Steve Newman，创业者，正在做一个收拾AI争论烂摊子的项目，使命宣言模仿谷歌的老口号：把AI世界的分歧，变成人人可及的建设性讨论。

三个人立场相差很远，对话质量却高得罕见。Labenz开场就把底牌亮了：「如果我是加州州长，我签。」但他也承认，自己一度想撤回支持，因为中间某版修正案给「前沿模型委员会」的权力大得吓人，好在那个机构最终被整个删掉了。

法案改成了什么样：从「合理保证」到「合理注意」

先交代背景。SB 1047全名直译是《前沿人工智能模型安全可靠创新法案》，由旧金山州参议员Scott Wiener提出，AI安全中心行动基金、Economic Security California Action和Encode Justice三家机构共同发起。它管的只有一类东西：训练成本巨大的前沿大模型。

Calvin把几个月里的修改逐条捋了一遍，刀刀见肉：

• 原计划新设的「前沿模型局」整个删除，部分职能并进加州政府运营局（GovOps）；
• 企业提交的安全材料不再需要宣誓作证，部分内容转为公开，允许企业自行涂黑；
• 云计算厂商的定价透明和非歧视条款删了，原版搭车的CalCompute公共算力计划也没了；
• 核心义务从「提供合理保证，证明模型不会导致大规模伤害」，改成「采取合理注意（reasonable care），防止不合理风险」；
• 监管门槛改成写死的金额：从头训练花掉1亿美元以上才被覆盖，别人微调你的模型花到1000万美元以上，责任才转移给微调方；
• 2026年起，被覆盖的企业必须请第三方审计，GovOps负责制定审计规则；
• 员工在公司内部发现风险，有正式渠道可以上报。

「合理注意」这个改动最关键。它是普通产品责任的既有标准，任何公司做产品卖产品，本来就受它约束。法案做的事，是把「合理注意」在AI场景里写具体了：网络安全、安全测试、防止别人用你的模型干大坏事，这些全算在「合理注意」的账单里。

Labenz请常写AI简报的Zvi Mowshowitz总结过一句话：这份法案到这个阶段，主要就是一份透明度法案。前沿公司本来大多承诺过做安全测试，法案强制他们把安全计划和测试协议写出来、交出去、接受审计。仅此而已。

Labenz保留的唯一批评，是那条1000万美元的微调线。他算了笔账：在OpenAI平台上微调一个模型，账单常常就是5美元、100美元这个量级，能花到1000万美元的微调项目凤毛麟角。这条线把责任几乎全压在Meta这样的开源模型发布方头上，日常应用开发者反而被放得太松。他特别点名一类人：卖自主智能体产品、能让AI执行真实动作的应用团队，迟早要分担责任。

顺带一提，Labenz对OpenAI那封反对信毫无兴趣，理由是这家公司过去一年制造的混乱实在太多，包括那场草莓表情刷屏的o1预热。佩洛西的反对，他提了句对方的英伟达持仓，没再当真。Anthropic的信他倒是认真读了，评价是朴实、扎实。他还特意感谢Wiener，说这半年的拉扯是一场「大力士级别的公共服务」，参议员一直在找平衡各方利益的妥协点。

反对派的账本：一个管人事和IT的部门，凭什么管前沿AI

Dean Ball先给了个意外的让步：法案比2月的初版「显著变好」，好到他承认加州同期还有别的AI法案更糟。他举了个例子，AB 2930，要求所有用AI的企业做「算法影响评估」，电工想用AI给客户写报价单也得先评估。这版条款后来被撤了。

让步完，他继续开火，火力点分三层。

第一层，执行机构不对劲。前沿模型局删掉后，职能并进的GovOps，是加州政府管人事、管IT的后台部门，对标联邦的GSA（总务管理局）。一个给政府修电脑的部门，没有监管前沿技术的机构基因。它发出来的「指南」属于软法，不强制，但会塑造预期。Dean举了FTC主席Lina Khan的例子：她发帖说自己支持开源AI，但企业从开源转闭源，FTC会「另眼相看」。一个机构一句话，就能让Meta在「Llama 5太危险、考虑闭源」的时刻多一层顾虑。审计规则同样可能被玩坏：假如规则要求审计师查看模型使用数据，开源模型发布方根本拿不到使用数据，审计直接做不了。

第二层，管辖权。SB 1047覆盖所有在加州做生意的AI公司，等于覆盖全美国。布鲁塞尔和萨克拉门托，是过去十年替整个西方写科技规则的两位「立法者」，联邦国会基本靠边站。Dean觉得这条路走不远：得州不会永远接受萨克拉门托来管自己的技术。他甚至说，这是国家撕裂的一条现实裂缝。

第三层，最根本：这是「基于模型的立法」。传统上，软件行业是无许可创新，谁都能写软件发到世界上，出了bug也很难起诉开发者。监管模型本身，等于轻轻碰了现代经济的这块基石。

「轻微怀孕这种事不存在。哪怕幅度很小，跨过去就是换了一套全新的政策制度。」

要为这一步辩护，需要证据证明AI能力会在未来5到10年出现质变。Dean看到的证据不够。他引用投资人Martin Casado的判断：现在的进展更像曲线拟合，会遇到渐近线，而真实世界是重尾分布，自动驾驶汽车就是活例子，最接近AGI的问题，卡在长尾上好几年了。

他还给GovOps设想了两种翻车剧本：一种是被既得利益集团俘获，医疗系统、律师、教师、政府雇员，用这套监管把AI摁死在一千个具体场景里；另一种更讽刺，GovOps写出36页的漂亮指南，AI公司看一眼：你们连一块10亿美金的算力集群都没有。然后交上来的合规材料全是打勾走形式，所有人安心睡大觉，直到某个没人考虑过的未知爆掉。

最具体的警告是检察官场景。某天发生一起AI参与的严重网络攻击，调查能查到的可能只有「攻击者用过GPT-4」，查不到具体提示词和对话记录。一位想在全国扬名的检察官拿着残缺的证据起诉模型厂商，一个法官写出「什么算实质性帮助了伤害」的标准，这个标准从此成为全国先例。Dean管这叫「一颗埋在那里的炸弹」。

支持派的逻辑：等国会反应过来，就晚了

Calvin的论证从共识出发：科学界内部、公司内部，对灾难性风险是否真实、是否以年为单位逼近，存在巨大分歧。但有一件事没有分歧。他跟Hinton、Bengio两位图灵奖得主聊过，也跟各家实验室的人聊过，所有人一致认为，他们在做的东西和邮件、社交网络完全不同，是极其重大、可能失控的东西。造出最前沿模型的人自己都这么想，这本身就值得当真。

第二个论点针对自愿承诺。各大实验室都签过安全承诺，但离开公司的员工不断放出证据：商业压力足够大时，承诺会缩水。把「合理注意」写进成文法，等于把这张纸贴到每位高管桌上；强制公开安全协议，等于让吹牛有成本；吹哨人通道，让内部人说话有去处。

第三个论点回应「该联邦来管」。Calvin在参议院工作过一年，评价很冷静：联邦国会跑不出指数技术变化的速度。想靠机构灵活监管？最高法院刚在Loper Bright案里推翻Chevron判例，机构没有明确法律授权就不能自行立规，FTC禁竞业协议的规则就是这么被否的。等联邦，等不来。

Calvin还替「责任路径」做了辩护：相比事前审批的许可制，事后追责更灵活。风险没成真，公司不担责，创新照常；风险成真，有人买单。他打了个比方：发现一种新病毒，可能是大流行，也可能自己消失。全面封城代价太大，但提前研发疫苗，怎么看都划算。SB 1047算不算那支疫苗可以争论，「在多个可能世界里都不亏」的政策，值得找。

侵权法那段交锋很见功力。Dean说软件行业一直有责任豁免护体，网络攻击是软件的负外部性，开发者从不买单，这恰恰是软件行业繁荣的原因之一。Calvin回应：豁免条款没想象中牢靠，它是厂商和用户之间的合同，被黑客攻破的银行从来没签过那份合同；真实世界里，普渡制药的阿片类药物诉讼之前，也没人觉得能告倒药厂，等灾难真的发生、伤害足够大，法院总会找出该负责的人。

Calvin也有委屈。5月法案刚吵起来时，网上流行一种说法：这是OpenAI操纵的监管俘获。后来OpenAI公开反对法案，他没等到任何一个人说「我错了」。a16z直接喊出「模型层零责任」，首席法务官递了16页意见书论证现有法律够用，Calvin的评价是「草率」。

他最后留了个问题给庆祝法案死掉的人：公众对AI本来就不放心，如果连这种温和的、全程公开的、被网友逐字挑错的立法都被否掉，下次出事时接手的，可能是完全不透明的国家安全机器。他正读一本讲美伊关系的书，巴列维王朝无视不满情绪，等来的就是革命。

吵到最后，分歧只剩一个问题

Steve Newman把整场争论拧成了一句话：几乎所有分歧，根部都是同一个判断，AI到底会不会很快变得非常强。认为会的人愿意付成本，认为不会的人觉得付成本是傻。

Dean大方承认，这就是他的核心。Leopold Aschenbrenner那本《态势感知》预言：几年内建万亿美金算力集群，配50座核反应堆。「如果那是真的，我们有大量工作要做。可我看到的证据不够，不确定性太高。」

但Dean接下来一段话，让这场辩论超出了法案本身。他说自己是加速主义者，热爱技术，可他必须承认：加速主义阵营至今没有一套AGI治理方案。「开源AGI，让它们互相制衡？这就是计划？人类历史上运气好的结局，往往是来一个强人，用铁腕建立秩序。」他自称古典自由主义者，而古典自由主义关于AGI治理的故事，目前不存在。如果AGI真在几年内到来，这件事的复杂程度堪比起草宪法，是一场代际工程。

Calvin接住了这个球，给出对称的担忧：没有SB 1047，出事之后的默认剧本，大概率是爱国者法案式的应激反应，一小撮国家安全圈的人关起门做决定。两个人罕见地达成一致：AI政策是个严重欠发达的领域，双方都需要更好的故事。

Steve补了两块拼图。第一块是信任：支持监管的人担心企业竞争压力下走捷径，反对监管的人担心监管棘轮只紧不松，双方都在赌人性，谁也拿不出证明。第二块是新冠留下的教训：疫情初期美国政府确实能在几周内通过几万亿的法案，搞出曲速行动，可后续该做的鼻喷疫苗、下一场大流行的监测网络，因为「政策疲劳」一样都没做。等到真正的大事发生时，社会可能已经累了，或者被锁死在一条错误的路径上。

Dean对新冠的读法相反：一周之内全国经济说接管就接管，天上一堆没有乘客的飞机照飞，美国说变就变的能力被低估了，它是全世界唯一敢认真讨论开源AGI的国家，AGI本身就可能是美国式疯狂的作品。Calvin用当天新闻回敬：小罗伯特·肯尼迪宣布支持特朗普，条件之一是特朗普为曲速行动公开道歉。政府被逼急了什么都干得出来，干得聪不聪明，是另一回事。

三个推演：Meta、马斯克和一颗可能的银弹

Labenz抛了三个场景，看法案通过后世界会不会真的不同。

第一个，Meta。按1000万美元微调线，Llama 4发布后，绝大多数微调行为的法律责任都留在Meta头上，这些模型被装进什么应用、干出什么事，组合空间近乎无限。Dean猜Meta会像应对欧盟那样给加州做地理围栏。Calvin纠正了一个关键细节：法案覆盖「在加州做生意」或「总部在加州」的公司，Meta总部就在门洛帕克，想靠不面向加州发布来脱身，得先把总部搬出加州，这不可能。Dean当场认错。

第二个，马斯克。按理说xAI该带头反抗，Dean却给出一个猜测：马斯克大概率希望法案通过。他极度活跃，对这份法案却一言不发；Dan Hendrycks正是xAI的安全顾问；马斯克一直高调警告AI的生存风险。Dean补了一刀：说不定他还乐得有个理由，不履行开源Grok的承诺。

第三个，技术银弹。Hendrycks这位法案背后的关键推手、AI安全中心创始人，最近的研究方向是「防篡改安全训练」：把拒绝危险行为直接练进模型权重深处，下游用户花小钱改不回来。Dean承认这会让模型变笨一点点，可一旦成熟，开源模型的安全责任边界会瞬间清晰，可能是一颗接近银弹的东西。Steve说，如果SB 1047能催生这类研究开花，那就是它最好的结局剧本。Calvin补了一句：法案真正的价值，可能就是逼全行业在安全护轨上向上竞赛。连加速主义阵营里都有人为METR和AISI的开源模型安全评测叫好，这种「在哪个世界都不亏」的事，多多益善。

结局，和明天就能做的事

节目最后，Labenz让三人开赔率。Dean的预测干脆利落：议会会通过，州长会否决。Calvin按利益回避原则没下注。Steve的收尾值得抄下来：

「AI政策很难，只有一堆坏答案里挑不那么坏的。但难，既不是随便通过什么的借口，也不是什么都不做的借口，因为什么都不做本身就是坏政策之一。」

后验一下：Dean猜对了。加州两院在8月底的截止日前通过法案，2024年9月29日，州长纽森签署否决令，理由是法案只盯着最贵的大模型，小模型可能同样危险，加州需要更完整的方案。这场持续半年的立法实验定格，但它留下的问题一个都没走：模型层该不该有责任、州权管不管得了全国、以及那个悬而未决的大问题，AI到底会不会很快变得非常强。

这期节目对普通读者的价值，是给了一套能立刻复用的判断工具：

• 看政策先看修正记录，再看立场。SB 1047从2月到8月改了七八轮，几乎每条认真批评都换来了对应修改，Charles Foster这类把法案文本逐条拆解的网友，直接推动了覆盖范围条款的调整。判断任何政策，先读原文和修正记录，再读解读，加州立法官网查得到每一版。
• 遇到AI争论，先问根源问题：「你觉得五年内会有AGI吗？」很多看似技术细节的争吵，答案都藏在这一个判断里。
• 做AI应用的记住两条线：1亿美元和1000万美元。你的微调预算几乎必然够不着那条线，责任在你自己；卖智能体产品的尤其小心，应用层担责只是时间问题。
• 把注意力分给「跨世界稳健」的东西：防篡改安全训练、独立安全评测、公开的安全协议。AGI五年后来还是五十年后来，这些投资都不亏。
• 想练「好好吵架」，可以去Steve Newman的新项目看看：长讨论沉淀成一页纸的科普，不同意结论，就进论坛参与讨论。