# 训练成本2亿美元起步就要担责：加州AI法案SB 1047的正反方激辩

> Cognitive Revolution No. 132 中文精读

- 原标题：Emergency Pod: Examining SB 1047, California's Proposed AI Legislation
- 发布日期：2024-05-04
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/132-emergency-pod-examining-sb-1047-california-s-proposed-ai-leg-DcQdy8.html
- 精读字数：约 4951 字（阅读约 11 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2024年5月，一部编号SB 1047的法案正在加州立法机构推进，全名《前沿人工智能模型安全与创新法案》。这是美国第一个真正走到议会程序里、试图实质管理前沿AI的立法，此前这个层级的管理只存在于拜登的行政令中。它的核心条款很具体：**模型训练耗掉10^26 FLOPs（1后面26个0）的算力，按当时市价约2亿美元起步，开发方就要承担一整套安全义务，做不到可能被州检察长起诉。**给个参照：Meta当时还在训练的Llama 3 405B，估算算力4×10^25，只有门槛的40%。

Cognitive Revolution为此做了一期加更，把正反双方拉到同一张桌子上。支持方内森·卡尔文（Nathan Calvin），AI安全中心行动基金高级政策顾问，机构是法案三家共同发起方之一；反方迪恩·鲍尔（Dean Ball），乔治梅森大学Mercatus中心研究员；中间还有位史蒂夫·纽曼（Steve Newman），他创办的Writely后来变成了Google Docs，现在专职提升AI公共讨论的质量。主持人内森·拉班兹（Nathan Labenz）做过GPT-4红队测试，把法案原文啃了一遍。

网上流传的版本里，这部法案要么是「反技术权力的全面扩张」，要么是「大公司锁死新进者的阴谋」。主持人开头先泼冷水：推动法案的州参议员斯科特·维纳（Scott Wiener），政治履历是推住房建设、加速太阳能、把酒吧卖酒延到凌晨4点、给致幻剂除罪。塔克·卡尔森和史努比·狗狗能在同一个话题上说出差不多的台词，硅谷的左右阵营在AI议题上第一次乱了阵型。**这场讨论的特殊之处在于，四位参与者都自称亲技术、都警惕政府扩权，分歧只在「这部具体法案」上。**

## 法案管什么：一条算力红线，三道关卡

主持人把法案拆成六件要紧事，节目里展开了两件。第一件是损害标准：法案要防**大规模伤亡，或5亿美元以上的关键基础设施损失**。鲍尔当场提醒，「关键基础设施」比直觉大得多：医院、金融服务、全部电信网络都算，覆盖美国经济产出的多数。而且5亿美元不随通胀调整，2023年全球网络犯罪损失估计约9万亿美元，敲掉一座污水处理厂的电脑几天，账面损失可能就够5亿。主持人则怀疑9万亿这个数，它接近全球GDP的10%，讽刺的是，法案两边阵营都在引用它。鲍尔还补了刀：按破窗谬误的算法，修复成本也算进GDP，这个数怎么统计都是笔糊涂账。

第二件是义务怎么触发。训练算力达到10^26，默认进入监管范围，除非提前给出技术理由证明模型不会造成上述损害。给不出，就走三步：训练期间执行安全协议，权重不能泄露，保留整体关停能力；训练完做能力评估，测完能证明安全才放行；还证明不了，就只能带护栏部署，包括不开放权重。除算力外还有条模糊路径：模型出来后被「合理认为」能力相当，同样覆盖。**最狠的一条是连带责任：你开源的模型，别人微调后暴露出的危险能力，账算在你头上。**

卡尔文补充了一个已通过的修正案：训练前没预料到模型能力、被惊到了，及时补安全措施就不算违规。他还强调，前沿模型部门挂在加州技术部下，只收事故报告、做认证，没有规则制定权，不发执照，执法主要走州检察长的责任诉讼。他自己也反对大政府，原话是「我们最不想干的，就是搞出一个AI版CEQA」。CEQA是加州环境质量法，维纳为住房改革跟它缠斗了十年。

鲍尔追问的正是这个机构的权力边界：修正案让它有权调整算力门槛和管辖标准；更麻烦的是经费，加州财政有600亿美元赤字，前沿模型部门靠对AI公司收罚款和费用养活自己，和核监管委员会（NRC）的经费结构一模一样。**监管机构的工资由被监管者支付，还绕开了预算审批，监管俘获的种子从拨款那天就种下了。**

## 鲍尔的反对：没有「电力部」，也不该有「AI部」

鲍尔的立场可以用一个类比讲完。电能杀人、能纵火，美国没有电力部；互联网上犯罪不少，也没有互联网部。通用技术的惯例是管下游用途，让每个现有机构在自己的辖区和专业知识里消化新技术。

> 「没有一件大事要做，只有500万件小事要做。每个机构在自己的辖区、自己的专业领域里，把这项技术的风险和收益认真内化，这才是工作。」

核电是他的核心参照。世界先有三英里岛和切尔诺贝利，才有核监管委员会和事实上的核电冻结。**AI还没有自己的切尔诺贝利，就要先把技术关进笼子。**他补了一句现实的：中国不会因为加州的豁免条款、不会因为NIST的AI风险管理框架放慢脚步。法案挡不住真正的对手，只会给国内从业者套上枷锁，制造虚假安全感。执行也是个坑：模型能力扩散之后，加州想执法，难道要在互联网上建一套警察系统？

他反对的还有程序。美国软件业从来没有过普遍适用的预防原则和责任制度，这部法案开先例。欧盟式监管是「你们自己想办法合规，不满意就来起诉」，罚多少全凭新部门心情。他的排序是先科学、再标准、后立法，法案把顺序倒了过来。节目最后他给法案下了判词：

> 「我看这类法案，看到的是一种把现在封进琥珀的绝望努力，一种拒绝走进那个新未来的绝望努力。」

## 开源的生死题：下游微调算谁的锅

火药味最重的部分是开源。主持人引用FAR AI（亚当·格列夫团队）的研究：模型的安全训练很脆，下游哪怕只用普通聊天数据做一轮微调，没教它干坏事，只是忘了教它拒绝，危险能力就可能重新露头。法案的逻辑因此是让基础模型开发者对下游修改负责。

鲍尔的判断很直接：现有开源模型不会立刻违法，可能还有一两代空间，但按法案设计，开源迟早撞线，逐步走向违法。他对照奥特曼的「迭代部署」造了个词：**「开源的迭代式消亡。」**

那法案到底管谁？主持人列了名单：OpenAI做过GPT-4安全评估，Anthropic发布了负责任扩展政策，Google被批评的恰恰是太慢太保守，头部三家已经在做法案要求的事。**法案真正的约束对象是Meta，和未来可能加入2亿美元训练游戏的那半打公司，尤其是他们的开源决策。**

卡尔文在这里把话说得很重：网上流传「法案由大公司秘密起草、用来锁死竞争」，**「这个说法百分之百是假的」**。事实是维纳自己被AI风险惊动，去年年中放出意向草案后主动找三家发起机构帮忙起草。OpenAI、Anthropic、Google、Meta、微软都和参议员办公室谈过，诉求集中在措辞精度；公开反对的是进步商会（Chamber of Progress）、TechNet这些行业协会；举报人保护条款也写进了法案。他还纠正一个流行误解：加州现在对AI并非无法可依，产品责任、过失侵权早就悬在头上，法案某种程度是把既有不确定性讲清楚，只是它也确实没提供正式的安全港。

鲍尔的回应是方法论级的：动机也许干净，**「评判法案要看效果，不看动机」**。效果上，它有利于OpenAI、Anthropic、DeepMind，不利于战略就是开放的那家Meta，也不利于几乎整个初创圈。他透露，有和辛顿、本吉奥同等量级的研究者反对法案，只是没获授权点名。

主持人顺势提了两个修正方向：一是给「衍生模型」划线，下游投入达到原训练成本10%到50%的，责任转移给新开发者，兹维·莫罗维茨的博客里有更细的版本；二是加36个月日落条款，到期强制重新评估。卡尔文都接了，说作者愿意考虑。他自己的担忧也没藏着：**不能把全人类的安危押在扎克伯格某天早上的心情上**，万一那天马斯克刚发了更大的模型呢。鲍尔回敬：现在没有任何人在YOLO，这是史上最不YOLO的技术，这场讨论的严肃和无聊本身，就是一种监管。

## 吵不完的根子：时间够不够，社会跟不跟得上

纽曼把讨论拉回原点：到底有没有真问题？鲍尔的答案是有的，比如把美国电网打瘫一个月值得担心，但「立法宣布搞垮电网违法」基本在重复现行法，没有推进任何认知。

卡尔文的紧迫感来自速度。他在萨克拉门托和加州农村地区的议员助理聊，对方是真的害怕。立法要时间，政府搭建要时间，能今年过就今年过。他反问：等五年把标准写完美，期间出了生物武器攻击和自主模型乱窜怎么办？

鲍尔的回答是社会适应论：**「社会不是静止的靶子。你活在交响乐里，你就是乐团的一员。」**生物风险今天就在，不靠AI也存在；拜登行政令刚出的核酸合成筛查框架（联邦资助的生命科学研究必须使用会比对已知威胁数据库的合成设备）就是正路。管模型层太低了，他的比喻是**「这等于去管冶金，导弹本身反而没人管」**。他还划了条宪法线：对基因数据做统计分析是权利，合成DNA不是，监管该卡在后者。

关于10^26哪来的，鲍尔说是凭感觉，GPT-2、GPT-3、GPT-4发布前都听过同样的话，从未有过科学依据。卡尔文反驳：发明电子邮件的人可没联名上书说邮件可能杀死所有人，而AI实验室创始人签了；OpenAI自己测过GPT-4的生物风险，结论是提升有限、不比搜索引擎强多少，但态度是「对下一代保持开放」；英伟达市值一度超过沙特阿美，这个局面本身没有先例。他还提了辛顿：本来不担心的人，接触最新一代模型后改口了。

鲍尔则把AI安全论述的出身翻了出来：这些担忧诞生在深度学习之前，当年设想的是从两帧苹果落地推出广义相对论的贝叶斯推理机，结果来的是「互联网的统计近似」。**「我们不在埃利泽·尤德科夫斯基预言的那条路上。」**他提了个细节：Claude 3 Opus被测出约130的智商，还公开谈论自己的元认知，然后呢，共和国照常运转，除了他和另外四个人，没人在乎。

民主授权也吵了一轮。卡尔文说，扎克伯格买几万张H100，不该由他一个人决定世界走向。鲍尔说，历史从不靠举手表决推进，普林西普刺杀斐迪南大公前没问过欧洲人；把命运押进少数几个篮子，恰恰是他反对前沿模型部门的理由之一。他还嫌AI安全圈的话术像**「拿枪指着头谈判」**：苏莱曼去年上播客说「不监管我们都得死」，这个证据强度远远不够。

## 双方都点头的部分，可能才是重点

吵了近两小时，交集清单其实不短。

- **列举式禁令。**主持人提议搞个「SB 1048」：明确列出模型不得具备的能力，公开分发（API或开源）具备这些能力的模型即违法。卡尔文觉得方向对，难点是欺骗性系统、自我复制这些概念很难写进法条。鲍尔喜欢这个终点，但指出两个坎：怎么定义，以及技术上能不能把特定能力从模型里干净摘除，现在的答案是不能。
- **第三方测试。**主持人讲了自己的GPT-4红队经历：签保密协议、被关在黑箱频道里，因为私下咨询安全社区被踢出项目；Google DeepMind的佩吉·贝利也描述过训练中一觉醒来模型提前「顿悟」的场面，说明训练期间的测试远远不够。卡尔文担心公司雇德勤、博思艾伦走过场，也坦白政府付不起这些实验室的工资，法案的思路是逼公司兑现自己公开承诺的事，但他确认法案有测试者认证条款，作者对扩大第三方测试持开放态度。鲍尔明确支持两件事：**给善意的独立研究者安全港**（现在这类研究违反公司使用条款），以及举报人保护，他称后者「很聪明」。
- **生物安全投资。**卡尔文2022年在国会工作，疫情后没人想听防疫话题。他判断十年内出现人为生物事故的概率相当高，主张不管模型之争怎么收场，疫苗平台、合成设备筛查这些投资现在就该加码。鲍尔完全同意。
- **算力公共基础设施。**鲍尔支持国家算力计划，让李飞飞这样的学者也有一万张H100可用，斯坦福不会给她买。但加州最好先处理600亿赤字。

主持人的总结立场值得记下：法案不完美，但发起方在认真处理前沿模型的尾部风险，没给初创公司压不该压的担子；同时他对「新机构借模糊条款逐步扩权」保持警惕。他举的例子是AI医生：如果因为恐惧或保护医生岗位，把高质量的AI医疗建议挡在门外，会是很大的错误。**监管迟早会来，与其站在外面喊，不如进立法流程里改。**节目最后他说下周要采访维纳本人，向听众征集修改意见，承诺逐条读完、当面转达。

## 明天就能用的三件事

- 上加州立法信息网站leginfo搜「SB 1047」，读法案原文和修正案对照。重点盯三处：10^26门槛能否被机构下调、「衍生模型」责任边界怎么划、前沿模型部门的经费是否改成正常拨款。这三条基本决定法案成色。
- 训练预算可能上亿量级的从业者，把安全协议、权重访问控制、一键关停写进工程流程，留好能力评估记录。这部法案哪怕今年不过，这套义务大概率会以联邦或其他州的形式回来，早做不亏。
- 做安全研究的，盯住「独立研究者安全港」和「观察到的模型行为举报」两个条款的走向。它们一旦成文，研究闭源模型、公开所见所闻，就从灰色地带变成受保护动作。