No. 134·精读

管最大的模型,坐牢只限作伪证:加州参议员维纳把SB 1047讲透了

Governing Frontier AI, with CA Senator Scott Wiener, Author of SB 1047

加州参议员 Scott Wiener 解析 SB 1047 法案,讨论前沿模型安全测试、政府介入与创新之间的取舍。

节目音频00:00 / 53:54
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

加州参议院第1047号法案,把监管门槛定在10的26次方FLOPs(浮点运算次数),跟拜登的AI行政令用的是同一个数字。按2024年的行情,训练一个这个规模的模型要烧掉几亿美元,全世界够得着这条线的公司,一只手数得过来。

站位却很微妙。写法案的斯科特·维纳(Scott Wiener),是代表旧金山的州参议员,全美AI创新心脏地带选出来的人。可这份法案,Meta、谷歌、亚马逊所在的行业协会TechNet公开反对,几家巨头没有一家表态支持;站出来力挺的,反倒是一批初创公司,还有不少支持者只敢私下点赞,怕的是影响公司融资。

2024年5月,维纳上了播客《认知革命》,主持人内森·拉本兹(Nathan Labenz)是创业者兼AI投资人。这期节目之前,节目组刚做过一场正反方对谈,AI安全中心行动基金的Nathan Calvin和默卡图斯中心的Dean W. Ball从亲科技立场拆过这份法案的利弊。这次,轮到起草者本人接招。

写法案的人,先是个拆住房审批的人

维纳的履历里原本没有AI。他1997年从东海岸搬到旧金山,一个同性恋犹太人,理由和很多酷儿一样:投奔自己的社群。做了多年律师,2010年进旧金山市议会,2016年当选州参议员,选区覆盖整个旧金山和圣马特奥县一部分,大约100万居民。他先当参议院住房委员会主席,后来接手预算委员会,自嘲接手的时机妙极了,正好赶上加州巨额赤字。医疗可及性、气候能源、刑事司法改革,也都是他的老阵地。

他最出名的作品是住房立法,一路拆盖新房的审批障碍。2018年特朗普政府废除联邦网络中立保护后,他推动加州通过了全国标杆级的网络中立法。2023年他又拿下一部大企业碳排放披露法,供应链排放也要算,披露必须经审计,审计机构由加州空气资源委员会认证。这部碳披露法,后来成了SB 1047的参照物。

动机来自他身边的人。维纳形容旧金山是AI创新的心脏,身边全是聪明绝顶的AI头脑,聊政策的机会比任何议员都多。他反复强调自己看好AI,气候、医疗这些大问题都可能被它撬动。大约一年半前,一批AI从业者开始跟他讲同一件事,有资深研究员,更有一线工程师:政策制定者应该在安全问题上先手,别等马跑出马厩再追。

流程也刻意放慢。2023年9月,他先公布一份法案大纲,公开挂了几个月收意见,2024年2月才交正式文本。针对「被快车道通过」的传言,他当场否认:法案走了九个月的常规流程,全程透明,随时可以改。

法案管什么:测试、认证,和五亿美元的线

门槛沿用拜登行政令的10的26次方FLOPs,另留了一个口子:将来用更少算力达到同等能力的模型,一样归它管。维纳解释,这样监管就不会被绑死在2024年的技术水平上。

义务的流程分三步。训练前和发布前,开发者要做安全评估,红队测试是其中一种;评估如果显示模型存在造成灾难性伤害的重大风险,就要采取合理的缓解措施,注意,目标是降低风险,零风险没人做得到;最后向加州技术部提交认证。

「灾难性伤害」写得很具体:核、化学、生物武器的开发或部署;5亿美元以上的关键基础设施损失;造成5亿美元以上损失的网络攻击类犯罪。维纳强调,这条线针对的是大规模破坏,鸡毛蒜皮够不上。有人问线该不该划得更高,或者五千万行不行,他的态度是数字可以谈。

罚则是误传重灾区。民事诉讼只能由加州总检察长提起,个人无权起诉,而且起诉有前提:模型真造成了灾难性伤害,你却没做测试,或者测试早显示了风险你却没采取措施。刑事责任只有一条,伪证,故意向政府撒谎才够格,性质跟在驾照申请上造假一样。诚实的失误,甚至马虎的提交,都不会让人坐牢。

纳森念出他读到的条款:民事罚款按训练成本的10%到30%计,另有可能的惩罚性赔偿。维纳把重点放在后者:惩罚性赔偿的触发门槛极高,要证明恶意,金额通常跟净资产挂钩。对一个万亿级公司,惩罚性赔偿的威慑和对一个普通人完全是两回事,激励设计就藏在这里。

纳森追问军备竞赛场景:换一个模型只需改一行代码,赢家通吃,实验室完全可能把测试压缩到发布日前能做完的最小量。他举了个眼前的例子,谷歌刚开发布会,OpenAI就琢磨怎么盖过去抢风头,实验室内部的时间表都会围着竞品转。维纳的回应是制度逻辑:测试做得烂、问题装看不见,认证还是要交的,真出了灾难性事故,总检察长就能上门。轻触监管管不住所有侥幸者,但它让侥幸有了价格。有人能蒙混过关,生活中这种事一直有,可有时候也过不了关。

至于法案没碰的议题,纳森注意到就业冲击、算法歧视全都没写进去。维纳的解释很直白,一部法案装不下所有议题。加州议会这届同时跑着一整批AI法案:算法歧视的,AI生成图像加水印的,针对AI色情报复的,管政府使用AI的。纳森又问,赫拉利说过AI的第一条规则应该是亮明自己是AI,这类要求呢?维纳说,今年议会里就有相关法案在推进。SB 1047只管一件事,最大模型的安全评估和缓解。

对就业,他讲了一段少见的坦诚话:理论上,AI让人少干活多休息,收益大家分,是完美世界。但这个社会极不擅长分配收益。他最不想看到的结局,是AI创造的巨额收益归了少数人,多数人因为丢了工作变得更糟。这是巨型议题,一部法案解决不了,但必须有人盯着。

他拒收的四样东西

「轻触」是维纳全程挂在嘴边的词。为了它,他拒掉了一批更狠的提案,节目里逐一点名:

  • 私人诉权:任何人都能起诉开发者。没接受,起诉权只给总检察长一家,让有限的执法资源盯真正的坏行为者。
  • 许可制:训练或发布前先拿州政府牌照。他不想让州政府卡在每单生意中间。
  • 直接禁某些模型:没走这条路。
  • 严格责任:出了事故自动担责,不管有没有尽到合理注意。也拒了。

关于风险本身,他有句原话值得留下:

「消除风险在生活中通常做不到。真要把风险全消掉,乐趣和创新也就没了,我们都得坐在地下室的棺材里。」

谁在反对,谁在沉默

「监管俘获」是反对者最爱的剧本:大公司推动立法,抬高门槛挤死小玩家。维纳逐字否认。事实是几家大公司没有一家支持法案,行业协会TechNet在公开反对;法案的点子来自AI安全圈的技术人员,跟大公司无关。他跟这些公司都在接触、收反馈,但到目前为止没人签字。

他反而在硅谷见识了另一种生态:不少从业者私下说「方向是对的,谢谢你做这件事」,但不愿公开表态。原因很现实,公司要融资,公开站队的成本太高。公开署名支持的,是一批初创公司。

「大实验室本来就在做测试,何必立法」,他的回答是最低标准逻辑:确实有实验室会超出要求,但任何行业都需要最低标准,不能指望每家实验室都自觉做对的事。他还补了一句:网上有人质疑Meta的安全测试是否到位,他强调这只是转述他看到的公开讨论,当不得定论。

维纳还交代了自己的立法习惯:

「哪怕你在反对我的法案,只要你指出我漏掉的东西,我可能会回一句,天哪,你说得对,谢谢,然后改掉。我只想让我的法案尽可能好。」

开源和独立测试,两个还没解开的结

开源社区是维纳花时间最多的对话对象。他的立场很明确:开源对创新和普及有巨大价值,法案不想消灭开源,团队正在跟开源开发者逐条讨论,怎么在保住安全的前提下解决他们的顾虑。他的一个判断是,在开源模型上做二次开发的应用往往很小,判断安全这件事,原作者仍然是最有条件的人。

争议点在责任链条。按纳森对文本的读法,开源模型发布后,任何人在上面继续训练得到的衍生模型,责任仍然挂在原作者头上。他提出一个思路:给下游加个计算量上限,比如额外用了10%的算力做后续训练,责任就转移给下游,原作者脱手。维纳回应,这是公平的讨论方向,愿意探索。

纳森还抛了个更长期的问题:照算力成本下降的速度,几年后训练成本可能从几亿美元跌到几百万,门槛形同虚设。到那时,是不是等于说,拿不出确定性安全证明的强力开源模型,干脆就不能发布?维纳没接这个假设,只回到当下:这个规模的模型眼下依然贵得吓人,要求做一次安全测试,是合理的起点。

独立测试是纳森更较真的一件事。他本人是GPT-4红队成员,当年放下手头所有事全职投入,却发现自己被保密协议捆住,位置全凭OpenAI的善意,发现问题也没处报,他把那段经历形容成荒野迷路。他的背景调查显示,今天几家AI安全评审组织能拿到的模型访问权,从没有到极其有限不等;连英国AI安全研究所都没拿到前沿模型的提前访问,尽管实验室们在AI安全峰会上做过自愿承诺。

他的职业起点在按揭行业,恰好赶上2008年崩盘。事后看,那些名义上的监管环节早就退化成橡皮图章。他把这段经验带进AI讨论:赢家通吃的压力下,实验室完全可能把测试做到「够合理」就收手,而不是挖到底。

法案现行文本对第三方测试的表述是「在适当时」,维纳承认这有点模糊。他态度开放,但抛回一个现实问题:第三方测试者是谁?大型会计师事务所进来打个勾,还是来真的?模型权重是企业的核心商业机密,比碳排放敏感得多,碳披露法那套审计师认证机制搬过来,会更棘手。

纳森给出自己的改法:给独立测试者一个认证身份,再加一项保护,让他们能把结果直接报给政府,不用担心被切断访问。他明确表态,加上强力的第三方测试条款,他会从谨慎支持变成热情支持。维纳没承诺,只说这是持续开放的议题,欢迎有想法的人联系他的办公室,推特账号scott_wiener也收私信。

明天就能用的三件事

第一,看立法别看二手转述。维纳结尾唯一的主动请求,就是别把推特上说的当成法案内容。SB 1047全文公开,读原文的成本,比读十篇吵架帖低。

第二,关心独立测试的人,窗口还开着。法案还在修正阶段,第三方测试条款明确留了口子,从业者和研究者可以直接向维纳办公室提交方案。他连反对者的意见都照收,漏洞成立就改。

第三,做模型的人记两个数字:10的26次方FLOPs是门槛,5亿美元是灾难性伤害的线。动手训练或做衍生模型之前,先算算自己离这两条线多远,尤其开源衍生品的责任归属还没有定论。

最后补一句纳森的自我定位,他自称「应用加速主义者,超大规模训练暂停者」:一边盼着AI家庭医生早点来,他觉得谷歌的Med-Gemini已经让人看到苗头;一边认为通往超人级AI的路上值得多一道测试工序。他这个老自由派,本来最担心新机构变成官僚噩梦,权衡下来还是觉得,前沿的赌注太大、竞争太烈,多这道工序是审慎。这个立场,跟维纳的法案正好对得上。

Dive into the world of frontier AI development with California State Senator Scott Wiener's intricate detailing of SB 1047 bill. This podcast explores the delicate balance between accelerating AI innovation and ensuring stringent safety protocols, including potential implications for advanced AI models. Learn about the debates on government involvement, the need for independent third-party testing, and Senator Wiener's commitment to a measured approach to AI regulation. Join us for a thought-provoking discussion on the complexities of legislating emerging technologies.

SPONSORS:
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention "Turpentine" to skip the waitlist.
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/

CHAPTERS:
(00:00:00) Introduction
(00:05:47) Senator Scott Wiener
(00:09:38) AI policy
(00:13:56) AI worldview
(00:16:20) Sponsors: Oracle | Brave
(00:18:28) Burden on Developers
(00:26:10) Developers reaction
(00:28:43) Big tech companies opposing the bill
(00:31:09) Open source models
(00:34:57) Sponsors: Squad | Omneky
(00:36:45) Illegal activities
(00:41:15) Penalties
(00:44:33) Third party testing
(00:48:33) Transparency requirements for model development
(00:53:07) Closing thoughts

本集资源与出处