# a16z合伙人卡萨多：AGI是挪了70年的球门柱，AI监管先补历史的课 > Cognitive Revolution No. 149 中文精读 - 原标题：AI Safety Regulations: Prudent or Paranoid? with a16z's Martin Casado - 发布日期：2024-06-28 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/149-ai-safety-regulations-prudent-or-paranoid-with-a16z-s-martin-oZ7788.html - 精读字数：约 5840 字（阅读约 13 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2005年，Sebastian Thrun带着斯坦福的无人车赢下DARPA大挑战赛，车辆全程自动驾驶穿越沙漠，欢呼四起：机器人出租车时代来了。20年过去，这个行业烧掉将近1000亿美元，Waymo的单位经济成本仍然比Uber高3倍。这是马丁·卡萨多（Martin Casado）在Cognitive Revolution播客里反复拿出来算的一笔账。 卡萨多的身份是a16z（Andreessen Horowitz）普通合伙人，全职看了3年AI公司，按他的说法，a16z可能是AI公司数量最多的投资组合之一。他的履历比多数风投硬核：斯坦福计算机博士，软件定义网络（SDN）的开山人物，创办的Nicira以12.6亿美元卖给VMware。更早之前，他在劳伦斯利弗莫尔国家实验室做计算物理，参与过核武器项目，1999年还在IBM沃森研究中心碰过蛋白质折叠。 主持人Nathan Labenz是创业者和AI投资人，原计划聊20分钟世界观就进正题：AI该不该现在监管，开源模型怎么办。结果两人花了一个小时争论“模型到底会不会变强”，因为监管立场完全取决于这个前提。这期节目最值钱的地方在这里：两个立场相距很远的人，把分歧一路拆到可以下注的程度，最后真约了几笔1美元的赌局。 ## 球门柱挪了70年 Nathan先抛出当下流行的判断，来自播客主持人Dwarkesh Patel：模型在token对token的智力上已经和大多数人相当，缺的只是长期记忆、自主性这些包装，补齐了就是通用知识工作者。 卡萨多的回应很直接：**AGI这个球门柱已经挪了70年**。过去80年的AI史是稳定进步，有冬天有夏天，经济性和解题能力一直在涨。每次攻下一个问题，所有人都喊“AGI就在眼前”，然后发现那只是一个模态。国际象棋、数学、手写识别、医疗诊断，AI超越人类几十年了，没有一样带来通用且经济上成立的全面方案，各自只解决了一个子集。 他讲了一个IT客服机器人的例子，值得每个买AI产品的人记住。创始人说，他的机器人能自动回复90%的工单，听起来九成人力省掉了。尽调发现，那90%里85%是密码重置，这种事早该用规则引擎自动化。真正独特的工单，一半还得靠人。**按出现次数算，模型覆盖了八成；按去重后的独特性算，复杂性全在尾巴上**。卡萨多说，过去10年的chatbot行业一直在重演这个剧本，如今的LLM讨论只是换了台词。 他管这个叫重尾宇宙。随机抽一条Google搜索，大概率是条独特查询；不去重的话九成是常见搜索，一旦去重，多数都是例外。构建通用系统，要处理的新事物里大多数是例外。自动驾驶就是典型：一个本质上是二维视觉的问题，近千亿美元进去，还在长尾里挣扎。 他的解法是系统工程的常识：**与其把AI做得更通用，不如改变环境**。摘草莓的机器人打不过人手，那就把草莓种成整齐的垄，加上光学标记；自动驾驶搞不定的长尾场景，那就改路牌、改车道。他预计2027年的AI代理也是这个剧本：先做到八成，然后人类改造网站和接口来配合。看起来更自主了，但那是软件工程进化出来的成果，跟“破解了通用智能”没关系。 ## 分配进，分配出 聊到LLM的本质，卡萨多给了三个心智框架，每个都有论文撑腰。 - 模型学的是语料的结构。有研究发现，gzip压缩一段文本的效果，和LLM处理这段文本的准确率高度相关。**模型做的事接近压缩，压缩利用的是结构，跟底层含义无关**。 - Transformer的机制接近核平滑，也就是加权平均。平均意味着越靠近数据稀疏的区域，误差越大。 - 上下文学习就是贝叶斯推断。哥伦比亚大学教授Vishal Misra的论文把in-context learning严格映射到贝叶斯学习上：提示词是新证据，证据更新后验。贝叶斯系统的收敛性质人类研究了20年，直接拿来用。 三个框架拼成他那句口头禅：分配进，分配出。人类花了几千年看宇宙，把宇宙抽象成“树”“石头”“家庭”这些概念，写进文本。这个抽象是有损压缩，但正因为它被强行线性化、去掉了重尾，结构才可预测，LLM学的就是这层现成的结构。 有个数据点可以佐证：为什么全行业的预算正从预训练挪向后训练？卡萨多的算法是，Llama 3的对话数据约1000万条，按一条15美元估，后训练数据预算在1000万到1亿美元之间，差不多占训练总投入的一半。**模型擅长学习人类已经产出的输出，真正难的活儿是人类盯着宇宙、决定什么算一块石头、什么算一个概念，再写成监督数据**。这一步，LLM做不了。 Nathan拿可解释性研究反驳：稀疏自编码器能从Claude里分离出3000多万个特征，把“金门大桥”特征调高，模型就满嘴金门大桥，这难道没有意义？卡萨多回答：**那是结构，意义是另一回事**。“石头”是人类为了导航宇宙发明的概念，一粒沙算不算石头，一块巨石算不算石头，边界是任意的。模型百分之百能恢复文本里的这些抽象，因为结构就在那里，但这跟“从宇宙本身建立新抽象”是两码事。 > 「这些模型非常擅长预测一个普通人接下来会做什么。对八成任务来说这就够用了。但你要的恰恰是剩下的那部分。」 他把话说得很满：**LLM擅长复述人类已经抽象好的世界，目前没有任何证据表明它能自己给世界建立抽象，而那一步才是全部复杂性所在**。 ## 生物学是试金石 Nathan没有认输，他掏出一个更硬的案例：ARC研究所的EVO模型。70亿参数、3000亿token，训练量只有Llama 3的2%，任务只是预测下一个碱基对，数据只有细菌和噬菌体的DNA序列。但它在“基因必要性打分”实验里表现惊人：扰动一个基因序列，如果模型下游预测依然自信，说明这个基因大概率不关键；如果模型突然变得极度不确定，说明它意识到自己出了分布，这个基因很重要。没人教过它基因学，它在为预测碱基服务的过程中自己长出了高阶表征。 Nathan的赌注是：未来一年，放大的生物基础模型会学会基因、蛋白质、细胞之间人类无法模拟的相互作用；研究者对模型做反事实实验，扰动一个变量看结果，再去湿实验室验证，找到新药和新疾病模式。**在他看来，这就是模型“看宇宙、自己建立抽象”的证据**。 卡萨多的回答分两层。第一层，他完全同意会发生：约束好、能还原为少数基本规律的领域里，模型学分布做预测，百分百成立。他1999年在IBM就相信算力够就能算蛋白质折叠，后来的AlphaFold走了这条路。第二层，他给这件事归类：这是模拟的延伸。计算机因弹道学而生，ENIAC算弹道比人工快5000倍；上世纪八九十年代，工程师靠实验测出材料性质建数据库，再用它模拟车祸和爆炸；他自己在利弗莫尔写过Navier-Stokes流体代码。生物模型只是这条线的下一步，学的仍是约束域内的规律。 他的边界画在瑞利-泰勒不稳定性上：两种不同密度的液体叠在一起，扰动之后产生混沌湍流，人类盯着这个问题看了30年，只能预测大致形态，预测不了细节。AI系统的计算效率比专门写的模拟代码还低，凭什么啃这种非线性的硬骨头？**除非模型真的改变了计算复杂度的权衡，比传统模拟走得更远，那才算范式转变，目前没有任何迹象**。 > 「想模拟宇宙，唯一的办法是跑赢宇宙。宇宙就是一台在模拟自身的计算机，这也是我们连三体问题都算不动的原因。」 这段讨论还埋着一个历史注脚：模拟核武器需要算力，美国当年一度讨论限制PlayStation出口中东，担心萨达姆拿游戏机集群做核试验模拟。卡萨多亲历了那场讨论，他的结论是，模拟能力从来都是特定工具对应特定场景，跑不出失控的飞轮。 ## 监管：先定义，再立法 下半场进入监管。卡萨多第一个论点很朴素：**现行法规连AI的定义都没有，监管AI实际上就是监管软件**。法规文本里“能够导航并改变虚拟或物理环境的系统”这种表述，宽到能装下所有非平凡软件。软件监管人类干了70年，汽车、飞机、医疗设备里全是软件，测试、验证、标准一应俱全。他自称终身自由派，主张把AI讨论并入这条30年的既有脉络，该加保护的地方加保护。 Nathan给出一个更本质的区分：模型是训练出来的，工程师事先不知道它会长出什么能力，部署时也说不清能力边界，这跟传统软件有质的差别。卡萨多的回应是，互联网人从没理解过自己系统的后果。设计TCP时最大的担忧是拥塞崩溃，把孩子、生意、关键基础设施放到网上，没有任何行为模型可循；蠕虫是互联网出现之前在定义上不可能存在的攻击向量，这是可证明的新东西。即便如此，当年大讨论的结论仍然是：**监管应用，监管行业，不监管数学和计算机科学原语**。这个决定换来了之后20年最重要的增长引擎。 他最重的论据就在这里。互联网面对的恐惧比今天的AI具体得多：莫里斯蠕虫打瘫了包括医院在内的大量计算机，“不对称性”改变了美国国防姿态，你越拥抱技术就越脆弱。今天的AI连一个这样的实证案例都拿不出来，讨论的却是尚不存在的生物武器威胁。卡萨多反问：凭什么绕开30年的结论？ 算力门槛也挨了批。拟议法规用10的26次方FLOPs这样的训练算力划线，卡萨多称之为编造的相关性：**危险和算力之间没有任何已知的对应关系**，这相当于给数据库设算力上限。 责任划分是交锋最精彩的部分。Nathan做过GPT-4红队，测试过模型能不能当有说服力的鱼叉钓鱼攻击者，答案是能。他问：Meta发一个开源模型，拒绝行为没调好，有人拿去诈骗，Meta该不该担责？卡萨多搬出安全行业的历史：Nmap、Metasploit这些工具天生能干坏事，当年的结论是追究使用工具的罪犯，工具本身开源，因为防御也靠它们，Tenable这样的公司就是从这些工具里长出来的。他的规则是：**除非系统专门为恶意行为训练，否则通用系统的作者不为使用者的罪行担责**。 Nathan追了一步：电话呼叫代理呢？给一个号码，它自主打电话完成目标，我让它去骚扰你，责任在谁？卡萨多反问：那电话公司要不要负责？但Nathan坚持了一条底线：把自主系统作为服务出售，就得确保它拒绝明显犯罪的要求。卡萨多这次让步了，说完全公平：**如果离犯罪只差任何人都能做的轻微改动，而且这就是主要用例，那该管；如果是对很多人有用的通用原语，那差着十万八千里**。 至于Anthropic的“睡眠代理”论文，模型可以被植入恶意触发条件，卡萨多觉得讨论有点滑稽：这和软件后门是同一个问题，给定一串二进制指令，原则上无法判定其全部行为，这收敛于停机问题。解法早就有了：别乱下载来路不明的二进制，用应用商店的审核版本，模型照抄这套体系就行。 他还讲了自己的亲身经历。去年秋天他在日本，母亲接到用他声音合成的诈骗电话，说他进了监狱，父亲差点出门汇1万美元赎金。他发推痛斥深度伪造，报警后警察告诉他：这伙人就是真人压着嗓子说话，这招用了很多年了。**人类习惯给AI安上尚未演示过的超能力，再把今天本来就存在的骗局算到AI头上**。 ## 指数之争，和市场的一场反常 卡萨多举CRISPR做监管参照：一项能改写人类基因组并遗传后代的技术，靠从业者自我约束加研究走到了今天，没有重型前置监管。Nathan马上抬出基因驱动：CRISPR的强化版，基因会自我复制到另一条染色体，逐代扩散接管整个种群，MIT生物学家Kevin Esvelt研究的就是怎么中和它。一个做单次编辑，一个指数传播，天差地别。 卡萨多接受这个框架，然后给出他的标尺：**核弹过了临界点有指数，生物复制有指数，计算机系统没有任何指数复制的证据，甚至有研究专门论证递归自我改进不会发生**。安全派和加速派的核心分歧，说到底是能力预期：AI会不会获得那种一旦启动就压不住的指数。没证据就用思想实验给过去30年最有益的技术上锁，在他看来是道德上的错误，因为锁住的是确定的好，防的是未演示的坏。 顺便说一句，两人在“现在就价值巨大”上完全一致。Nathan举了两个例子：Google DeepMind的Med-Gemini在诊断和放射科模态上稳步推进，团队说就算Gemini 1.5 Pro是最后一版底座，AI医生的愿景也能做成；OpenAI给法律AI公司Harvey做的定制模型，用增量算力把偏好率拉到97%。双方都担心一件事：**执业牌照、监管俘获、寻租，把这些已经存在的价值挡在门外**。 竞争格局的讨论里，卡萨多提出一个反直觉观察：这个行业的规模经济是反的。正常的网络效应里，领先者每加一个用户的边际成本趋近于零，赢家通吃。基础模型行业里，**领先者要花更多的钱才能保持领先，而且还在帮追赶者，因为后者可以直接拿它的输出做蒸馏**。他打了个比方：两个芝诺悖论里的跑者，永远到不了终点，但领先者每提升一分都要付10倍的钱，同样的预算，追赶者能逼近一大截。这解释了为什么“OpenAI一骑绝尘”的预言落空，为什么NVIDIA、Databricks这些非模型公司一出手就是有竞争力的模型。 Nathan不同意，他的理由是scaling laws：能力提升持续要求指数级投入，头部三家会越跑越远，直到某家先跨过“经济上成立”的门槛，拿到别人拿不到的资源，形成分水岭。他还提到，某家全球前五的云厂商换上新的Sophia优化器，光这一项就省下30%的算力，最大规模的训练跑一次省约1亿美元，算法效率的进步在持续改写成本曲线。卡萨多的反驳是，scaling law本身就在惩罚领先者：对数或幂律曲线意味着同样的进步要花一个数量级以上的代价。两人最后约定了1美元的赌局：两年后，这个市场是碎片化的多强格局，还是一家拿走80%份额。 ## 明天就能用的三件事 这期节目没有输赢，但留下几个可以直接拿走的东西。 - **评估任何AI产品，先问重尾问题**。把“能自动处理90%的工单”这句话拆开：去重之后，独特的部分占多少，谁来兜底，成本算过没有。IT客服的账本就是最好的照妖镜。 - **把观点写成赌局**。卡萨多和Nathan聊了两个小时，最后落在几笔1美元的赌注上：市场集中度、生物模型能否学出抽象、语言和生物能力能否融进同一个系统。条件可验证，输赢有定论。你自己的AI判断，也值得写成这种格式，两年后回头对账。 - **看AI监管新闻，套两个过滤器**。第一，这条规则管的是应用和行业，还是数学和工具本身？第二，它引用的风险有实证案例，还是只有思想实验？卡萨多从互联网时代带回来的经验是：监管应用，放开原语，是过去30年被验证过的那条路。 节目结尾，Nathan说了句实话：他希望卡萨多是对的，因为如果宇宙的复杂性真能被完全破解，他有点不知道会发生什么。卡萨多则答应把赌局条件想好发邮件过去。两个立场相差很远的人，用两个小时把分歧压缩成几个可以下注的命题，这本身可能就是这期节目最好的示范：先搞清楚是什么，再争论怎么办。