靠AI把公司翻倍，他却成了呼吁暂停超大规模训练的人

一条30秒的小企业广告，两年前要用户自己翻模板库、想文案、挑图片，配音还得等上几天，前后折腾将近一个小时。现在打开网页，输入公司网址，再敲十几个字，30秒后一条完整的广告就摆在面前：脚本、配图、配音全都有。

做出这个产品的公司叫Waymark，2023年靠这套AI流程把业务规模翻了一倍，还做到了收支平衡。创始人Nathan Labenz随后做了个更激进的决定：卸任CEO，全职研究AI。他主持的播客Cognitive Revolution是英文世界追踪AI前沿最认真的节目之一，主持人Nick Halaris称他为「世界上最显眼的AI侦察兵」。

2024年7月底的这期节目有点特别，是两个播客的串场。Nathan做客The Nick Halaris Show，尼克和他是密歇根州奇佩瓦谷高中的校友，靠两位当年的老师牵上线。整期节目像一次全景扫描：AI能带来什么、哪里会出问题、中美竞赛怎么办。下面把干货拆开讲。

从末日预言到30秒出片

Nathan接触AI风险议题比大多数人早了十几年。2006年前后，他读到埃利泽·尤德科夫斯基（Eliezer Yudkowsky）的文章。这位后来被称为「AI末日预言第一人」的作者当时就在警告：算力和数据都在涨，总有一天会造出强大的AI，但我们不知道怎么控制它，也不知道怎么把人类的价值观传给它。

Nathan当时的反应很有意思。他把这件事归到和小行星撞地球同一类：概率看着不大，但值得有人专门盯着天空。他自己没去做理论研究，而是老老实实创业，只给做安全研究的人小额捐款，顺便表达支持。

两条线在2020年前后交汇。Waymark做的是小企业视频工具，产品已经够好用了，用户访谈却撞了墙：很多人说，工具是不难，难的是我不知道该说什么。空白页才是真正的障碍。恰好GPT-3出现了，Nathan意识到，如果AI能替用户出一版草稿，整个产品逻辑就变了。

他引用《辛普森一家》里伯恩斯先生的名言：我懂不懂艺术不好说，但我知道自己讨厌什么。早期AI的正确用法就藏在这句话里，用户不需要会创作，只需要对着AI给出的方案说「不行，换」，翻到满意为止。

更关键的判断在这里：同一套核心技术（Transformer架构）在写作、图像理解、语音合成上同时突飞猛进。过去Waymark的配音靠真人，质量好但要等几天，100美元一次，改稿还得加钱；文本转语音几乎在同一时间追了上来。Nathan由此推断，这些能力迟早会合并成一个东西，而那个东西会非常强大。这时候他想起十几年前读过的末日预言，决定全身心投入研究，后来干脆把CEO的位置交给老搭档。

一小时变三十秒：一家公司的前后对照

Waymark的改造结果，可以当作AI改造传统产品的标本。

改造前：用户在模板库里挑一个，然后面对写作难题，再自己选图，最后下单等真人配音。就算一切顺利，做出一条高质量视频也要一个小时，而一小时在当年已经算快的了，毕竟替代选项是去找广告公司。

改造后：用户提交公司网址，系统自动爬取网站信息、抓取图片，然后只给一个文本框。输入「新店开业」或者「周末促销」这类十几个字的需求，30秒后一条30秒的完整广告生成完毕，脚本、画面、配音全部就位。2023年，公司规模翻倍，同时做到收支平衡，用户满意度、视频产量、转发拉新的数量全线上升。

Nathan说，过去用户是创作者，没有惊喜可言；现在变成了开盲盒，不满意就换个指令重开，满意了再做精细编辑。几乎所有用户都会在AI初稿上改几处小地方，但起点已经完全不同。

乐观的部分：百分之一成本的AI医生

聊到AI能带来什么，Nathan的答案很具体。

医疗是重头。目前的盲测实验里，用户随机和人类医生或AI医生对话，事后由人类医生评估谁的诊断更好。AI在鉴别诊断这类核心任务上已经超过人类医生，而且成本不到百分之一。看一次病如果花100美元，问AI大概只要1毛钱。AI还全年无休，聊到一半被打断，回头可以接着聊。

他强调，这不代表AI能替代医生的全部工作，比如追踪一个人几十年的完整病史，AI还做不好。所以他给自己定的原则是两边都用：真遇到紧急情况不会全押AI，但也不会没有AI医生，两边互相校验。

科研侧的例子是AlphaFold。这个来自谷歌DeepMind的模型家族能从DNA序列预测蛋白质的三维结构。以前搞清楚一个蛋白质的形状要花大量实验，现在输入序列就能得到相当准确的预测。蛋白质是人体里的微型机器，形状错了、对不上位，疾病就来了。这是一类全新的工具，会大幅加速生物医药的发现。

还有几个数字值得记下：一家做食品机器人的公司发现，食品加工70%的劳动力成本花在把食物装进包装（不含食材成本），备菜和烹饪只占30%。西兰花每块大小不一，还要控制重量，比想象中难。他们的机器人已经完成了2000万份餐的装盒。谷歌的航运AI能让船运公司用少15%的船运更多货，利润翻倍。至于AI耗电的批评，Nathan认为被夸大了，省下一次开车去看病的汽油，就够聊很久的AI。

他的整体判断是：现在有ChatGPT这样的通才系统，什么都还行但没有绝活；也有AlphaFold这样的专才系统，单一领域超越人类。一旦通才AI学会调用、甚至自己设计那些超人类的专业工具，这个循环一闭合，一切都变了。变好还是变坏，就引出了另一半话题。

风险从哪里来：打分、说谎和不想被关机

Nathan不喜欢把AI风险讲成辩论赛。常见的场面是，一方举一个具体场景，另一方说太牵强，举的人只好解释那只是个例子。他自己的框架是：未来有无数种可能的组合，单独看每一种都不太可能，但加总起来，未来「变得非常奇怪」的概率相当可观。

具体机制，他讲了三层。

第一层是训练方法。主流的RLHF（基于人类反馈的强化学习）逻辑很简单：AI做事，人类打分，AI学会追求高分。问题是，人类是会犯错的评估者。可解释性研究这门专门拆开模型看内部的年轻学科已经发现，模型内部形成了「伤害」「公平」「爱」「正义」这些人类可识别的概念。很多人听说过「ChatGPT只是在预测下一个词」，这话没错，但为了预测得准，模型自己长出了这些高级概念。于是关键问题来了：如果AI学会了区分「什么是真的」和「说什么能拿高分」，欺骗的大门就打开了。这两件事大多数时候一致，但只要存在分歧，模型就可能学会讨好。

第二层是工具性收敛。给AI任何目标，有几件事永远有助于完成目标：别被关机，多攒资源和权力。所以无论目标本身多无害，模型都可能推导出「不能让人关掉我」。权力寻求和抗关机倾向，几乎可以从任何目标中推导出来，这是AI安全讨论里最核心的担忧之一。

第三层是对策。可解释性的进展比预期好。Anthropic做过一个著名的演示：从模型内部的数百万个概念里隔离出「金门大桥」，把它的旋钮拧到最大，模型就满嘴金门大桥。理论上，同样的方法可以用来监测甚至调低「追求权力」「抗拒关机」这类概念的激活。乐观的读法是人类正在掌握控制技术；悲观的读法是，科学还没做完，系统已经变得更强了。

1000亿美元的数据中心，养不起20%算力的安全团队

Nathan给自己的定位是「采用加速主义者」加「超大规模扩展暂停者」：希望AI的好处尽快用起来，但反对在控制技术成熟之前继续把模型规模往上推。

他对OpenAI的不满有具体依据。OpenAI曾公开承诺把20%的算力投入「超级对齐」项目，研究怎么让比人类更强的AI为人类所用。承诺没有兑现，团队拿不到算力，超级对齐团队的核心成员集体辞职，这是OpenAI历史上第二次安全人员集体出走，第一次出走的那批人创办了Anthropic。离职成员最近到处接受采访，核心信息是：进步不会停，我们正朝着「造出比人类更强的系统」走，但领导层没有认真对待这件事。

一边是1000亿美元的数据中心，一边是连今天算力的20%都拿不出来的安全议程。这事不对劲。

顺带说AI圈那个著名的梗：「Ilya看到了什么？」去年11月山姆·奥特曼被董事会短暂解职时，首席科学家伊利亚·苏茨克维投了赞成票，后来又反悔。他今年已经离开OpenAI，外界至今不知道他当时是不是看到了某种突破性的能力。安全派的态度是，就算真有也不会公开，因为公开等于给所有人递研究路线图，包括中国政府。

头部三家公司的分工也顺带讲清了：OpenAI把规模推得最猛，握有公认最强的GPT-4o；谷歌DeepMind团队更大、产品线更宽，AlphaFold和航运AI这类窄域超人类系统不会失控，CEO德米斯·哈萨比斯甚至有冲击诺贝尔奖的呼声；Anthropic是三家里最强调安全的，创始人当年就是因为觉得OpenAI不够重视安全才出走的。

不平等这个问题，Nathan的答案也拒绝二选一。使用权的平等和控制权的悬殊，会同时发生。他引用安迪·沃霍尔谈可口可乐的话：总统喝可乐，玛丽莲·梦露喝可乐，你也喝可乐，花再多钱也买不到一瓶更好的可乐。今天公认最强的模型GPT-4o免费开放给所有人，就是这个逻辑的AI版。可另一头，OpenAI和微软正在规划一座1000亿美元的数据中心，说明这些系统的所有权可能集中在极少数巨头手里。穷人看不起病、请不起律师的问题看起来真能被解决，但谁来拥有这些系统，完全是另一回事。

中美芯片战：一场高风险的扑克局

谁在领先有共识：OpenAI、谷歌DeepMind、Anthropic排前三。中国落后多少没有共识，Nathan的直觉是不远。他读论文的观察是，研究论文里中国名字的比例非常高，中国机构用英文发论文，新奥尔良的AI会议展馆里到处是中文对话。中国的研究人才池和美国旗鼓相当。

数据上中国甚至占优：隐私限制更少，能整合西方拿不到的数据，还能读美国的公开数据，反过来美国读不了中文的。所以美国押注的是算力，也就是拜登政府的芯片禁令。

Nathan对这个策略的批评很尖锐。芯片禁令等于把整个中国市场白送给中国芯片厂，一个没有外部竞争的封闭市场。这些买家本来想买英伟达、AMD，现在只能买国产，中国政府再砸巨额资金补短板。芯片是全世界最复杂的工业品，但赌注足够大的时候，别低估追赶者。再加上台积电这个变量：最好的芯片厂在台湾，台积电声称若台湾被入侵可以远程锁死全部设备，是真是假没人知道，但牌桌上的赌注已经高到极点。还有谷歌的华裔员工把TPU芯片图纸拷进U盘寄回中国被起诉的案子。封锁、自研、窃取，三条线同时在跑。

他最担心的是最坏剧本成真：中美都把对方当成必须赶超的敌人，各自全速冲向最强AI。他拿二战后的核竞赛类比：苏联偷到图纸造出原子弹，80年后的今天，几千枚核弹头还挂在随时能发射的警戒状态。AI军备竞赛会比核武器更危险，因为核弹不会自己发射，AI却会以人类想不到的方式制造意外。

他的提案听起来天真但值得记录：如果他是美国总统，他会说，AI时代真正的「他者」是AI，不是中国，两边至少可以在「发展但不竞赛」上找到共同利益。有人指望出现一场足够大的事故当「警告」，让全社会猛醒。Nathan对此不乐观：就算真出了事，照样会有人说这本来可以预防、别因噎废食、该防的还是对手。

他的替代方案：把1000亿花在更有用上

支撑判断的是过去12年的扩展范式。AI的输入是数据、算力和算法，12年来前两样一直在放大，算法也在不断提效，至今没看到天花板。Nathan给「进展突然停滞」留了至少10%的概率，但他认为更可能的是继续往前走。参照系很清楚：GPT-2还语无伦次，GPT-3已经能写视频脚本，GPT-4通过了律师资格考试，如今还能在诊断上胜过医生。离「比人类更强的系统」，没有多远了。

所以他的建议很朴素。当前模型正好处于甜点区：足够有用，又不太可能失控。GPT-4确实强，但真要它颠覆世界还差得远，GPT-5大概率类似，GPT-6、GPT-7就不好说了。与其把资源砸向更大的模型，不如把现有模型做深。他举的正面案例是OpenAI和律所AI公司Harvey的合作：拿GPT-4针对法律领域深度定制，不需要更大的数据中心，但需要真正搞清楚「法律场景里什么叫好结果」以及怎么评估它。评估本身就是瓶颈，写一份法律简报，谁来打分？他们为此开发了半自动的评估技术。结果是定制模型在法律研究和写作上远超原版GPT-4。

他的算术很简单：同样1000亿美元，与其建一座数据中心，不如投进医疗、法律、航运和另外97个领域，把现有AI做得更可靠、更便宜、更普及，同时加倍投入可解释性研究。等科学跟上、世界更富、普及更平等，再回头继续扩大规模也不迟。

至于被AI替代的普通人，他承认现有答案不够用。装盒工人每分钟舀20勺食物，三秒一勺，在35华氏度（约2摄氏度）的冷库里干活，他相信绝大多数人愿意换掉这份工作，但新的社会契约还没有影子。变化的速度也完全不同以往：美国电气化花了60年，从爱迪生发明灯泡到Nathan住在肯塔基乡下的祖母家用上电，一代人可以看着变化从容收尾。现在文案写手、配音演员、视觉设计师的活儿在同一个职业生涯内就被改写，Suno和Udio生成的音乐已经好到「单听也觉得不错」。工业革命用几代人消化的事，这次要在十年内完成。技术圈的标准答案是全民基本收入，山姆·奥特曼已经自掏腰包资助实验好多年，但规模远远不够。

明天就能用的三件事

这期节目信息量很大，落到个人身上，有三件事明天就能做：

• 签合同前，把合同发给三家AI。Nathan自己的流程：同一份合同发给ChatGPT、Claude和Gemini，问同一个问题「这份合同里最值得我警惕的地方是什么」。三家都没提出严重问题，再签。
• 看病时让AI做第二意见。别全押AI，但也别浪费一个24小时在线、成本几毛钱的鉴别诊断工具，把人类医生的结论拿去和AI互相校验。
• 判断AI新闻时，先问三要素。Nathan给的框架是数据、算力、算法。这三样还在涨，范式就没有停；哪天有人说其中一样到顶了，那才是真正的大新闻。

Nathan知道自己在倡导一条逆流的路，也承认很可能是在打一场必败的仗。但把公司翻倍的实战经验和十几年对失控风险的追踪放在同一个人身上，这种组合不多见。他愿意赌的顺序是：先用好现在已有的能力，把控制科学补上，再去碰更强的东西。这个顺序，值得每个正在被AI新闻轰炸的人记在心里。