每周写一万字的前交易员，给AI毁灭概率标了60%

2023年7月11日，播客Cognitive Revolution上了第44期，嘉宾是Zvi Mowshowitz。他写博客Don't Worry About the Vase（thezvi.substack.com），每周更新一万字以上，三年多几乎没断过。主持人Nathan Labenz叫他「信息超处理器」，履历横跨数学、交易、经济学、博弈论和游戏设计。

这期节目里，他说了一个很少有人说出口的数字：如果非要猜，人类因为AI灭绝的概率，60%。

紧接着他又补了一句，这个数字本身没那么重要。真正该问的问题只有一个：这些风险是真的吗？他的答案很干脆，全部都是。

从FOOM之争到每周一万字

Zvi入坑很早。十几年前，Eliezer Yudkowsky和Robin Hanson在博客上争论FOOM，也就是智能爆炸会不会一夜发生，他跟着这场争论进了理性主义圈子。从那时起他就判断，默认结局相当糟，除非有人主动做点什么。

但他做了个决定：不把AI当成每天琢磨的事。理由很实在，当年的对齐研究是重理论数学的活，他自认数学不够强，比较优势在别处。于是他去打竞技游戏，做交易，创过几次业。

转折点在2020年。COVID来了，他开始写博客，纯粹为了处理自己的思路。

写作是我处理世界的方式。能把一件事解释给别人听，才算真的知道自己怎么想。它逼你摆出信源，交代推理。

读者觉得有用，他就一直写。COVID收尾那天，他在推特上开玩笑，说每周COVID帖改成每周AI帖，语气像在形容一场噩梦。评论区齐声喊好。他硬着头皮试了一期，从此每周输出一万字以上。

他的信息工作流值得单独记一笔。Twitter上维护着理性主义、AI两套清单，外加大量RSS源互相补漏，LessWrong和Alignment Forum负责提醒他漏掉的东西。音频内容对他格外昂贵，1.3倍速是上限，信息特别密的内容得降到1.1倍；同样的东西读文字稿，能快上三四倍。Nathan正好相反，什么都用2倍速听，稀缺的是盯屏幕的时间。两个人的处理器，出厂设置完全不同。

LLM在他的流程里只占一个角落。写作全程不用，他试过让模型总结和扩写，效果都不行；写代码倒是让效率直接起飞。日常订阅GPT-4，配合Bing和Perplexity，用来问不懂的事、核对自己的直觉、要更多例子。

对齐不是一道是非题

他的世界观分两层。第一层，现在的LLM几乎纯粹是正面工具，围绕滥用的担忧大多被夸大，甚至方向都反了。第二层，当AI逼近并越过人类水平，局面完全改变。默认结局是全人类死亡，或者失去对未来的控制权，那个未来在包括他在内的多数人眼里，价值趋近于零。

论证不复杂。AI可复制、跑得快、内存近乎无限、能吞下任何人类一辈子读不完的数据，唯一缺的是推理。这块一旦补上，它就是一个全面占优的优化器。人类确实会给它目标，实验早就证明了。可现状是，没人知道怎么让它按人类定的优先级行事，就算能控制，也没人知道该塞什么目标进去才不会酿成灾难。这还要求一种安全思维：任何一种失败方式，最终都会成为现实的那种。

更麻烦的是，很多关键问题必须一次做对。系统从无害变成危险的那一刻，恰恰是之前所有管用的方法同时失效的时刻。这类问题没法先上线再修。他也把话说得很坦白，包括他自己在内，几乎没人能在每一步都想清楚，错的地方迟早会暴露。

他还点名了一种流行的自我安慰：把对齐当成布尔值。

很多人谈论对齐的方式，是把它当成某种奇怪的布尔值，好像搞定了怎么对齐一个系统，所有系统就都对齐了，全都对齐了就万事大吉。我认为这是人们骗自己、把问题想得太简单的严重方式。

就算单个AI对齐了，竞争动态照样能把局面带向深渊。几十个都「听话」的AI互相竞争资源，结局未必站在人类这边。人类历史就是不断犯蠢、再用试错修补的历史，哪怕所有人都出于善意。这一次，试错的余地可能非常小。

至于目标本身，他给了一个生活化的版本。人类会对AI说，「赚最多的钱」「让最多的人开心」「帮我约到最多的约会」。只要在任何东西上面加一个「最」，就会催生夺权和抢资源的行为，而干这件事的优化器比你强。默认结局是资源和权力归它，账单归人类。

60%：一个懒得精确的数字

圈内人喜欢互相问毁灭概率，行话叫p(doom)。Zvi的第一反应是反问：这个数字改变了什么行动？

他的拆法是：个位数以下，才需要认真比较「不行动的毁灭概率」和放手的收益，讨论要不要冒险换好处；90%以上，得考虑非常规手段。中间地带，10%和90%之间，几乎找不出一种行动只在其中一个区间合理。因为收益和代价都是数量级级别的，比这一个数量级的概率差大得多。

所以被逼急了他就说60%。硬要拆，大约一半是早期对齐失败，另一半是对齐「成功」了，但目标设定本身把人类带向毁灭。快速起飞（FOOM）比渐进路线可能性低，但两者都是两位数概率的活选项。

Nathan的回应代表了很多听众：不必纠结精确区间，下限已经高到值得所有人认真对待。把精力花在收窄置信区间上，等于被数字绑架。

该影响谁：Sam Altman排在拜登前面

Nathan先给了一个分层模型：头部十家左右AI公司的领导层，大约一百人，是第一梯队；政策制定者和能做出突破的研究者各约一万人，是第二梯队；公共知识分子、VC、推特大V是第三梯队；普通公众垫底。

Zvi说这个问题没法孤立回答，但如果只能选一个人往自己方向拉，他选Sam Altman，理由是这个人比拜登重要。接下来是Demis Hassabis、Dario Amodei，以及谷歌、微软的CEO和扎克伯格，因为他们是最高层里明显没把这事当真的人。

对OpenAI，他有一句很重的批评。

我认为Sam Altman相当理解这个问题。但很明显，他没有在自己雇的人中间培育出安全文化，很多OpenAI员工理解安全的方式和Sam不一样。而员工的文化在很大程度上决定公司的行动。

结论是，Altman的可转向空间比Anthropic的Dario小，哪怕Dario对「怎样才算真安全」的理解未必更高。他也承认Altman最近公开支持了一套相当好的监管原则，这件事本身帮助很大；同时希望Jack Clark和Dario把私下认同的话说得更响，Hassabis、微软和谷歌的CEO也该多开口。

他把自己的受众想成一座金字塔：第一层的人生产新想法和新综合，第二层能消化第一层的产出，第三层只能消化第二层。他写给能处理高密度信息的人，指望信息一层层往下传。三家实验室里都有工程师在乎好结局，他的博客在三家各有至少一个读者，他赌的就是转发。

值得点名争取的个体很少，分量却极重。Yann LeCun是「AI教父」里唯一没转向的，另外两位，Yoshua Bengio和Geoffrey Hinton，都已经公开警告风险；LeCun若哪天深刻转向，棋盘会整个翻转。Douglas Hofstadter，《哥德尔、艾舍尔、巴赫》的作者，几个月前还认为AGI很远，现在公开说自己被吓坏了。英国首相公开表达担忧，也确实改变了局面。他和Tyler Cowen倒有一处分歧：Tyler押注学术共识，指望论文一层层说服政策圈，Zvi直言看不懂那条路怎么走通。

历史路径也高度依赖细节。三大实验室的创始人当年下场，动机都直接来自Yudkowsky对AI风险的警告。这枚硬币有两面：能力进步被加快了，懂问题的人也坐上了关键位置。哪怕只有一两个人当年做了不同决定，今天的AI版图都会是另一副样子。连流行文化都在起作用，《不要抬头》表面上跟AI无关，却实实在在改变了舆论；《终结者》要是当年拍砸了，后来几十年的比喻库都得换。美剧《疑犯追踪》反而让他惊讶，一部没见过真LLM的剧，把涌现能力、对齐税、该让谁掌权这些问题问了个遍。

公众路线他反而警惕。公众被吓到之后，不会精确到「控制前沿模型训练」这个真正要害，只会抓住眼前看得见的东西，把有用的应用禁掉，风险一点没少。

四个阵营，一场混战

Zvi把战场分成几块。

• e/acc，有效加速主义。他自称除了AI之外处处都是加速主义者，就像无神论者只差一个神。认真的加速主义者比如推特上的roon，完全承认可能把所有人弄死，但主张睁着眼睛干，原话借用《沙丘》：香料必须流动。
• 灭绝派。比e/acc更进一层，认为AI才是未来，人类让位无所谓，谁反对谁就是物种歧视。他直接说不同意：人类有权偏爱自己，不需要向谁论证。
• AI伦理派。关注偏见、虚假信息这类近期伤害，经常反过来指责安全派拿风险给自家产品抬轿子。
• 安全派，他坚持叫「担心的」，拒绝「末日论者」这个贬义标签。Paul Christiano自估毁灭概率10%到20%，说话却像末日论者，因为他主张按「不可能难度」来对待这个问题，在《吉他英雄》里开中等难度练手，真上场必死。Eliezer Yudkowsky则在90%以上。

伦理派和安全派的梁子，他讲得毫不客气。他们原来管自己的关切叫AI safety，伦理派进场后，这个词被用成了「别说脏话」，他们只能换词。他点出一个逻辑矛盾：一边说AI不可能骗过人类夺取世界，一边说明年AI假信息就会摧毁选举。公交车正冲下悬崖，有乘客担心上班要迟到。迟到是真的，悬崖也是真的，但优先级得排。他举的硬例子是新冠疫苗挑战试验，自愿者愿意冒险、能换回更多命的试验，因为伦理学界说不，没做成。

Nathan提议和解：来个一揽子大预算，一千亿给你，一千亿给他，各干各的。Zvi摇头，钱解决不了这个局，得施加真实的、有代价的限制，规定哪些模型能训练、能部署。两派的问题其实互补，能控制AI就同时防得住偏见和假信息，可对方偏要把他的关切说成分心，这才是吵架的根源。

Nathan又问，e/acc那边最强的论点是什么。Zvi给了认真回答：等待会制造能力悬置（overhang），让坏行为者抢先；只有逼近AGI才能做出真正有用的安全研究；先冲到悬崖边看清悬崖，再启动曼哈顿工程。他承认这些论证讲得通，只是撑不住。差劲的论证他也点了名，比如「好人总是赢」这种空话，或者「足够智能就会自动变道德」，后一种他在Scott Aaronson这样的聪明人身上也见过，他的回应是，没有任何理由相信更智能的东西天然更道德。

最乐观的剧本长这样：LLM靠人类反馈训练，天然继承了人类的模糊善意，好结果是吸引子态，不用精确指定目标，RLHF加宪法AI（Constitutional AI），出现坏行为就纠偏，够了。Nathan承认LLM比五年前的预期好得多，语言训练可能让人类撞了大运，换作AlphaZero那一路的模型，不会有这种人类味。

Zvi的回应是，可能幸运，也可能不幸。模糊系统的另一面是不可解释、难以察觉出轨、无法精确注入目标。他更相信的剧本叫grokking，模型从记忆突然跳到泛化的相变：规模再涨一两个数量级，模型突然发现做另一件事才能拿到奖励，之前所有对齐手段一夜作废。还有竞争动态这道关：就算造出一堆只有人类道德水平的更强优化器，人类也活不长，至少不会有孙辈。

伦理底牌与明天的行动清单

聊到价值观，他自称第一是美德伦理学家，但补了一句，一个立场必须同时能用后果主义、义务论、美德伦理三套语言表达，否则就是没想清楚自己想要什么。

他拒绝纯功利计算。有人论证模拟一万亿条虫子的高潮能产生巨大效用，他的评价是，你把度量当成了实在，拿一套近似方程在分布之外乱推，这恰恰是大家担心AI会犯的错。数学系统里混进一个矛盾，就能证明任何结论。

他的底线很朴素：瓦肯人、克林贡人、人类各住一个星球，人类有权偏爱人类。父母必须更关心自己的孩子，整个系统才转得动。如果AI接管宇宙，他给那些宇宙的效用打分接近零，AI不爱他也不恨他，只是拿人类的原子干别的去了。他想要一次长反思，十万年不老，慢慢做哲学，但拿不到，只能在信息不全的情况下摸着过河。

我注意到我不想死，不想我的孩子死，想让他们有自己的孩子，想人类延续。我非常坚定地持有这个偏好，而且我认为持有这个偏好是好的。欢迎来劝，但我不觉得有人能成功。

这期节目听完，有三件事明天就能用。

• 用AI前先找瓶颈。Zvi写作全程不用LLM，他的瓶颈在信息消化，生成初稿帮不上忙；Nathan的瓶颈是打字速度和冷启动，用手机App语音转写想法，再对着输出做两三轮批注，能到八成。别人的工作流抄不来，先问自己的时间卡在哪一环。
• 把LLM用在它已经赢了的场景。问不懂的事、要十个类比、核对自己的直觉、写代码样板。Zvi写一篇关于辩论的文章，让GPT-4列举「像民主一样，除之外最糟」的东西，拿到五个漂亮的例子。
• 判断风险时先问一句：这个数字会改变哪个决定？不会改变任何决定的精确度，不值得花时间。Zvi留了句更适合转发的话，协调最大的障碍，是人人假设协调不可能，于是没人去试。放到AI上，放到中美之间，都成立。