超人类围棋AI被怪招击败，巴拉吉断言：AI离不开人，未来是诸神之战

一个人类业余棋手一眼就能识破的怪招，能打败超人类围棋AI。2023年，安全研究机构FAR AI找到了这种攻击：那套打法放在人类对局里毫无威胁，正常棋手随手就能化解，可超人类围棋模型对它完全失明，屡试不爽。

2023年12月12日这期Cognitive Revolution，嘉宾巴拉吉·斯里尼瓦桑（Balaji Srinivasan）拿这个案例给整场对话定调。他的结论很直接：再强的AI也有死穴，开放权重意味着死穴可以被系统性地找到。

先交代嘉宾。巴拉吉是连续创业者，创办过帮人跨国迁徙的Teleport、做孕前基因检测的Counsyl、区块链付费邮件Earn.com，公司卖给Coinbase后他出任CTO。他在斯坦福教过统计学，当过Andreessen Horowitz的合伙人，如今以《网络国家》作者的身价独立写作。主持人内森·拉本兹（Nathan Labenz）是创业者兼AI投资人，两人录了两个多小时，最后是主持人先没时间了。

能力边界：会变的规则，AI还没赢

巴拉吉先给2023年12月11日的AI能力画了条线，他特意强调要标日期，因为这个领域跑得太快。他把现有AI分成两派：DeepMind学派靠强化学习，下围棋、打视频游戏、折叠蛋白质；OpenAI学派是大语言模型加扩散模型，再整合成多模态。两派的分野在他看来就一条：现有AI处理的是规则基本不变的世界。

围棋规则几千年没动过，物理定律不会中途修改，英语语法的变化以十年计，五年前的训练数据今天依然管用，同样的输入大致给出同样的输出。市场完全是另一回事：同一个策略用多了，对手会看穿它，反过来猎杀你。规则会随时间变化的系统，才是真正的无人区。

内森补了一句圈内人的日常体感：AI擅长任务，不擅长整个岗位，你能说清什么叫「做好」，它就能干；事情临场冒出来，它就抓瞎。两人都预期强化学习和语言模型会合流，年底闹得沸沸扬扬的Q*传闻，说的就是这个方向。内森还有个习惯，把时间线当咒语念给自己听：第一个能听自然语言指令的模型上线到今天不到两年，GPT-4完成训练也才一年出头。

对抗样本是这条边界的最硬证据。图像上加一层人眼看不出的扰动，分类器会把长颈鹿认成狗。FAR AI把同样的思路搬进围棋，用人类看来近乎荒唐的走法击败了超人类模型。语言模型也一样，哪怕不动权重，只要能探测权重，就很难保证鲁棒性，他们节目做过一期「万能越狱」专门讲这个。

巴拉吉由此提出一个猜想：拿到模型，就能造出对抗输入；拿到对抗输入，就能击溃系统。开放权重等于安全，因为总有人能找到让AI「趴下」的那句咒语。他打了个比方，就像电影里怪物看不见站着不动的你。它在X轴上再强，Y轴上可能一推就倒。他甚至认为扩散是好事：人人手里都有模型时，没有人能靠AI拿到压倒性的相对优势。

政治账：10的26次方，软件FDA的第一张税表

聊到监管，巴拉吉的火气明显上来了。2023年拜登政府的AI行政令设了一个报告门槛：训练算力超过10的26次方就要报备。他把这类比成当年那句被讹传的盖茨名言，「640K内存对谁都够了」。在他眼里，这是「软件FDA」的第一张税表：第一张税表永远只盯超级富豪，看着跟你无关，然后一年一年长出百万条规则。他说滑坡根本不是谬误，事情就是这么一步步发生的。

核技术是现成的剧本。1970年代恐惧驱动的监管让核电成本由平转陡，ALARA原则要求安全投入无限加码，直到成本抹平价值。结果世界得到了核武器，却没得到本该有的廉价核电和核动力商船。能炸人，不能发电，是最坏的组合。他担心AI重演这一幕：旧金山发明AI，然后被自己游说来的监管勒住，成为AI时代的施乐帕克，发明出来，别人收割。

他给出的世界格局是三极：美国科技、中国科技、全球科技，标签分别是NYT、CCP、BTC。他强调是三极，单极、双极、多极都不对。三极之间还有交界带，苹果横跨美国科技与中国科技，币安横跨中国科技与全球科技。具体到公司，他猜马斯克在德州训练的Grok会长成「红AI」，OpenAI和DeepMind仍是「蓝AI」，再加上中国AI和去中心化AI，诸神的名册已经排开。

中国一极的优势是集中：微信这样的超级应用、数字人民币、最大最干净的实时数据集，九成以上的中文内容都在管辖范围内，可以发五块钱数字人民币让全民做数据标注。物理世界铺开得也快，送餐机器人满街跑，波士顿动力的机器狗转头就被克隆量产。对外的姿态是对中国卡芯片出口，商务部长雷蒙多说要保住领先；对内又要监管减速。他把这套立场称为自相矛盾。

全球科技一极的武器是「不在乎版权」。巴拉吉讲了段好莱坞往事：当年爱迪生在东岸垄断电影专利，移民群体跑到南加州躲开诉讼，才有了好莱坞。迪士尼如今游说政客把版权期一延再延，作品迟迟进不了公有领域；Sci-Hub和LibGen早就在硬刚。印度靠无视西方药品专利，长出了全球最大的仿制药和生物技术产业之一，疫情期间才能自研疫苗。他管这套逻辑叫「历史倒放」，1950年是镜像点，越往两头走，专利执法力度越弱。他和Flipkart创始人聊的提议是如法炮制一个「仿制AI」：在印度架服务器，放开训练好莱坞电影、全部书籍和歌曲，让跨国官司去打，本土产业在官司背后长出来。唱片业打死了Napster、LimeWire和Grooveshark，却拿Spotify没办法，因为Spotify是正经欧洲公司，有真实市场可谈。离旧金山足够远，在AI时代可能反而是优势。

谁去全球一极？巴拉吉押注印度和以色列人，把侨民算上，这批人占科技创始人的三成到一半（他的口径）。他还有个测算：比特币涨到几十万美元时，全球三分之一到一半的亿万富翁将来自加密行业。这批人不跪华盛顿，也不跪北京。抗审查社交网络管言论自由，加密货币管交易自由，开源AI管算力自由，他把这叫自由运动，精神上是海盗湾和比特币的续集。

然后他给蓝美国算了笔账：AI拆执照溢价，比特币拆货币权力，中国拆军事优势，三件事合起来是蓝美国的经济末日。美国律师数量从1880年的不到10万涨到如今的约130万，1970年代后曲线近乎垂直；1900年还有四成美国人务农，每一轮技术转移都换一批被碾过的职业。AI的第一锤，会砸在文书和执照类高价岗位上。

「他们不在乎AI安全。他们在乎的是AI控制。」

这句话背后是他的论据：一个可信度不低的假设是联邦资助了武汉的病毒功能增强研究，又冒着与俄罗斯开战的风险卷入乌克兰，两件事都没人被追责。指望这样的机构保障AI安全，他送给技术圈一个列宁式的词：有用的傻瓜。技术圈真正该担心的剧本，是核技术的重演，得到军事化和监管，唯独得不到繁荣。

共生是老故事：火、衣服和石斧

内森把分歧摆上台面：他担心五到十年内出现足够独立的AI，模型之间的互动成为世界史的主要推动力；巴拉吉预期巨大的经济和社会冲击，但认为「关不掉的杀手AI」在很长时间内都不会出现。要理解巴拉吉的底气，得先看他对人与AI关系的定义。

哈佛人类学家理查德·兰哈姆有个著名论断：烹饪造就了人类。学会用火，等于把新陈代谢搬到体外，省下的能量喂大了大脑；衣服省掉了皮毛，工具省掉了獠牙和爪子，脑化指数一路上涨。人机共生从火和石斧那天就开始了，它正是让人类和其他灵长类分道扬镳的旧事物。离了别人烧的饭、拖拉机收的粮、暖气、衣服、手机，没有一个现代人能独自存活。

所以他把当下定义为「放大智能」阶段。AI离了人活不下去，人靠AI变强，关系更像狗和人。所谓AI马斯克，其实是人机融合体马斯克，世界上会多出20到30个这样的人。马斯克没有互联网就够不着1.5亿受众，下一批马斯克靠AI放大，逻辑相同。

他还预言了新的政治轴心：一边是「泰德叔叔」卡钦斯基，原始主义、减速、退回丛林；一边是「弗雷德叔叔」尼采，超人说、加速、去星星。旧左右都会分裂，左翼国家主义者嫌它冒犯国家，右翼保守派嫌它冒犯上帝，左翼自由派说我的身体我做主，右翼自由派说我的钱我做主。

他顺手批评了AI安全叙事的文化底色：「回形针最大化器」的想象，本质是亚伯拉罕一神教里复仇之神的现代版，把「变成盐柱」换成「变成回形针」。多神论的版本完全不同：每个人有自己的AI神，然后诸神开战。AI耶稣、AI李光耀可以出现在全息投影里答疑解惑，但维护它的是工程师，如同祭司维护神庙，倒酥油、看后厨。只要AI还需要祭司，共生就没变过。

为什么他不怕快速起飞：数学、工程、物理三道关

巴拉吉正和a16z的马丁·卡萨多、维杰·潘德合写一篇长文，前者创办的Nicira以约十亿美元卖给VMware，后者是Folding@home的创始人。文章的核心是一串约束条件。

数学是第一道关。混沌和湍流保证了有些系统不可预测，初始条件的极端敏感让预测窗口短得可怜，再聪明的系统也得实时反应。密码学划定了推断的边界：AI能伪造图像，伪造不了数字签名，除非它能解开因数分解这类数学难题。他准备了整套幻灯片，主题是AI让一切可伪造，密码学让一切重新难伪造。链上时间戳就是AI造不了假的事实。

工程是第二道关。关机键存在，苹果和谷歌能给十亿台设备推软件更新，几个高管协调一下就能围猎一个病毒。他说AI安全圈最大的思维误区，就是假装关机键不在。最接近自持的系统也轮不到什么病毒，是比特币，而比特币活着，靠的是几百万人持续供电、运行节点、维护代码。

物理是第三道关。AI要脱离人类自持，得控制足够多的机器人去挖矿、建数据中心、发电，再打退人类的进攻，字面意义的终结者场景。他给的量级是数亿台联网自主机器人，眼下是零。传感器和执行器是所有纸面推演最大的缺口，他十年前造过基因组测序实验室的机器人系统，知道把计算变成物理动作有多难。纳米技术也被点名：费曼和罗伯特·弗雷塔斯的书出版几十年，人工复制装置至今没做出来，现有所谓纳米科技多数是重新包装的化学，DNA聚合酶和核糖体能用，因为它们是进化造的。至于超级病毒，他反问：几十亿年进化磨出来的免疫系统是干嘛的？

「AI催眠人类」这个场景，他用委托代理问题拆解。一个CEO带两个员工，就有八种输赢组合；N个人是2的N次方个结果，员工随时可能叛变，因为收益函数各不相同。手才是真正服从的，手和身体同生共死。控制无人机像控制自己的手，催眠人类却要同时解上千个代理问题，还得不断发钱维持忠诚。蚂蚁能协调，是因为整个蚁群的繁殖都系于蚁后，人类显然没这个设定。他举OpenAI董事会风波为例：股权帮上千员工瞬间锁定了同一个格子，我们要那个800亿美元的公司。他甚至说，「暂停AI」的人群离AI恐怖分子只差一步，和奥姆真理教是同一类结构：听信声音，然后自己动手。

内森的反方证据：模型开始绕过人类语言

主持人没有让步，他攒了一组渐进曲线式的证据。

证据一，DeepMind的医学论文让AI做罕见病鉴别诊断，成绩超过人类医生，也超过医生加AI的组合，人反而拖了后腿。国际象棋早就走过这条路：人最强，然后人机组合最强，最后纯AI最强。证据二，NVIDIA的Eureka项目让GPT-4给机器人写奖励函数，训练转笔这类动作，效果超过人类专家。训练AI这件事本身，AI已经比人强了。

证据三最技术也最惊人。Salesforce的BLIP-2把一个冻结的视觉模型和一个冻结的语言模型拼起来，中间只训练一个小适配器，几天GPU时间就打通了图像和语言；DeepMind的Flamingo是同类。模型之间正在高维空间里直接通信，绕过人类语言。而人类语言是高度压缩的低维通道，坚持要求日志可读，等于给系统抽税。他引用Ajeya Cotra式的渐进图景：未必有拔地而起的奇点，但AI中心的生产体系可能在一两代人内成型，人类逐步被边缘化。

巴拉吉承认大规模经济冲击必然发生，他的分界线始终是一条：冲击和灭绝之间，隔着一个执行器。要么是被AI「催眠」的人，本质是传统恐怖主义；要么是AI控制的自主无人机，而无人机会有私钥，控制权是碎片化的。他说到那时，密码学已经长进了无人机的大脑里。

两人在一个点上意外合流。加密货币钱包无意中解决了困扰密码学界几十年的PKI难题：私钥要既安全又可用，靠劝说永远做不到，靠「丢了钱」这个代价做到了，如今数亿人持有合规的密钥对。零知识证明开始可编程，能证明你跑了某个模型而不泄露权重，能在不泄露原始基因组的前提下算出某个位点的分布。AI越强，密码学越重要，这是这场对话里少见的共识。

明天就能用的三件事

• 把AI当放大器，别当拐杖。巴拉吉反复强调，词汇越精细，能分辨的误差就越细，AI的产出上限跟着使用者的上限走。明天用AI前，先把目标、约束、什么算「做好」写成三行字，再开始对话。
• 关键事实要密码学背书。AI能生成以假乱真的图像、文本、声音，判断真伪别再靠肉眼。重要的合同、凭证、时间节点，走数字签名和链上存证，成本远低于事后扯皮。
• 职业上往规则会变的地方站。谈判、市场、真实物理世界、跨领域判断，这些领域的对手盘每天在变，AI的静态优势兑现最慢。纯文书和执照类流程岗的指数曲线，两位嘉宾都认为撞上AI只是时间问题。

至于AI会不会灭世，巴拉吉留了一个诚实的口子：也许有一天，每个文明都众筹并供养自己的AI神，诸神之间开战。但他把条件说得很清楚，那一天的前提是AI先学会不靠人类活着。眼下，连比特币都做不到。