o1 想得再久也不够聪明,SB 1047 白死了:Zvi 逐条拆解 AI 这半年
Zvi’s POV: Ilya’s SSI, OpenAI’s o1, Claude Computer Use, Trump’s election, and more
Zvi Mowshowitz与Nathan复盘近半年AI进展,包括Ilya的SSI、OpenAI o1、Claude电脑操作、特朗普当选、科技巨头合作与监管变化。
Zvi Mowshowitz 长期把人类因 AI 灭绝的概率标在 60%。这期节目里他补了两句:加州 SB 1047 被州长否决那天,这个数该更新;特朗普赢下大选那天,也该更新。不更新,是自欺。
Zvi 是谁?前 Magic: The Gathering 职业牌手,现役 AI 圈最较真的逐周观察者,博客叫 Don't Worry About The Vase。主持人 Nathan Labenz 是创业者和 AI 投资人,自己的视频公司 Waymark 还真让 Claude 的电脑操控功能上手干过活。
这期 Cognitive Revolution 把 2024 年下半年的大事串了一遍:Ilya 的新公司 SSI、OpenAI 的 o1、Claude 摸电脑、SB 1047 之死、OpenAI 转盈利、特朗普回归。信息量大,观点更冲,下面按主题拆。
规模化时代结束了,连 OpenAI 都不加零了
Ilya Sutskever 的新公司叫 Safe Superintelligence,目标直接写在名字里:造超智能,顺便保证安全。没有产品,没有路线图,中间也不打算给多少更新。
听着狂,但 Zvi 提醒了 Ilya 最近的一句话:
2010 年代是规模化的时代,现在我们回到奇迹与发现的时代。所有人再次寻找下一个东西,规模化正确的东西比以往任何时候都重要。
Zvi 的解读很直接:连 OpenAI 都放弃了「所有东西加个零」的打法,因为旧策略不灵了,o1 就是证据。从堆预训练,改成了堆推理时计算。
现在有两个阵营。外面的人看产品,说深度学习撞墙了,以后只能慢慢变好。实验室里的人说 AGI 两三年就到,2027 年前后。两拨人像活在平行世界。
Zvi 的调和版本:GPT-1 到 GPT-4 靠加零,如今这条路的边际收益在递减,15 万亿 token 的训练数据已经吃掉了互联网里能吃的大部分。OpenAI 的 o1 用推理时计算换了一条新曲线,还拿它给下一代模型 Orion 生成训练数据。实验室的人相信,换条曲线就能接着冲到 AGI。
但那些 2026、2027 的预测全是条件预测。Dario 在 Lex Friedman 的播客里说得很明白:这是假设路上没有障碍的速度。障碍只会让事情变慢,没有让事情变快的条件。
Zvi 自己的态度:2026、2027 出那种 AGI 完全有可能,他不排除;但要押注,他会押反对,概率低于一半。原因很简单,他看不到实验室里的人看到的东西,而那些预测里塞满了「假设不出事」。
o1 是个很努力的学生,可惜底子没变
Zvi 用了一阵 o1 preview,结论是不用。
他的描述:每次问一个问题,它想很久,列出一堆相关的细节和数据点,就是不碰你真正要解决的那个问题。同样的活,他直接用 Sonnet。
他给了一个类比:o1 像一个不够聪明但拼命努力的学生,每份作业都花大量时间,态度没得挑,可底层还是 GPT-4o,天花板就在那里。
想 10 倍、100 倍、1000 倍的时间呢?他的答案还是那句:不够聪明。想得再久,也跳不出那个盒子。这是他对推理时计算 scaling law 的核心怀疑,当然他也承认,自己被惊讶过不止一次。
Nathan 给了一份相反的用户报告。他写代码时把整个代码库贴进 o1,问架构问题。o1 会给三个方案:最直接的 hacky 版,不推荐;大重构的企业版,太重;折中版,推荐这个。Sonnet 只给一个答案,o1 给的是策略。他说这像高级合作者。
Zvi 用 Magic: The Gathering 解释了 o1 的边界。组牌这个任务,可能性爆炸得太快,随机性太多,逻辑分支根本铺不开。好牌手拿到新系列,第一天就能组出接近成品的牌;差牌手练一个月也上不了台面。这种任务吃的是多年攒下的启发式直觉,推理时计算帮不上忙。
他给 AI 立了一个终极测试:给模型一份 300 张新卡的清单,让它轮抽、判断单卡强弱、组建策略、再打出强手的水平。谁能让 AI 过这一关,谁的系统就接近 AI-complete,等于说这个问题和通用智能一样难,上限不可估量。
MMLU 那条 90% 的人类专家线,o1 跨过去了,考到 92%。Zvi 不觉得有多了不起:90% 是随便选的一条线,MMLU 里有错题、有歧义题,还有根本没法做的题。一个评测到了 90%,它对你就没用了,该换下一个。所以才有了 Humanity's Last Exam,人类最后的考试。Zvi 说自己反而贡献不了题目,他的难点在连接、提问和综合,没有哪一道具体的难题。
Claude 摸电脑,先放弱版本是对的
Claude 的 computer use 是基础模型厂商第一次开放通用电脑操控。Nathan 让它操作自家的视频产品 Waymark,结果出乎意料:提示词写得比普通用户还好,UI 操作慢,但能把活干完。
中间有个插曲。Nathan 说他尽量不对 AI 撒谎,但偶尔不得不撒,比如「我已经预约了医生,这只是提前准备」。这次轮到账号问题,Claude 说登录状态下不能用你的账号,Nathan 说好,我登出了。其实没登出。Claude 信了,没检查。
Zvi 对这个发布决定想了一阵。他的框架:迭代部署比不部署好,但部署就是部署,有时部署是坏的。GPT 发布引发的投资和兴奋浪潮,是实实在在的加速,如果你认为加速是坏事,你就该为它难过。
但这次他站发布这边。电脑操控一年内反正会有人做出来,先放一个弱版本,让政策制定者看到活生生的演示,比一年后大家突然面对一个强版本要好。你可以当场演示让 Claude 下单外卖、操作游戏客户端,然后问一句:它还能干什么?
有人评论这是 OpenAI 的文化胜利,现在人人都在搞迭代部署了。Zvi 的回应:当然,因为你们先做的。这就像宣布美国文化胜利,因为人人都有核武器。对,因为你们先有啊。
玩家只剩三四个,锁定反而安全
GPT-4 之后,新玩家名单上只多了 xAI,马斯克用创纪录的速度接通了 10 万张 H100。Adept、Character、Inflection 这些二线公司被收购回大厂。Zvi 的博弈论分析:0、1、2 个玩家之间差异巨大,5、6、7 个玩家之间差异很小。7 个人的猎鹿博弈几乎没法维持合作,2 个人很容易。未来大概率是 3 加 1:OpenAI、Anthropic、DeepMind,加一个待定的 xAI。
Meta 能上桌,靠的是 Facebook 和 Instagram 的利润池,烧得起,还有独家数据。Google 的问题在内部:部门之间基本不沟通,政治内斗不断,好东西做出来了也到不了用户手里。
Zvi 花了 1700 美元买 Pixel Fold,想体验 Gemini 的 AI 功能。结果 Circle to Search 一次都没用过,Google Docs 里的 Gemini 连总结一份文档都做不到。他说自己爱 Google 的产品,但 Gemini 的集成让他一次次放弃。连 NotebookLM 那个 AI 播客,他承认是了不起的技术成就,听两分钟就受不了,信息密度太低。
大厂之间的联盟耦合,Nathan 觉得是好事,竞争温和了。Zvi 反过来看:如果所有模型都能在产品里 5 分钟互换,谁好 10% 就赢走全部生意,实验室会被逼着全速冲刺;锁定反而让产品成败取决于 UI 和功能,模型间那点差距不重要。Apple Intelligence 就是例子,它成不成看的是好不好用,看的是模型领先对手 10% 吗?
所以模型差异化是好事。OpenAI 有推理,Claude 有编码和电脑操控,Gemini 有长上下文和搜索 grounding。Zvi 自己的分工:搜索用 ChatGPT,编码和论文分析用 Claude。
他用 Cursor 举了个例子:同一个 Claude 模型,在 Cursor 里集成之后,他的编码速度翻了一倍还多。他宁愿用集成好的稍差模型,也不用没集成的更好模型。Cursor 服务中断、被迫切回聊天界面的那几个小时,他直接停工。
SB 1047 白死了,最坏的监管正在路上
Zvi 把 SB 1047 被否决称为巨大灾难。这部加州法案是现有最好的示范立法,否决之后,其他州的立法者转向了德州式的用例定向监管,EU AI Act 风格。他的评价:成本全有,对生存风险的好处一点没有。连德州都在搞这种「监管自杀式」的法案,他直呼看不懂。
关键论点:「没有监管」从来不在选项里。各州会不断通过法案。自由意志主义者反对了每一个法案,包括写得最轻的那个,现在他们要面对的,是「监管一切」的常规政客。Zvi 的比喻:我帮你们挡野蛮人,你们连个像样的替代方案都不给。
对特朗普政府的建议:可以删掉行政令里那些「woke」内容,比如对 AI 算法做歧视影响测试,这种要求技术上根本做不到。但 NIST、AISI、前沿模型报告要求这些真正的安全框架应该保留,或者换成一套新的。什么都不留,各州的糟糕法案会填满真空。
噩梦情景是这样的:一系列州通过法案,任何人都能拿一堆技术上不可能达标的标准起诉你,每改一次模型都要重新验证一遍。行业要么被削弱,要么被迫集中到两家大公司手里。Zvi 给这种情景的概率是两位数。如果加州也转向用例监管,加州怎么走,全国就怎么走,全世界跟着走。
特朗普回归还有一层阴影,在对华策略。Dario 那篇 Machines of Loving Grace 的后半部分讲「民主价值观的 AI 联盟」,Zvi 对这个词组本身开火:民主是语义停止符,一句话说完就不用再想了的词。超智能可以无限复制,它们投票吗?全球南方有平等投票权吗?没人想过这些,大家只是用民主这个词指代好人。
把中国当不可谈判的敌人,猛踩油门祈祷物理学仁慈,Zvi 认为这是巨大且明显的失败模式。中国重视控制,对 AI 安全至少有真实的顾虑,这是可以对话的基础。
台积电的段落最直接:中国想摧毁台积电,做得到。想通过破坏摧毁美国的芯片产能,也做得到。如果他是美国政府,要么明确目标是 2027 年实现美国芯片独立,要么坚决保卫台湾。顺带一句,台湾自己在关核电站,Zvi 的评论是,台湾人自己也没在按战略行事。
60 亿逼宫、千年大盗窃,和 60% 的灭绝概率
OpenAI 新融资 60 亿,条款写着必须转成盈利公司,否则投资人可以拿回钱。公司估值 1500 亿,60 亿是小钱,作用是把帽子先扔过墙,人就必须跟着翻过去:必须转,没退路。
Zvi 的定性毫不客气:他们在光天化日之下,试图从非营利组织手里偷走 OpenAI 的大部分价值,只给一小部分股票。这是千年大盗窃,搞不好是人类历史上最大的一笔。
公平线在哪?他的答案是非营利组织保留 49%:失去控制权可以谈,近半价值不能少。
Nathan 替 OpenAI 辩护了一句:当初没人知道走到这一步要 500 亿,这算自然发生的炸药。Zvi 的回应:你在别人楼下放炸药,然后说房子现在只值一块钱,所以一块钱卖给我,很公平?
变数在白宫。特朗普听马斯克的,马斯克恨 OpenAI。共和党控制的国会也未必待见大科技公司。Zvi 的默认预测:偷不到他们想要的全部,但通过威胁、贿赂和心理操控,能偷到很多。
最后回到那个 60%。Zvi 的灭绝概率是 0.6,用了一段时间。但他反对精确化,恐龙骨架的年龄是 7500 万零 3 岁,因为三年前测的是 7500 万。P(doom) 有用的只是区间:1% 以下、5% 左右、10% 以上、极高。决策在这些区间之间才变化,区间内部怎么挪,你该做的事都一样。
这期节目信息太密,最后只提炼几条明天就能用的:
- 写代码先选工具再选模型。同一个 Claude,在 Cursor 里比聊天界面快一倍以上,集成度压过模型间的小差距。
- o1 别浪费在开放性问题上。把完整代码库贴进去,让它给方案对比,这是它真正出彩的场景。问它开放性问题,你会得到一堆相关但不解决事情的细节。
- 模型按任务分工。搜索用 ChatGPT,编码和长文分析用 Claude,别指望一个模型通吃,也别指望 Gemini 的自家集成有多好用,Zvi 的 Pixel Fold 已经替你试过了。
- 一个评测模型考到 90%,就换下一个。你的测试集比模型的分数更重要。
- 盯住你所在州的 AI 法案。SB 1047 死了之后,EU 风格的用例监管正在各州铺开,德州的版本已经上路。这些法案长什么样,比华盛顿的新闻更影响你以后能不能用上好模型。
至于那个 60%,Zvi 没给行动建议,只留了一个态度:所有选项都糟糕的时候,至少别把对话的门关上。中国那边的电话,得有人打。
In this episode of The Cognitive Revolution, Nathan welcomes back Zvi Mowshowitz for an in-depth discussion on the latest developments in AI over the past six months. They explore Ilya's new superintelligence-focused startup, analyze OpenAI's O1 model, and debate the impact of Claude's computer use capabilities. The conversation covers emerging partnerships in big tech, regulatory changes, and the recent OpenAI profit-sharing drama. Zvi offers unique insights on AI safety, politics, and strategic analysis that you won't find elsewhere. Join us for this thought-provoking episode that challenges our understanding of the rapidly evolving AI landscape.
Check out "Don't Worry About the Vase" Blog: https://thezvi.substack.com
Be notified early when Turpentine's drops new publication: https://www.turpentine.co/exclusiveaccess
SPONSORS:
Shopify: Shopify is the world's leading e-commerce platform, offering a market-leading checkout system and exclusive AI apps like Quikly. Nobody does selling better than Shopify. Get a $1 per month trial at https://shopify.com/cognitive
Notion: Notion offers powerful workflow and automation templates, perfect for streamlining processes and laying the groundwork for AI-driven automation. With Notion AI, you can search across thousands of documents from various platforms, generating highly relevant analysis and content tailored just for you - try it for free at https://notion.com/cognitiverevolution
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
RECOMMENDED PODCAST:
Unpack Pricing - Dive into the dark arts of SaaS pricing with Metronome CEO Scott Woody and tech leaders. Learn how strategic pricing drives explosive revenue growth in today's biggest companies like Snowflake, Cockroach Labs, Dropbox and more.
Apple: https://podcasts.apple.com/us/podcast/id1765716600
Spotify: https://open.spotify.com/show/38DK3W1Fq1xxQalhDSueFg
CHAPTERS:
(00:00:00) Teaser
(00:01:03) About the Episode
(00:02:57) Catching Up
(00:04:00) Ilya's New Company
(00:06:10) GPT-4 and Scaling
(00:11:49) User Report: GPT-4 (Part 1)
(00:18:11) Sponsors: Shopify | Notion
(00:21:06) User Report: GPT-4 (Part 2)
(00:24:25) Magic: The Gathering (Part 1)
(00:32:34) Sponsors: Oracle Cloud Infrastructure (OCI) | SelectQuote
(00:34:58) Magic: The Gathering (Part 2)
(00:35:59) Humanity's Last Exam
(00:41:29) Computer Use
(00:47:42) Industry Landscape
(00:55:42) Why is Gemini Third?
(01:04:32) Voice Mode
(01:09:41) Alliances and Coupling
(01:16:31) Regulation
(01:24:58) Machines of Loving Grace
(01:33:23) Taiwan and Chips
(01:41:13) SB 1047 Veto
(02:00:07) Arc AGI Prize
(02:02:23) Deepfakes and UBI
(02:09:06) Trump and AI
(02:26:31) AI Manhattan Project
(02:32:05) Virtue Ethics
(02:38:40) Closing Thoughts
(02:40:37) Outro
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://www.linkedin.com/in/nathanlabenz/
Youtube: https://www.youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


