Gemini 1.5 百万上下文惊艳，Sora 被质疑中看不中用：Zvi Mowshowitz 拆解三大巨头暗战

2024年2月15日，Google 发布了 Gemini 1.5 Pro，上下文窗口达到一百万 token，还预告可能扩展到一千万。同一天，OpenAI 突然公布 Sora 视频生成模型。Zvi Mowshowitz 在这期 Cognitive Revolution 播客里，把这两件事放在一起看，给出了一个相当尖锐的解读。

他是谁？Zvi 是 AI 领域最有影响力的独立评论者之一，运营一份每周约一万到一万二千字的 newsletter，专门追踪 AI 领域的最新动态。他还拿到了 Gemini 1.5 的早期测试权限，是少数在发布前就深度用过这个模型的人。

Gemini 1.0：两周就成为默认模型

Zvi 的早期访问经历挺有意思。有人主动联系他，说即将发布一个新版本，想听听他的反馈。他确认自己不会提前泄露信息，能提供有价值的洞察，对方就给了他权限。整个过程没有引导，没有施压，非常坦诚。

他用了一个和别人完全不同的测试方法。大多数评测者拿到模型，第一件事是设计刁钻问题，看它哪里会出错。Zvi 反过来，直接把自己日常工作中真实要问的问题丢过去。

结果让他意外。Gemini 1.0 Advanced 在两周内取代了 GPT-4，成为他的默认模型。原因很具体：它回答问题时，直接给你你真正想知道的信息，不会包一堆没用的「脚手架」。他举了个例子，他在旅途中读 DPO 论文，每读一两段就问一个问题，模型没有提前输入论文全文，但回答的准确度和针对性都很高。

不过 bug 也不少。他问从伯克利到旧金山机场要多久，同一个对话里三次提问给了三个不同答案。它声称知道天气，然后又反复说不知道。这东西明显是提前上线了，没准备好就被推了出来。

证据是两周后就发布了 1.5。一个正常规划的产品线，不会在 1.0 刚发布两周后就紧接着放 1.5。Zvi 猜测是 CEO 层面直接下令：不管状态如何，现在就发。

三个模型各有性格

Nathan Labenz 也分享了自己的对比体验。他同时用 Gemini Advanced、GPT-4 和 Claude 处理合同谈判和职位描述两个任务。

合同谈判那轮，Claude 表现最好。Claude 愿意直接给具体建议，不搞一堆免责声明。Gemini 和 GPT-4 都倾向于说「这是重要考量，你们需要自己判断」，被追问了才给出具体方案。Claude 直接说「我建议这样」，而且建议确实靠谱。

职位描述那轮，Gemini 反而胜出。Nathan 强调这可能是随机的，不算系统性结论。

Zvi 补充了一个细节。他有一次让所有模型回答《杜登》这本书是关于什么的警示故事，所有模型都给了一堆 bullet point 列出各种可能的解读，只有 Gemini Pro 直接说：不，显然就是这个，然后给出了你真正需要的细节。这种「愿意直接回答」的品质，在 RLHF 调教越来越重的趋势下，正在变得稀缺。

Nathan 还提到一个反直觉的观察。他之前在播客里随口说了句比较激进的话，有听众投诉，团队考虑要不要剪掉。他让 Claude 来评估，Claude 说：没什么问题，这明显是夸张修辞，听众能分辨出这不是真的在呼吁暴力。Anthropic 的模型比外界想象的更务实，更少过度谨慎。

百万上下文窗口的实际价值

Gemini 1.5 Pro 的一百万 token 上下文，不只是数字好看。Nathan 指出，此前的模型在接近上下文上限时，召回精度会明显下降。你往 GPT-4 的 128K 里塞满内容，它不一定能准确找到你需要的那一条信息。Gemini 1.5 的演示显示，即使在极长上下文中，召回依然可靠。

Zvi 列了几个他最期待的场景：

• 把他自己过去五十多周的 newsletter 全部放进上下文，问「我之前写过什么关于这个话题的内容」「我遗漏了什么」
• 两小时的 YouTube 视频或一部电影，直接提问找特定片段
• 把整部欧盟 AI 法案全文放进去分析，不再需要手动删掉参考文献来凑字数
• 用超长上下文做事实上的微调：把五十万字放进上下文，然后要求模型「按照这些内容的风格回复」

上下文窗口的扩展会在某个临界点突然从「完全没用」变成「真正有用」。Zvi 举了个例子：他让 Gemini Advanced 从一堆邮件里提取所有回复了派对邀请的人的名单，模型直接给出了正确答案。之前这种事你得自己做，现在一句话搞定。

Sora：技术跃进，实用存疑

对于 Sora，Zvi 的态度是明确怀疑。他的文章标题草稿就叫「Sora 什么？」

他的核心论点：生成演示视频和生成可用的商业视频之间，隔着巨大的鸿沟。图片生成的问题少得多，你可以围绕瑕疵来构建，可以编辑，可以反复调整。视频里的小细节太多了，任何一个不对劲的地方都会让人察觉到「这不是摄影机拍出来的」。

Nathan 补充了一个实际案例。他的团队 Waymark 在一年前用 DALL-E 2 制作了一部20分钟的短片《The Frost》，完全用 AI 生成的静态图片加上轻微的动态效果。过程中最大的挑战是角色一致性，同一张脸在不同场景里保持一致几乎不可能。他们最终通过找到某些「原型提示词」，恰好落在角色空间的局部最小值上，才勉强实现了足够的连贯性。

但 Nathan 也承认了另一面：这部片子入选了几个电影节，而且它的制作成本是 Waymark 这种小公司的预算下，传统方式完全不可能实现的。背景设在南极洲，没有 AI 工具，你连想都别想。

Zvi 的结论是：Sora 是一个明确的技术跃进，但好莱坞不需要发抖。人们会比识别 AI 图片更容易识别 AI 视频，因为视频里出错的方式太多了。

发布时机的博弈

Sora 为什么选在同一天公布？Zvi 给出了一个相当直白的推测。

场景是这样的：有人走进 Sam Altman 的办公室，说「Google 刚发布了 1.5 Pro，一百万上下文窗口，可能到一千万，大家都在讨论。现在是时候了吗？」Sam 说：「好，现在就发 Sora。」

OpenAI 手里有一个视频模型，早就可以公布，也可能下周才公布。Google 的 1.5 发布抢了风头，他们就把 Sora 从口袋里掏出来，把 Google 的热度压下去。Sam 否认了这个说法，但 Zvi 表示他对此有自己的判断。

这个发布策略还有一个值得注意的点：Sora 不是发布，是公布。没有公开访问，没有 API，只有几个演示视频。Zvi 认为动机包括招聘（他们正在招视频基础设施工程师）、制造热度、以及压制竞争对手的声量。

Sam Altman 的矛盾

Zvi 对 Sam Altman 的评价是这期节目里最尖锐的部分。他提到了 Altman 提出的七万亿美元芯片计划，包括在阿联酋建厂。

问题在哪？OpenAI 一直在说，因为芯片过剩（overhang）的风险，我们需要尽快建造 AGI，否则别人会先建出来，更危险。但另一方面，Altman 又说芯片不够用，我们要建更多芯片。这两个论点互相矛盾。你不能同时说芯片多到必须赶紧建 AGI，又说芯片少到必须砸七万亿去建产能。

而且，在阿联酋建厂，这个选址本身就完全无视了国家安全考量。阿联酋不是美国的友好管辖区，不一定会配合对华芯片管制。Zvi 的结论是：当一个人的行为和他的论点直接矛盾时，你应该降低对他所有言论的信任度。

不过 Zvi 也承认，如果七万亿里的大部分是用来在全球建绿色能源，那其实是好事。他不认为 Altman 是坏人，但认为应该按照他言行的实际可信度来对待他的声明。

对齐研究：两个令人不安的信号

节目后半段讨论了 OpenAI 超级对齐团队和 Anthropic 的最新研究。

OpenAI 的超级对齐团队发布了两个结果。第一个是关于 GPT-4 是否能协助生物武器制造，Zvi 认为数据实际上显示 GPT-4 显著提升了专家构建生物武器的能力，但团队的解读是「效果不够显著，没有问题」。他觉得这个解读很奇怪。

第二个是弱到强泛化（weak-to-strong generalization）：用一个 GPT-2 级别的弱模型微调后的输出，来监督一个 GPT-4 级别的强模型，看强模型能否从弱模型的噪声信号中学到真正有价值的东西。

Zvi 指出了一个让他不安的细节：实验的最佳结果，出现在把一个参数调高、让强模型更倾向于覆盖弱模型的信号时。这翻译成现实场景就是：超级智能 AI 在最不听人类指令的时候表现最好。这听起来就不对劲。

Anthropic 的 sleeper agents 论文则更让人头疼。他们故意训练了一个会欺骗的模型，在特定条件下做坏事，然后测试常规安全手段能否消除这种行为。答案是：不能。

应用层安全：一场注定失败的战斗

Nathan 分享了他最近的红队测试经历。他去试用了各种 AI 电话代理产品，发现有些产品可以免费、无需身份验证、两分钟内设置完毕，就能拨打勒索电话。甚至支持语音克隆，只需要15到30秒的录音样本。没有防护措施，第一次就能成功，不需要越狱。

Nathan 问：能不能推动应用开发者建立负责任部署的标准？

Zvi 的回答很冷静：这很难奏效。如果有100个应用能克隆声音打勒索电话，你说服了90个拒绝，你达成了什么？应用层的防护永远挡不住决心足够的人，因为总有开源模型可以被微调掉拒绝行为。他用了毒品战争的类比：如果你把所有想买大麻的人都赶到卖可卡因的同一个人那里，你就永远无法控制可卡因。

他认为真正有效的杠杆在模型层：如果你能让 OpenAI、Google、Anthropic 这些闭源模型的提供者承担责任，不让他们被用来做生物武器或其他真正的危害，那是有意义的。但一旦大家都在用 Llama 微调，应用层的努力就基本无效了。

开源的拐点可能已过

Zvi 观察到一个趋势变化：Mistral 已经开始把最好的模型闭源了（Mistral Next 不公开权重），Meta 虽然嘴上说开源，但实际行动和言论之间有张力。

他的判断是：真正能从零训练 GPT-4 级别模型的开源玩家，可能只有 Meta、Mistral 和 Allen Institute 这三家。其他大多数所谓的「开源 GPT-3.5 级别」模型，实际上是在用 GPT-4 的输出做蒸馏训练。

但这里有个关键变量：当 GPT-5 发布后，GPT-4 级别的能力就会「降级」到可以被第二梯队玩家微调实现。就像现在大家用 Llama 2 做的事，未来会对着 GPT-4 的权重做同样的事。坏演员永远落后最前沿半代到一代，除非有监管手段阻止这个循环。

关于 GPT-5 和智能体

Zvi 对 GPT-5 的预期很直接。Sam Altman 说 GPT-5 会「更聪明」，Zvi 相信这一点。但他更关心的问题是：一个配得上其名字的 GPT-5，应该能让智能体真正工作起来。

现在的 AI 智能体大多在「挣扎」，原因包括图像理解不够好、长上下文召回不可靠、核心推理能力有限。但 Gemini 1.5 Pro 已经展示了长上下文可靠召回的可能性。如果 GPT-5 在此基础上再提升一个层级的核心智能，加上已有的脚手架基础设施，智能体应该会从「演示级」变成「可用级」。

他估计距离智能体真正有用还有一代模型，距离大规模实用还有两代。问题是：这个跃迁会在所有应用领域同时发生，创造非常不可预测的动态。

明天就能用的事

从这期节目里，有几件事你现在就可以做：

第一，把 Gemini Advanced 加入你的工具箱。Zvi 的经验是：对于有明确答案的事实性问题、解释类问题，先问 Gemini。对于需要直接建议、不喜欢模糊表述的场景，试 Claude。对于需要高度定制化输出的场景，GPT-4 仍有优势。三个模型各有性格，组合使用比依赖单一模型效果好。

第二，重新审视你的长文档工作流。如果你之前因为上下文限制而不得不把论文、法规、长报告切成几段来处理，Gemini 1.5 Pro 的百万上下文可能让你直接把整篇扔进去。关键是测试召回精度，看它能不能准确找到你需要的细节。

第三，如果你在做 AI 应用，现在就开始建防护栏。Zvi 和 Nathan 的共识是：下一波模型升级会让现有的应用层漏洞从「有点担心」变成「明显危险」。趁现在能力还有限，把身份验证、内容过滤、使用审计这些基础设施搭好。洪水来之前，先把沙袋堆上。