# 价格只剩1%，性能反超初代GPT-4：前OpenAI员工眼中的谷歌AI > Cognitive Revolution No. 142 中文精读 - 原标题：Inside Google’s AI Studio with Logan Kilpatrick - 发布日期：2024-06-06 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/142-inside-googles-ai-studio-with-logan-kilpatrick-CD1ku-.html - 精读字数：约 5187 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 35美分和30美元，这是Gemini 1.5 Flash与初代GPT-4每百万输入token的价差，前者只有后者的1%到2%。榜单更扎心：LMSYS竞技场最新数据，Flash的Elo分数1232，比2023年3月发布的初代GPT-4高出近50分，比去年6月的版本高出70分，只比今年1月的GPT-4版本低15分左右。上下文窗口100万token，是初代GPT-4八千窗口的125倍，200万的版本已经在路上。 **一年时间，同等智能水平的模型，价格跌到原来的1%到2%。所有AI应用的成本账，都得重算一遍。** 说这些话的人叫Logan Kilpatrick，前OpenAI开发者关系负责人，现任谷歌AI Studio产品经理，负责Gemini API生态。GPT-4发布前几周，他坐在Greg Brockman旁边，一起过那个后来刷屏的餐巾纸画网站demo；一年后，他坐到了谷歌这一边。地球上同时近距离看过两大头部AI实验室内部运转的人，一只手数得过来。这期Cognitive Revolution播客里，主持Nathan Labenz跟他聊了一个多小时，下面是值得记住的部分。 ## 从OpenAI到谷歌，他看到了什么 Logan从OpenAI离职后没歇几天，谷歌的人就找上门。面试他的是Josh Woodward，谷歌实验室负责人，在谷歌干了15年，从实习生一路做到VP。Woodward的团队做出了Gemini API和AI Studio，现在交给Logan所在的团队，开发者规模已经过百万，接下来要往更大的盘子推。 两家公司的文化差异，他讲得很具体。刚进OpenAI那会儿，谁都能旁听研究会议，看看模型进展到哪了。ChatGPT爆火之后，研究和产品之间砌起了厚墙。谷歌当然也有保密制度和权限隔离，但DeepMind团队愿意跟开发者产品团队协作，这个体感差别很大。他入职头几周发过一条推：谷歌文化里很好的一点是能看到公司要往哪走，这让工作变容易了。话里有话，他没展开，意思到了。 他举了个例子：某个周末，DeepMind一位叫Susan的工程师发来一份长文档，逐条列出新模型Flash的上手难点和改进建议。24小时之内，AI Studio团队把一批改动推上线。**研究团队主动帮产品团队修体验，这在头部AI实验室里并不多见。** Nathan补了一个自己的故事。Gemini 1.5刚开内测时他不在名单上，周六上午11点半在推特上给Jeff Dean发私信，一小时内收到回复，24小时内拿到百万token测试权限。他的结论：谷歌现在没有哪一层员工觉得自己可以袖手旁观。 但Logan也点出一个新瓶颈：**DeepMind的创新产出完全够用，真正的瓶颈在产品端，产品团队得拼命追。**刚结束的IO大会keynote里，"AI"一词被说了121次，发布密度大到内部团队都消化不过来。 他自己已经在重度使用这些产品。Google Meet里一键开启的Gemini会议纪要，会后自动生成总结、待办事项并@到人，一封邮件全搞定。规划去亚速尔群岛的旅行，AI生成行程后一键导出Google Doc再发给女朋友。还有Gemini进Chrome，他特意强调：几十亿Chrome用户，才是这项技术影响世界的主通道。 ## Flash的账本：便宜80倍，还快3倍 先看定价。初代GPT-4每百万输入token收30美元。Flash是35美分（128k以内），一次请求超过128k，整体跳到70美分。为什么有个硬切换？Logan解释，大上下文请求消耗的算力并非线性增长，定价只是如实反映成本。即便按贵的档算，Flash也比一票能力相近的模型便宜10倍以上。 速度上，Logan的体感是比1.5 Pro快3倍左右，他已经把日常AI使用大部分切到了Flash。延迟这个指标很难对外讲清楚，服务器负载、一天中的时段都会影响。他希望有人做一个更科学的基准：三个滑块，智能、价格、延迟，开发者按自己的偏好调，直接告诉你该选哪个模型。他直言，Flash的Elo排名低估了它的价值，榜单只看人类偏好，不看价格和速度。 Nathan现场讲了自己的实验。他给一家做高管助理服务的公司Athena当AI顾问，把最近发出的250封邮件，连正文带引用，大约25万token，整个塞进Flash，要求写一份关于他的人物侧写。几乎没做提示词工程，45秒出结果，两页纸，把他的播客、公司、各种AI项目全概括了。总成本不到20美分，提取邮件反而花了更久，前后3到4分钟里模型只占45秒。 对比一下：初代GPT-4的8k窗口只能装8封这样的邮件，还要扣掉输出空间。Nathan开了个玩笑：上下文窗口的通胀，是最好的通胀。以前做这种事得切块、搭检索，像把一本书撕成一页页喂给模型；现在整本书直接放桌上。**长上下文最大的价值，是让很多场景可以跳过RAG工程，直接整包塞进去。**他还在琢磨更多玩法：从邮件历史里挖出客户送过哪些礼物、该给谁送，让助理主动提醒；把所有常旅客号和会员信息整理成表格。顺带一提，他让Gmail里内置的Gemini做同样的事，被拒绝了。API和第一方产品的能力边界，目前并不对称。 Logan最看好的新大陆是视觉。去年他在AI Engineer峰会上预测2024是多模态之年，正在兑现。过去一年，大家给视觉用例画了很多饼，真正跑出来的没几个，卡点在成本和延迟。Flash带来两个新东西：一是快，二是空间理解，模型可以直接输出边界框坐标，你说“告诉我这个东西在图里的位置”，它给坐标。**过去这类活需要专门训练图像分割模型，现在一句话搞定，UI自动化、视觉agent的空间打开了。** 他还放了个话：IO上惊艳全场的DeepMind Project Astra演示，戴眼镜实时问答那套，用Flash API加几百美元的现成智能眼镜，大概率能复刻出大部分。这事已经在他待办清单上。 ## “原生多模态”到底指什么 Nathan追问了全场最技术的一个问题：Gemini 1.5宣传里的“原生多模态”，是单个transformer吃下所有模态，还是内部有流水线？Logan给出开发者视角的答案：**把任何类型的内容扔进去，拿到文本输出，中间不用在多个模型之间倒手，不用为每一跳支付往返延迟。**过去要把音频、图像、文本串起来的用例，延迟叠加后在生产环境根本跑不动，现在一个模型全包。 至于架构细节，他坦白刚发布的约150页技术报告里没有展开，他自己也不确定这属于该公开的细节，还是团队故意留的秘方。模型能不能听出语气和情绪？Nathan提了个验证思路：能听出语调，说明音频没被先转成文字。Logan答应去问清楚，因为答案直接决定一批用例能不能做。 版本关系顺便理清：Gemini 1全系被1.5取代，1.5 Pro在几乎每个维度都强于从未大规模开放的1.0 Ultra。榜单上那个Gemini Advanced是带联网能力的特供版，API里拿不到。Logan还借机喊话LMSYS：学学Hugging Face，给每个模型配张模型卡，写清楚它到底是谁。 ## 三条产品线怎么选，路线图上有什么 谷歌开发者产品线的历史包袱不轻，Nathan承认自己经常搞混。Logan给了一个干净的分类： - Vertex：企业云方案，需要法务合同、合规、SLA的公司走这条路。 - AI Studio：起点，playground加API key，也能创建微调模型。 - Gemini API：直接上生产，可规模化。 他给的类比是OpenAI与Azure OpenAI的关系。**没有企业合规需求的开发者，完全可以无视Vertex，从AI Studio拿key直接开干。** 冷知识：AI Studio前身叫MakerSuite，最初带着消费级基因，后来才转成开发者playground。Nathan分享了自己的另类用法：把20篇混合专家（MoE）论文存成模板，随时回来追问，等于养了个私人学习环境。他吐槽GPTs刚发布时试着把整个代码库塞进去，结果模型总想检索、漏东西，他其实只想要“全文都读一遍”，这个需求到现在也没几个产品好好支持。Logan说团队讨论过把导入邮件这类消费级功能做进AI Studio，最后克制住了，怕喧宾夺主，这个产品的使命是让开发者去用API。 路线图上几个要点：函数调用（function calling）会有v2；Gemini API已内置语义检索API，可上传文档建语料库再检索，设计尚未定型；Vertex那边的agent builder经验未来可能反哺Gemini API；视频模型Veo的发布策略会和Sora明显不同，工具链已经比较完整。 微调是重头。5月30日，谷歌宣布1.5 Flash开放微调，Logan强调这个套餐的独特性：**微调不收训练费，推理也不加价，别家目前都做不到。**按主持人的说法，这可能让它成为全球可微调模型里的最强者。聊到“用我的文风写作”这类需求，Logan透露自己在两份工作的空档期认真考虑过围绕它创业，最后放弃。难点在数据集：要平衡、要有代表性，是传统机器学习的脏活，大多数人内容量不够，还得靠合成数据扩充。Nathan自己试过微调OpenAI模型模仿自己的写作，失败了。他的经验法则值得记下：微调适合收窄到单一任务并严格控制输入输出；泛用型需求，直接塞上下文更划算。 ## 谣言、竞争和AGI Nathan提到圈内传闻：DeepMind内部状态空间模型早有突破只是没发表，去年底Mamba出来后，才放出了Infini-attention论文。Logan的回应成了这期节目传播最广的段落： > “我能传递的最重要的一条经验：谣言里为真的比例小到约等于零。我在OpenAI经历过很多次，网上流传的那些有具体细节的传闻，没有一条是真的。” 至于为什么顶级IP也愿意发论文，他列了几种可能：给研究者应得的署名，吸引学术圈人才，还有一种可能，有些东西别人已经想出来了，发了也不亏。 竞争格局上，Logan跟两位大佬都唱了反调。Nathan翻出他还在OpenAI时说过的话：OpenAI只和它最新的模型一样好，这话暗示赢家通吃。Logan现在本人否定了这个判断。Sam Altman说过自己从不考虑竞争，他也不同意，大家心里都清楚竞争有多激烈。Nathan判断最终会有10家左右能站上前沿的公司，Logan觉得会更多：**这场竞赛不会有赢家通吃的结局，任何有技术理解力和资源的玩家都会进场，开源会在旁边持续逼近前沿，形成共生。** 他那条引发讨论的推文“如果AGI今天就到，人们也不知道拿它做什么”，在节目里做了解释：大多数人连GPT-4都没用过，更别说Gemini 1.5。就算AGI通过API送达，世界消化它也需要很长时间。IO现场有位叫Connor的人，专门教没有技术背景的人用AI，Logan很欣赏这件事，世界大部分人都不是工程师，他们只关心AI能不能当工具使。 他提醒开发者往大处想：AI会无处不在，成为产品的主要交互界面之一，智能会便宜到不值得单独计量。现在把AI当功能点到处贴的人，还没想到这个量级。 ## 创业公司的活路，和明天就能做的事 Nathan从IO回来最大的焦虑是平台碾压：谷歌把会议纪要直接做进Meet，免费，一键开启。市面上十几家做会议纪要的创业公司怎么办？模型能看屏幕、延迟降下来之后，“主动型同事”又成了新风口，ChatGPT桌面版、Project Astra都在往这个方向走。 Logan的答案分两层。他承认分发是巨头的优势，但**创业公司的优势同样真实：小团队专注执行，没有协调成本，这是他回到大厂后最怀念的东西。**第二层更具体：会议纪要工具其实站在成为第一批真正有用的agent的最佳位置上，它们天然握有上下文，拿到上下文就赢了一半。用户横跨Zoom、Teams、Meet多个平台，第三方工具反而有跨平台的立足点。 真正的护城河在纪要之后。**如果系统能在会后自动起草跟进邮件、主动提醒该联系谁，用户只需要检查发送，这就跟单纯记笔记拉开了身位。**记录本身不值钱，值钱的是记录之后的自动化。 他的收尾原话：做AI创业，现在是有史以来最好的时机，一切尚未定型。 把这一小时压缩成四条，明天就能用： - 把长文档整包塞给Flash试试。25万token成本不到20美分，很多场景先别急着搭RAG，直接塞上下文效果更好、工程量更小。 - 需要企业合规再去碰Vertex，否则AI Studio拿key，Gemini API直接上生产。 - 做视觉应用的，试试让Flash输出边界框坐标，空间定位这条能力刚被解锁，竞争还不拥挤。 - 看到有鼻子有眼的AI传闻，默认为假。连内部人都说，为真的比例约等于零。 一年前，用初代GPT-4处理250封邮件，要么付不起钱，要么装不下。现在这是一杯咖啡钱都不到的日常操作，而且曲线还在往下走。Logan的原话是：**模型会变得更快、更聪明、更便宜，这个趋势不会停。**开发者真正该做的，是按“智能即将便宜到忽略不计”的世界，重新设计自己的产品。