OpenAI的Logan Kilpatrick:DevDay没杀死初创公司,可能造出了几千家新的
OpenAI DevDay: Beyond the Headlines with Logan Kilpatrick, OpenAI's Dev Relations Lead
OpenAI 开发者关系负责人 Logan Kilpatrick 与 Nathan 深入拆解 DevDay 发布内容,聊到新闻标题之外的关键细节。
2023年11月6日,OpenAI首届开发者大会(DevDay)开完,第二天,播客Cognitive Revolution的开场问题相当扎人。主持人Nathan Labenz问嘉宾:「你们昨天杀了几家初创公司?」
回答的人叫Logan Kilpatrick,OpenAI开发者关系负责人。他先承认在推特上刷到这类段子时反应强烈,然后给出两层回应:如果你的产品只是给API套一层极薄的壳,那本来就算不上一家初创公司,只是个依托API的项目;而这场发布会把造产品的门槛降到了历史最低点。
「我的结论是,我们可能创造了几千几千家新初创公司,还让今天在平台上开发的这批人拿到了更低的价格和一堆新功能。」
Logan去年加入OpenAI,入职时全公司大约300人,如今远超这个数。作为这次一堆发布对外答疑的第一责任人,他在节目里几乎有问必答,从模型定价、agent为什么踩刹车,到200万美元的定制模型卖给谁。下面按主题拆。
套壳之辩与苹果式节奏
Logan对「杀死初创公司」这个说法的逻辑很直接:真正的初创公司从第一天就该琢磨怎么建一个有防御性的生意,靠薄壳活着的东西,平台一变就没了。被颠覆是正常的,问题出在你没有产品,只有一层包装。
Nathan接着抛出另一个观察。不到一年前,ChatGPT上线的内部动机是模型已经够好,但没人天天用,得有个产品把需求带起来。一年后,社区把RAG、agent框架这些概念全趟了一遍,OpenAI再进场,直接端出公认最好的版本。这很像苹果的打法,未必第一个做,但要做就做到最好。
Logan的解释很坦白。OpenAI也想抢首发,但任何功能都得能扛住ChatGPT数亿周活用户的规模,还得塞进核心产品策略。能做的事有一百万件,在这个规模下快速发布本身就是极难的技术问题。
「至少从我的内部视角看,我们永远处于全速冲刺状态,流水线里的东西一就绪就会发出去。」
他否认了「憋大招」的猜测:过去九到十二个月一直在持续发东西,3.5微调就是DevDay前几周刚上的,只是人手永远不够。他顺带纠正了一个外部数据:LinkedIn上对OpenAI人数的估算,比实际情况还要偏高。
AGI叙事下的发布逻辑
Nathan提到OpenAI刚更新的核心价值观,明确写着「致力于构建安全、有益的AGI,凡与此无关的都在范围之外」。他直接问:GPT商店这种东西,真的在通往AGI的关键路径上吗?
Logan的回答毫不含糊。OpenAI存在的目的,既非做最好的聊天平台,也非做最好的API,这些只是让AGI造福人类的机制。ChatGPT和API承载的是另一层哲学:把技术迭代着交给公众,给社会时间适应。
他引用Sam Altman在keynote里的原话:Assistants和GPTs是朝agent方向迈出的第一步,OpenAI刻意没一步到位做全自主agent,就是要给社会和普通人适应变化的时间。keynote里有两句话被Nathan单独记了下来:「让人们有机会体验并适应这项技术」和「让更多人参与塑造AI的行为」。
Logan还补了一个思想实验:OpenAI完全可以关起门做研究,五年后直接端出一个能用的AGI。这在技术上说得通,但对人类是最糟的剧本,一个从未见过的超级能力突然降临,只会带来巨大动荡。Nathan说自己原本对AI安全很担心,但被这个「能力悬置」(capability overhang)论证说服了不少:技术早发布,好过攒出一个巨大的落差,让公众提前看到方向、参与塑造,比突然砸向世界强。
Agent踩了刹车:三个缺口
这是全期干货最密的段落之一。Logan把现状说得很清楚:GPTs和Assistants目前没有自我规划能力,工作模式仍然是发一条消息、回一条消息。AutoGPT那类产品「先列计划、逐项执行、最后汇报」的流程,GPTs没有。
缺的东西,他列了三块:
- 长程任务排队:把一连串动作排好队依次执行;
- 后台自主行动:不需要指令,自己定期去查邮件有没有新动态;
- 可靠性:至今没有agent产品真正打出全垒打。
Logan说自己试过一堆agent产品,感受是「用它的功夫够我自己做完了」,等于没省事,还要把账号凭证交给一个看不见每步操作的系统,反而背上更多风险。他还给了一个宏观判断:互联网和社会还没准备好迎接一亿甚至十亿个agent。ChatGPT有一亿周活用户,如果每个人都配上能替人办事的agent,现有网站和服务根本扛不住。GPTs就是给公司一个缓冲带,先学着思考这件事。
Nathan追问:规划能力是有意砍掉的,还是技术没搞定?Logan说两者都有,核心技术肯定还有要解决的,但更难的其实是让全世界的人接受并适应这件事。发布节奏的约束,比模型能力的约束更大。
微调与定制模型:从16K到200万美元
先说GPT-4 Turbo。带「preview」标签的版本是早期候选版,后训练还没做完,所以限了每天100次请求,转正时间「以周计,希望少于月」。Nathan顺口开了个玩笑:按这个限额,跑完整个MMLU评测得花几天,Dan Hendrycks团队估计已经在攒请求了。
基准数据方面,Logan承认上一次API模型发布没把性能差异讲清楚,这次打算多放。他给了一个参考:3.5 Turbo新版本内部评测显示,JSON、XML、YAML这类格式遵循任务提升了38%。他也欢迎社区自己跑评测,「盯着我们」。
3.5微调这次支持16K上下文加函数调用,Logan说16K是用户第一诉求。Nathan的公司Waymark用3.5微调写视频脚本,之前经常要截断输入,16K直接打开了空间。Logan透露已有客户用3.5微调跑出接近GPT-4的表现,上下文翻倍后差距还会继续缩小。
Nathan分享了自己的微调心得:在训练数据里加上推理过程,解释「为什么这么写」,性能提升巨大,光给正确示范远远不够。OpenAI微调团队的John和Colin在DevDay有个专场,录像几天内放出。
GPT-4微调即将开启实验计划,门槛设计很有意思:必须先用过3.5微调,才有资格申请。Logan解释,过去的通用候补名单是灾难,一百万人举手说感兴趣,根本没法筛。GPT-4微调更贵也更强,随便让人开任务,容易烧了钱还训不好。按使用记录筛人,信噪比高得多。
然后是全场价格天花板:定制模型,起步价约200到300万美元。Nathan说自己本来猜1000万起步,听到这个数觉得便宜。Logan的账是这么算的:模型用数十亿token训练,这是别人拿不到的东西;一家真正的技术公司自己招人买卡做训练,资本支出起码几百万美元,做出来的东西大概率还不如OpenAI给的。融资到位的AI原生公司,可以把这当成构建防御性生意的少数路径之一,OpenAI的研究员会端到端帮你把模型做好。他同时承诺,等学到足够多,会把成本降下来,让更多公司用得起。
Nathan补了一句很直接的话:账上趴着一亿美元以上的企业,想不出比这更值得花的钱,上市公司CTO都该去排队。
版权盾(copyright shield)也是当天的大新闻:客户如果因生成内容被起诉版权侵权,OpenAI承担相关费用。Logan不肯透露细则,只说详细条款稍后放出,动机很清楚:很多想用技术的人,卡在法务部门的担忧上。没人想打官司,但这是对客户必要的服务。他顺带重申了一个从3月起就生效的政策:API发送的数据、Assistants上传的文件,都不用于训练,想帮模型改进可以主动选择加入。
价格战:视觉、语音和反着来的DALL·E 3
DevDay的另一半主题是降价。几个关键数字:
视觉理解,低分辨率模式把图片压到512x512处理,最贵约1美分一张,最低能到12张1美分。Logan给的判断标准很实用:人类看512x512缩略图能回答的问题,就用低分辨率;需要看局部细节,再用高分辨率的分块放大,后者按patch逐块处理,所以更贵。对比托管的开源方案,比如Replicate上的LLaVA 13B约3张1美分,OpenAI这个价还更低。Nathan还发现视觉在API里以两个独立模型出现,Logan解释这背后是两套技术栈,发布前来不及统一,底层其实是同一个模型,后续会合并。
DALL·E 3反着来,4美分一张,明显贵于开源选项。Logan没给具体原因,只说定价是在算力约束下尽量激进,另外DALL·E 3背后有大量安全系统的开销,可能是成本因素之一。
语音转文字,Whisper large v3开源发布,暂未进API。有个反直觉的数据点:英语的词错率在两个基准上排到第七,另一个基准上排第三或第四,非英语语言才是这版的重点。Logan说互联网和语言模型对英语的关注一直过量,让模型在全世界语言上都做到世界级是必须补的课,把这类模型开源也是有意为之。
文字转语音,标准版每千字符1.5美分,HD版3美分。Nathan对比ElevenLabs的15到30美分,整整便宜一个数量级。但Nathan也指出,语音克隆和情感导演这两块OpenAI没做,ElevenLabs和PlayHT的日子还长。Logan补了个细节,ElevenLabs有给不会编程的人用的前端界面,那部分成本容易被低估,ChatGPT比API贵也是同样的道理。关于声音的拟人度,Nathan观察到这些声音刻意保留了一点恐怖谷,听得出是AI,但又足够悦耳。Logan说无法确认这是不是设计意图,但使用条款明确要求告知用户「这不是真人声音」,误导用户是红线。
Nathan还问了个方向性问题:语音进、语音出的统一API会不会来?Logan说大概率会。现在多API串联要付多次往返延迟的税,体验最差,语音到语音是自然路径。
另外两个开发者向的更新值得记一笔。可复现输出:指定seed参数,配合系统指纹校验,同输入同输出,单元测试终于有了抓手。输出token对数概率即将推出:Nathan说他从没料到会再看到这个功能,原以为OpenAI会担心被模仿学习而永远不开放。Logan承认确实担心知识产权泄露,但只开放输出token的对数概率,风险可控,而且开发者催了六到十二个月。Nathan当场下了个判断:各家「我们追平GPT-4了」的说法,看来都不太接近真相。Logan没接话,也没否认。
GPTs的进化与安全账本
插件到GPTs的进化逻辑,Logan讲得很清楚:插件要求开发者才能做,很多该可见的东西用户看不到,而且用插件就得放弃代码解释器等模态。GPTs把自定义指令、全部模态、检索、代码解释器、动作打包在一起,老插件可以转成action继续用。DevDay分会场还晒过检索的技术栈,文档嵌入、重排序这些招数全用上了。
动作系统有两个插件时代没有的能力:混合鉴权,部分接口要求登录,部分开放试用,用户可以先上手再授权;后果分级,被标记为「有后果」的动作会强制弹窗让用户确认,防止模型擅自替人办事。检索目前是黑盒,不能自定义分块大小和召回数量,但可以通过指令约束模型行为,比如「只基于我上传的前三份文件回答」。存储计费是每个assistant每天每GB 20美分,Logan现场也不确定不足1GB怎么算,答应测完跟进。
Nathan问了个实操问题:像Athena这种高管助理服务,一个客户建一个assistant,还是一个通用assistant加每客户一条线程?Logan的建议是先做通用版起步,把每个客户的信息写进各自的系统指令,需要更深定制再拆。
安全部分,Logan的回应是:Assistants没有引入全新能力,就是把聊天补全、数据库和已有模态串起来,每个模态都单独做过红队。可以公开查的是GPT-4V那份18页的安全卡。视觉能力今年3月由Greg Brockman在演示里亮过相,到11月才进API,中间隔的就是安全工作。GPT-4当年也是早就训完,迟迟不发。至于漏洞赏金,系统级漏洞有赏金,越狱大概率不算。Nathan当场呼吁把越狱纳入赏金范围,Logan说这个提议公道。
结尾,Nathan引用Sam在keynote收尾的话:今天这一切,跟OpenAI正在酝酿的东西比起来会显得很原始。Logan说研究路线图「更确定,也更不可预测」,研究团队大概押了十个方向,算力已经分配下去,但哪些能变成产品,现在没人知道。他还描述了每次大发布后的固定感受:「没东西可发了」,然后第二天就会发现还有一堆重要的事没做完。
明天就能用的五条
这期节目对开发者的直接指导,挑五条马上能上手的:
- 先测低分辨率视觉:512x512能答对的问题,别花高分辨率的钱;
- 微调数据里加推理过程,解释为什么,而不只是给正确示范;
- 想上GPT-4微调,先把3.5微调用明白,这是申请资格;
- agent别急着做全自动,把「发消息、回消息」的循环做扎实,等规划能力补齐再加码;
- 薄壳套壳趁早加厚:要么往微调和定制模型走,建数据壁垒,要么接受被平台更新冲掉的风险。
一年后再看,DevDay这批发布里最值钱的可能既非GPTs,也非降价,而是Logan那句轻描淡写的话:门槛从未如此之低,可建的东西从未如此之多。至于防御性,OpenAI已经把价目表写好了,200万美元起步。
We’re deep diving into OpenAI DevDay with Logan Kilpatrick, Dev Relations Lead at OpenAI. If you need an ERP platform, check out our sponsor NetSuite: http://netsuite.com/cognitive.
We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.
SPONSORS:
SHOPIFY: https://shopify.com/cognitive for a $1/month trial period
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive
NetSuite has 25 years of providing financial software for all your business needs. More than 36,000 businesses have already upgraded to NetSuite by Oracle, gaining visibility and control over their financials, inventory, HR, eCommerce, and more. If you're looking for an ERP platform ✅ head to NetSuite: http://netsuite.com/cognitive and download your own customized KPI checklist.
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.
X/SOCIAL:
@labenz (Nathan)
@OfficialLoganK (Logan)
@CogRev_Podcast
TIMESTAMPS:
(00:00:00) - Episode Preview
(00:02:08) - How many startups did OpenAI kill?
(00:05:50) - Current employee count at OpenAI
(00:06:59) - OpenAI's mission being focused on developing safe AGI to benefit humanity
(00:07:10) - How the GPT Store relates to AGI and progressing agent development
(00:08:22) - OpenAI's strategy to release AI iteratively so society can adapt
(00:10:50) - Safety considerations around the OpenAI Assistant release
(00:11:30) - Capability overhangs and is the internet ready for agents?
(00:14:13) - Why certain agent capabilities like planning aren't enabled yet by OpenAI
(00:15:28) - Sponsors: Shopify | Omneky
(00:17:34) - GPT-4-1106 Preview designation
(00:21:50) - 16k fine-tuning for 3.5 Turbo
(00:25:13) - GPT-4 Finetuning and how to join the experiment
(00:27:53) - Custom models: $2-3 million pricing to build a defensible business
(00:29:48) - Bringing costs down to bring custom models to more people
(00:30:19) - Sponsors: Oracle | Netsuite
(00:33:53) - Copyright shield
(00:35:42) - OpenAI doesn’t train on data you send to the API
(00:36:37) - New modalities and low res GPT vision
(00:37:26) - GPT Vision Assessment for Aesthetics
(00:42:30) - WhisperLarge v3
(00:44:15) - Text-to-speech API: the voice strategy and AI safety
(00:51:45) - Log probabilities coming soon
(00:53:45) - The evolution of plugins to GPTs: the challenges with plugins
(00:55:33) - GPT Instructions, expanded knowledge, and actions
(01:00:18) - How is auth handled with GPTs
(01:01:04) - Hybrid auth
(01:02:50) - GPT Assistant API Billing
(01:07:58) - AI Safety
(01:10:28) - OpenAI Jailbreaks and Bug Bounties
(01:11:57) - The OpenAI roadmap for a year from now
The Cognitive Revolution is brought to you by the Turpentine Media network.
Producer: Vivian Meng
Executive Producers: Amelia Salyers, and Erik Torenberg
Editor: Graham Bessellieu
For inquiries about guests or sponsoring the podcast, please email vivian@turpentine.co
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


