No. 68·精读

研究者只有5000人,Swyx把「AI工程师」这个新工种讲透了

AI Engineers, Pendants, and Competition Between OpenAI and Developers with Swyx of Latent Space

Latent Space 的 Swyx 与 Nathan 聊 AI 工程师该关注哪些工具、OpenAI 等基础模型商与开发者的竞合,以及 AI 魂器。

节目音频00:00 / 1:33:20
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

全世界真正能做大模型研究的人有多少?Swyx 给了个估计:5000 人左右。想用上 AI 的公司数以万计,谁都招不到这种人。这笔供需账是他全部判断的起点,缺口靠培养研究者填不上,只能靠一类新工程师来填。2023 年年中,他给这类人起了名字,AI 工程师。

10 月初,Cognitive Revolution 的主持人 Nathan Labenz 和他聊了一期。开场有个应景的细节:导语是 Nathan 用 ElevenLabs 克隆自己的语音念的,本人去参加婚礼了。正题很实在,一个新工种怎么成形,OpenAI 会不会抢开发者的生意,agent 到底走到哪一步,最后还有一份 100 美元包圆所有 AI 应用的商业提案。

先交代下 Swyx 是谁。本名 Shawn Wang,做开发之前在金融圈当过多年交易员和对冲基金从业者,后来干了五年开发者关系。他现在运营 Latent Space,一份通讯、一档播客、一个 Discord 社区,外加刚办完的 AI Engineer Summit,全部火力对准 AI 工程师这个人群。

AI 工程师:软件工程师往左挪一格

Swyx 的原话是,提示工程属于 2022,AI 工程属于 2023。他自称没发明这个词,只是观察到趋势,然后把全部筹码押了上去。定义很简单:专攻 AI 和新兴 AI 技术栈的软件工程师。类比是现成的,ML 工程师从来不算 ML 研究者,AI 工程师同样不训练基础模型,他们管的是模型进生产环境之后的所有事,顶多带一点微调。

他把 AI 人才画成一条从左到右的光谱:最左边是研究科学家,往右是 ML 工程师和数据科学家,再往右是刚成形的 AI 工程师,最右边是给 AI 产品做最后一公里界面的全栈工程师。人流的主方向是右边往左走,软件工程师开始搞懂 tokenizer 是什么、embedding 是什么、为什么思维链提示比零样本生成靠谱。反方向的人也有,Humanloop 的 Raza Habib 就是概率编程方向的博士,跑去做 LLM 运维产品,因为那边能服务的人多得多。

这个判断拿到了重量级背书。前特斯拉 AI 总监 Andrej Karpathy 明确支持:未来的 AI 工程师会比 ML 工程师多,不训练任何模型也能干得很成功。

既然门槛不高,为什么没出现全体软件工程师涌进来的场面?Swyx 归纳了三个心结。有人被加密货币伤过,看什么都像下一波炒作;有人怀疑自己没资格,担心没有 PhD 进不了场;还有人卡在「随机鹦鹉」的老争论里,认定堆矩阵到不了智能。他的回应是,资历焦虑在这个领域根本不成立:Transformer 才问世六年,GPT-3 才三年,所有人都没资历。他每月写行业总结,OpenAI 的新闻要占两屏,其他前沿模型加起来五条,客观记录数据,就成了别人口中的「OpenAI Maxi」。

七天入门课,和先买后造的工具哲学

想入行的人,Swyx 准备了一条路径:Latent Space 的免费七天邮件课,每天一小时。课程表长这样:

  • 第一天,第一次调 GPT 的 API,把参数和上下文限制亲手摸一遍,ChatGPT 和 Copilot 平时把这些全藏起来了;
  • 第二天,提示工具和记忆,向量数据库、LangChain 这类框架,他建议先自己手写一遍抽象再上现成的;
  • 第三到第五天,代码生成、图像生成、语音转文字;
  • 第六天,微调和跑开源模型;
  • 第七天,搭一个 agent。

毕业标准很实际:任何 PM 或 CEO 拿着 AI 产品想法来问能不能做,你答得出能做或者不能做,说得出为什么。Nathan 补了个常见现象,网上大量「GPT-4 做不到 X」的帖子,结论本身就错了,要么用错模型,要么提示写错。想追前沿是另一回事,那是全职工作,前沿玩家藏在 Discord 里,聊的名词几个月后才见诸公开讨论,而且最值钱的对话发生在私有频道,光进群不够。

工具怎么选?Swyx 干过五年开发者关系,立场偏供应商,但他也认「选无聊技术、控制依赖」的老原则。先买现成的,等真正吃透自己的领域,再动手自建。买,等于接上一个踩过坑的社区;代价是这个领域太不成熟,随时可能推倒重来。2023 年夏天 LangChain 的争议就是活教材,一批人从它起步,撞了墙,把框架拆掉,转身宣布 LangChain 是垃圾。Swyx 觉得不公平,这家公司成立不到一年,自己也在进化。

你选择进入这个领域,就选择了站在最前沿,有时候前沿会割伤你。

他点名的工具里,Humanloop 管提示的整个生命周期:在 playground 里调好提示,点保存就生成 API,改提示不用动代码,日志全记着,还能把表现好的数据导出去做微调。Nathan 的用法更进一步,把 GPT-4 的推理过程做成 3.5 的微调数据,效果提升明显。Guardrails 管输出校验,比如检查 AI 生成的 SQL 是否合法。LangChain 管编排。麻烦在于边界模糊,所有 LLM 运维公司都在抢同一个位置,路线图长得几乎一样:提示版本管理、评估、成本、延迟。OpenAI 一出 JSON 模式,各家框架里的 JSON 校验功能一夜作废,大家也只能认了。

Agent:演示很炸,日常还早

AI Engineer Summit 在 10 月 8 日到 10 日举行,门票售罄,线上票还能买。28 位演讲者里,AutoGPT 是赞助商,OpenAI、微软、Notion、亚马逊、GitHub 都有人来,Adept 和 New Computer 带来全球最早的公开演示,Lindy 第一次公开演讲。阵容里特意混了在生产环境真刀真枪干过的人,比如用大模型改造亚马逊图书业务的工程师,和刚写完 O'Reilly LLM 运维手册的作者。Swyx 的野心说得很直白:机器学习研究者有 ICML,工程师什么都没有,他想办工程师的 ICML,按十年规划来做。

Agent 是全场最热也最虚的话题。Swyx 把项目分成两派。开源派,AutoGPT 和 BabyAGI,追求一条推文视频里的惊艳,目标是「最有冲击力的单一演示」;闭源派,Adept、Lindy、New Computer,做平凡但天天用得上的事,冲着每月 20 到 100 美元的订阅去。两派他都认可,但现状得泼冷水:AutoGPT 每一步都要人确认,那不叫自主,只算带确认的辅助提示,真正的目标是交代完就走,fire and forget。

他给了一个参照物。旧金山街头,Cruise 和 Waymo 的无人车已经是日常交通工具,上车,不说话,到达。他要的就是这种体验,同时承认可能还要五到十年,位置大概相当于十年前的自动驾驶。Nathan 引用 Nat Friedman 的估算反驳了一嘴,到 2030 年算力还有约六个数量级的增长空间,把今天的能力往前推就行。

有个观察跟直觉对着干:Swyx 目前用得最顺手的 agent,里面一个 LLM 都没有。Calendly 和 SavvyCal 这类约会议工具,发个链接,对方自己挑时间,改期取消全自动,全程不需要他参与。他想要的所有 agent 都长这样。另一个已经跑通雏形的是 Code Interpreter:生成代码,运行,看输出决定修还是停。这个生成、执行、根据结果修正的循环,是 agent 自主决策的起点,再往上加规划、工具、记忆和对外交互。想系统补课的人,他推荐 OpenAI 研究员 Lilian Weng 的 agent 综述,目前最全的一份。还有一个他看得上的窄场景,以色列公司 CodiumAI 拿了 1100 万美元种子轮,只做一件事:让 agent 在代码库里独立生成测试,人来决定收不收。

分歧出现在 issue 转 PR 上。sweep.dev 这类公司承诺提个 issue 就自动变成代码合并请求,Swyx 的观察是,改文案的演示很漂亮,复杂任务从来没成功过,软件架构和需求翻译这件事,他愿意等五年。Nathan 拿出反例:谷歌的 Med-PaLM M 生成的胸片报告,40% 的情况比真放射科医生的更受偏好,这么难的问题都逼近专家了,两三年内复杂的 prompt 转 PR 应该可行。两人当场约定线下细化赌注。Swyx 补了一条验收标准:非技术人员只靠提 issue 就能管完一个软件项目,才算数。如果需要懂技术的人写 YAML、精心措辞提示,那只是换了一门编程语言。时间线之争他也表过态,Nathan 把宝押在 Anthropic 那边,Dario Amodei 在访谈里说过两年到 AGI 这类话,Swyx 不接这个话题,理由是不可证伪,只配当饭桌谈资。

安全话题上,他留下了一句流传很广的话。

把 shoggoth(社区梗图里那只触手怪)关进盒子里的,会是工程师。

具体路径是把模型微调成更小的领域专用模型,再组装成以人为本的软件系统,这条路线没人反对,越快越好。别人逼他给灭绝概率 p(doom) 一个数字,他就说 5% 到 95% 之间,拒绝再细化,5% 足够警惕,95% 也没资格躺平。Nathan 给自己的定位是「采用加速主义者加超大规模暂停派」,用现在的系统拿收益,但对往模型里再塞一百万倍算力保持警惕,他提到 Drexler 的「综合 AI 服务」愿景,一堆狭窄但超强的系统,反而是世界对抗通用系统的缓冲垫。

OpenAI 和开发者,Facebook 的老剧本

Nathan 在这期节目里提了个他琢磨很久的问题。他和扎克伯格大学住过同一栋宿舍楼,当年还觉得 Facebook 挺蠢。Facebook 早期的姿态是欢迎所有开发者来建应用,后来调头,把高价值用例全部收进官方产品,开发者只剩边角料,今天平台的价值基本只剩「用 Facebook 登录」。他问 Swyx,OpenAI 会不会走同一条路。

信号已经不少。微调任务页面上了线,功能长得像 Humanloop;ChatGPT 企业版内置向量检索,直接连 Google Drive、Notion 和 Dropbox;语音和视觉先后进了应用。Nathan 判断这些都会进 API。Sam Altman 确实公开承诺过不与开发者竞争,这话出自他和 Raza Habib 的一次对谈,记录后来被删了。Swyx 的判断是,这个承诺不牢靠,OpenAI 自己也未必想背书。每家足够大的平台迟早和开发者进入这种紧张关系,苹果甚至有个官方名词,Sherlocking,社区做得好的应用被官方版本挤掉。

但 Swyx 不觉得这是绝路。他纠正了 Nathan 对 OpenAI 规模的猜测,当时大约 600 人,精力得放在大事上,比如传中和 Jony Ive 合作的 AI 手机;A/B 测试平台、企业微调基础设施这种不够性感的活,留给社区。创业公司最好的活法,是把在基础模型厂旁边做事当成证明工程能力的方式,做得够好,对方会直接买下你,钱对这些实验室不是问题。ElevenLabs 就是个例子,论易用他选 ElevenLabs,要情绪跨度大的创意配音选 PlayHT,而 OpenAI 短期不会去做恐怖片和射击游戏里的声音,这个缝隙就还在。产品层面他反而更服 Character.ai,没拿到最强模型,聊天产品的功夫却练得最足。

多模态是他最确定的方向,峰会安排了 DALL·E 3 和 GPT-4 视觉的首次公开演讲。Nathan 讲了亲身体验:给一个 React 应用加功能,把界面截图喂给 GPT-4,模型看图找问题、改代码,一个从没写过 React 的人就这么把功能做出来了。视觉单看更惊艳,语音才是每天都会用的那个,免提、常开、听得懂你想要什么。Greg Brockman 转发过一段 ChatGPT 语音教俄语的演示,评语是 Duolingo 不应该再存在了,因为它更有耐心、更宽容、懂的语言更多。Swyx 还留了个自己的猜想,他叫它 GPT-4.5 论题:OpenAI 的下一个前沿是长推理,如果给模型一年而不是几毫秒去做一次推理,会发生什么?至于底层,他专门写过文章,文本是终极通用界面,语音合成、图文互转,什么都在文本这条中央管道里过,人类对什么样的文本数据算高质量,理解得也最透。

Nathan 还给 OpenAI 提过一个点子,Log in with OpenAI。他的公司 Waymark 做视频生成,每个免费试用用户的硬成本约 15 美分,他宁愿让用户侧分担这笔钱。Swyx 觉得合理,但可能够不上 OpenAI 的「有趣」门槛,真做了就等于宣布成为第四朵公有云,这跟研究机构的定位是两条路。

AI 吊坠,和 100 美元包一千个应用的提案

Swyx 的月度总结里专门列过一个主题,AI 吊坠。Rewind 的挂坠、Avi Schiffmann 的 Tab、Humane 的 AI Pin,都在往「全天候记录你」的方向走。他手上戴着 Oura 戒指,只记心跳,他说想要的是记录所有对话、还能跟他对话的数字分身。手机之后的下一个 B2C 硬件形态,会被 AI 工程师造出来。

节目的最后一个话题给了 Nathan 的执念。他先报了自己的 AI 账单:ChatGPT Pro、Claude Pro、Copilot、Replit Ghostwriter、Perplexity Pro,再加上 Rewind,每月花在 AI 订阅上的钱已经追上有线电视。他自己的公司 Waymark 账本更扎心:每个免费试用用户硬成本约 15 美分,30 美元的月费计划,得每 200 个试用换 1 个付费用户才刚够 token 成本。行业普遍现象是用户用完想要的功能立刻退订,新增很猛,流失也很猛。

他的提案是 AI 套餐:每月 100 美元,打包一千个 AI 应用,旗舰如 ChatGPT Pro 打头,长尾如 Waymark 跟进。每个应用按订阅者每月平均分 10 美分,类比有线电视里 ESPN Classic 这类冷门频道也能从套餐里分钱。照这个算法,套餐每 100 万订阅者,就给 Waymark 带来 100 万美元年收入,重度用户照常向上销售高价档位。

Swyx 没有否定,列了几个坎。最接近的现成案例是 Mac 应用订阅包 Setapp。分账规则是第一道坎,用不用都给钱,还是按用量算;SaaS 公司通常死死握住自己的客户和定价权,改个价格难道要套餐方批准;他熟悉的旧金山企业服务公司,目标是年费一万到一百万美元的合同,看不上 20 美元的月订阅,套餐里只装得下 Waymark 这类面向个人和小商家的产品。想得最深的人,他点名了 Lex 创始人 Nathan Baschez 和写了多年媒体捆绑分析的 Ben Thompson。捆绑的魔力算术确实存在,用户多选择、付一次费,供应商收入更可预测。别停在论证,去找这个想法的最小可行版本,先凑五个应用打包试试,市场会告诉你答案。还有一个硬门槛 Nathan 自己点破了:套餐里必须有锚定产品。300 个没听过的应用卖 10 美元没人要,ChatGPT Pro 加 Claude Pro 加 Perplexity Pro 再搭一串长尾,100 美元就有人动心。

明天就能用的四件事

  • 照七天课程表过一遍,重点花一小时亲手调一次 GPT 的 API,把参数和上下文限制摸熟,别只停留在聊天框。
  • 选工具先买后造。先用 LangChain、Humanloop 这类现成的,接上社区踩坑经验,用几周还别扭的模块再自己写,写之前做好推倒重来的心理准备。
  • 评估 agent 产品用三个问题过滤:任务范围够不够窄?每一步要不要人确认?能不能自己跑代码、看结果、自我修正?三个都过关的才值得付钱。
  • 招 AI 工程师,除了课程表里那些基本功,重点看他有没有自己 ship 过项目。这个岗位每月都在变,等领导安排的人跟不上,得是主动带着想法来找你的那种。

Swyx 把 AI Engineer Summit 当成一个十年承诺的第一步。这场技术迁移里,模型是别人的,把模型变成产品的那双手,正在形成一个新行业。他押的就是这个。

In this episode, Nathan sits down with Swyx of Latent Space to chat about AI engineers and tools to check out, competitive dynamics between OpenAI, other foundation model providers, and developers, and if Swyx would wear an AI Horcrux. We also learn that Nathan lived in the same dorm as Mark Zuckerberg back in his college days (and was a late adopter to Facebook…). If you're looking for an ERP platform, check out our sponsor, NetSuite: http://netsuite.com/cognitive

Subscribe to the show Substack to join future conversations and submit questions to upcoming guests! https://cognitiverevolution.substack.com/

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

SPONSORS: Shopify | NetSuite | Omneky
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive

NetSuite has 25 years of providing financial software for all your business needs. More than 36,000 businesses have already upgraded to NetSuite by Oracle, gaining visibility and control over their financials, inventory, HR, eCommerce, and more. If you're looking for an ERP platform ✅ head to NetSuite: http://netsuite.com/cognitive and download your own customized KPI checklist.

Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.

TIMESTAMPS:
(00:00) Episode Preview
(00:00:49) AI Nathan’s intro
(00:03:14) What is an AI engineer?
(00:05:56) What backgrounds do AI engineers typically have?
(00:15:51) Sponsors: Netsuite | Omneky
(00:17:13) Swyx’s Discord AI project
(00:20:41) Key tools for AI engineers
(00:23:42) HumanLoop, Guardrails, Langchain
(00:27:01) Criteria for identifying capable AI engineers when hiring
(00:30:59) Skepticism around AI being a fad and doubts about contributing to AI
(00:34:03) AI Engineer Conference speaker lineup
(00:41:14) AI agents and two years to AGI
(00:46:04) Expectations and disagreement around what AI agent capabilities will work soon
(00:50:12) Swyx’s OpenAI thesis
(00:53:03) AI safety considerations and the role of AI engineers
(00:56:24) Disagreement on whether AI will soon be able to generate code pull requests
(01:01:07) AI helping non-technical people to code
(01:01:49) Multi-modal Chat-GPT and the future implications
(01:03:33) Nathan living in the same dorm as Mark Zuckerberg
(01:04:44) Competitive dynamics between OpenAI and other AI model developers
(01:05:39) Play.ht vs ElevenLabs
(01:09:20) The tension between platforms and developers building on top of them
(01:11:40) The best thing startups can do to compete with foundation model providers
(01:16:26) User identity/authentication services like Login with OpenAI
(01:19:20) Google vs the other live players
(01:20:46) AI Horcruxes / Pendants
(01:22:05) The concept of an AI app bundle for consumers and developers

本集资源与出处