No. 131·精读

无限AI实习生上岗:医学问答8比1赢医生,公司开始少招应届生

Infinite AI Interns: How Young Professionals Can Win in an AI-Powered World

面向大学生与年轻从业者,讨论 AI 工具主导下的职业技能、效率方法与任务自动化趋势。

节目音频00:00 / 1:05:49
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

美国医师执照考试的及格线是60分。谷歌的Med-PaLM 2考了86分。更扎心的在后面:研究者让一批人类医生当裁判,评判AI的答案和人类同行的答案谁更好,9项指标里AI赢了8项。唯一输掉的一项是幻觉,也就是偶尔编造信息。其余8项,从贴合医学共识到阅读理解,全部AI胜出。

这是Nathan Labenz在德克萨斯州立大学计算机社做演讲时甩出的一组数据。他是播客Cognitive Revolution的主播、AI投资人,也在AI视频公司Waymark担任首席AI官。过去两年他泡在应用AI的第一线,判断很直接:大多数机构没搞清楚AI走到了哪一步,大学尤其危险,还在重点教那些AI已经干得很好的技能。

他说自己听到越来越多软件公司表态:初级程序员的招聘在收缩,理由是AI工具给资深员工加的杠杆更大,回报更高。这场演讲的标题就叫「无限AI实习生」,讲给大学生,也讲给所有刚入场的年轻人。

AI的真实水平:例行任务逼近专家,灵光一现还稀缺

先校准认知。Nathan给现状的一句话概括:AI正在例行任务上逼近人类专家水平。「例行」两个字很关键,指的是那些知道好答案长什么样的任务。

几个数据点。MMLU基准覆盖大学到研究生各学科,普通人平均答对35%,领域专家90%,GPT-4是86%。编程比赛同理,把AI放进选手池,它拿不了第一,但稳居平均线以上。

AI弱在哪?Nathan把真正原创的高质量洞见叫「尤里卡时刻」。他以前说AI完全没有,现在改口「屈指可数」。有个例子恰好叫Eureka:训练机器人学转笔,难点是稀疏奖励,机器人一开始瞎挥乱舞,离成功太远,拿不到任何奖励,也就学不到东西,所以需要人类专家手写一个奖励函数,捕捉稍微像样一点的迹象。结果GPT-4写的奖励函数比人类专家还好,练出的机器人更强。但这类突破依然稀少,AI每次真冒出新洞见都能上新闻,恰恰因为罕见。

一张人机记分卡:强在哪,弱在哪

Nathan有个自创框架叫「认知磁带」,把认知拆成维度,给人类专家和AI分别打分。这张卡值得背下来。

  • 广度,AI超人。读完了整个互联网,会所有语言,能考所有学科的试。单个人类窄得可怜。
  • 深度,人类专家仍领先。AI接近了,但还没到专家对一门学科的掌控力。
  • 突破性洞见,人类最大的护城河。这一项AI只拿1分。
  • 速度与成本,AI碾压。至少快10倍、便宜10倍,产出速度已经超过人类的阅读速度。
  • 并行能力,AI碾压。24小时待命,闲着不花钱,需要时可以同时开100个实例。
  • 记忆,人类占优。AI工作记忆有限,临时检索信息的过程很脆,RAG这类补丁还在半路。
  • 床边态度,AI可能更好。医生忙到没耐心,聊天机器人给你解释10遍,每遍都客气。
  • 对抗鲁棒性,AI最大短板。

最后一条展开说。人类面对骗子会起疑,AI不会。汽车经销商网站上的客服机器人被诱导,答应以1美元卖车。更极端的例子来自研究机构Far AI:他们造出一套对抗策略,能稳定击败超人类围棋AI,招式在人类棋手眼里离谱到不该输。超人选手照样有巨大盲区。

Nathan的结论:别在AI超人类的维度上跟它竞争,往人类优势的方向站位。

无限实习生,和三种工作模式

把AI当成什么?Nathan的类比:一个入职第一天的聪明员工,勤快、渴望表现,但对你这家公司一无所知,毫无上下文,还会犯些奇怪的错。你得把话说明白,把「好的样子」摆给它看。做到这些,你就拥有了无限实习生,在编程场景里就是无限初级程序员。

人类历史上没有任何一家软件公司说过这句话。现在可以了。Nathan刚参加过一个活动,在场的公司直言:不再多招初级程序员,钱花在让资深的人更强上,给他们配工具和无限实习生,回报更高。

在这个新环境里干活,先分清三种模式。第一种是Copilot模式,ChatGPT式的实时对话,你是主驾,AI是副驾。这个模式必须逐条检查产出,有律师把ChatGPT编造的判例直接递进法庭,执照都丢了。

第二种是委派模式,也叫任务自动化。找业务里的瓶颈,把输入、输出、触发条件锁死,反复测试,调到可以信任的程度,之后就不用每条都盯。代价是范围收窄,换来的是稳定。

第三种是Agent模式,实时委派加上信任结果,比如扔给它一个任务:找出底特律20家会计服务商的报价,填进表格,写份分析。这个模式还没到。编程代理Devin已经能自己撞上bug、翻文档、回来接着修,业界普遍预期OpenAI的下一个大版本会解锁一大批多步骤、跨应用的任务。

工具、提示词和委派模式的打法

最简单的一条建议:用市面上最强的模型,每月20美元,绝对值。哪怕去Upwork接个零工把这笔钱挣出来也值。Nathan自己只用三样:Claude 3、GPT-4、Gemini 1.5。榜单头名几天就换了一次主,节奏就是这么快。开源模型能用,但那是爱好者领域,部署麻烦。他给老板的建议是别抠门,给学生的建议更狠:别待在不肯给你买好工具的公司。

Copilot模式的手艺是提示词。各家指南大同小异:指令清晰无歧义;给例子,GPT-3那篇论文的标题就叫《大语言模型是少样本学习者》,给两三个样例往往比长篇描述管用;给角色,Nathan的独门口诀是「爱因斯坦加海明威」,要聪明,也要惜字如金;给格式模板。Anthropic还出了个meta-prompt,你给它一个粗糙提示词,它帮你扩写打磨,AI已经开始帮人写提示词了。

编程工具三件套:GitHub Copilot最普及;CodiumAI专管代码质量,单元测试、类型检查,替你收拾代码评审时会被骂的那些毛病;Cursor是AI优先的编程环境。演讲现场他问谁用过Cursor,举手的人是零。他的反应:「今天如果只带走一样东西,去试Cursor。」

还有一个几乎零门槛的神器:Claude for Sheets。把大模型包成一个表格函数,两秒装好,能整理数据、补全空缺、批量回答问题,自带缓存层,便宜到离谱。Nathan估计只有0.1%的公司装了它。走进任何一家公司问一句「我们试过Claude for Sheets吗」,大概率没人听说过,现成的信息差。

委派模式的打法有个关键认知:大多数公司的流程根本没有文档,没人画过流程图,活怎么干的,全藏在某个人脑子里。Nathan管这叫「这些流程图并不存在」,玩的是当年AI生成人脸网站thispersondoesnotexist.com的梗。所以第一步是画地图:输入是什么,输出是什么,中间发生了什么,谁负责,什么触发流程,流程在哪结束。第二步是他的口诀「先提示词,后应用」:找流程负责人要10个真实输入和10个好答案,先证明AI能干这个核心活。偷懒的办法是拿9个答案当样例喂给AI,让它做第10个,很多时候这就够了。核心通了,再接Zapier和无代码平台,把结果接到该去的地方。

他举的例子毫不性感:客服工单太多,没人爱回,让AI读100个历史回复,写第一版答复。在一个没人会干这件事的环境里,你能把它跑通,立刻就是差异制造者。这类活还是敲门砖,公司里的资深专家各有真本事,缺的恰好是你带去的自动化,他们会爱你。

还有一条习惯叫侦察。Nathan自称AI侦察兵,全部工作时间都花在试新东西、读论文上。做幻灯片有gamma.app,剪视频有Descript,Suno和Udio生成的音乐已经好听到可以当歌单听。他最近用Julius从一个YouTube链接抓音频,AI自己写代码、跑代码、给出下载链接,一次成功,全程15秒。他的观察:大多数人懒得试新工具,中年以上的职场人尤其不会试。

evals、新岗位和微调误区

委派模式跑通之后有个新问题:这套AI到底行不行?哪天它悄悄变差了,你怎么知道?Nathan的答案是evals,内部评测,本质是给AI系统做的持续单元测试。公开的叫benchmark,内部的叫eval,一回事。

他在Waymark的实操:公司用AI给本地小商家写视频脚本,规则是联系方式必须按模板放对位置。他用Claude for Sheets搭了个检查器,逐条核对AI写的脚本,不该出现网址的地方出现了,标记违规;该有电话的地方漏了,标记违规;合规的,返回通过。规则由人定,检查由AI干。人工翻100条脚本核对联系方式,枯燥、昂贵、注意力涣散,越查越不准,恰好是AI的完美工作。Nathan放话:会搭evals的人,在当今99%的公司里是独角兽。

公司现在招什么新岗位?他观察到三类:AI工程师,软件工程底子加重度AI应用,把模型做进产品;ML运维专员,管微调、数据集和评测;AI实施专员,偏非技术,比如帮公司搭内部知识库聊天机器人。他给一家千人公司搭过一个:250份文档灌进Chatbase这种现成产品,轻松搞定,原本负责答疑的团队一半工作量被接走了。

说到微调,Nathan给工程师泼了盆冷水。从零训练别想,微调确实可行,OpenAI平台上百来个例子就能起步,几百个像样,难任务要几千个,数据质量是命门。Waymark用GPT-3.5微调的脚本写手,代价是它只会写脚本,让它写个生日蛋糕食谱,它真做不到。

但多数人根本用不着微调。Nathan想让模型模仿自己的写作风格,微调很难做,更好的方案是把30篇旧文章丢给Claude 3,说一句照这个风格写,效果吊打微调。工程师的通病是总想上更技术化的方案,今天最好的答案往往是多给例子。

他还在公司里推行几句口诀。Waymark内部喊的是「AI或出局」「代做胜过自己做」。通用的三条:AI能做总结,做不了战略,商业策略暂时还得靠人;AI能接管流程,接不了产品,让你们特别的东西别交出去;AI能做转换,做不了原创。有观众问金融行业,他坦承了解有限,但给了一个数据点:彭博拿自家海量专有金融数据训了个模型,结果发现GPT-4更好。高频交易早就是AI的游戏,用的多是窄系统,和今天的大模型是两个物种。

避坑提醒也直接:网上卖课的都在喊「99%的人都在错误使用ChatGPT」,别买。真信息全免费,钱花在产品上,订阅GPT-4,别买什么提示词秘诀。他推荐的信息源只有三个:编程看McKay Wrigley的推特长推,行业看swyx参与的Latent Space播客,泛知识工作看沃顿教授Ethan Mollick,你未来老板可能都听过他的名字。

学校怎么办,以及明天就能做的五件事

现场有学生问了最尖锐的问题:课内教的是栈和队列,课外的这些学校一概不教,精力怎么分?

Nathan的回答不客气:说实话,学校在很多地方是拧巴的。职场里没人管你用不用ChatGPT,大家要的只是活好、快、便宜。传统智慧说这三样只能选两样,AI正在改写这条铁律,他如今交付的东西常常三样全占。谁能交付三样,谁就被人爱,没人会说这是作弊。他自己已经基本不手写代码了,描述需求,把相关的类和文档喂给AI,让它生成,光打字这一环就省下大把时间。

他也不劝退学:不退学就把课过了,闭卷考试不让用AI虽然复古,但那是现实。同时他挑明,AI世界不看文凭,能自动化任务就有无限机会,机会正越来越独立于学历。

去成为那些恐龙永远成不了的AI专家,他们会因此爱你。无限实习生已经在地平线上。我下一场演讲的听众是一群身家数百万的企业主,全在问这些问题。你能答上来,他们就会雇用你。

把这场演讲压缩成行动清单,大概是五条:

  • 花20美元订阅最强模型,Claude、GPT-4、Gemini任选其一,先用满一个月。
  • 下载Cursor,拿一个真实的小项目练手,体验一次AI优先的编程。
  • 在表格里装Claude for Sheets,挑一件自己每周重复的活,让它批量跑起来。
  • 给自己搭一个最小eval:5个做对的例子,5个做错的例子,写清规则,让AI当裁判。
  • 关注Ethan Mollick和Latent Space,每天刷20分钟,把「AI侦察兵」当成一个正式的业余岗位。

Nathan反复强调,技术还在狂奔。GPT-4发布才算真正拉开序幕,到演讲时也才一年,一切都没有定型。年轻人手里最便宜的筹码就是愿意试,试的成本趋近于零,信息差本身就是溢价。无限实习生已经上岗,问题只剩一个:你是那个指挥实习生的人,还是那个和实习生抢活的人。

Join us as we explore the future of work in the age of artificial intelligence. Nathan shares essential strategies for college students, especially in computer science, to succeed in a landscape dominated by AI tools. Discover the most important skills to develop, how to use AI for efficiency, and insights into AI-driven task automation. Get valuable advice on incorporating AI into your work and resources for beginning your journey into AI professionalism.

RECOMMENDED PODCAST: 
The AI Daily Brief If you’re looking for an edge to stay up to date on everything AI, subscribe to Nathaniel Whittemore's AI Daily Brief which delivers tight episodes covering all things AI from legislation to new technologies to the philosophical debates around generalized intelligence.

Spotify: https://open.spotify.com/show/7gKwwMLFLc6RmjmRpbMtEO
Apple: https://podcasts.apple.com/us/podcast/the-ai-daily-brief-formerly-the-ai-breakdown/id1680633614

SPONSORS:
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention "Turpentine" to skip the waitlist.

CHAPTERS:
(00:00:00) Introduction
(00:05:18) AI Closing in on Human Experts
(00:08:48) Limitations of Current AI
(00:13:16) AI's Speed and Availability Advantages
(00:16:26) AI's Evolutionary Advantages
(00:19:01) Viewing AI as Entry-Level Employees
(00:20:38) Sponsors: Brave | Omneky
(00:22:05) Modes of AI Production
(00:25:09) Agent Mode: The Best of Both Worlds
(00:30:08) Prompting Techniques
(00:32:17) AI Coding Assistants
(00:37:01) Automating Processes with AI
(00:37:55) Sponsors: Squad
(00:39:23) University Curriculum and AI Tools
(00:44:50) AI-Generated Music and Video Editing
(00:46:04) Introduction to AI Tools
(00:47:11) Devon AI Agent
(00:49:26) Waymark AI Evaluation Example
(00:52:51) Setting the Context
(00:54:30) Mantras for AI Adoption
(00:56:48) Recommended AI Thought Leaders
(00:59:53) Setting up AI Training
(01:04:25) Avoiding Over-engineering Solutions

本集资源与出处