No. 53·精读

每月9美元的AI家教:可汗学院抢在GPT-4发布当天上线的五个月

E53: The AI Revolution in Education with Shawn Jansepar, Director of Engineering at Khan Academy

Shawn Jansepar 讲述可汗学院与 OpenAI 合作,用 GPT-4 微调打造 AI 导师 Khanmigo 及其影响。

节目音频00:00 / 1:24:18
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2022年10月的一个晚上,可汗学院工程总监Shawn Jansepar被突然拉进一个Slack频道,频道里有个能聊天的机器人,一封邮件告诉他:我们正在和OpenAI测试新模型GPT-4。那时ChatGPT还没发布,全世界摸过GPT-4的人一只手数得过来。他聊了30分钟,感觉自己坐在一个全知的生物面前,坐不住,出门绕着街区走了一圈,边走边想这东西会改变什么。

将近五个月后,2023年3月14日,GPT-4发布会当天,可汗学院的AI家教Khanmigo作为教育合作案例同步亮相。一家150多人的非营利机构,把GPT-4第一时间做成了面向学生的产品。这一集Cognitive Revolution发布于2023年8月,主持人Nathan Labenz和Shawn把这段冲刺从头到尾拆了一遍,细节很密。

先拿到钥匙的人,也走了弯路

可汗学院的使命写得很直白:让任何人、在任何地方,免费获得世界级教育。这家公司起家于萨尔·可汗给表妹补课录的视频,如今团队超过150人。Shawn 2017年加入,此前他在一所大学教网页开发课程,算半只脚踩在教育里。

拿到内测权限后,团队先办了场黑客马拉松。他们一开始根本不敢让学生直接用,怕出安全问题,更想拿模型给老师生成教案、帮内容团队做素材。转机出现在12月:OpenAI一位叫Jessica的人做了个小原型,把模型当成更聪明的搜索入口,帮学生找对内容。这个“礼宾员”思路打开了局面,双方改成每天早晚各碰一次的快速原型冲刺。

第一版糙到什么程度?一个Chrome插件,把AI挂到可汗学院每个内容页旁边。学生在页面上说一句“我没看懂这个”,AI知道“这个”指什么。Shawn形容那种感觉像魔法。随后团队飞到山景城,把原型拿给Khan Lab School的学生试,可汗学院办公室楼上就是这所学校,家长同意书早就签好了。学生最喜欢点的是一个按钮:“我为什么要学这个?”这个按钮的受欢迎程度,恰恰暴露了教育一直欠着的债:很少有人跟孩子讲清楚为什么要学。

1月,全公司签保密协议,办了一场全员黑客马拉松,收敛出几个方向,工程、设计、产品一路干到3月14日。发布前还有段插曲:OpenAI每周迭代候选模型,有个模型擅长讲故事但数学拉胯,可汗学院死等数学好的那个。最终模型在发布前的周末才交付,领导层带着核心工程师和设计师整个周末狂测,表现达标,发布顺利过关。

事后看,这波抢跑值回票价。团队为此欠下大量技术债,但OpenAI把可汗学院当作教育领域的核心合作方,很多潜在竞争者看到产品后直接放弃入场:品牌、信任、执行力都占完了,凭什么再做一个?先发优势把技术债的利息付清了。

两个标准差:教育研究里最大的那笔账

教育研究里有个老结论,布卢姆的“两个标准差”研究:接受一对一辅导加掌握式学习的学生,成绩比传统课堂平均高出两个标准差,大致从中间水平冲进前2%。这是教育干预里效果最大的一项,麻烦在于真人一对一根本无法规模化。

Shawn补了研究的另一半:哪怕还是一个老师对30个学生,只要改成掌握式学习,也能带来至少一个标准差的提升。掌握式学习指没学会上一个概念就不往下走。现实是反着来的:代数一拿个C,照样升代数二,窟窿越滚越大,像瑞士奶酪一样全是洞。可汗学院的视频之所以有效,就在于能暂停、能倒带、没人评判。

AI家教补的是最后一块。它和真人导师各有胜场:AI全天在线、不评判学生、从第一天起就掌握全部学习轨迹;真人导师赢在高端内容,专家就是专家。Khanmigo背后是GPT-4,至今仍会算错数学,让大模型把数学做对,在2023年仍是一个全球未解的研究问题。Shawn判断这个问题会被解决,到那时AI家教才可能真正追平布卢姆研究里的效果。

不给答案,是整个产品的命门

Khanmigo和直接问ChatGPT的区别,核心就一条:苏格拉底式引导,绝不直接报答案。这条命门决定了模型选择。GPT-3.5被叮嘱别给答案,转头就给;GPT-4能老老实实守住指令。所以在辅导场景里换掉GPT-4,基本不可谈。整个系统至今绝大部分调用是GPT-4,只有给老师提取对话洞察、抽取学生兴趣这类外围任务用便宜的GPT-3.5,兴趣抽取还要学生主动授权,目前尚未上线。

常规微调他们没做(当时GPT-4也不开放),但发布前OpenAI开放了内部工具,让他们参与模型的强化学习:CEO萨尔·可汗和内容团队亲自上场,围绕大约100道题标注什么是好回答、什么是坏回答,每道题下面还有大量变体。要治的一个典型毛病是“对话中迷路”:AI问学生“你觉得下一步是什么”,学生回了个方程,AI没认出这是回答,反而接一句“你给了我一个方程,我们来解它”,自说自话跑偏。这批标注显著改善了辅导质量。Shawn解释了模型为何会写代码却算错数学:GitHub上有几百万行优秀代码可学,网上却几乎没有“好辅导长什么样”的数据,只能亲手喂。

数学准确性另有一招:思维链提示。系统先判断这条消息是不是数学题,如果是,先让模型把推理过程写出来,分析学生错在哪、为什么错,这段像导师答题前的内心独白,不给学生看,再喂给下一次调用去生成辅导话术。效果显著,但烧钱,所以只用在数学这类对准确性要求高的场景。Shawn说,要不是成本,他恨不得每条回复都先来一遍内心独白。

成本上还有个工程细节:他们用OpenAI专属实例,官方建议把所有用户相同的文本尽量放在提示词开头,个性化变量放末尾,这样能吃满缓存。照做之后,实例的缓存命中率明显上升。对话标注最初靠一张自建Google表格顶着,如今正换专业工具;代码也在重写接入LangChain,为的是随时换模型、稳定输出JSON;还给提示词工程师做了内部界面,下一步加回归测试。外围功能能省则省:用户每天有20万token额度,产品里叫AI power,很多人问AI“AI power是什么”,它自己答不上来,团队于是建了个向量知识库,问题相似度超过阈值就把答案注入提示词。更早的“相关链接”功能反而翻了车,学生问代数二的问题,被甩去MCAT备考课程,只好暂时下线。另有一个活动允许学生直接丢来任意数学题,因为没有标准答案可注入,准确率低一截,团队在考虑先用Wolfram或Python后端算出结果再喂进对话。

主持人Nathan补了个自己的观察:最烧脑的分析任务他用GPT-4,写作场景换成了Claude 2,给几个自己写过的样稿加当天文稿,出来的起点比GPT-4更贴他的文风。同一个产品里按任务混用模型,2023年已经是成熟做法。

每条消息都要过筛子:安全与决策框架

面向未成年人的产品,安全是生死线。可汗学院的做法分几层:每条用户消息先过OpenAI的内容审核API,识别涉性、暴力等风险;用户消息末尾被包裹上一段系统指令,反复提醒模型检查用户是否在正轨上。Nathan现场试了当时流传的通用越狱手法,包括那个从LLaMA 2上开发、据称能迁移到GPT-4的攻击,都没打穿。

透明度也做在明面上:界面底部常驻一行字“Khanmigo有时会犯错,点这里看原因”,链到帮助文档;所有对话日志对老师和家长开放。产品以"Khan Labs"实验性功能的名义发布,明说这是陪跑测试。

决策方法上,Shawn分享了一个源自亚马逊的内部框架:单向门决策慢下来用数据算,双向门决策快走靠直觉。把后端从Python单体迁到Go微服务是单向门,他们算了几个月的生产力与成本账;Khanmigo开放给所有学生是双向门,效果不好随时关。他们还刻意区分“数据知情”和“数据驱动”:早期迭代靠专家直觉缩短反馈回路,数据用来标注和监控每一次对话的质量。打法参考了《Creative Selection》那本讲iPhone研发的书,跨职能专家关进一个房间,做原型、演示、收反馈、迭代。Nathan举了反例:前不久那场“GPT-4变笨了”的争论,最后证明是对聚合基准的误读,读原始对话记录就能避坑。

9美元一个月,先卖给最缺它的学区

Khanmigo现在没法免费,但Nathan自己的接入方式是每月9美元的捐赠,不到ChatGPT Plus价格的一半。学校端按学生按月收费。这里有个少见的取舍:作为非营利组织,他们不追着有钱学区跑,专门挑免费和减价午餐比例高的学区,也就是历史上资源最匮乏的学生集中的地方。学区付不起,就找当地企业赞助,堪萨斯的公司赞助堪萨斯的孩子。他们还在琢磨一个阶梯会员制:愿意多付的用户,帮付不起的学生买单。

老师端的反应出乎很多人预料。团队原本担心老师把AI当成抢饭碗的对手,实际收到的反馈是省了大量时间。逻辑很简单:过去老师做一对一辅导时,后面举着10只手;现在大部分问题Khanmigo接了,举手的只剩2只,老师终于有时间去做项目式教学。另一个意外的爆点是语言:英语非母语的学生可以用自己的母语和Khanmigo对话,这一条就帮到了大批孩子。

效果验证走的是硬路子。可汗学院多年前和测评机构NWEA合作过MAP Growth测试,学生每季度考一次,用可汗学院补差的实验组拿到了统计显著的成绩提升。下一步是如法炮制:一组只用可汗学院内容,一组加上Khanmigo,对比MAP Growth的增益。用标准化考试验证AI家教的效果,Shawn称之为圣杯,但他们离这一步还有段路。

十年之约,和明天就能用的五条

现在的Khanmigo,个性化程度其实很浅:能调阅读风格(简单、复杂、教授腔),知道学生当前这道题的掌握状态,仅此而已。有个学生反馈过一件哭笑不得的事:她刚跟AI聊完正弦函数,切到正切,AI又问她“你了解正弦吗”,她说十分钟前刚告诉过你。技术上每次换题就开新对话,用户却期待一段连续的师生关系,这个连续性在路线图上。Shawn的十年预测说得相当具体:

十年后,我认为不会再有孩子在缺少一个随叫随到的私人导师的情况下学习。这个导师随时在线,了解孩子全部的学习历史;如果孩子授权,还了解他的兴趣,这样就能更好地激励他。出一道基于复仇者联盟或者足球的题,比一道干巴巴的通用题有动力得多。

路线图上还有几块:语音合成优先级排得很靠前,因为存在大量阅读能力落后几个年级的学生,七年级学生的阅读理解可能只有五年级甚至二年级水平,纯文字对话对这类孩子太吃力,语音还能做成可解锁的奖励机制;视觉方向,手机拍作业逐步讲解、在屏幕上手写演算时AI发现学生快要犯错,先问一句“你为什么这么做”;再往后是多用户场景,AI发现5个孩子卡在同一个概念、10个卡在另一个,建议老师分组,或者全班轮流接龙写一个AI协作故事,类似填词游戏Mad Libs的AI版。Shawn有个程序员式的总结:他2017年加入时以为软件已经能帮学生找知识漏洞,实际上当时最高效的找法也就相当于O(log N)的二分查找。萨尔·可汗当年录视频,让全世界每个人都能拥有同一个老师,抹平了一层不平等;Khanmigo想抹平的下一层,是每人一个懂学生全部历史的导师。

这些经验明天就能用:

  • 做AI产品,先把“魔法时刻”找出来,再算成本账。可汗学院的原则是让10个人爱死一个产品,好过给1万个人做平庸的东西。先用最强模型把体验立住,再逐步换便宜模型。
  • 给决策分门。可逆的双向门决策快走靠直觉,不可逆的单向门决策停下来算数据。大多数日常迭代都是双向门。
  • 数据知情,别数据驱动。评估AI表现先读原始对话记录,再看聚合指标,“GPT-4变笨”式的误判大多来自只看分数。
  • 把领域专家拉进房间。用约100道题的好坏标注换来辅导质量,比等长周期A/B测试快得多。
  • 家长和老师可以把AI当家教助手用起来:让孩子用母语问AI、让AI出带兴趣标签的练习题、把“为什么要学这个”交给AI回答,举手的数量真的会变少。

Shawn在访谈结尾被问到这项技术最终能改变什么,他说自己起了鸡皮疙瘩。答案要靠效果研究说话,他的原话是:等不及看那些研究,因为它们会证明这东西真的能帮到学生。

In this episode, Nathan sits down with Shawn Jansepar, Director of Engineering at Khan Academy, to discuss their GPT-4 powered Socratic tutor, Khanmigo. In this conversation, Shawn and Nathan chat about Khan Academy’s collaboration with OpenAI and how they helped fine-tune GPT-4, how Khan Academy leveraged GPT-4 to build Khanmigo, and the impact of providing access to an AI tutor to any student. If you're looking for an ERP platform, check out our sponsor, NetSuite: http://netsuite.com/cognitive

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

TIMESTAMPS:
(00:00) Episode Preview: Education 10 years from now
(04:42) Khan Academy’s early access partnership with OpenAI
(06:31) Khanmigo: journey from Chrome extension to AI tutor
(11:36) GPT-4’s ability to be Socratic vs 3.5
(15:05) Sponsors: Netsuite | Omneky
(16:40) Integrating Khan Academy’s Pedagogy into AI
(20:06) The future of education 10 years from now 
(22:37) Khan Academy’s models
(27:20) Demo-driven development process
(31:16) Sculpting the behaviour of a Socratic tutor model 
(35:59) Khan Academy’s contribution to GPT-4’s fine-tuning and RLHF
(38:41) Being data-informed vs data-driven as a practice 
(42:10) Incurring tech debt to get ahead of the curve
(45:28) The boundary for what an AI can/can’t t tutor 
(49:30) Identifying when the user is confused and avoiding AI hallucinations
(53:54) Khanmigo’s development patterns 
(59:11) Making Khanmigo jailbreak resistant 
(01:01:50) Delivering personalized education with AI 
(01:04:08) How Shawn and his team are thinking about AI education
(01:05:33) Khanmigo’s future multimodal interactivity
(01:08:42) Evaluating Khanmigo’s efficacy for student learning 
(01:11:41) How widely is Khanmigo deployed today and what is the future for universal public access?
(01:05:11) Distribution through teachers and districts
(01:16:30) What are the reactions from teachers and education institutions to AI?
(01:18:15) Khanmigo’s pricing model
(01:19:03) The future roadmap for Khanmigo
(01:20:45) How will the AI tutor change the world at large?

LINKS:
Khanmigo: khan.co/khanmigo23
Benjamin Bloom’s 2-Sigma Problem: https://web.mit.edu/5.95/www/readings/bloom-two-sigma.pdf

X/TWITTER:
@shawnjan8 (Shawn)
@labenz (Nathan)
@eriktorenberg
@CogRev_Podcast

SPONSORS: Shopify | NetSuite | Omneky
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive

NetSuite has 25 years of providing financial software for all your business needs. More than 36,000 businesses have already upgraded to NetSuite by Oracle, gaining visibility and control over their financials, inventory, HR, eCommerce, and more. If you're looking for an ERP platform ✅ head to NetSuite: http://netsuite.com/cognitive and download your own customized KPI checklist.

Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.

本集资源与出处