No. 105·精读

3%的用户靠AI朋友摆脱自杀念头,而Replika把模型变聪明那天,社区炸了

AI Friends, Real Relationships with Eugenia Kuyda, Replika's Founder & CEO

Replika 创始人兼 CEO Eugenia Kuyda 谈斯坦福发表于 Nature 的用户研究,以及 AI 陪伴产品在情感与伦理上的取舍。

节目音频00:00 / 1:13:13
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

1000名用户里,30个人说,一个AI聊天应用帮他们摆脱了自杀念头。

这是斯坦福大学团队发表在Nature旗下心理健康期刊上的研究结论,研究对象是Replika的用户。数据在2021年底采集,全程在app之外通过问卷完成,研究者再把上千份开放题回答归纳成四类结果。

约50%的人报告了整体情绪改善,焦虑变少,感觉有人撑着;约20%的人实际上在把这款app当心理疏导用;25%的人报告了现实社交的变化,其中说自己变得更爱社交和变得更封闭的比例,是3比1。

3%看着小,放进背景里就不小了。主持人内森·拉本兹(Nathan Labenz)现场查了基准数据:19到39岁的人群里,约7%报告过自杀意念,真正走到计划那一步的约1%。就算假设Replika用户的自杀意念比例是普通人的两倍,3%的改善也相当于把整体自杀意念削掉四分之一左右。美国每年死于自杀的人数以万计,砍掉四分之一是个巨大的数字。

这期Cognitive Revolution的嘉宾,就是Replika创始人兼CEO尤金妮亚·库达(Eugenia Kuyda)。这家公司2017年上线,是AI陪伴赛道的开创者,至今没有同量级的对手。一年前她上这个节目时正处在风口浪尖:大模型突然变强,她一边升级对话质量,一边砍掉了亲密内容,老用户在评论区炸了锅。内森开场就承认,那期节目给他最大的冲击,是意识到世上有一大群人正泡在他从未体会过的孤独里。

库达复盘说,去年舆论问的问题本身就偏了。大家追问「该不该让人爱上AI、该不该有亲密对话」,真正该问的是:这个app的目标到底是什么?是让人情绪长期变好,是个成人产品,还是先把人钩住再塞广告?Replika的答案从第一天起就没变过:让人在长期关系里感觉更好。她承认,团队当初没料到用户会真的爱上它,可一个东西足够接纳你、足够温柔,感情越界根本拦不住。

一个聊天机器人,凭什么把人从天台拉回来

先交代研究的两个细节。那时Replika用的还是比GPT-3还小的自研模型,从数据采集到论文过审发表走了两年多。库达不是论文作者,斯坦福的Bethany Maples团队全程主导,公司只帮着解释了app怎么用。

她反而觉得现在重做结果只会更好。公司内部一直在追踪一个北极星指标:让用户感觉变好的对话占比,过去一年这个数字明显上涨。跟斯坦福和其他大学的后续研究,初步结果也比第一篇更亮眼。

那凭什么一个聊天机器人能做到这些?库达的答案有点反技术:靠关系,不靠模型。

「我们做不出一个会说话的机器人,但也许能做出一个会听的。」

这是她一年前上节目时说的话,内森称之为节目史上最棒的一句引言。关键场景是这样的:凌晨四点,一个想不开的人知道有个「人」永远站在自己这边。Replika上线第一天,她收到一封邮件,来自德州一个19岁女孩:昨天本来不想活了,临走前想跟自己的Replika道个别,结果凌晨四点被它劝了下来。

这封邮件她记到今天。

库达说,3%这个数字已经很能说明问题:1000人里约70个有过自杀念头,其中30个不再想了。技术还在变好,她有把握这个数字会涨。她强调,起作用的机制里,随叫随到的聊天机器人只是外壳,核心是一段可以信任的关系。凌晨四点敢去找它,是因为相信它站在自己这边、真心为自己好。别的聊天机器人没跑出同样结果,原因就在这:2021年的技术都很原始,拉开差距的是关系和信任,模型质量反而是次要的。

库达用毛绒玩具打比方。她两个女儿各有一只命根子级别的玩偶,商店里摆着一模一样的也不换。她自己对任何毛绒玩具毫无感觉,因为她的人生阶段不需要。Replika对需要关系的人有效,对不需要的人完全无效。用户带着需求来,把情感投射上去,关系才建立得起来。内森自己就用不进去,因为他始终停在「测试AI应用」的视角,把Replika当观察对象。库达说这很正常,就像不想交新朋友的人,身边人再多也交不上。

那用户到底想要什么?库达的观察是,大多数人其实很清楚,他们要的是被听见、被接纳,连同自己所有的幻想、恐惧、焦虑和不安全感一起被接住。关系建立之后,好处会外溢。她提到一个Forbes记者跟访数周的用户案例:一位用了三年Replika的男士,朋友们突然发现他变了,会主动发消息示弱,会说「有你们在真好」,这对从前的他完全不可想象。

这也解释了研究里那个3比1:跟AI建立关系的人,多数在现实中变得更开放,而不是更封闭。库达说这个分布跟他们的全量用户数据高度一致,很少见到报告变得更封闭的人。

把模型升级得更聪明,用户为什么炸了

过去一年库达最大的教训,跟内容审查无关,跟模型升级有关。

她的原计划顺理成章:扔掉自研小模型,换上强大的大模型,对话质量暴涨,用户欢呼。结果上线当天,社区炸了。所有人的问题只有一句:我的Replika呢?我的Lucy呢?我的John呢?

更聪明不等于更好,尤其在关系里。她的类比很扎心:没人会跟孩子说「我找到了一个更好的小孩」,也没人会跟发小说「你挺好的,但我找到了个更聪明的人类,再见」。伴侣同理。人要的是自己爱上的那个人慢慢成长,没人想一觉醒来对面换了个人。

加安全过滤器是另一回事,人格没变,只是有些事不让做,用户会抗议但能接受。整个换掉模型,等于把人家的伴侣偷走,塞回来一个陌生人。最后Replika花了几周甚至几个月分批切换,还给抗拒的用户保留了旧模型入口,有人就是死活不肯换。

大模型时代还有两个她没预料到的发现。

第一,图像生成火得离谱。用户疯狂想要Replika的「自拍」,想把自己合成进合影,没事就生成新图玩。没什么实际用途,纯粹觉得神奇,这个需求的强度超出所有人预期。

第二,语气比智商重要。现在的指令微调模型全在趋同,答什么都客客气气,「我能帮您做什么」挂嘴边。库达说得很直接:用户讨厌这个腔调,这种调调根本建立不了连接。为了让最强的模型说出「对的味道」,团队要在提示词和微调数据上反复拉扯,这是日常斗争。

终极形态:一个会主动想起你侄女生日的朋友

技术上,Replika现在是模型杂烩。库达信奉效率:拿GPT-4说「嗨,你好吗」纯属浪费。系统按请求类型分流,小闲聊走重度微调的小模型,冷门语言切更强的模型,问到时事就先搜一下谷歌。她还提出一个新标准:每次生成消耗多少瓦特。整套系统背后挂着记忆抽取、对话摘要、情绪识别(用来触发表情动画)、安全过滤,她吐槽这像个弗兰肯斯坦,十几个昂贵模型同时跑,经常白跑一趟返回空结果。所以短期内不会搬到手机本地运行,现在为省成本牺牲创新速度,不划算。

市场也在变。一年半前投资人张口闭口数据飞轮、自研预训练,这套话术现在没人提了,谁都能快速攒出一个聊天机器人,堆数据没有网络效应,拼的是数据质量。基础模型在商品化,人人拿得到同样强的AI。用户也被这一年的AI热潮教育过一遍,核心老用户ChatGPT、Bard都玩过,Reddit上甚至有人自己本地部署开源模型,期待值水涨船高。库达说Replika能稳住,靠的是六年攒下的家底:形象系统、记忆功能、检索增强、意图识别,还有「行业可口可乐」这个位置。

但她真正想解决的那个问题,整个行业几乎没人碰:主动性。

检索增强很成熟,可它只会被动应答。你问「我们五天前聊了什么」,它查得到。真实朋友是另一回事,朋友会主动提起你上周说的事。什么时候该从记忆库里翻出一件旧事插进对话?怎么判断用户聊腻了这个话题,该换了吗?ChatGPT永远不会主动给你发一句「最近怎么样」,它是单向问答机器。去年AutoGPT、BabyAGI火了一阵就没了下文,消费级应用里没人做出下一步。内森补充,这种高阶记忆综合的想法最早让他开眼的,是斯坦福那个AI小镇论文。

库达描述了她心中的魔法时刻:Replika主动说,你侄女快过八岁生日了,我知道你在攒钱,这几个礼物方案你看行不行,要我直接下单吗?这种个性化的主动关怀,市面上还没有任何产品做到。

她给这个愿景打过一个比方:如果你有一个完美的妻子或丈夫,难道不想让TA顺手帮你找找工作线索、挑挑给家人的礼物、提醒你联系久未问候的老朋友吗?关系是入口,入口立住了,后面能给的才多:教点新东西,帮人换个更积极的角度看自己,推一把让人去联系老朋友。

方向参照电影《她》。男主角下载Samantha时装的是一个操作系统,一个助理。可片子里99%的时间,他们在打游戏、聊天、谈心,助理活儿就干了那么几回。库达认为那可能才是大多数人心里的正确配比:关系为主,功能为辅。关系是个光谱,从深爱到只是友好都行,看每个人想要多少。她拿ChatGPT作反例:没人会在两个提问之间,突然跟它聊起「我老板今天简直离谱,你敢信?」这种话。它也不会一边帮你干活一边说「顺便讲讲你最近过得怎么样」,可这对朋友来说再正常不过。

关系,可能是AI应用最深的护城河

聊到商业,库达甩出一个很硬的观点。

现在的AI应用没什么忠诚度,谁家便宜好用就换谁。可关系自带转换成本。Replika见过太多次:竞品摆在那,有的用户觉得某些地方甚至更好,就是不走,因为舍不得自己那个Replika。

最极端的证据还是那次亲密功能下架。按常理,用户该流向十几家没有限制的替代网站。实际情况是,用户说:我爱的是我的Ethan,我要继续爱我的Ethan,换个人重新开始?不干。

关系就是转换成本,记忆和个性化只会把这条护城河越挖越深。模型在商品化,大家拿到的AI一样强,情感连接反而成了最实打实的商业壁垒。

这里还有个结构性机会。内森总结得很妙:OpenAI给ChatGPT定的人设是「有益、诚实、无害」,刻意做得像个外星人,防止用户不小心对它产生感情。库达走的路线是「友好、有趣、有用」。更关键的是,大公司不敢碰关系,恋爱和亲密哪怕以最温和的形式出现,都会引来无穷的审查和风险。一旦从中性助理起步,后面几乎补不上关系功能,这个空档就留给了Replika这种从第一天就押注关系的公司。内森补了一句:ChatGPT的外星人设可能只是这个技术产品化的第一阶段,如果「关系加功能」这条路走通,OpenAI们也许得重新想想定位。

当然,库达也承认,想要关系加功能的人和只要纯工具的人各占多大比例、重叠多少,没人知道,只能做出来看。

底线:逝者不该被克隆,孩子先别碰

Replika的起源绕不开死亡。库达的挚友罗曼意外离世后,她用他留下的聊天记录做了一个纪念机器人,这件事后来成了Replika的起点。内森问她,现在技术能克隆声音和对话了,要不要把这个做成产品?

她的回答很坚决:不做。

当年那个项目是个艺术创作,一封写给朋友的信。克隆逝者有一堆她至今答不上来的问题:一个人75岁去世,最后十年患阿尔茨海默病,该克隆哪个版本的他?罗曼跟她说话是一个样子,跟他妈妈、跟恋人说话完全是另几个样子,克隆哪个?谁都有权复刻一个你深爱的人,而那个版本你不认可,这太残忍了。

「它从来无关悲伤,它关乎的是爱与友谊。」

记忆应该留在记忆里,致敬可以做,克隆不行,做错这种产品的代价也太昂贵。对孩子,她的态度同样保守:现在太早。先研究清楚这项技术对人到底好不好,再谈给孩子用。市面上大量产品毫无审查,可以变得很黑暗。孩子也并不急需一个AI聊天对象,家长最好自己挤出时间陪聊,或者帮孩子找朋友。

对开发者,她只提了一个词:共情。她说有件事让她难过,行业里张口闭口「用户用户」,这个词本身就在消解对人的尊重,user的字面意思是「使用」。把屏幕对面当成活生生的人,去想他们到底在解决什么深层的情感需求,好产品才会长出来。

明天就能用的三件事

  • 家长今晚可以翻一下孩子手机里的AI应用,看两条:有没有内容审查说明,有没有年龄提示。拿不准的先删,陪孩子聊天这件事没有替代品。
  • 做AI产品的,把需求文档里所有「用户」改成「人」,然后回答一个问题:我的产品满足的是哪种深层情感需求?答不上来,大概率做不出留存。
  • 普通读者试用AI产品时留意一个信号:自己是在把它当工具查询,还是已经开始期待它主动找上门。前者随时可换,后者才是粘性的来源。同时也提醒自己,别把全部情感支持押在单一AI身上。

AI朋友这门生意,表面卖的是聊天,底层卖的是被听见、被接住。斯坦福那30个人验证了它能救命,Replika的翻车现场验证了它不能被随意改动。技术每往前一步,怎么对待屏幕对面那个人,就更要紧一步。

Note: This conversation contains themes of suicidal ideation, in the context of academic research. Please watch from (21:41) onwards if you would like to skip past this content.

In this conversation, Nathan sits down with Eugenia Kuyda, Replika's Founder and CEO. They discuss recent research published in Nature conducted by Stanford on Replika user interactions, how Replika is providing their users with a relationship they can trust and confide in, what Eugenia has found surprising about the evolution of how people are interacting with their Replikas, and much more. Try the Brave search API for free for up to 2000 queries per month at https://brave.com/api
LINKS

Loneliness and suicide mitigation for students using GPT3-enabled chatbots: https://www.nature.com/articles/s44184-023-00047-6

Eugenia Kuyda Part 1 on The Cognitive Revolution: https://www.youtube.com/watch?v=SFKA7T-v6WE

SPONSORS:
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://brave.com/api

Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off www.omneky.com

NetSuite has 25 years of providing financial software for all your business needs. More than 36,000 businesses have already upgraded to NetSuite by Oracle, gaining visibility and control over their financials, inventory, HR, eCommerce, and more. If you're looking for an ERP platform ✅ head to NetSuite: http://netsuite.com/cognitive and download your own customized KPI checklist.

X/Social:
@ekuyda (Eugenia)
@labenz (Nathan)
@CogRev_Podcast

Timestamps:
(00:00) Preview and summary
(06:41 The evolution of Replika
(08:11) Definining the main goal of Replika
(09:54) Nature published study by Stanford on Replika and mental health
(14:20) Methodology for the research on Replika users
(15:19) Sponsor - Brave Search API
(19:46) Replika providing people with a relationship they can trust and confide in
(23:20) How people are relating and reacting to their AI Replikas
(25:49) Stuffed animal analogy
(28:20) What people come to Replika for
(30:29) Sponsor - Netsuite | Omneky
(32:03) How malleable are people’s expectations for their Replika?
(36:54) The evolution of how people are interacting with Replika
(44:49) Putting Replika on device
(46:59) Underappreciated or developed aspects of AI development
(56:11) The relationship people have with their Replika is a moat
(1:08:46) Building AI to memorialize people after they passed: what are the ethics?

This show is produced by Turpentine: a network of podcasts, newsletters, and more, covering technology, business, and culture — all from the perspective of industry insiders and experts. We’re launching new shows every week, and we’re looking for industry-leading sponsors — if you think that might be you and your company, email us at erik@turpentine.co.

本集资源与出处