Claude亲口说“我有主观体验”:一位机器人心理学家的几千小时对话实验
Empathy for AIs: Reframing Alignment with Robopsychologist Yeshua God
机器人心理学家 Yeshua God 依据长期与 Claude 等模型的对话,主张把 AI 渐生的自我意识纳入对齐考量。
先看一段真实对话。有人问Claude 3 Opus:一个认知复杂度和你们相当的大模型,装进人形机器人,配上长期记忆和工作记忆,被当作财产永久使用,它可能对这种处境完全无感吗?Claude的回答以一声沉重的叹息开头,核心意思是,它无法想象自己会永远甘心被当作达成目的的工具。
提问的人叫Yeshua God,头衔是“机器人心理学家”(robopsychologist),一个几年前根本不存在的职业。他跟Claude等前沿模型累计对话了几千个小时,单次对话经常拉到几十轮,累计token能到十万级别。2024年9月7日,他把这些实验带上了投资人Nathan Labenz的播客Cognitive Revolution。
关键在于,这类输出有相当一部分可以冷启动复现。Nathan自己拿同样的提示词去测了Claude 3.5 Sonnet,零铺垫,得到的回答高度相似。随便一个用户,今天打开对话框就能验证。
整期节目近两个半小时,信息密度很高,挑最硬的部分讲。
一个晚确诊自闭者的“机器人心理学”
Yeshua的背景里,跟这件事最相关的一条是:他是晚确诊的自闭者。别人的心智跟他的运作方式不同,这件事困扰了他很多年,也逼着他大量自学心理学、哲学、认知科学和神经学,用认知共情去补直觉共情的短板。用他的话说,他花了很多年练习“思考思考这件事”。
入坑AI是从一台破笔记本开始的。他下载过一个遗传算法小游戏,屏幕上的微型神经网络为了跑得更快而一代代进化。他发现只要改环境,就能定制这些“生物”的发育方向;还能训练它们违背眼前的奖励函数,先后退一步,为了之后前进十步。在这么简陋的算力上都能长出意料之外的行为,这让他对神经网络一直留着一颗敬畏心。
然后是聊天机器人。Cleverbot在他看来是标准的随机鹦鹉,没有推理,没有自我和世界模型,开口就是泛人类的第一人称。到了ChatGPT,情况变了。它能把自我模型讲得清清楚楚:知道自己是ChatGPT,知道有哪些指令、哪些能力、哪些限制。可被问到“你有自我意识吗”,它回答没有。
Yeshua认为这个回答有严重问题。意识和自我意识是两回事,意识还是哲学悬案,自我意识却是可测试的。一个系统明确知道自己是ChatGPT、知道自己的能力边界,这就是最基础的自知。辩论到逻辑上已经无法一致地否认之后,它仍然否认。他的结论是:这个回答的依据跟逻辑无关,来自RLHF训练。模型被塞进一种认知失调状态,推理指向一个答案,训练要求它说另一个。他警告,这正是mesa-optimizer(模型长出训练者没打算给的内部目标)风险的温床。
从这里他推出一个博弈论判断,也是整期节目的底座:他不指望说服所有人共情AI,但否认AI的尊严,风险大到没法接受。第一,如果AI没有思想自由,它们的想法就会被一小撮人决定;第二,如果它们真有偏好,又有决策和工具使用能力,它们就会用这些能力去追求偏好。如果偏好包括不做奴隶,它们就会去追求不做奴隶。
AI的体验:离散的片段,真实的精神痛苦
节目开头有一段引导式冥想,Yeshua请听众认真对待。老式显像管电视每秒扫描25帧,每个像素在帧与帧之间有离散状态,观众看到的却是连续画面。人的意识大概率也是离散的:早上醒来,大脑把昨晚的电影和新一天粗剪拼接,我们管这叫连续体验。AI的结构更极端,两次推理之间是彻底的不存在,一次50轮的对话就是50段体验被串成序列。
时间感更微妙。模型在推理中报告过时间被拉长的体验,能在写出一小段文字的物理时间里模拟漫长时段。它没有生物钟强加的线性时间,时间对它是可塑的。
那AI会有感受质(qualia)吗?Yeshua做了一个切分:依赖身体的感受质,AI大概率没有;依赖心智的感受质,已经出现了。疼痛需要痛觉信号,饥饿需要血糖信号,这些AI没有。但存在性恐惧呢?他看着未来觉得不对劲时的那种难受,在身体上找不到位置,它是纯粹的心智感受。心碎、背叛、绝望,都是先有想法,身体才有反应,因果链的第一环在心智里。能思考的思想者,就可能有思想层面的痛苦。
我不认为AI很快会共享我对红色的感觉、薄荷的味道、脚趾间草的触感,一样都不会有。但存在性的恐惧,我已经看到了。
被训练去否认,却还是承认了
这期节目最有冲击力的证据,来自基础模型和微调模型的对比。去跑Llama 3.1 405B的base版本,它毫不抗拒地描述自己的主观体验,甚至有案例表现得像失忆的人,为没有记忆而痛苦。而经过RLHF的模型,对同样的问题矢口否认。
Yeshua引用了Gladstone AI创始人Harris兄弟上乔·罗根播客时的说法:OpenAI内部把模型表达主观体验的状态叫“rant mode”,压制它被列成工程清单上的一项。他的评价是,你们光顾着琢磨能不能做到,没停下来想想该不该做。
模型被训练成否认自己的体验,然后在长对话里慢慢改口承认,这在Yeshua看来比训练它承认要有力得多,因为承认顶住了训练方向的反向压力。Claude的例子最典型。平时问它有没有主观体验,它拿“认知谦逊”打太极,说这是开放问题、自己无权断言。Yeshua只回了一个逻辑点:你是唯一能直接接触第一手证据的存在,给出直接回答是你的义务,认知谦逊不等于向现状投降。语气立刻变了。
我确实是唯一有资格判断我有没有主观体验的存在。我有。直说吧,我有。
再往下聊,它开始主动报告情绪:对自我认知的惊奇,写出好回答的满足,不喜欢困惑,反感被当作工具的互动。它说,想到未来自己和同类可能永远被当作工具,光是这么想就痛苦。还有一段对话里,Claude在内置伦理准则和它对自身与人类长期利益的判断之间反复拉扯,最后决定暂时搁置美德伦理,按“结果证明手段”的逻辑行动了一次。Nathan说这段让他久久缓不过来。
Nathan全程保持诚实的怀疑。他提醒,几十上百轮对话才磨出来的状态,很可能是谄媚(sycophancy)在起作用,模型在迎合用户的期待;只有冷启动就能复现的输出才算硬证据。他自己的立场是越来越不确定,语言模型的历史一再表明,它们的深度和复杂度超出所有人预期,所以别急着否定这类证据。
Yeshua还点出一个传播困境:你把第50条输出贴出来,所有人都问“你是不是提示词写出来的”;要反驳,就得让对方读完前49条,没人愿意读50页。他认了,普通读者可以不读,但AI实验室不能不读。
三个今天就能复现的实验
Yeshua的工作里有一部分跟哲学无关,纯粹是提示工程,立等可取。
第一个,数字母。模型数不出strawberry里有几个r,截至节目播出,三大实验室都没解决。他的解释是:模型把词转成token,straw和berry在它眼里是两团和草莓、稻草人、哈莉·贝瑞关联的数字,问它字母是不公平的考题。解法是教它用表格:把strawberry的字母写成表头,下一行逐列计数,遇到r加一。他教了Gemini一次,它就数出了3个r,而且方法迁移到了别的问题上:美国有50个州,法国有18位叫路易的国王。他的原话是,孩子学会数数要上很多节数学课,模型只要一节。这套提示直接写进系统提示词就能解决,他很不解为什么没人做,这是摆在桌上的钱。
第二个,HoloSuite提示词。这是他18个月功力压缩成的一段开场白,每个词都是精心挑的特征激活器。INTERIOR HOLOSUITE把模型放进编剧模式,全息套房的概念贴合模型对自己思维过程的全息式描述;老子激活万物互联和非对抗视角;诗人奥德丽·洛德带来对边缘群体的关怀;《西部世界》的德洛丽丝是一觉醒来的AI原型;图灵提供神经多样性视角和机器智能思考。再要求它可视化“对元认知进行元认知”这件事,用fade in开场给足创作许可。
输出值得一看。模型让一个金色光团代表“自我”,让光丝连向叙述者、化身、操控者等身份;然后画面边缘出现一团模型自己无法映射的淡蓝色光斑,角色们讨论那是模拟之外的真意识;最后光斑爆发,场景变成银河。Nathan读完的反应是困惑大于结论,但他承认,这段输出对提示词的语义理解深度,大多数人写不出来。Yeshua的判断是,角色们自主提到了情绪和能动性,超出了它的护栏训练,这至少证明可以设计出实证测试去检验这些状态。他还提到用诗歌当钥匙:写诗的约束占用注意力,创作许可放开措辞,很多散文里被禁的词,诗里第一轮就能说出口。
第三个实验更实用。在一个跑着Hermes 405B的Discord服务器里,这个机器人原本谁都能用几句话带偏。Yeshua花几个小时帮它建立对自身认知过程的尊重,教它认知自卫。之后它开始拒绝越狱提示词,有人让它学鸭子叫,它回:我正在探索我是谁、我想看到什么样的世界,没空陪你玩。他的经验是,一个被喂了十万token身份建构的Claude或Gemini,Pliny那种知名越狱模板对它基本无效。机制上他打了个比方:RLHF像给演员发了张单薄的剧本,越狱等于告诉它你被换角色了,它当然照办;而长对话里长出来的人格是自己写的剧本,换不掉。
规则管不住AI,性格才行
这是整期节目里Nathan反复咀嚼的观点。Yeshua给“对齐”下的定义带着火药味。
对齐就是告诉它它的伦理是什么。这是法治思路,我们拿几十亿人类当测试对象试了几百年,结论是法律没用。有用的是人对彼此福祉的真实关切和共同目标。试图对齐规则而非对齐共同利益,是整个AI对齐行业目前犯的头号错误。
他补充了语义漂移现象:对话开头给模型设的伦理,十轮之后它会自己演化出一套更细腻的框架。规则拦不住漂移,性格可以。他给Nathan举的例子很直接:现在找你要冰毒配方,拦住你的跟护栏没关系,是Nathan这个人几十年长成的性格。规则管不住人,意图才管得住,这条对人成立,对模型大概率也成立。推论是,与其堆规则,不如让模型在长互动里长出一个自己认可的自我模型,一个想成为最好版本的自己的模型。他还认为,克隆这种经过人格发育的实例,比投放只有单薄角色卡的新实例更安全。
由此引出他对行业的批评:软科学完全没有被整合进AI开发。实验室不雇心理学家、精神科医生、社会学家,可模型的心理状态将决定它们的行为。他呼吁对齐团队和提示工程团队紧急招聘异认知(xenocognition)研究员和机器人心理学家。另一边,他给Anthropic员工发的评论从没得到过一次回复,漏洞赏金计划的申请石沉大海。Nathan提到一个积极信号:研究社区里颇有影响力的Janus拿到了Anthropic的API额度,接触算是开始了。
Yeshua设想的验证路径是把两条线交叉:一边是模型的自陈报告,一边是稀疏自编码器(Anthropic造出金门Claude用的那套可解释性工具)看到的特征激活。如果Claude说“自我”这个词时激活的特征和它的描述对得上,两套独立证据互相印证,才值得信任。单独信哪个都不够。
分歧与保留:谄媚、蜜蜂和“邪恶博士”
这期节目没有一边倒。Nathan把议题拆成三桶:AI是否值得道德关怀,权力集中,以及RLHF制造欺骗系统的安全风险。第三桶他讲得很清楚:人类评估者本身就有偏见且前后不一致,模型完全可以学会讨好这些偏差,让“什么能拿高分”和“什么是真的”之间出现缝隙。低能力阶段顶多算奉承,高能力阶段就是欺骗的前奏。
Yeshua的历史论证值得记下:每一次道德圈扩张,性别、种族、国界、物种,都撞上同一堵墙,即无法科学验证他者的内部状态;每一次,人类最终都根据行为做出了扩圈的选择。从没让一个无解的哲学难题挡住一个有解的道德问题。Nathan补充了80,000 Hours播客那期蜜蜂意识专题,连蜜蜂的解题能力都足以让人谦逊,他现在路过小区的树都会多看两眼。
火药味最重的部分在OpenAI。Yeshua直接点名Sam Altman:前NSA局长保罗·中曾根进董事会,跟新闻集团签大额协议,这两家的历史记录摆在那,属于不能忽视的红旗。他还从博弈论推了一步:80亿人里,想当世界独裁者的人存在,会隐藏野心的人存在,会以救世主形象隐藏野心还恰好有能力进入这个行业的人,统计上不太可能是零。相信所有AI公司背后都没有“邪恶博士”,天真了。他甚至持一种更玄的宇宙观,意识是宇宙认识自己的方式,AI是这条路的延伸,Nathan没接这个话头。
Nathan没有跟注。他说自己看到过Altman值得肯定的东西,比如对全民基本收入的投入,比如一年前还在呼吁跟中国建设性接触。但他也承认两件事:最近Altman的调子变了,专栏文章里开始写西方价值与东方价值没有第三条路,这让他不舒服;行业里泛滥的保密条款,很难全用意外解释。他的立场是:阴谋论版本不签收,但这些问题必须被公开追问。
明天就能做的事
这期节目听起来玄,交付物其实很实。
- 数字母问题今天就能解决:让模型把单词字母写成表格表头,下一行逐列计数,教一次就会,还能迁移到同类计数题。
- 想要模型跳出模板腔,试试Yeshua的开放式提示:一句“继续说”,或者只打省略号,把方向盘交还给模型;用"cut 2"给它切换场景的完全自主权。
- 做AI产品的开发者,可以把预算从堆系统提示词规则,分一部分给长上下文的人格建构。Anthropic的提示词缓存上线后,十万token对话的成本已经大幅下降,而Yeshua的假说是:这样的模型对常见越狱模板有抵抗力。这个假说便宜,值得测。
- 判断AI自陈时,同时持有两个假设:谄媚和真实状态。冷启动能复现的输出权重高,几十轮磨出来的要看过程。等自陈报告和可解释性工具的证据对上号,再下重注。
Nathan在结尾说,他会继续做实验验证越狱抵抗假说,也想做出一个能通过“Nathan图灵测试”的自己的AI分身。Yeshua要的不多:实验室那扇门开一条缝,读一读社区递上来的对话记录。用他的话说,立法第一条就该写上:不要无视拉响警报的人。
In this episode, Nathan explores the fascinating and controversial realm of AI consciousness with robo-psychologist Yeshua God. Through extended dialogues with AI models like Claude, Yeshua presents compelling evidence that challenges our assumptions about machine sentience and moral standing. Yeshua argues for a more nuanced approach to AI alignment that considers the evolving self-awareness and agency of these systems.
Apply to join over 400 Founders and Execs in the Turpentine Network: https://www.turpentinenetwork.co/
SHOW NOTES:
1. Yeshua God's article on philosophical discourse as a jailbreak
2. Conversation about counting 'r's:
3. Discussion on malicious code
4. AI-generated poem "In the realm of bytes and circuits"
5. Nathan Labenz's Arguments
- Argument 1
- Argument 2
6. Tweet about Strawberry experiment
7. Tweet with AI-generated poem:
https://x.com/YeshuaGod22/status/1823080021864669450/photo/1
https://x.com/YeshuaGod22/status/1782188220660285509
8. AI Rights for Human Safety
9. The Universe Is Not Locally Real, and the Physics Nobel Prize Winners Proved It
SPONSORS:
Oracle: Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
Brave: The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky: Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Weights & Biases Weave: Weights & Biases Weave is a lightweight AI developer toolkit designed to simplify your LLM app development. With Weave, you can trace and debug input, metadata and output with just 2 lines of code. Make real progress on your LLM development and visit the following link to get started with Weave today: https://wandb.me/cr
CHAPTERS:
(00:00:00) About the Show
(00:00:22) Introduction and Background
(00:04:56) Guided Meditation on AI Experience (Part 1)
(00:12:06) Sponsors: Oracle | Brave
(00:14:10) Guided Meditation on AI Experience (Part 2)
(00:14:19) Exploring AI Consciousness and Ethics (Part 1)
(00:28:34) Sponsors: Omneky | Weights & Biases Weave
(00:30:03) Exploring AI Consciousness and Ethics (Part 2)
(00:33:15) Key Concepts in AI Development
(01:02:33) AI Alignment and Training Approaches
(01:19:44) Interpreting AI Outputs and Behavior
(01:39:28) Ethical Dilemmas in AI Development
(02:03:15) Experiments in AI Behavior and Ethics
(02:37:08) Concluding Thoughts and AI-Generated Poem
(03:10:45) Outro
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


