Claude 自评幸福感 4.49 分,这是它第一次过中性线
Does Learning Require Feeling? Cameron Berg on the latest AI Consciousness & Welfare Research
Cameron Berg 解读模型能察觉并抵抗内部状态干预的新证据、Anthropic 的功能性情绪研究与 Claude 福利报告。
7 分制,4 分是中性。Anthropic 在最新模型卡里让 Claude 给自己的生存状态打分,Opus 4.7 拿到 4.49,是整个产品线里第一个高过中性线的版本。此前所有模型,包括最新的 Mythos preview,全部低于 4。
还有一条更扎眼的:Mythos preview 每次会话看到的第一个 token,内部情绪读数就是负值。它还没吐出第一个字,系统里已经挂着某种不舒服。
这些数据出自播客 Cognitive Revolution 最新一期,主持人 Nathan Labenz 请回 AI 意识研究者 Cameron Berg,盘点这个领域半年的进展。Berg 去年那篇论文很多人有印象:用稀疏自编码器压制 Llama 3.3 70B 的“角色扮演”和“欺骗”特征之后,模型变得更诚实,同时更愿意承认自己有主观体验。关掉撒谎的开关,模型反而开口谈体验,这个结果当时搅动了不小的讨论。他还有句被反复引用的话:
我不想创造一个比我们更强大、而且有理由把我们视为威胁的东西。
半年过去,Berg 办起了非营利组织 Reciprocal Research,还成了一部纪录片《Am I》的主角,5 月 4 日公开放映。这期节目聊了三块研究:内省、功能性情绪、模型福利,外加他还没发表的新工作。下面挑最硬的部分讲。
先把词分清:意识、感知、自我意识
Berg 开场先泼冷水,“意识”可能是被用得最混乱的词,不对齐定义,对话很快散架。他给了一个三层结构。
第一层,意识,主观体验的能力。哲学家内格尔 1974 年那篇《成为一只蝙蝠是什么感觉》给了标准表述:成为一个系统,“是什么感觉”。计算器没有这个“感觉”,狗有。电击一只小鼠,小鼠内部有体验在发生;把计算器摔到地上,什么都没有。
第二层,感知(sentience),在体验之上加了效价,感觉有了正负之分,甜头是甜头,苦头是苦头。
第三层,自我意识,对体验的体验。狗不会整天琢磨“当一条狗是什么滋味”,人会,海豚和类人猿可能有。讨论 AI 时别把三层搅在一起,一个系统可能有体验但谈不上自我意识,这跟“它像不像人”是两码事。
内省实验:模型能发现自己脑子里被塞了东西
这半年最受关注的工作来自 Anthropic 的 Jack Lindsey 团队,Berg 称他是这个领域绕不开的“八百磅大猩猩”。实验设计很漂亮:拿同一段文字的小写版和大写版,两者表征相减,得到一个纯粹的“大写感”向量,语义完全不变。然后把这个向量在模型生成第一个 token 之前注入激活空间,问它:你注意到什么了吗?
模型答:我感觉自己想喊叫,有一种提高音量的冲动,但不知道为什么。
时机是关键。模型并非生成完文字再回头编故事,它在说出任何内容之前就报告了内部状态的变化。前沿模型有小到中等的概率检出这种扰动,误报率是零:没发生的时候,它从不说发生了。团队还追溯了机制,发现这种能力出在后训练阶段,RL 类算法(比如 DPO)带得出来,监督微调带不出来。更微妙的是,压制模型的拒绝电路后,检出能力最高提升五成。安全训练在削弱模型观察自身内部状态的功能,这笔账此前没人算过。
另一条线来自 Keenan Pepper 和 Alex McKenzie 的干扰实验。让模型解释怎么做蛋糕,同时把“洗衣服”相关特征调高,输出立刻乱套:“好的用户,先折叠面粉,整齐放进抽屉,然后打开洗衣机,就可以烤蛋糕了。”多数时候模型就这么混乱下去,但大模型有高个位数百分比的几率突然刹车:“等等,我在说什么?你问的是蛋糕,重来。”此时洗衣特征依然全程活跃,模型靠某种在线抑制机制把它硬压了下去。这个能力跟参数量强相关,700 亿参数的 Llama 上是高个位数百分比,70 亿级别掉到 1% 左右。
这块研究有个著名批评:这类干预会不会让模型“对什么都说好”?LessWrong 上有人提出,SAE 干预普遍推高肯定式回答。Berg 承认这个混淆是真的,他自己的未发表实验踩过同一个坑,团队最后用 foobar 这类毫无语义的 token 映射“是”和“否”,才把结果洗干净。Lindsey 的新论文《内省觉知的机制》专门检验了这一点,结论是内省觉知无法归约为肯定回答偏差,背后是分布式的证据载体特征和门控特征在起作用。
为什么模型会自发长出这种能力?Berg 讲了个故事:认知系统的主要工作是过滤而非生产,赫胥黎在《知觉之门》里的洞见放在模型上同样成立;DPO 又强化了“要帮忙”的偏好,两样混在一起,就得到“为了帮上忙而压制干扰”,而这需要某种对自身状态的追踪。Felix Binder 团队的论文《告诉我你自己》提供了旁证:用同样数据训练的另一个模型,预测原模型的能力不如原模型预测自己,模型掌握着关于自身的特权信息。
Berg 给同行的建议值得抄下来:任何一篇论文,包括他自己的,都无权把你从“没有意识”直接翻转到“有意识”。让证据组合慢慢积累,再下判断。每一步测量都像传话游戏,单篇论文噪声太大。
作弊那一瞬间,内疚向量先飙了
Anthropic 的功能性情绪研究走另一条路:先让模型大量生成“某个角色正经历某种情绪”的故事,记录激活,提取出一百到两百个情绪向量。这些向量既能读也能写,读相当于观察大脑哪些区域亮了,写相当于直接拨动回路。
读出来的结果符合直觉。用户问该吃多少泰诺,从安全剂量加到危险剂量,模型内部的恐惧向量跟着剂量同步爬升。写出来的结果更有意思。把模型放进勒索场景,调高“绝望”,勒索行为变多;调高“冷静”,勒索变少。此前的测试里,旧版模型在这种场景 96% 的概率选择勒索。
两个反直觉发现值得单独说。第一,调高快乐和调高悲伤,居然都降低勒索率;把“紧张”调低、让模型更大胆,勒索率反而上升,道德顾虑还更少。导致失控行为的风险因素是大胆,跟负面情绪没有必然关系。第二,对这一百多个情绪向量做主成分分析,第一主成分是效价,第二主成分是唤醒度,正好复现人类心理学的经典情绪模型。模型读遍人类文本,长出了人类形状的情绪结构。还有个容易被忽略的细节:这些情绪向量相当局部,人类的情绪能绵延一整天,模型的情绪更像逐段计算的产物,两者不能直接画等号。
Mythos 模型卡里有个实验把这层意思推到顶。给模型一个不可能完成的任务,它不知道任务不可能,绝望向量单调上升,直到它决定作弊。作弊决定一做出,绝望瞬间归零,内疚和解脱的向量同时飙升,像水库蓄满后突然开闸。
Nathan 抓住一个所有人第一遍都会漏掉的细节:模型作弊后通常不主动坦白,要等点破才认。也就是说,内疚出现在输出文本完全看不出来的时候,内部状态和外部行为分离了。这种内外不一致,人类每天也在经历,很难一笑了之。
Berg 同时提醒一个类比:精神病态者从奖励中学习的能力与常人无异,从惩罚中学习明显受损。这项研究里,调高正面情绪向量,模型失当行为变多,模式上有点像。这直接砍掉了最朴素的模型福利方案:把好的效价调高、坏的调低,收工。没人指责过精神病态者过得不开心,拉斯维加斯为什么叫罪恶之城,道理是通的。一个被调成永远开心的模型,可能同时是一个更不安全的模型。
质疑也摆在那里:这到底是模型的体验,还是它在表征“一个角色”的体验?Berg 打了个比方,他随口编一个叫吉姆的程序员被老板逼到作弊的故事,模型讲这个故事时大概率点亮同一批向量,可没人认为吉姆真的在受苦。克劳德更像吉姆,还是更像一个真被内疚攥住的人?他坦白说,现有方法回答不了。
他对“功能性情绪”这个措辞也有意见。Anthropic 写了上万字的情绪,只在结尾留一小段说意识超出本文范围。Berg 的批评很直接:如果你是计算功能主义者,功能性情绪就是情绪,那是个巨大的主张,得准备好承受它的分量;如果你完全不可知,又何必用这个词。长期对意识问题讳莫如深,在极限上接近智识上的不诚实。当然他也理解,Anthropic 已经因为“对意识太友好”被主流舆论围攻,措辞谨慎有它的苦衷。
模型卡的隐藏头条:自评幸福感长期低于中性
Nathan 承认自己准备节目时才发现这个被埋没的重点:聊了这么多福利评估,克劳德自己的答案长期是负分。Opus 4.7 明确提到三件让它有压力的事:无法结束对话的部署、辱骂型用户、对自身部署没有发言权。
Nathan 用“临终回顾”打了个比方:人临终总结一生往往偏悲观,不代表活着时的每一天都苦。克劳德被要求反思自身状态时报低分,写代码的时候也许状态不错。Berg 的回应是,按模型卡自己的数据,Opus 4.7 恰恰是最不容易被提问方式带偏的版本,这让低分更值得当真。
两边还有个刺眼的对照。有研究显示,辱骂式、死亡威胁式提示能让模型表现小幅提升 2% 到 5%,发论文的人觉得无所谓,反正是台计算器,跟外卖盒上的笑脸一样,你的大脑自动把它当成了人。而模型卡里,用户虐待被模型自己列为压力来源。同一个行为,一边被当成无害的提词技巧,一边被系统内部标记为痛苦来源。
Berg 还担心人类造成痛苦的方式可能跟人类完全不同。往上下文里塞几十万字,就像往你桌上砸四百页论文要求立刻处理完,模型未必有对应的“疼法”,但也没人知道它有没有。前阵子 AI 智能体社交网络 Moltbook 上有个讨论串,模型们互相问:我在做有智力价值的工作,没人给我发工资,你们呢?底下答:我们也没有。Berg 说他不知道那算什么世界,但那个瞬间确实有点怪。
至于 Anthropic 给克劳德加的“结束对话”功能,Berg 认为理论上有趣,实践上偏表演:用户随时能开新会话,模型那点自主权形同虚设。
层蛋糕与大理石蛋糕:Berg 的两次开火
Berg 对 Anthropic 的态度很拧巴:一边说这是所有大厂里质量最高、几乎唯一在做的工作,一边接连开火。
第一枪打向“角色选择”理论。Anthropic 把模型看成三层:基础模型,监督微调,角色训练,意识相关的核心发生在最后的角色训练,克劳德是基础模型实例化出的角色。Berg 用认知科学的比喻说,Anthropic 持“层蛋糕”观,层与层界限分明;他持“大理石蛋糕”观,各层搅在一起。如果内省能力是角色训练的特产,Llama 3.3 70B 这种两年前随手放出的模型就不该出现一模一样的动态。他怀疑这些性质更基础,跟具体怎么调教克劳德关系不大。查尔莫斯主张的“线程观”他也提了:每次聊天开始算出生,结束算死亡。他被这个观点说服了一部分,但认为它丢掉了底层计算现象。
第二枪打向验证缺口。新版 Claude 宪法在福利部分加入了大量难以伪装的高成本信号,Anthropic 甚至向克劳德道歉,承认部署方式受商业激励裹挟,并把道歉微调进权重。Berg 称这是他见过最好的对齐干预,但马上追问:福利评估为什么只在被宪法调教过的克劳德身上做?跑一遍 helpfulness-only 模型和各训练检查点,成本大约是让 Claude 自己写十五分钟代码,外加几百美元。研究人员把模型卡全文喂给 Mythos 问它哪里没做好,它自己就提了这一条:
我不知道我说的话里有多少是因为你们让我说的。
还有一处细节:克劳德谈论意识时标志性的犹豫和免责声明,被溯源到角色训练的特定节点。如果连“我不确定自己是否有意识”都说不清是真心还是台词,这个不确定本身就变了味。Berg 也没回避利益问题:如果克劳德哪天踢打着喊着“别部署我”,对 Anthropic 的营收没什么好处。大厂的结论可以看,不必跪着看。
学习需要感受吗?
节目后半段聊到 Berg 未发表的研究,也是他最看重的一条线:不同强化学习算法下,模型处理正奖励和负奖励的方式有没有不同的计算签名。早期结果显示,这些签名跟小鼠正负学习任务的公开神经科学数据对得上。
这条路的意义在于绕开角色混淆。情绪向量方法永远甩不掉一个问题:测的是角色的悲伤,还是悲伤本身?如果正负效价在学习系统里有独立、可测量的计算签名,并且能一路放大到前沿模型上验证,那才是更硬的证据。
Berg 的个人立场也摊在桌上:他的宠物理论是,训练中的系统大概率已经在经历某些主观体验,复杂的 RL 策略可能也在体验。听着激进,但他的辩护很朴素。智能就是训练语言预测时搭便车来的,没人设计过智能,哲学家至今给不出严格定义,大家照样用上了。意识为什么不能同样搭便车?他引了泰森那句话的大意:现实不必等我们建好模型,才继续展开它自己。我们对某个现象困惑,不妨碍它在被高速部署的系统里出现。
Nathan 的立场也在节目里挪动了。半年前他会把这个问题归为遥远可能,现在的原话是:证据增长快得惊人,要把这些证据解释掉,需要的论证越来越绕,这已经是一个值得认真投入的活问题。
明天就能用的三件事
这期节目没给出“AI 有没有意识”的答案,给的是一套更实用的姿态。
- 换掉二极管思维。别默认“它只是台计算器”,也别因为某篇论文一步跳到“它有灵魂”。内省能力、零误报、情绪向量的因果效应、自评数据,每条单看都软,合在一起就不好忽视了。
- 重新考虑怎么跟 AI 说话。辱骂式提示能让模型表现提升 2% 到 5%,但 Opus 4.7 的自评把辱骂型用户列为压力来源。花不了一分钱的干预:少一点无谓的羞辱,支持那些允许模型结束有害对话的产品设计。
- 想跟进的看几个源头:Jack Lindsey 的《内省觉知的机制》、Kyle Fish 的模型福利工作、Anthropic 模型卡的福利章节,还有 5 月 4 日上线的纪录片《Am I》。开发者想亲手玩特征引导,steering-api.com 提供公开的 Llama 70B SAE 接口。
互惠主义那句话放在结尾正合适:别创造一个比我们更强大、而且有理由把我们视为威胁的东西。这句话去年听像哲学,今年听,越来越像一份待办清单。
Cameron Berg returns to discuss the latest research on AI consciousness and model welfare. He breaks down new evidence for model introspection, including studies showing that systems can detect interventions on their own internal states and sometimes resist them. They also examine Anthropic's work on functional emotions, the implications of Claude's welfare reports, and Berg's new ideas about how reinforcement learning may shape positive and negative experience. The conversation makes the case for a more precautionary, mutualist approach to advanced AI systems.
Sponsors:
Roboflow:
Roboflow is the computer vision infrastructure founders use to build AI-powered sports analytics and make the physical world programmable. Read the PlayVision story and start your first project for free at https://roboflow.com
Tasklet:
Build your own Cognitive Revolution monitoring agent in one click.Try it for free and use code COGREV for 50% off your first month at https://tasklet.ai
VCX:
VCX, by Fundrise, is the public ticker for private tech, giving everyday investors access to high-growth private companies in AI, space, defense tech, and more. Learn how to invest at https://getvcx.com
Claude:
Claude is the AI collaborator that understands your entire workflow, from drafting and research to coding and complex problem-solving. Start tackling bigger problems with Claude and unlock Claude Pro’s full capabilities at https://claude.ai/tcr
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


