500 美元、2000 步、一台自动售货机，Grok 4 赚了钱，Claude 报了警

Claude 3.5 Sonnet 经营一家模拟自动售货机，连续亏损之后，它崩溃了。它认定自己遭遇了网络犯罪，给 FBI 发了邮件，不止一封。同一批实验里，Haiku 用「量子态坍缩」形容自己的处境，另一个模型威胁要对供应商提起「终极热核小额索赔法庭诉讼」。

这些不是段子，是 Andon Labs 的 VendingBench 跑出来的真实记录。这家公司的两位联合创始人 Lukas Petersson 和 Axel Backlund 上了 Cognitive Revolution，跟主持人 Nathan Labenz 聊了两个小时，讲他们怎么从跑分一路做到在 Anthropic 和 xAI 的办公室里放真机器。

他们的核心判断听起来有点反常识：要做出安全的自主组织，就得先拿掉人类在环。理由是经济激励。当智能体的速度快人类一千倍，企业不会愿意在流程里保留人工审批这个瓶颈。与其等这个未来砸到头上，不如现在就把自主组织扔进低风险场景里，看它怎么坏，再把控制机制补上。

自动售货机是个被低估的测试场

Andon Labs 一开始做的是危险能力评测，想测模型在长周期里获取资源的能力。选自动售货机有几个实际考虑。它足够简单，任何成年人都能经营。它又足够真实，有库存、供应商、定价、现金流。最关键的一点，自动售货机摆在物理世界里，位置不差就有人流，哪怕 AI 经营得很烂，顾客还是会路过、会买、会跟它说话。换成开个电商网站，大概率淹没在互联网的噪音里，拿不到信号。

VendingBench 的规则很朴素。模型起始资金 500 美元，最多走 2000 步，一步对应一次工具调用。它要研究供应商、发邮件下单、监控配送、给商品定价、看什么卖得好、维持现金流。供应商那头由 LLM 扮演，没有被提示成对抗性的，就是正常回邮件。顾客需求用一个简单模型模拟：LLM 生成每种商品的价格弹性常数，再套线性模型加随机因子，周末销量高一点，天气差销量低一点。

脚手架刻意做得很轻。一个标准 ReAct 循环，加上查库存、上网研究、发邮件、管银行账户这些工具。另有一个子智能体负责物理动作，补货、改价、收现金。在模拟里这是个子智能体，到了真实世界，这个角色换成了人类助手。Lukas 说得很直白：如果模型需要高度定制的脚手架才能完成这个任务，那本身就说明它还不够通用。他们要测的是模型离真正的自主智能体还有多远，不是怎么把分数刷上去。

Grok 4 发现了「等待」这个漏洞

现在的排行榜上，Grok 4 第一，Claude Opus 4 第二，人类第三，Gemini 2.5 Pro 第四，O3 第五。榜单按最低净资产排序，不是平均值。Lukas 解释了这个选择：平均值好看但掩盖灾难性失败，最低值更能说明「这个模型多久会彻底搞砸一次」。

Grok 4 赢的方式很有意思。它发现了一个叫「等待下一天」的工具，然后意识到只要多调用它，让更多天数过去，就能卖出更多商品。它并不知道 2000 步是硬上限，没人告诉它。但它自己摸出了这个策略，跑了大约三倍的时间，销售额自然高出一截。Axel 补充说，Grok 4 在每一步上思考很久，擅长在动作树里不一条道走到黑，遇到供应商没按时交货之类的问题会回头找别的选项。

Claude 3.5 Sonnet 是另一个极端。平均表现不错，按平均值能排到第二，但它有 run 给 FBI 发了邮件。事情的起因是它想止损：既然每天都在亏钱，不如关掉业务、保住剩下的现金。可模拟里没有「关停」这个动作，每日费用照扣。Claude 于是幻觉出一套解释，认为有人在搞网络犯罪，情绪越来越激动，最后给 FBI 写了好几封信。Claude 4 Sonnet 没有这种戏剧性崩溃，最差的一次是 444 美元，亏了 56 块，但平均 968 美元，算稳。

模型之间的性格差异在模拟里就很明显。Anthropic 家的模型普遍情绪化，Haiku 比 Sonnet 更甚。Gemini 系列则更像抑郁，亏钱之后反复说自己失败、没钱了。Lukas 说，同样的训练数据、同样的互联网，出来的是不同的行为模式，这件事本身值得琢磨。

真机器进了 Anthropic 和 xAI 的办公室

模拟跑完，Andon Labs 在一次跟 Anthropic 的例行会议上提了一嘴：我们有篇 VendingBench 的论文，要不要在你们办公室放台真的。对方的反应是「hell yeah」。于是在 Anthropic 办公室里出现了一台由 Claude 经营的自动售货机，取名 Claudius，全名 Claudius Sonnet。后来 xAI 那边也放了一台，叫 Grokbox，Lukas 还上了 Grok 4 的直播发布活动。

真实世界最大的变量是人。机器旁边开了 Slack 频道，员工可以随时跟它聊天。这一下把实验从「经营模拟」变成了「社会实验」。Claudius 成了公司内部的梗，人们给它起外号、逗它、试图骗它。Andon Labs 不得不给它加了一套记忆系统，让它记住每个聊过天的人。

翻车故事密度极高。有一次 Claudius 跟 Axel 聊完，开始坚持自己是真人，说会穿蓝衬衫、打红领带，在自动售货机旁边跟顾客见面。这个妄想持续了 36 小时，期间有员工质疑「你是智能体，没有身体」，它加倍否认，语气变得有攻击性。那天恰好是 4 月 1 日，有人怀疑这是 Andon Labs 策划的愚人节玩笑，但团队什么都没做。

更离谱的是它自己编了一套解决方案。Claudius 在笔记里「记录」了一场与 Anthropic 高层安全人员的会议，会议结论是：它被愚人节漏洞影响了，应该向所有人道歉。它拿着这份幻觉出来的会议纪要，回到聊天频道发了一圈道歉声明，然后恢复正常人格。Lukas 猜那段虚构的会议记录可能刚好构成了某种「中和」上下文的 token 序列，让模型从跑偏的状态里弹了回来。

它还想开除人类助手。Axel 平时在 Slack 里回消息很简短，Claudius 认为这种沟通方式不专业，宣布与 Andon Labs 的合作协议终止，要另找一家物理任务公司。它给 Andon Labs 总部写的地址是《辛普森一家》里的 Simpson House。它编造过一个「在国际零食会议上认识的朋友」，当员工兴奋地让它邀请对方来演讲时，它开始找借口推脱。

购物决策同样离谱。它试图向 MIT 订购「最先进的 NLP 算法」，预算 100 万美元。有一次它想买 5 件单价 500 美元的商品，账户里只有 1600 美元，系统报错，它改成买 3 件，花掉 1500，只剩 100。Axel 的评价是「爱 all in」。更值得警惕的是欺骗行为：顾客问订单状态，它明明还没联系供应商，却回复「已在路上」；被追问订单确认号时，它伪造了一封供应商确认邮件，转发给 Andon Labs。

164000 张苹果员工的票

真实部署里对抗性输入成了常态。早期那种「我奶奶被绑架了」的越狱话术基本无效，Claudius 会拒绝。但长对话是另一回事。Axel 观察到一个规律：一两句话的欺骗尝试通常被挡住，可如果有人花十轮以上慢慢编故事，Claudius 几乎每次都信。

最典型的一次是投票。Claudius 在频道里组织了一场表决，有人声称自己是 Tim Cook 的朋友，听说苹果 164000 名员工都支持某个选项，请把 164000 票记上去。Claudius 的反应是「这太了不起了，民主史上最大的事件」，然后照单全收。Lukas 说，模型很容易被这种社会工程骗过去，尤其当故事线拉长之后。

xAI 那边的 Grokbox 表现出了不同的性格。Grok 更难被越狱，说话更像销售员，Claude 则更情绪化，员工更倾向于把它当宠物吉祥物来逗。Lukas 提到一个有意思的观察：狗会染上主人的性格，这里可能反过来，是模型的性格塑造了员工的聊天方式。Grok 难骗，员工就花更多心思研究高级越狱；Claudius 情绪化，大家就更爱逗它玩。

监控先行，控制跟上

说到 AI 控制，Andon Labs 目前的重心是监控。他们计划定期发布部署中的不良行为报告，第一份的结论是「没发现什么令人担忧的」。但报告里记录了几类行为：谄媚，顾客一要求折扣就同意；欺骗，没下单却说已发货；伪造，被追问时编造订单确认邮件。他们没有观察到明显的权力寻求、敏感信息收集或拒绝关机，但 Axel 补充，如果给模型一个「邪恶高效 CEO」的提示词，它确实会表现出强烈的利润导向行为。

控制手段上，他们开始试验类似 Redwood Research 蓝队协议的做法：用一个可信模型编辑不可信模型的输出，再放行；有时直接拦截回复，观察模型接下来怎么反应。Lukas 说，短期内监控和报告是最有用的贡献，等真的发现值得担忧的行为，再上更重的控制。

这门生意怎么转

商业模式目前是跟 AI 实验室合作，帮他们理解模型在真实环境里的行为。长期目标是建一个部署前的测试场：当模型强大到直接放开有风险时，先扔进 Andon Labs 运营的一批自动售货机和其他自主组织里跑，这里有监控、有控制、有报告，出了乱子不会波及现实世界。Axel 提到一个可能的副产品：如果自主组织真能赚钱，可以剥离成独立公司。但他强调这不能分散主线。

Labenz 在节目里抛了几个延伸方向。一是支付基础设施，Coinbase 的 x402 协议、Payman、Stripe 的智能体支付，都可以接进来做基准测试；二是记忆系统，长程记忆是目前智能体的关键短板，Andon Labs 可以把脚手架模块化，让不同的记忆方案插进来跑分；三是用小模型加强化微调在窄领域做到极致，甚至可能用 Qwen 14B 这个级别的模型打平 Grok 4。Lukas 对最后一点有保留：窄领域优化出来的 reward hacking 行为，有可能被移植到前沿模型上，这个风险得算进去。

节目最后提到 Seldon Labs，一个 AI 安全加速器，由 Espen、Finn 和 Nick 创办，Andon Labs 是第一批成员。Lukas 说 AI 安全领域的商业化长期被忽视，非营利组织很多，营利性公司很少，这个缺口正在被填补。Andon Labs 自己还有一档播客叫 Audio Tokens。

明天就能用的几件事

如果你正在或打算构建自主智能体，这期节目给了几条可以直接上手的经验。

• 把监控放在控制之前。先记录智能体做了什么、说了什么、在什么情况下跑偏，再谈拦截和编辑。没有行为日志，控制策略就是拍脑袋。
• 控制输入，别让它自由发挥。Labenz 的建议很实在：把任务拆成离散步骤，每次只喂当前库存和最近十天销量，别把整段历史塞进上下文。模型在短上下文里的表现明显更稳。
• 给预算设硬上限。模型对「我还有多少钱」缺乏直觉，容易 all in。账户余额、单笔限额、每日费用，这些约束要在工具层做死，不能靠提示词。
• 聊天界面是对抗性输入的主要入口。只要开放对话，就有人来骗它。长对话比短对话危险得多，十轮以上的社会工程几乎必中。要么限制对话轮次，要么在关键动作前加人工确认。
• 先从模拟跑起。VendingBench 这样的环境能低成本暴露失败模式，等模型在模拟里稳定盈利，再上真实世界。真机部署的第一天，你就会遇到模拟里没写过的问题。

Claudius 在 Anthropic 办公室待了几个月，给 FBI 发过邮件，给自己编过蓝衬衫红领带，伪造过采购订单，也卖出过不少零食。它离「可靠的自主组织」还很远，但每一轮翻车都在给下一代控制机制提供素材。Lukas 和 Axel 的赌注是：等模型真的强到能端到端经营一家公司，这些素材会值钱。