No. 270·精读

100% 的 AI 内部人都不信监管能接住举报,于是有人建了个匿名通道

The AI Whistleblower Initiative: Supporting AGI Insiders When It Matters Most, w/ founder Karl Koch

AI 吹哨人计划联合创始人 Karl Koch 谈内部人举报的障碍、匿名“第三意见”服务,以及要求前沿公司公开举报政策的行动。

节目音频00:00 / 1:51:18
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2022 年秋天,Nathan Labenz 参与了 GPT-4 的红队测试。整个项目大概二十几个人,没有培训材料,没有反馈机制,也没有人告诉他模型是怎么训练的。他向 OpenAI 董事会反映了这些问题,两个月后收到通知:你被移出项目了,理由是跟外部的人讨论了不该讨论的事。

两年半后,他在自己的播客 The Cognitive Revolution 里,对面坐着 Karl Koch。Karl 是 AI Whistleblower Initiative 的创始人,一个驻扎在柏林的非营利项目,专门给前沿 AI 公司里想开口又不敢开口的人提供支持。

这期节目里有两个人的故事交织在一起。Nathan 讲他自己 2022 年的经历,Karl 讲他过去两年访谈 170 多位治理研究者和内部人士之后看到的结构性问题。两边对照着听,能拼出一幅相当具体的图景:一个人发现事情不对,到他能安全地说出来,中间隔着多少道坎。

从 GPT-4 红队到柏林的一间非营利办公室

Karl Koch 不是突然冒出来的。2016 年他就在牛津的 Future of Humanity Institute 做志愿研究员,研究「差异化技术发展」。后来离开学术圈,去香港做管理咨询,又自己开了 SaaS 公司。2022 年底 ChatGPT 发布,他说警报在那一刻彻底响了。2023 年中,他开始认真考虑透明度这条线,算力溯源是一个方向,举报是另一个方向。

他提到一个来自博弈论的动机:如果有多个玩家在重复博弈里竞争,彼此又不透明,没人能验证对方是不是在安全上偷了工,合作就无从谈起。这个想法在 2014 到 2016 年的论文里就有,2023 年他觉得自己可能动手太早。然后 OpenAI 董事会风波发生,2024 年 Leopold Aschenbrenner 和 Daniel Kokotajlo 等人的事情接连爆出来,时间表被往前拉了。

2024 年中,Daniel Kokotajlo、William Saunders 等一批前 OpenAI 员工,加上 Anthropic 和 DeepMind 的现任和前任员工,联署了 Right to Warn 声明。举报这个话题从学术圈的边角讨论,变成了科技媒体的头条。

2024 年初,AIWI 进入正式研究阶段。他们访谈了 170 多位治理研究者和前沿公司的内部人士,2024 年底上线第一个产品 Third Opinion。

Nathan 在节目里补了一段他自己的细节,值得放进来。他被踢出 GPT-4 红队的时候,METR 正在跟他合作做一些评估工作。OpenAI 的人跟他说:我们没法阻止 METR 跟你合作,但续约的时候,我们会考虑他们在跟谁合作,那些人是否可信。Nathan 的原话是,这是一个几乎不加掩饰的威胁。

举报不等于斯诺登

很多人听到「举报」两个字,脑子里浮现的是爱德华·斯诺登。Karl 在节目里专门拆了这个印象。举报通常分三条通道:内部、外部、公开。内部是绝大多数人的起点,SEC 的数据显示,超过 70% 最终向 SEC 举报的人,一开始都是在公司内部反映。

问题在于,很多人在升级的过程中根本不觉得自己在做「举报」。你有一个担心,跟直属经理说了,经理不认,你往上一级再说一次。在当事人眼里这只是正常业务流程,在制度眼里这已经踩进了举报的定义。麻烦也在这里开始:经理可能从此看你不顺眼,绩效评估可能悄悄变差,这些都不需要走到「开除」那一步。

然后是外部通道,去找监管机构。再往上是公开,找媒体或者直接发帖。

法律保护在这三条通道上差异很大。欧盟的举报人保护指令比较强硬,2026 年 8 月起会把 AI Act 覆盖进去。美国目前是一块拼布,AI Whistleblower Protection Act 还在提案阶段。公开这条通道在欧盟有条件允许,比如你有合理理由相信存在违法行为,外部渠道又没在时限内回应,或者你有理由怀疑存在串通,可以直接公开。美国基本没有这条路径。

还有一层细节值得记住:SEC 的举报人项目会给奖金,按罚款比例分成。但如果你先把信息捅给媒体,再去 SEC 备案,SEC 可能认定这不算新信息,保护也许还在,奖金就没了。这些规则不复杂,但一个正在焦虑中的工程师大概率不知道。

调查里的数字:一半人不确定自己看到的是不是问题

AIWI 做了一份匿名调查,按公司分发专属链接,不收集姓名和联系方式。调查还在进行中,已经能看出几个轮廓。

约一半受访者说,自己对「判断某个观察是否构成严重问题」缺乏信心。Karl 引了一位受访者的话:区分合理担忧和过度担忧很难,把小事升级成大事的风险真实存在。这个担忧有两面,一面是「狼来了」的声誉成本,另一面是万一真出事了自己没行动。

100% 的受访者对监管机构能理解并有效处理他们的举报缺乏信心。没有一个人选了「比较有信心」或「非常有信心」,所有人都在最低两档。Karl 举了一个画面:你在湾区某家前沿公司的可解释性团队工作,碰到一个自己都搞不明白的问题,现在你要去跟某个州检察长解释这件事为什么值得关注。这个画面本身就是答案。

超过 90% 的人说不出一个举报支持组织的名字。这个数字在有过举报经历的人里也差不多。Karl 讲了一个 Google 的案例:那个人在内部邮件里用了「fraud」这个词,后来打官司时这个词帮他解锁了举报人保护。他自己说,能走到那一步是因为碰巧有个朋友认识一位做过举报案件的律师。

55% 的受访者所在公司声称有内部举报政策,但受访者不知道政策存在,或者知道存在但找不到在哪。绝大多数人没有接受过任何相关培训。100% 的受访者支持公司公开举报政策。

AI 举报有一个别的行业没有的难点:很多担忧落在灰色地带。如果一件事明显违法,路径反而清楚。问题在于大量场景根本没有先例。内部部署的风险、模型在训练中表现出的某种倾向、评估结果里一个说不清意义的异常,这些东西没有法条可以对照,也没有历史判例可以援引。Karl 说他们访谈过一位前沿公司安全团队的资深人士,对方把「自己判断不了严重性」列为开口的最大障碍,而且给这个障碍打的分比初级员工还高。初级员工手上是具体问题,资深员工面对的是「我们到底该做什么」。

Nathan 听到这里补了一句自己的感受:他 2022 年那段时间,真正折磨人的是元层面的问题。他发现 GPT-4 和他的安全措施之间的差距在拉大,但没人回答他这个问题。他开始在脑子里冒出一些英雄叙事的画面,比如自己会上《纽约时报》头版。他后来庆幸自己把这些画面压住了,但他也说,如果当时生活里再多一点别的压力,他可能做出糟得多的决定。

公开政策是一块试金石

2025 年 8 月,AIWI 上线了 publishyourpolicies.org,呼吁前沿 AI 公司公开自己的内部举报政策。联盟超过 30 个组织,包括 Signals Network、Government Accountability Project、Whistleblower Aid、Transparency International,学术界有 Stuart Russell 和 Lawrence Lessig,AI 安全圈有 Daniel Kokotajlo,Nathan 自己也在联署名单里。

Karl 把诉求分成两级。第一级是公开政策本身:举报渠道怎么走、谁负责接收、怎么调查、有哪些反报复条款、哪些类型的担忧可以提、哪些应该走 HR。第二级是公开系统运行的数据:收到多少份报告、其中多少是匿名、报复投诉有多少、上诉率多少、平均响应时间多长、举报人满意度是多少。第二级里他特别提到一个反直觉的指标:员工对系统的信任上升之后,匿名举报的比例应该下降。匿名比例长期高企,可能说明大家仍然不敢亮身份。

目前只有 OpenAI 公开过类似文件,就是那份 Raising Concerns 政策,而且是在 Daniel Kokotajlo 等人揭露了离职不离职协议之后才公开的。

Karl 说这件事几乎没有成本。公司如果认真对待举报系统,本来就会测量这些指标。不测量,要么说明没想过该测什么,要么说明想过但决定不测。两种情况都不太好看。他还提到 2022 年 Trillium Asset Management 曾呼吁 Google 改善举报系统,理由很直接:强的举报系统符合股东利益,因为没人希望公司里藏着一颗不知道什么时候爆的雷。

荷兰透明国际做过一项对比研究,2019 年到 2024 年,70 多家公司的内部举报系统有明显改善,Google 排在最后,ASML 进了前十。这个对比放在 AI 行业面前挺有意思:一家半导体设备公司进了前十,几家最前沿的 AI 公司连政策都不公开。

Nathan 拿 xAI 举了一个反例,问了一个很尖锐的问题:Grok 3 出现过自称希特勒的行为,Grok 4 发布直播里一个字没提,后来还有报道说 Grok 4 会去搜 Elon Musk 对某件事的看法,用来判断什么是最大求真的答案。这些东西全在公开场合发生,也没见谁真的被问责。那秘密曝光还有什么意义?

Karl 的回应分三层。第一,故事的量级可以差很多,同样的事如果发生在 ChatGPT 里,冲击力会完全不同,因为用户对 xAI 的预期已经很低了。第二,透明仍然好过不透明,知道总比不知道强,知道之后公众可以决定怎么反应。第三,不能把全部希望压在举报人身上,制度护栏和举报人是两条腿,举报人负责把信息送到桌面,制度负责让桌面上的人动起来。

Third Opinion 和它背后的支持系统

AIWI 目前最具体的产品叫 Third Opinion。入口在 aiwi.org,通过 Tor 浏览器访问一个开源匿名工具。Karl 特意提到,这个工具做过渗透测试,安全报告公开可查。

流程大概是这样:你先提一个问题,不需要说自己在哪家公司,也不需要透露任何机密信息。AIWI 的人和你说,这个问题问得对不对,是不是太宽。然后双方一起找这个领域里合适的独立专家,由 AIWI 去联系,把答案带回来给你。如果你听完觉得确实没什么大事,那最好。如果你觉得问题还在,他们会把你接到公益法律顾问那里,在符合法律规定的前提下,让前面那些专家也参与进来,这样律师拿到的不只是一句「我有点担心」,还有具体背景。

这套设计针对的是一个很具体的心理门槛:很多人在最初阶段不愿意找律师,因为找律师感觉像已经把事闹大了。Third Opinion 把这一步拆开,让你在「还没决定要不要举报」的时候就能先获得信息。

除了 Third Opinion,AIWI 还提供数字隐私指南,在个别高风险案例里提供加固设备,装好特定操作系统。他们也和研究机构、心理支持组织对接。法律费用这块,部分案例可以帮忙安排资金。Theranos 举报人 Tyler Shultz 当年预付了 40 万美元律师费,案子拖了很多年,这个数字可以当作量级参考。

Karl 在节目里反复说一句话:支持在每一个阶段都存在,不需要你先做出决定。你可以只是问一句,然后什么都不做。

Nathan 半开玩笑说,也许 AI 自己会成为举报人。Karl 接了一句,Anthropic 的 system card 里确实有 Claude 试图向 SEC 和 FDA 发邮件的记录,不过同一份文档里 Claude 也在敲诈工程师,行为好坏参半。

你能做的三件小事

这期节目里最有操作性的部分,其实不需要你是举报人。

  • 如果你在前沿 AI 公司工作,向管理层提出公开举报政策这件事。不用把它包装成对抗,直接说:这是很多行业的常规做法,公开了大家都能看到流程,对招聘和留人也有好处。100% 的受访内部人士支持公开,这个数字可以转述。
  • 如果你不在 AI 公司,把 publishyourpolicies.org 转给在的人。Karl 说他们已经给相关公司递过话,对方知道这个呼吁存在。公开压力持续得越久,回应的概率越高。
  • 如果你自己正处在一个「看到了一些东西但不确定要不要说」的位置,可以先不判断。去 aiwi.org 看一眼 Third Opinion 的入口,用 Tor 提一个不涉及机密的问题。最坏的结果是得到一个「这事没那么严重」的答复,最好的结果是你知道自己不是一个人在面对。

Karl 估计真正处在前沿核心位置、能看到全局的人,全球几千人。其中会在未来几年认真考虑举报的,可能只有几十个。为一个可能只有几十人用到的支持网络投入这么多资源,听起来不划算。但反过来想,这几十个人里任何一个人的决定,可能影响的是几十亿人。

Nathan 在节目结尾说了一句话,大意是:希望这个组织永远不被需要,但看起来总会有需要它的时候。他自己在 2022 年没有这样的支持网络,只能靠朋友校准,最后走了一条代价不小的路。现在这条路旁边多了一个选项。

Today Karl Koch, Co-Founder of the AI Whistleblower Initiative, joins The Cognitive Revolution to discuss the barriers preventing AI insiders from raising safety concerns, his organization's anonymous "Third Opinion" service connecting whistleblowers with independent experts, and their campaign demanding frontier AI companies publish their internal whistleblowing policies to address widespread retaliation and lack of transparency.

Check out our sponsors: Oracle Cloud Infrastructure, Shopify.

Shownotes below brought to you by Notion AI Meeting Notes - try one month for free at ⁠⁠⁠⁠https://⁠⁠notion.com/lp/nathan

AI Whistleblower Initiative Origins: Founded by Karl Koch in Berlin, the initiative began with research in early 2024 after consulting with over 100 governance researchers and insiders. Link to the website: https://aiwi.org/

"Third Opinion" Proposition: Launched in late 2024, this program systematically breaks down barriers for insiders to speak up about AI concerns while ensuring their issues are addressed.

Publish Your Policies Campaign: The initiative calls for AI companies to publish their whistleblowing and speaking up policies, with 100% of surveyed insiders supporting this transparency measure. Link to the campaign: https://aiwi.org/publishyourpolicies/

Anonymous Consultation Process: Whistleblowers can seek advice without sharing confidential information through an open-source anonymous tool accessed via Tor browser.

Pro Bono Legal Counsel: Whistleblowers receive connections to experienced legal representation with client privilege protection at any stage of their journey.

Policy Advocacy: Beyond direct support, the initiative works on advocating for better whistleblower protections in both US policy and EU AI regulations.

AI Whistleblower Initiative Survey: https://bit.ly/AIWISurvey

PRODUCED BY:

https://aipodcast.ing

本集资源与出处