No. 199·精读

1.4万人抢33个编制:美国最大民用AI团队在国土安全部干什么

Building Government's Largest Civilian AI Team with DHS AI Corps' Director, Michael Boyce

Nathan 与 DHS AI Corps 主任 Michael Boyce 谈如何把现代 AI 带入联邦政府,覆盖 22 个机构与共享基础设施。

节目音频00:00 / 1:27:11
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

1.4万份申请,33个到岗,录取率不到1%。发出这些offer的机构,听起来跟AI最不沾边:美国国土安全部(DHS)。

2024年12月的Cognitive Revolution播客,请来了DHS旗下AI Corps的主任迈克尔·博伊斯(Michael Boyce)。这个团队的目标,是建成美国联邦政府最大的民用AI团队,编制50人。主持人内森·拉本兹(Nathan Labenz)是AI创业者兼投资人,过去一年把私营部门的AI应用翻了个遍,他承认联邦政府一直是自己的认知盲区。

盲区里的东西比预想的多:大模型扮演寻求庇护者,帮新官员练面试;视觉模型1.5秒锁定一辆藏毒卡车,二次检查翻出165磅毒品;FEMA用机器学习把需要人眼过目的灾后航拍图,从100多万张压到7万张左右。

先搞清楚:国土安全部是个什么部门

很多人对这个部门的印象来自美剧《国土安全》。博伊斯的介绍具体得多:9·11之后成立,26万名雇员,下辖22个机构和办公室,按他的说法是联邦政府最大的民用机构(退伍军人事务部的医院算不算第一,可以抬杠)。他个人从25岁起,就没在别的机构领过工资。

这22个机构里一堆熟面孔:管灾害的联邦紧急事务管理局(FEMA),守海上边境的海岸警卫队,保护总统的特勤局,每天跟公众打交道的运输安全管理局(TSA),管网络安全的CISA,还有一整套移民机构。

业务可以归成两条线:一条防范和应对坏事,边境、安全、执法;另一条面向公众的服务,谁能入籍、什么包裹能进关、灾民能领多少补助。它既是最大的联邦执法机构,也是一个巨大的服务机构。

还有个数字能看出这套系统的运作方式:博伊斯所在的CIO办公室,联邦雇员约700人,算上外包合同工约3000人,政治任命官员只有3个。总统换届,99.9%的人照常上班。

AI在这里也谈不上新鲜。博伊斯说,按通用定义,DHS用AI用了大约10年。机场里刷脸的CBP柜台、TSA的证件人脸比对都是例子。更早的一份行政令推动下,各机构公开了AI用例清单,dhs.gov/data/ai_inventory 上现在挂着40多份公开报告,写明每个系统在干什么。

AI Corps怎么运转:一半人当“游走咨询队”

2022年底,博伊斯被借调到白宫管理与预算办公室的内部AI政策团队。他记得当时还有人跟他说,你们搞的这个东西挺好玩,算个流行风尚吧。话音落下没多久,ChatGPT发布,政府内外的兴趣一路升温。

2024年2月,DHS宣布成立AI Corps,响应行政令的“全国AI人才招募”,承诺建成联邦政府最大的民用AI团队。这回是真给了50个编制,没打算拿一两个岗位充门面。这个模式部分出自CIO埃里克·海森(Eric Hysen)的手笔,他也是美国数字服务局(USDS)出身,想把“内部咨询”的路子带进部门。

团队分三块。第一块,博伊斯叫它“游走咨询队”,约占一半人马,以2到5人小队进驻各下属机构,跟业务部门并肩交付AI项目。第二块约占五分之一,负责推广规模化,眼下主要是政策、治理和监督,往后还要管跨部门的共享基础设施。第三块叫孵化器,中央团队自己持有一些产品,专门试那些业务部门没时间冒险的新东西。孵化器存在的理由,博伊斯说得很直白:如果自己都走不动这条路,凭什么出去教别人部署AI。

他被挑中当主任,部分因为他在部门里待得够久,交过货,知道各处的难处。

“我不是从硅谷来拯救任何人的。我来做的事,是把一批真正聪明的人,联邦政府内外的都算上,聚到AI这件事上,去跟那些愿意合作的部门结对干活。”

需求从哪来?基层草根创新、高层自上而下的愿景、他的团队穿针引线,全都有。他还留了一句狠话:

“如果你觉得联邦政府机构对用AI没兴趣,我布鲁克林有座桥可以卖给你。他们兴趣大得很,只是想找真正有专长、能提供细分视角的公司。”

团队扩张速度是每月约5人。博伊斯4月上任,5月头两周来了头3名员工,录制节目时33人。他立了一条规矩:谁有大项目想法,先写1到2页的模板文档,他看完转给利益相关方,双方都点头,才开会向领导层汇报。用文档代替连环会议,先对齐文字,再消耗会议。这条经验放进任何大组织都成立。

他本人的技术背景挺曲折:高中在纽约一所公立学校写过神经网络,2007年,同学用神经网络玩“找沃尔多”,进了纽约市科学博览会半决赛;大学读了两年到三年计算机,转头跑去上研讨会了。第一份工作是难民事务官员,满世界飞,面试难民、核查资格、做安全审查。之后进USDS,头衔是“官僚黑客”,再回DHS管移民局的技术,2017、2018年前后带团队做过不少机器学习项目。

他给自己的定位是“技术上够用但危险”,不造大模型,但跟团队说得上行话。新人进来总想立刻露一手,他的建议相反:最重要的是倾听和学习,搞懂这些复杂的官僚结构。搭建关系这类软技能,跟硬技术一样重要。

四个项目,四个不同的难点

先说听起来最平平无奇的:内部大模型聊天机器人。博伊斯自己都承认,听众里一半人15分钟就能拉起一个。但DHS版本的重点全在“管道”上:日志怎么记、怎么接进部门的网络安全体系查异常、部署在哪家云上。目标是让成千上万的员工往里输入敏感但不涉密的信息,甚至包含个人隐私的信息,真正嵌进日常工作流。魔法发生在接上真实数据、进入核心流程的那一层。

最有意思的项目在他老东家,美国公民及移民服务局(USCIS)。庇护官要跟寻求庇护者做3到4个小时的长面试,问人家为什么离开祖国。培训新庇护官的老办法,是把在职官员从面试轮班里抽出来,扮演寻求庇护者给新人练手。现在,这个角色由大模型来演。

团队没搞花活,主要功夫花在写提示词上。难点是还原真实体验:真实面试隔着翻译,充满误传,面试对象可能连小学都没上过。模型最初的画风是张口就来“根据《移民与国籍法》第104条b款”,完全不像一个逃难的人。调好之后反馈好得惊人:场景随时切换,故事线一致,不会像真人演员那样演着演着跑偏。评估也没有客观标准,基本靠定性:这体验跟真人比怎么样?第一次正式面试前,它有没有让新人更镇定?很多同事看完演示的第一反应是“你们怎么把它调得这么好”,他们听说过ChatGPT,从没想过它能贴到自己的具体业务里。博伊斯把这当成团队的活:把工具塞进日常工作,更多想法自然会长出来。

第三个项目来自国土安全调查局(HSI),《猎杀本·拉登》里那种整天读文档找线索的岗位。团队用开源的Llama 3 70B在云端GPU上搭了套RAG,处理海量非结构化线索。那位工程师做了不少细活:先用标准的k近邻语义向量检索,发现电话号码、人名这类强关联信息用词法搜索更灵,于是做成混合检索;再拿Llama 3 70B当裁判,判断检索回来的内容跟问题相不相关。博伊斯还引用了空军研究实验室CIO的说法,RAG让普通人和自己的数据建立了“私人关系”,不用再靠自己翻文件,也不用养一个专门整理资料的团队。他的总结:没有一招通的RAG算法,得钻进数据里试,出好结果的时候,自然就知道对了。

这些试点怎么选出来的?DHS设了个AI工作组当治理机构,总部拿出一笔钱,向全部门征集方案,选了三四个试点加速。博伊斯说,政府里到处是盯着机会的技术人员,他们缺的只是钱、优先级和一句“这事真的会发生”。任何大组织的产品团队都一样:想法有一百个,把哪个顶到最上面才是关键。

第四类用法最容易被忽略:质量检查。有个团队每天要把别的团队报来的报告手工录入系统,录一天难免出错,官僚体系的对策是加一层审核、再加一层。博伊斯看到的机会,是把大模型放在那当“第二双眼睛”,把准确率从94%提到99%。自动化抢不走决策权,先把质检换掉,是更稳的切入点。

生成式AI之外,传统机器学习照样在干活。边境的视觉系统追踪进出卡车找异常,1.5秒锁定一辆,二次检查翻出165磅毒品。FEMA灾后分析航拍图定位受灾点,过去靠人看100多万张,机器学习压到7万张左右。USCIS每年还收几百万份纸质申请,图像分类加OCR自动认出这是出生证明、那是某项福利的表格。至于用大模型跑几百万份移民申请,博伊斯算了笔账:按token算成本,还打不过系统里便宜的经典分类模型。窄模型短期不会被通用模型全面替代,成本这道坎摆在那。

主持人顺势问:会不会出现没有人的安检口?博伊斯刚去过TSA设在拉斯维加斯机场外的创新中心。他的回答分两层:政策上,现在不用AI替换涉及公共福利和关键决策的人;现实里,人的存在本身有用,“请把鞋放传送带上”这句话得有人说,每个人多耗10秒,队伍能排到机场外面。所以第一步还是用AI帮现有员工把活干得更好。

安全合规:联邦政府比你想象的敢用商业云

很多人默认政府不敢把数据交给商业API。博伊斯给出的信息正相反:他做了30到50个软件项目,没有一个离开过标准云基础设施。DHS同时用着AWS、Azure这些大厂云,四个生成式AI试点里,既有调用前沿商业模型API的,也有自己拿开源模型在云GPU上跑的,靠合同条款约束数据留存和训练。

关卡叫FedRAMP(联邦风险与授权管理计划),由总务管理局运营。云服务商要按NIST的风险管理框架落实一堆控制项,找第三方认证,提交日志和验证材料,全部审过才能进联邦采购清单,任何人都能在FedRAMP市场上查到合规名单。有家前沿实验室的人跟博伊斯吐槽:这流程麻烦得要死,但这是他见过少数真的能加安全分的流程。

员工用AI的政策更值得抄。最新行政令不鼓励封禁生成式AI,DHS的方案是:上1小时培训、主管批准、过网络安全和隐私培训、签一份行为规则,然后就能用ChatGPT、Claude、Bing这些商业工具。红线两条:不能输入个人隐私信息,不能用AI对公共福利做最终决定。开放使用加明确红线,好过一刀切封禁。部门里几千人参加过生成式AI的午餐分享会,GSA办的政府级AI培训,去年有1万到1.5万人报名。

指标、失败条件和一个反直觉的招聘故事

博伊斯说自己第一指标是招聘:50个编制招到多少人、进了什么岗位。1.4万份申请证明需求端不缺人。他的团队还在跟部门合作写一份约30页的测试与评估指南,按场景给出能做的测试清单。他对另一类指标高度警惕。有人宣称“效率提升70%”,他追问:70%的效率是什么?有人算出“人均每天省5分钟,乘以员工数乘以工作日,省了500万美元”,他的反应是:没人会把那500万美元还回来,这笔钱到底去哪了?他更在意定性信号:这个工具要是明天停掉,会不会有关键流程断掉?

五年后如果DHS的AI转型失败了,最可能卡在哪?博伊斯给了三个答案:一是失去公众信任,国会不给钱,政治任命官员不愿投入;二是没装好刹车,AI被滥用,隐私和公民权利受损;三是钱花了,设计和工程实践跟不上,纳税人的钱打了水漂。他补了句大实话:这还不是《黑客帝国》里的技术,手头的商业用例,模型能力基本够用,真正的瓶颈是把新技术接进组织流程的那段路,也就是扎实的应用开发实践。

招聘故事里最反直觉的部分:有一类员工,从谷歌、Meta这类公司进政府干了两三年,离开,然后因为想念这份工作又考回来。博伊斯的解释是,这里的问题难度没有天花板:这些问题不只有技术含量,还裹着社会、人性和政治,你得在按很多定义算是全世界最大的组织里穿行周旋。很多人回来,是因为在联邦政府干活没那么无聊。

待遇顺便交代:底薪约15万美元,一般封顶23万美元左右,处于美国收入前3%,干满3年有养老金,401(k)有等额匹配,团队全员远程。岗位覆盖后端应用工程师、机器学习工程师、数据科学家、安全工程师、政策分析师、产品经理、设计师,外加一个统称“技术专家”的万金油岗位。

明天就能用上的几件事

  • 管企业AI的人,可以把DHS的员工政策整套抄走:一小时培训加主管批准加行为规则,开放商业工具,红线写清楚,不进个人隐私数据,AI不碰最终决定权。联邦政府都敢这么开,多数公司没理由捂得更紧。
  • 想上大模型又怕信息安全的团队,先查FedRAMP市场这类认证名单,别急着自建GPU集群。博伊斯见过的自建理由里,省钱这条几乎从不成立。
  • 找AI切入点,优先做质检,别一上来就搞自动化:让模型当“第二双眼睛”,94%提到99%,不碰决策权,阻力小,信任涨得快。
  • 开会开成黑洞的组织,学AI Corps的规矩:想法先写成1到2页文档,相关方书面点头,再开会要资源。

想加入的,去 dhs.gov/ai/join;想盯联邦AI岗位的,去USAJobs设个AI和机器学习的关键词提醒,ai.gov上也挂着各机构空缺。想卖服务给政府的小公司,博伊斯留了话:政府不只买产品,也买服务,小企业通道比大厂灵活得多,流程看着吓人,开口问就能拿到足够信息判断值不值,他欢迎有人在LinkedIn上直接找他。

In this episode of The Cognitive Revolution, Nathan interviews Michael Boyce, Director of DHS's AI Corps, about bringing modern AI capabilities to federal government. We explore how the largest civilian AI team in government is transforming DHS's 22 agencies, from developing shared AI infrastructure to innovative applications like AI-powered asylum interview training. Join us for an insightful conversation about the intersection of artificial intelligence and public service, and discover why AI professionals should consider a career in government.
Help shape our show by taking our quick listener survey at https://bit.ly/TurpentinePulse

SPONSORS:
Shopify: Shopify is the world's leading e-commerce platform, offering a market-leading checkout system and exclusive AI apps like Quikly. Nobody does selling better than Shopify. Get a $1 per month trial at https://shopify.com/cognitive
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive
80,000 Hours: 80,000 Hours is dedicated to helping you find a fulfilling career that makes a difference. With nearly a decade of research, they offer in-depth material on AI risks, AI policy, and AI safety research. Explore their articles, career reviews, and a podcast featuring experts like Anthropic CEO Dario Amadei. Everything is free, including their Career Guide. Visit https://80000hours.org/cognitiverevolution to start making a meaningful impact today.

RECOMMENDED PODCAST:
Unpack Pricing - Dive into the dark arts of SaaS pricing with Metronome CEO Scott Woody and tech leaders. Learn how strategic pricing drives explosive revenue growth in today's biggest companies like Snowflake, Cockroach Labs, Dropbox and more.
Apple: https://podcasts.apple.com/us/podcast/id1765716600
Spotify: https://open.spotify.com/show/38DK3W1Fq1xxQalhDSueFg

CHAPTERS:
(00:00:00) Teaser
(00:01:00) About the Episode
(00:03:38) Introducing Michael Boyce
(00:05:49) What is Homeland Security?
(00:09:52) History of AI at DHS
(00:13:15) Generative AI at DHS
(00:16:03) Structure of the AI Core (Part 1)
(00:18:17) Sponsors: Shopify | SelectQuote
(00:20:51) Structure of the AI Core (Part 2)
(00:22:04) Opportunities for AI at DHS
(00:25:34) Bureaucracy Hacker
(00:30:34) The Manager's Role (Part 1)
(00:35:24) Sponsors: Oracle Cloud Infrastructure (OCI) | 80,000 Hours
(00:38:04) Internal Chatbot Project
(00:43:28) AI Role Playing for Training
(00:49:55) A Request for Startups
(00:57:46) Generative AI for Quality Check
(01:03:20) AI Training at DHS
(01:06:07) Metrics and the Future of AI
(01:13:26) Non-Generative AI at DHS
(01:19:08) AI and Automation at DHS
(01:23:03) Join the AI Core
(01:28:39) Outro

本集资源与出处