# 准确率从93%跌到7%你却毫无办法，密码学要给AI装上行车记录仪 > Cognitive Revolution No. 59 中文精读 - 原标题：Cryptography Will Revolutionize AI Data Privacy with Daniel Kang - 发布日期：2023-09-05 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/059-cryptography-will-revolutionize-ai-data-privacy-with-daniel-O9sWKx.html - 精读字数：约 5196 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2023年，斯坦福和伯克利的研究人员连续跟踪ChatGPT的表现，发现同一个任务上的准确率从93%一路掉到7%。模型名字没变，价格没变，中间发生了什么，用户不知道，也没法查。OpenAI确实会在没有任何警告的情况下更换你正在调用的模型，付费用户也不例外。 这期Cognitive Revolution的嘉宾Daniel Kang想解决这个问题。他是伊利诺伊大学香槟分校的计算机科学助理教授，此前在斯坦福读博，这两年做了一件相当超前的事：把零知识证明引入机器学习推理。目标拆开是两句话：让模型服务商证明「我跑的确实是我承诺的那个模型」，让普通用户证明「我是人类」，同时不泄露任何一方的隐私输入。 主持人Nathan Labenz是创业者兼AI投资人，他说自己为这个话题找了好几个月的合适嘉宾，因为懂AI的人大多不懂密码学，懂密码学的人又很少碰AI。这期对谈从动机讲到数学再讲到应用，下面按四条线梳理。 ## 隐私和真实性，为什么只能二选一 先看一件正在发生的事。AI生成的照片已经以假乱真，自从那个著名的「此人不存在」网站上线，一张方形头像照已经不足以证明屏幕对面是个人。于是自拍验证开始流行，很多服务要求你拍一张脸来证明自己是真人。Daniel提到，交友软件是这类人脸验证服务最大的客户之一。问题在于这些服务的工作方式：把你的生物特征数据直接上传到服务器。 Nathan补了一句观察：证明「我是人」的手段正在不断升级，生成模型每进步一轮，旧验证就失效一轮，而每升一级，用户交出的隐私就多一层。这个螺旋看不到自然的终点。 > 「这里面有很多潜在的问题，包括被用于监控的可能。不用密码学的话，据我所知没有办法绕开这个困境。但密码学给了我们一把锤子，让我们绕过隐私和真实性之间的根本权衡，这正是我真正兴奋的地方。」 另一类问题Nathan起名叫「模型欺诈」。你花钱买了某个模型的推理服务，怎么知道对方真的跑了那个模型？轻则是服务商偷懒，换个更小更便宜的模型省成本；重则是恶意攻击。Daniel举了医疗场景：一个恶意攻击者甚至国家级对手，可以翻转癌症筛查模型的结果。没病的人被误诊出癌症，接受伤害身体的过度治疗；有病的人被告知没事，拖到错过治疗窗口。今天没有任何办法验证，一份医疗AI诊断是否真的出自那个通过FDA认证的模型。 Nathan还提到了WorldCoin，就是那个用银色球体扫描虹膜、给每个地球人发唯一ID的项目。Daniel对这类方案的评价很直接：你得走到一个orb面前，然后信任一家公司不会卖掉你的虹膜信息，而这类事情据说今天正在发生。他想要的是另一条路：既证明真实性，又不用把敏感数据交出去。 ## 三步协议：承诺、证明、验证 零知识证明是个大家族，Daniel用的是其中一种叫ZK-SNARK的形式。它的核心能力是：证明某个计算被忠实地执行了，但不泄露计算的输入。对AI推理来说，输入有两份，模型权重服务商不想给，用户输入用户不想给。证明系统可以让双方各藏各的，只公开最终结果。 整个流程分三步。 第一步，承诺。服务商把模型架构和权重做成密码学哈希，提前公布。哈希可以理解成一台单向搅拌机：一大坨数据倒进去，出来一串固定长度的字符，从输出反推输入在计算上不可行。这里有个容易被忽略的细节：模型权重本身的熵可能不高，容易被猜解，就像最常见的密码就是password这个词一样，所以要「加盐」，在权重末尾拼上一串随机比特再做哈希，让结果接近随机。Daniel提醒，密码学没有严格的数学证明说这些函数永远不可破解，但哈希保护着比特币网络和数十亿美元资产，几十年实践里没有被打穿的案例。 第二步，证明。技术名词叫「算术化」，把模型的前向计算翻译成证明系统能吃进去的格式。Nathan以为这里面有近似，Daniel纠正了他：**这个翻译是精确的一一映射，没有任何近似**。线性代数部分直接对应有限域上的多项式运算，ReLU、tanh这类非线性激活函数用查找表处理，每个可能的输入对应的输出都被穷举式预先算好，查表即得精确值。Nathan猜查找表得有上亿个条目，Daniel说量化之后用不了那么多，大约2的15次方量级，几十万个条目就够。 量化会不会损失保真度？Nathan本来以为这是这套系统的硬性要求，Daniel再次纠正：零知识证明什么都能证，包括完整的浮点运算，只是出证明会慢很多。**量化是效率选择，不是有效性要求**。顺便说一句，量化在工业界早已是标配，Daniel提到马斯克透露过特斯拉车上跑的就是量化模型，Google和OpenAI的线上服务同样如此。 为什么是多项式？Daniel给了一个直觉：NAND和NOR两种逻辑门可以组合出任何计算，多项式在足够多的变量下也能表示任意计算。而有限域上的多项式有个神奇性质：两个不同的多项式，在一个随机点上取值几乎必然不同，哪怕系数只差1。于是验证不用检查所有系数，随机抽查一个点就够了。这套构造里还用到一个随机大素数，行话叫「有毒废料」，因为没人能反推它，秘密就藏在这里。 有限域听起来吓人，直觉上就是一组从0到某个大素数的整数，数到头就绕回0，加减乘都发生在这个圈子里。多项式在普通数学里是曲线，在有限域里变成一堆同余关系，但「随机点几乎必然不同」的性质保留了下来，整个证明体系的地基就是它。 第三步，验证。用户拿到两样东西：模型输出，和一份证明。证明可以理解成整个计算的哈希，用户在本地跑一个检查，确认权重哈希、架构、输入都对得上。验证比证明便宜得多，因为证明者要老老实实处理完整多项式，验证者只需在随机点算一次。 那模型权重会不会因此泄露？Daniel用Twitter打了个比方：Twitter开源了推荐算法，你拿到了完整的PyTorch架构，但你跑不出Twitter的时间线，因为你没有它的权重和数据。验证密钥同理，它等于架构加哈希。你可以拿自己的权重去跑，但哈希对不上，只有掌握真实权重的一方才能产出通过的证明。**这套机制不仅证明计算跑过了，还让证明者想作弊都没门：说好用模型A，就换不成模型B**。 ## 1万倍的成本，和正在下降的曲线 Nathan在这期节目里承认了自己最大的一个误解。他原以为零知识证明是概率性的，置信度靠堆计算换。Daniel澄清：**单条证明本身不可伪造，是精确保证**。概率性出现在另一层：想估计GPT-4在某个任务上的准确率，测试集有10万条，逐条出证明太贵，那就抽100条出证明，用统计方法近似整体。证明是地基，抽样统计是盖在地基上的楼。 代价是实打实的。按论文数字，**生成证明的成本大约是普通推理的1万倍**。Nathan算了笔账：做1万次推理、只证明其中1次，总算力账单翻倍。GPT-4按每千token几美分计价，乘以1万倍，一次可验证推理要几百美元，接近人类仲裁者的报价。 Nathan抓住了一个关键推论：这套验证不需要平台，不需要信誉体系，也不需要监管者在场。两个人就能完成，一方出模型，一方出输入，只要愿意付这笔算力税，谁也别想骗谁。他把这称为全期最大的认知更新之一：**从概率性保障到精确性保障，从依赖信任到数学保证**。 成本曲线在快速下移。Daniel预告了几个月内要发表的新工作，某些类型的模型成本能降10到100倍。Transformer结构的模型因为计算布局特殊，降幅会小一些，但密码学侧和多项式计算侧的新进展几乎每几周冒出来一次。他的估计是，几年内整体成本有望降到普通推理的100倍左右。 Nathan还替开发者问了一句：OpenAI现在怎么样了？答案是比以前好一点。OpenAI最近推出了按时间戳冻结权重的机制，新版本上线时给开发者留出重新验证和迁移的时间窗口。但Nathan补了两个洞：**这一切建立在信任OpenAI的前提下，不信任的人拿不到任何保证；市面上大量其他服务商连这种机制都没有**，声誉更弱，偷换模型的动机却更强。密码学方案的价值恰恰在于把「信任」换成「验证」。 ## 从智能合约到老房子的墙皮 智能合约是Nathan最感兴趣的方向。他做过GPT-4红队成员，测试过让模型做基础调解和纠纷解决，效果不错，多模态能力上来之后，照片、录音都能作为证据进入流程，第一线的AI纠纷解决开始显得可行。他的判断是：智能合约这些年一直被「智能」二字拖累，显式代码处理不了真实世界的复杂性，尤其纠纷，人们还是想要一个讲理的地方。语言模型补上了这块，但新问题立刻出现：仲裁用的到底是哪个模型？双方都得认，而且提示词措辞稍有不同，结果就会不一样。 Daniel认同方向，但给出两个现实障碍。一是成本，刚才算过，GPT-4费用乘1万倍，又回到人类仲裁员的价位。二是合同纠纷里的人性复杂度。他顺带给了一个个人判断： > 「我个人认为律师会是最后被自动化的群体，因为人们不喜欢让一个随机的机器来决定自己的人生。」 Nathan举了个更接地气的例子。他有一栋老房子，需要找承包商做各种奇怪的修补。个体承包商很难建立信誉，预付款可能被放鸽子，出了纠纷无处说理。如果有一种10美元量级的追索机制呢？开工前用可认证相机把墙面拍照存证，完工后用双方事先约定的模型判断修得符不符合承诺，钱该不该退，模型说了算，谁也没法赖账。 这里Daniel补充了一个开放权重模型的细节：即使双方都用开源模型，零知识证明仍有用武之地。智能合约本身跑不动标准代码，需要用证明来确认模型按约定执行；而且发布到区块链上的内容是公开的，你大概不想把家里内部照片挂上去，证明机制可以只公开结论、藏起图片。 把视角拉远，Nathan总结了这个技术的位置：AI智能体正在被疯狂投入研发，未来人会经常需要证明自己是人，智能体和模型也需要证明自己跑的是承诺过的东西。凡是「谁该被信任」出现问题的地方，这套技术都有戏。 ## 每台iPhone里已经躺着答案 对抗深度伪造，Daniel押注的是可认证设备：在相机传感器输出比特的地方，紧挨着放一个硬件，先对数据做哈希并签名，再让数据进入系统的其他环节。这样一张照片就能追溯到物理来源，AI生成的假图无法冒充实拍。配合时间戳机制，还能进一步确认照片拍摄于某个时刻。 Nathan追问成本，问这种硬件会不会贵到没法普及。Daniel透露了一个细节：**每一台iPhone今天就已经内置Secure Enclave安全隔区，只是没有接到摄像头上，也没对开发者开放接口**。把它接上，他的猜测是增加1到10美元的硬件成本。用户侧也不用付代价，拍照时想走签名通道就走，想正常拍就正常拍，两条路并存。缺的只是厂商动力，而这正好是监管可以介入的地方。Daniel在节目里公开喊话：如果听众里有研究这类政策的人，他很愿意聊。 Nathan顺着监管思路往下推了一步。他的观察是，AI安全讨论里大家总在找关键控制点，比如给GPU装遥测，而手机厂商就是现成的关卡：全球拍照量的大部分发生在少数几家厂商的设备上。如果硬件成本只要几美元，立法要求新手机支持媒体签名，听起来比大多数AI监管提案都更可执行。Daniel的回应很谨慎，硬件内部的事只有苹果自己最清楚，但1到10美元的量级判断他愿意押。 这套东西组合起来，就是Daniel眼里的终局：手机拍下你的脸和驾照，本地跑模型，最后只向验证方透露一句「我是美国公民，年满21岁」，其他信息一概不出设备。验证人类身份和保护生物特征数据，从此可以同时成立。对服务商也有好处，敏感数据不出现在自己服务器上，泄露的风险和责任跟着消失。 谈到未来图景，他的参照物是HTTPS。今天你录播客、刷网页，浏览器角落那把锁背后的TLS协议在默默工作，没人需要理解它。**他希望可验证的AI推理最终也变成这样的隐形基础设施：平时无感，关键时刻可审计**。拍了X光片，设备自动签名，医疗AI给出诊断时附上证明，出了纠纷随时回查。他还有一个现实的锚点：高收费律师的账单有多贵大家都知道，如果纠纷解决能自动化到普通人用得起，这套技术的价值才算真正兑现。 ## 明天就能做的事 零知识证明离大规模应用还有距离，但这期节目里有几件事，读者明天就能用上。 - **锁定API的模型版本**。OpenAI已经推出按时间戳冻结权重的机制，开发者可以指定固定版本，新模型发布时自己决定何时迁移。别用会漂移的默认别名，把版本号写死在代码里，出问题时至少能对上号。 - **把可验证性列入供应商评估清单**。问每个模型服务商：能否承诺模型版本？能否提供审计手段？OpenAI好歹有声誉约束，新出现的小服务商什么都没有，更要问。 - **对「AI内容检测」类产品保持清醒**。Daniel的原话是，以现有技术，你根本无法分辨一张图是真是假。事后检测这条路走不通，源头签名才是他看好的方向。重要文件、合同、现场照片，尽量保留原始设备和原始文件。 最后记下Daniel的下一步：几个月内发表降本10到100倍的新工作，以及一套针对机器学习模型的定向审计方法。1万倍降到100倍，从「荒谬」到「昂贵」，再到HTTPS式的无感，这条曲线值得盯着。