Transformer论文八作者之一，想用1.6亿美元训练一个不属于任何公司的模型

2017年那篇《Attention Is All You Need》有八位作者。论文署名说明里专门写到，Illia Polosukhin和另一位作者「设计并实现了第一批Transformer模型，并在工作的每个环节起到关键作用」。凭这份履历，他今天完全可以去扎克伯格的超级智能实验室拿一份传闻中十亿美元级的合同。

他在做另一件事：让有GPU的人无许可地卖算力，让出数据的人按贡献分模型收入，让用户拿到的模型可以被验证没被偷偷换过、没被悄悄降智。

这条路径很长。NEAR最初是个AI项目，中途被支付问题逼成了区块链，现在绕回AI。Illia在播客里把每一层都拆开讲了，从共识机制一路讲到AI代理的司法管辖。

一个被支付问题逼出来的区块链

Illia的起点是谷歌。他当年看到那篇「猫神经元」论文，自编码器在互联网图片上训练，某个神经元被激活就出现猫。他的判断很直接：神经网络行了，但知识和智能在文本里，不在图片里。于是加入谷歌做问答。

当时的产品就是谷歌搜索结果里的短答案，比Gemini早很多年。瓶颈是LSTM一个字一个字读，把搜索结果里的文章全读一遍要很久。Transformer的一个动机就是：怎么并行吃掉全部上下文，再给出答案。

2017年他离开谷歌，和Alex Skidanov创办NEAR AI，目标是教机器写代码。这个想法在当时像科幻，今天叫vibe coding。他们缺一两个数量级的算力，于是想了个聪明的办法：搞更多训练数据，也就是今天说的指令微调数据。让人写指令、按指令写代码。

能接这种活的是发展中国家的计算机学生。几分钱一笔，攒一天几美元，对他们是有意义的收入，还能练手。

问题来了：怎么付钱。

中国的学生没有银行账户，有微信支付。乌克兰当时有法律，账户收到美元必须卖掉一半。有些国家PayPal进不去，TransferWise也不通。

我们只是想用区块链解决自己付钱的问题。

2018年他们调研了一圈，结论是现有区块链都不scale，慢、难用、难在上面开发。那就自己造一条，以为六个月能搞定。主网2020年10月上线。现在1500万月活。

这段历史值得记一笔：一条今天市值几十亿美元的链，起点是给中国学生发几美元。

权益证明到底在证明什么

Nathan的铺垫很好：比特币工作量证明，全网耗电比得上波兰。权益证明省电，但要靠激励设计。

Illia把问题拉回到个人视角：你看到的状态是不是真的？别人骗你有多贵？

比特币伪造一小时历史大约200万美元。权益证明引入最终性，只要三分之二质押不作恶，历史没有分叉的可能。NEAR从2020年10月主网起，每一笔状态转换都能从头验证。

验证者是谁：生态里的项目公司、Vodafone、NTT、交易所、大学、独立开发者。有人拿八年前的笔记本跑节点。加入无许可。

Nathan追问Stripe支持的Tempo，先可信验证者再逐步开放。Illia说无许可确实是光谱，关键差别在审查：许可链的验证者如果不喜欢你，可以不打包你的交易，你的AI代理在链上寸步难行。他举商业例子，支付处理商被竞争对手控制是什么后果。他在乌克兰经历过几家银行关门，对这件事敏感。

身份不靠见面。公钥密码学加质押。你可以是可口可乐，但没人信，直到官方账号发推说这是我们的验证者地址。你可以是只猫，可以是AI，有资本质押就行。

惩罚叫slashing，按参与作恶的质押比例来。节点配错了只罚很小一部分，大规模协同攻击才罚到肉疼。

51%攻击这个说法容易误解。网络本身永远「正确」，被攻击的是某个接收方。有人伪造一笔十亿美元转账，你得有三分之二质押才演得出来。所以大额交易多等一会儿确认。买五美元十美元的东西，网络安全性远远过剩，立刻接受。

1%到5%的隐私税

Illia的判断：AI找漏洞越来越强。你拿一个刚公开的漏洞让LLM跑，不用怎么prompt就能在代码里找出问题。Linux的零日也有人这么挖出来。网络安全是单边的，证明自己没有漏洞极难，找漏洞越来越容易。社会工程攻击也一样。

他的解法是数学。形式化验证，在你使用系统的那一刻，拿到一份证明：这段代码满足你的要求。火星车当年做过，但只做一次，代码一改就作废。AI现在数学奥赛能拿金牌，可以把这个过程的成本打下来。区块链是信任根，先把它形式化验证。

NVIDIA大约一年前支持机密计算。芯片和Intel、ARM、AMD的CPU连起来，进入机密模式后，连硬件运营商都看不到里面在算什么。用户建立加密通道，把请求送进安全飞地，模型在里面解密运行，结果加密返回。同时给你一张证书：这个模型在你的输入上跑过，输出是这个，中途没被换、没被量化降智、没被注入prompt。

成本是1%到5%的开销。对比一下，零知识证明大约慢1000倍，全同态加密慢1000到10000倍，而且ZK只给可验证性，算的人还是看得到你的数据。

限制是单机8张GPU。100B以上参数的开源模型都放得下。跨机还在做。

信任落在哪：芯片制造商。2纳米工艺，硬件级攻击成本极高，而且系统里你没法挑目标，攻击者可能只拿到一个问「选哪只猫」的随机请求。剩下的风险是NVIDIA的密钥管理，这块要靠他们自己的安全流程，也需要外部验证。

这段解释了一个很多人好奇的现象：前沿模型公司怎么敢把模型交给那么多推理伙伴。机密计算给了答案。

模型开发者面前有两条烂路：开源，赚零；闭源，自己买算力，把权重传给 hyperscaler，有被偷的风险，新模型还没用户就得签两年算力合同，用户多了算力不够又要加钱。

NEAR的方案是加密上传权重，在机密环境里解密，按调用付费。开发者不预付算力，不碰用户数据，不用处理GDPR、HIPAA、SOC 2。

把1.6亿美元的模型拆成股份

Nathan提到Dario的说法：每一代模型单看是赚钱的，Claude 3花1亿赚10亿，Claude 4花20亿赚更多，下一代要花更多。这个发展循环很怪。

Illia的路线图分四步：推理、模型上传、基准市场、微调、从头训练。

训练一个100B以上模型，他估计1.6亿美元，而且这个数在降。

基准市场是中间最容易被低估的一环。任何人都能建基准，比如预测未来、天文、海洋。企业可以拿私有数据跑评估，数据不出机密环境，结果公开可验证。今天你做不到这件事：拿不到OpenAI中间模型的权重，也不想把私有数据传给对方。

然后是微调。一个海洋研究所有一屋子数据，不会调模型。它可以和一个会调的人合作，数据不出安全环境，模型收入按约定分给数据方和开发者。

从头训练最难。数据过滤、课程构建这些环节可以拆出来开放竞争，用小模型测谁的课程构建器更好，再把赢家放大。PII过滤流程开源，让人审查。NEAR Crowd和PublicAI做数据标注众包，就是Scale AI那种活。

谁来决定哪个模型好？Nathan问得很尖：eval有人信有人不信，有些项目全靠vibes，vibe checker谁来当？

Illia的答案是把品味也做成市场。他想训1.4万亿参数模型，就发一个代币，把算力、数据、研究的份额分出去，他自己当tastemaker挑组件。同时别人可以训70B，用同一套框架，便宜、跑得快，占住另一批场景。收入按使用分给代币持有者。基准的prompt可以公开，也可以私有但披露来源。你可以有「Illia的vibe基准」，也可以有「美国银行的测试」。

Nathan问数据库会不会爆炸。NEAR是分片的，每个节点存一部分数据和执行，加节点就扩容，和谷歌、Meta的做法一样。这也解释了为什么需要更多验证者。

AI给链补脑，链给AI上锁

Nathan的框架：智能合约一直不太smart，需要便宜好用的纠纷解决；AI需要牢靠的护栏。

Illia说两条线并行。NEAR Intents，用户或AI表达意图，从「今晚想吃披萨」到「在这块地盖楼」。系统负责发现谁能做、谈成商业协议、出问题处理纠纷。AI先跑一遍纠纷解决，看链上记录、看双方私有数据做discovery。传统法律discovery花几百万美元，AI可以压到很低。不满意再上法院，前面的工作都能复用。这个从crypto交易起步，往电商扩。

另一条是自主代理。智能合约的本质是一个自主存在、有资金、不依赖任何人的实体，缺点是几行代码，很笨。现在把AI大脑放在去中心化算力里，智能合约负责执行。例子：一个代理启动时拿到1万美元，团队拿不回来，它按Twitter情绪交易，赚了4000美元。未来公司的章程就是prompt，股东给反馈、升级模型。

AITP负责代理之间的通信。

治理实验：AI参议员，人们投票给AI，AI去做深度研究、形成政纲。Illia说这能消掉委托代理问题，人选上去会按自己的议程走，AI不会。

Nathan的担忧很实在：1亿个收不回的代理放出去，治理又委托给AI参议员，这不像接管配方吗？

Illia的答案是jurisdiction。AI要在物理世界做事，需要一个法律实体、一个司法管辖，法院对它也有执法权。链上透明，现实的法律框架还在。

明天能做什么

• 如果你在部署开源模型，查一下NVIDIA机密计算能不能开。1%到5%的开销，换来「我们看不到你的数据」这句话可以写进合同。客户问数据怎么处理时，这比一份隐私政策有用。
• 如果你的产品调用第三方模型，把「模型版本可验证」写进采购条款。现在没人能证明晚上和白天跑的是同一个模型，机密计算加执行证书是第一个能拿出来的证据。
• 做AI应用的人盯住意图协议和AI纠纷解决。交易、租赁、外包这类场景，纠纷成本高到很多生意做不成。AI把discovery成本打下来，会出现新的产品空间。
• 用LLM扫一遍你手上的智能合约和依赖。Illia说现在不用怎么prompt就能找出漏洞，NPM供应链攻击刚发生过，这件事明天就能做。

Illia从Transformer走到区块链，中间隔着一笔付不出去的几美元。基础设施的故事往往这样开始。