16K 上下文只装得下三百多行表格，Gretel AI 创始人聊合成数据的真生意

一个几千人的病人数据集里，患某种罕见病的只有十几个人。样本太少，模型学不会，检测系统一直上不去。回医院重新收集数据？成本高到不现实，原始实验也没法重来。

Gretel AI 的解法：让模型照着这十几个病人的特征，生成一批合格的新样本，把稀有类别撑起来，再拿去训练下游模型。检测效果变好了。

这期 Cognitive Revolution 的嘉宾 Alex Watson，是 Gretel AI 的创始人和首席产品官。这家公司 2020 年成立，现在 65 个人，专做表格数据的合成。主持人 Nathan Labenz 是创业者和 AI 投资人，问题抠得非常细，从质量评分一路问到差分隐私的数学保证。

假数据听着像糊弄事，听完这期会发现，合成数据可能是普通公司碰 AI 门槛最低的入口之一。

假数据是门真生意

Alex 的履历跟数据隐私绑得很紧。Gretel 之前，他联合创办了安全公司 Harvest AI，做云端敏感数据扫描，2016 年被 AWS 收购。之后他在 AWS 当了四年总经理，负责 Amazon Macie，一个扫描 AWS 云上个人数据的服务。

Macie 上线第一周，涌进来 6000 个客户。团队要在 PB 级数据上跑命名实体识别，找出哪里存着姓名、邮箱、信用卡号。Alex 在那里看到两件事：连 Pinterest、Airbnb 这种顶级数据公司，内部数据访问都搞得焦头烂额；而 AWS 内部有个 500 人的合规团队，能让数据又好用又合规。差距就是工具。

Gretel 这个名字来自童话里的面包屑。原始愿景是让那些「碰不得」的数据变得能共享：医院之间共享病历，金融机构之间共享数据，但不泄露任何个人隐私。

2020 年，疫情爆发前一周，他们发布了第一个开源项目。那时候还没有 transformer，用的是 LSTM，还跟 Google TensorFlow 团队合作了 DPSGD 技术，也就是带差分隐私的模型训练，确保模型不会背下秘密。第一个实验的问题很朴素：语言模型能不能不学文字，改学一个数据集里的统计分布？

答案是能，而且很快就派上了用场。开头那个罕见病案例来自加州大学欧文分校的研究者：几千个病人里，罕见病患者只有十到二十个。Gretel 用合成数据把少数类样本补上去，下游模型的检测能力跟着提升。

到今天，Gretel 的业务大致五五开。一半是把合成数据当作安全共享的工具，隐私保证可以做到数学上可证明；另一半是改进机器学习训练集，从欺诈检测、广告推荐到文本数据都算。

「客户的数据一团糟，有缺口，想要新样本造不出来，回去重新收集又太贵。所以我们全部的努力，就是帮你把数据变得更好。」

这是 Alex 对公司定位的概括。更好的数据，要么更准确，要么更隐私。听着朴素，但合成数据的所有想象空间，都从这句大白话里长出来。他还给了一个常被忽略的背景数字：企业里 80% 到 85% 的数据，都以结构化或半结构化的表格形式存在。大模型聊得再多，大多数公司的家底还是表格。

假数据怎么让人信

用假数据做分析、做透视表，听起来就不踏实。Nathan 直说，他需要一套能信的理论。他做咨询时跟 Rocket Mortgage 打过交道，客户数据的访问权限管得极其严格，核心数据集根本不可能随手拷给别人。约束是真的，问题是假数据凭什么可信。Alex 拆了 Gretel 的做法。

第一步，让模型学会复现真实数据的分布。训练完之后，从模型里采样出跟真实数据量一比一的数据，然后「把统计学的厨房水槽全扔上去」：算字段两两相关性、逐字段看分布、再做 PCA 算距离，最后合成一个 1 到 100 的质量分。经验值是 80 分以上，就能胜任大多数机器学习场景；低一点的用途可能是软件测试，做透视表就别指望了。

第二步更实际：平台会自动拿合成数据跑一遍下游任务，回归也好分类也好，直接看效果。很多客户用 Vertex 或 SageMaker 跑这类验证，Gretel 干脆把这步做进了产品。

生成侧还有一道保险，叫验证器。模型每次输出，验证器会拿它跟训练数据比对，偏差太离谱的直接过滤掉。表格数据里，它保证不会凭空造出一个 135 岁的人；文本数据里，它负责拦住模型突然的胡言乱语。没有人能逐行检查一百万条数据，所以质量控制必须自动化。

这期里最有意思的反转来自医疗行业。HL7 是全球主要的医疗数据标准组织，旗下 FHIR 是当今最流行的医疗记录格式。他们在一场专门讨论合成数据的会议上，反馈跟 Alex 职业生涯里听到的所有需求都相反：MITRE 开源的患者数据生成器 Synthea 做了四五年，纯统计方法，医疗圈嫌它生成的数据「太干净」，拿去做机器学习反而不行。真实数据是有毛边的，合成数据得保留一点随机性，但又不许疯。

Nathan 补了个类比，图像领域早有先例：训练时故意给图片加噪点、变形、裁切，模型见过这些「脏」样本，到真实世界反而更稳。

上下文装不下百万行，agent 来拆活

Gretel 最近发布了 Tab LLM，一个用自然语言操作表格数据的模型，核心是 agent 规划加执行的架构。预训练数据是爬来的：GitHub、Kaggle 上所有开放许可的数据集，还有个讨巧的发现，机器学习论文的 readme 里经常直接挂着数据集链接，连许可证都能一起拿到。

为什么大模型干不了这活？Alex 算了笔账：16K token 的上下文，按每行 50 个 token 算，也就装三百多行数据。普通人手上的数据集比这大几个数量级。GPT-4 见过的表格，基本是维基百科上几百行的小表，它根本没学过大表里跨几万行的微妙关系。

今天没有任何 LLM 能一口气生成十万行、百万行的数据集，也没法直接编辑你的整个数据仓库。所以 agent 的第一件事，是把用户的复杂指令拆成 LLM 一次能消化的小任务。Alex 打了个比方：让 GPT-4 写一本书，你会得到一篇短文；正确做法是拆成先写引言、再推进人物弧光、最后写结局，一章一章来。

实际指令长这样：「生成一个 11 月销量有尖峰的演示数据集，我要一百万行」，或者「把我整个数据仓库里的温度从摄氏改成华氏」。

架构里还有个关键分工：agent 会判断哪些活该写代码，哪些才需要 LLM。递增 ID、单位换算这种事，写段代码跑一遍，答案百分百正确；让 LLM 算，它只会「大概齐」。摘要一条评论是正面还是负面，这才轮到语言模型上场。该计算的用代码，该理解语义的用模型，两边的输出拼回同一张表。

Nathan 在这里捕捉到一个容易被忽略的细节：语言模型每一步输出的是分布，采样才产出具体结果。表格生成的评估单位是整行，一行里所有字段一起看，这跟逐 token 评估文本完全是两套逻辑。

RLHF 反着用：把模型调得更「随机」

Nathan 在这期里贡献了一个很锋利的观察。他的产品给全球用户写视频脚本，法语、小语种、各种长尾场景随时冒出来，微调 GPT-3.5 的样本库里根本没见过。他想补几条训练样本，比如法国用户的案例，可他连法国邮政编码的结构都不知道，自己编就是垃圾进垃圾出。问 GPT-4 要？他不敢。RLHF 调教过的模型太「乖」了，让它给个随机数，42 和 97 出现的频率高得可疑。用这种模型造数据，代表性根本没保证。

Alex 的回应有意思：Gretel 拿 RLHF 干的事，方向恰好相反，训练模型输出更多样。比如要某个邮编区域的人口统计特征，现成模型会返回美国平均画像，千人一面；Gretel 把模型调成主动返回更多元、更贴近真实分布的结果。

为什么光调温度不够？Nathan 提议用温度滑块解决问题：温度 0 给最可能的输出，温度 1 还原真实分布，温度 2 让少数群体超额出现。Alex 说，碰到极端不平衡的数据，温度拧到多大都没用，占比 1% 的类别就是很少出现。想要明确的控制权，得靠训练，靠损失函数指方向。

企业场景里，「关掉护栏」的需求真实存在。有客户专门生成鱼叉式钓鱼邮件，用来测试自家的钓鱼检测系统；医疗公司想扩充病人记录的样本，很多模型直接拒绝，以为你在干坏事。Alex 的态度是，企业用户需要的控制维度，跟消费者用聊天机器人完全两码事。

他还引了 Pinterest 工程博客的例子：搜婚戒，结果里应该出现不同肤色的手。这种时候多样性是美德。但广告推荐是另一番景象，给一千个人推广告，点一下的也就一两个，正样本占比千分之几。模型必须从这撮稀有的点击里学出东西，再生成有意义的新变体。多样性什么时候要、什么时候不要，控制权得在用户手里。

让模型学会病，别学会病人

隐私是 Gretel 的老本行，这部分聊得最硬核。

「我们希望模型学会一种病，但别学会一个病人。」

从零训练的语言模型，对训练数据里的秘密有极强的记忆和复述倾向。2019 年伯克利出的 Secret Sharer 论文，宋晓冬团队参与，专门量化了这件事：模型多快就能记住数据里只出现过一次的内容，以及它被「套」出来的概率。

Nathan 分享了自己的反向实验：拿自己的文章和简历微调 OpenAI 早期的微调接口，把轮数拉满，模型始终没学会自称 Nathan Labenz，只偶尔冒出个「Nathan 什么什么」。Jeremy Howard 却说 LLM 一条样本就能记住。Alex 解释，大规模预训练模型上做小幅微调，记忆藏得更深、更难检测，但风险一直都在。业内的做法是微调完跑一套「金丝雀」测试，比如诱导模型补全一个信用卡号，看它吐不吐出来。

Gretel 的防线有两层。第一层，先把 PII（姓名、邮箱这类个人标识）直接删掉。第二层才是坑：单独无害的属性，组合起来能定位到人。删了名字没关系，身高加邮编加某种病，一拼就是唯一身份。文本里的写作风格，同理。

对付组合泄露，答案是差分隐私。原理说穿了不复杂：训练时往优化器里注噪声、对梯度做裁剪，让「我叫 Alex，身高六英尺，住在南加州」这种罕见组合没法被模型完整记住再吐出来。它能给出数学级别的保证：给定某条训练样本，模型无法复述它。

代价是精度。数据集太小，噪声占比就大，Gretel 的经验是 10 万行以上才划算。美国人口普查局、Google 和 Apple 的输入法预测，都是在海量数据上用这套技术。新研究还给出了补偿方案：把 batch size 加大，再混入公开数据，多花算力，精度能追平不用差分隐私的水平。

这套东西的实际效果：几家国家级医疗组织已经拿到审批，用合成版病历在医院之间共享数据。光删名字过不了关，带数学保证的合成病历才算数。

越喂越傻，还是越喂越强

合成数据圈流传一个吓人的论文标题，大意是「自我吞食的生成模型会发疯」：生成数据喂下一代模型，一代代下去就崩了。Alex 站在「细节没调好」这一边。他的论据是，LLM 今天完全有能力输出比输入更干净、更多样的数据，就像大家用 Grammarly 改文章。微软的 Textbooks Are All You Need 论文是另一个证据：一个 10 亿参数的小模型，靠一小撮高质量合成教材数据，干出了远超体量的成绩。

Gretel 自己的模型预训练量是 5000 亿 token，按 Nathan 打听到的消息，GPT-4 大约是 10 万亿。差着 20 倍，Alex 也不想追。轻量、快速、领域专用的小模型，配上大模型做意图理解，这个组合够干很多事。大模型负责听懂用户想要什么，小模型负责快速生成数据。

聊到监管，Alex 基本乐观。拜登的行政令和英国 AI 安全峰会，说明该关注的事有人在关注。但他也提了自己的处境：Gretel 才 65 个人，养不起百人规模的合规团队，监管别把小公司的创新空间挤没了。Nathan 补了句吐槽：那份 100 多页的行政令，主要内容是要求再交几万页报告。更让 Nathan 在意的是算力竞赛，5 万张 H100 跑一百来天，算力就能再上一个数量级，耗电抵得上一座小城市，直冲 10 的 30 次方之后会冒出什么，没人知道。

更深一层，两人聊到了 AI 的终局形态。Alex 的立场接近 Eric Drexler 的「综合 AI 服务」：一堆窄域的专家小模型，可审计、可理解，由一个「足够聪明」的调度模型串起来，比造一个没人看得懂的超级智能更靠谱，也更像人脑的分工方式。

Nathan 最后给这期起了个漂亮的总结：Gretel 的架构里，生成数据的模型就该当一只「高保真的随机鹦鹉」，随机性本身就是价值；负责规划的模型才需要可靠。随机鹦鹉和推理引擎，原来可以各干各的，各得其所。

节目结尾 Alex 开了个玩笑，算是给「模型退化」争论定了调：只要下一代模型的输出别总是以「我是一个有用的 AI 助手，请问有什么能帮您」开头，方向就没跑偏。

最后，几件明天就能用上的事：

• 数据类别不平衡，先想合成数据。欺诈检测、广告点击、罕见病样本，都可以用合成数据补少数类。Nathan 的经验值：微调时在几百条样本里掺 5 到 10 条针对短板的高质量样本，就能让模型学会一个新模式。
• 别用 GPT-4 直接造训练数据。它太乖，随机性没保证，代表性靠不住。领域数据交给专门工具，或者至少先查一查它给的分布对不对。
• 微调模型前做两步检查：删干净 PII，再排查属性组合，邮编加身高加病症这种组合就能锁定一个人。合规敏感的场景，认真评估差分隐私。
• 生成完的数据必须验证。跑一遍下游任务，或者查字段分布和相关性，80 分以下的数据别急着喂给模型。
• Demo 数据和测试数据，今天就能换成合成的。这是合成数据最成熟的用法，风险最低，见效最快。