GPT-4写SQL，超过4张表就崩：给企业AI装一颗知识图谱的“大脑”

把同一个业务问题丢给GPT-4，让它写SQL去查企业数据库。只给表结构，生成的查询错误率高到没法用；把知识图谱一起塞进提示词，准确率直接翻三倍，来到60%左右。

这是data.world AI实验室负责人胡安·塞奎达（Juan Sequeda）2023年发布的基准测试结果。还有一条更扎心的：凡是需要联接超过4张表才能回答的问题，GPT-4写的SQL全部失败。

在Nathan Labenz主持的Cognitive Revolution节目里，这位研究语义网出身的科学家把企业数据的真实状况摊开来讲：演示视频里一句话出报表的魔法，进了企业就会水土不服，而知识图谱可能就是大模型进入企业的那块跳板。

一家从第一天就用图架构的公司

data.world成立于2016年，做企业数据目录（data catalog）。胡安的类比很直白：图书馆的卡片目录。一家公司有几百个数据库、几万张表、无数张报表，总得有个地方记录什么数据在哪、谁在用、从哪来。

公司第一阶段做“数据的GitHub”，如今是全球最大的开放数据目录：超过200万用户，50万个数据集，三分之二的财富500强企业在上面，疫情期间全球新冠数据就托管在那里。data.world还是一家公益企业，章程里写着推动开放数据标准的公共使命。

技术上，这家公司从第一天起就押注知识图谱，全用开放标准：RDF做元数据模型，OWL做本体，SPARQL做图查询。客户数据一接入，自动织成一张图：数据库连着表，表连着列，报表从哪些表取数、谁建的、含不含个人信息，全部挂在一起。

客户主要拿它做三件事：搜索发现，数据科学家找数据不用再翻数据沼泽，体验类似谷歌搜索旁边弹出的知识面板；数据治理，哪些表有敏感信息、谁能用哪些数据；数据运维，血缘追踪，一张报表出了问题，顺着图能找到上游哪张表、哪条管道。

Nathan在开场还观察到一个规律：老牌数据公司普遍不怕AI创业公司的冲击，因为壁垒在私有数据和业务场景里，但大家都在撸起袖子把AI塞进产品。胡安给自家位置的一句话是：数据是AI的血液，而数据目录管理的语义、上下文和知识，恰好是大模型最缺的东西。

三十年了，毛病一个没变

胡安说，企业用数据归根结底就为三件事：赚钱、省钱、降风险。所有问题最终都服务这三件事。聊到现状，他有点忍不住：今天大家抱怨的数据问题，和30年前一模一样。云让事情变容易了些，自服务也多了，但病根没动过。

他复盘了几种典型工作方式。最原始的是“表格法”：要数据就找人，对方发一份Excel，你用VLOOKUP拼一拼出结论，下个月再来一遍。问题在于，你嘴里的“订单”和对方理解的“订单”，可能根本是两回事。

进阶的是“查询法”：干脆开数据库权限自己查。起初15行的查询，加个联接变30行，再变100行。胡安见过10到15页长、要跑20分钟的查询，结果直接放进给CEO看的报表。一个百万美元级的决策，押在一条没人说得清里面嵌了什么知识的查询上。

于是上数据仓库：花几百万美元、建好几年。等真跑出答案，和自己算了多年的老答案一对，对不上，信哪个？多数人信自己控制的那套流程。数据仓库的失败从来都是社会性的，人不信任它。再后来是数据湖，湖最后都变成沼泽。

三十年绕来绕去，缺的始终是同一样东西：含义。哪列才是真正的“理赔编号”，“活跃客户”到底怎么定义，这些知识散落在人脑里，从没被当成一等公民管理过。

胡安把从业者分成生产者和消费者：前者在后端搬数据建管道，后者找数据、建报表、跑模型。消费者圈流行说80%的时间花在清洗数据上，还管这叫“数据保洁”。他对此很反感：清洗数据恰恰是在理解业务最核心的含义，把它当杂活扫到地毯下面，才是最大的浪费。

断层就卡在生产者和消费者之间：一边用业务语言提需求，一边用表和字段交付。他看到一个新角色正在补位，叫知识工程师或数据产品经理，既能坐下来问业务的人“你说的客户是什么意思”，又能转身跟工程师对上表和字段。他打了个比方：在亚马逊买水瓶，有图片、有描述、有评价的商品你才敢买，数据也一样，而总得有人把那些信息放上去。

那篇论文：三倍准确率是怎么测出来的

先交代背景。text-to-SQL这门学问研究了30多年，学术基准上准确率动辄95%。胡安直说他不信：那些基准通常只有几张表，语义全写在表名里，和企业里几千张表、几万列的现实完全脱节。

这个基准的诞生也挺戏剧。2023年6月的Snowflake大会上，几位产品经理当面将了他一军：你们天天说语义有用，做个基准出来啊。他下了飞机就开始动手。

实验设计刻意简单。他们采用OMG发布的财产意外险行业开放标准schema，代表典型的企业级复杂度。问题按两个维度分成四个象限：业务难度上，“列出所有未结理赔”是简单题，要做聚合计算的是难题；技术难度上，两三张表能答的是简单题，要联接八九张表的是难题。

关键投入是上下文层。举个真实例子：业务上说的“理赔编号”，对应的列叫company claim number，而表里还有一列叫claim identifier，名字看起来更像，实际上完全不对。再比如“保单持有人”是role列等于PH的记录，“代理人”是role等于AG。这些语义被显式写成本体，喂给模型。

两边都用最裸的提示词、8k窗口的GPT-4：一边贴SQL建表语句让它写SQL，另一边贴本体让它写SPARQL查询。结果整体准确率差了三倍，知识图谱版本约60%，纯SQL版本只有两成上下。而需要联接超过4张表的问题，纯SQL方案全军覆没。

胡安强调这是刻意做低的基线，论文的贡献一半在框架本身：数据、问题象限、上下文层，社区可以接着往上堆。

核心论点：大模型不答题，它只写代码

整期节目最值得记住的观点是这个：大模型本身不该负责回答问题，它只负责生成代码，真正答题的是执行这段代码的确定性系统。

逻辑很朴素。大模型是概率机器，可银行账户余额不能是概率。代码就不一样了：可以推理、可以治理、可以审计、可以拿来做解释。生成的查询跑在受管控的系统上，答案从哪张表来、谁授权的、谁维护的，顺着图全查得到。

具体流程是先判断能不能答：把问题里的概念抽出来，去知识图谱里查一遍，概念全在就生成查询执行，有一个查不到就坦白说答不了。知道自己知道什么，也知道自己不知道什么，这本身就是可信度的来源。胡安的估计是，把答不了的问题拒掉之后，能答的部分可以做到90%。

他还想把“问题和答案”本身也编进图里：谁问过什么、大模型生成了什么查询、哪位数据管家盖章认定这是官方答案。下次再有人提类似问题，直接给出经过治理的答案，不用每次重新算。

说到准确性，他先反问了一句：人有多准，有人量化过吗？大家要求机器必须百分之百准确，却从不审计自己的老流程。他见过一个客户，拿着同一份报表做了好几年决策，他去查了报表的生成逻辑，发现查询里硬编码了一个0.02的系数，那是两年前一次特别折扣留下的，写的人早忘了，两年来所有数字都带着这个错误。最诚实的注解是：公司照样赚钱。所以“多准才算够准”这个问题，多数组织根本没问过自己。

主持人Nathan补了个自己的例子：播客有个月下载量暴涨，下个月暴跌，团队一度怀疑内容出了问题，查了半天发现只是那个月发了9集，下个月只发了7集，单集数据其实没变。聚合指标骗起人来，就是这么容易。

解释还要看人下菜。给业务的人讲代码没有意义，他要一句人话，外加这事该找谁确认；给工程师讲虚的，他会当场骂你在糊弄。图的好处是可以按需下钻，要多深有多深。

关于微调，他的建议是调元数据，别调数据：几十亿行天天在变，抽出来训练又贵又没用，答案还是概率的。Nathan补充自己的经验：用思维链数据微调GPT-3.5，几百个例子就能带来巨大提升，但模型靠微调学不会事实，表结构还是得放进上下文。胡安认同：行为可以调，知识得靠图。生成查询之后还能做静态分析做后处理。他顺带提醒，眼下流行的RAG是最朴素最天真的agent系统，agent和规划这件事老派AI做了50多年，别急着重新造轮子；未来的系统会把一步到位的流程拆成很多环节，每个环节调用不同工具，真正的护城河在agent框架怎么设计。

除了问答，他还列了一串正在发生的用法：让GPT看一眼schema就猜哪些列可能含个人信息，连数据都不用碰；给全球最大广告公司WPP做选题，让目录基于手头数据生成“你还可以问这些问题”，不少人看到会说这个角度还真没想到；最有劲的是知识获取，让GPT扮演苏格拉底式的访谈员去问员工“你说的活跃客户是什么意思”，一天聊二三十个人，再让GPT汇总出所有不同定义。把人脑子里的知识挖出来这件事，一直卡在得跟人聊天上，现在第一次可以规模化。

矢量数据库是功能，不是品类

节目里Nathan带来一个真实难题。他在高管助理公司Athena，客户资料全是无结构文本：访谈录音转写、纪要、聊天记录，没有任何schema。想给每位客户维护一份长期档案，难点在于信息会过时，新说法怎么覆盖旧说法。他们现在用矢量库加HyDE（假设性文档嵌入）做检索，效果还行，但不知道长期怎么维护。

胡安的回答出人意料：schema永远存在，只是隐性的。你们反复谈论的不就是客户、偏好、任务这几个概念吗，只是用词不统一。他给的操作建议非常具体：把全部文本丢给GPT，提示词就一句，“根据以下文本生成业务术语表或本体”，然后人工校对。他还观察到一个副作用：本体建好后，人的行为会跟着变，大家开始用统一的词提问，因为用这些词真能查到答案，组织慢慢长出共同语言。

架构上他判断是矢量加图的组合。Nathan提到斯坦福AI小镇论文里的记忆处理：agent定期把零散的观察整合成更高层的摘要记忆。这正好是图的用武之地，摘要从哪些原始观察来，顺着边就能追溯。至于企业存量数据，用虚拟知识图谱，别把Snowflake里的数据真搬进图数据库，加一层映射，图查询翻译成SQL执行，他们的基准测试就是这么跑的。

对矢量数据库这个行业，他的预言不留情面：矢量数据库是功能，不是品类。一年之内，所有SQL数据库和图数据库都会内置矢量功能，独立矢量数据库最终只会有一个赢家，就像NoSQL浪潮里只跑出了一个MongoDB。除非在规模上有真需求，否则现有数据库加矢量功能就够了。

明天就能用上的清单

节目的收尾，胡安把整期浓缩成一段话：

这些基础模型不懂我的组织，没有准确性，也没有可解释性。知识图谱是组织内部的大脑，这里的一切都是准确的、可解释的。未来一定是基础模型加上你这颗内部大脑，要下功夫的是搞清楚两者的结合点。

他说，未来模型和知识图谱会即插即用，企业也不会把自己绑死在单一模型上，就像今天的多云战略。谈到就业，他的判断相当直白：写代码会被自动化，编程训练营教的东西会彻底大宗商品化，值钱的是真正的算法家和问题解决者；只会跑行业通用指标的分析师会被替代，能把不同领域的信息连起来、能拍板“活跃客户就定义为这三种”的人不会。他甚至预测，八年后UBI会成美国总统竞选的核心议题，而“由真人服务”本身会变成一种溢价。

Nathan在开场给过一个更大的判断：美国电气化花了60年，靠的是公共工程；今天的基础设施是软件，新模型一发布，几百万条在跑的业务流程可以立刻接上。这一轮企业在知识图谱和语义层上的投入，是在给下一次模型跃迁预埋插座。

具体到操作层面，胡安给企业开的三步清单，明天就能开工：

• 列问题清单。把业务里真实在问的问题记下来：谁在问、为什么问、今天怎么拿到答案的，放进四象限分类，追问五次为什么，跟季度目标对不上号的临时需求，可以大胆往后排；
• 投资语义。没有数据目录就先建目录，把元数据和语义当一等公民，这是大模型永远无法替你生成的部分，因为那是你的私有知识；
• 别想一口吃成胖子。他叫它“铁丝法”：挑一件最小的具体事，把流程从头到尾穿通一遍，通了再加一根，再考虑铺开。

还有两件小事，今天下班前就能做。第一，把团队里散落的文档和常见问题丢给GPT，让它生成一版业务术语表，人工过一遍，统一全组用词。第二，翻出你现在最信任的那张报表，检查里面有没有两年前某次促销硬编码进去的系数。机器到底有多准还没定论，但你手里那份Excel有多准，值得先搞清楚。