# 一公里长的档案没人读得完，这位历史学教授让GPT-3.5反超了GPT-4 > Cognitive Revolution No. 75 中文精读 - 原标题：Hardcore AI for History with Mark Humphries, Professor of History at Wilfred Laurier University - 发布日期：2023-10-31 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/075-hardcore-ai-for-history-with-mark-humphries-professor-of-his-IcIRbE.html - 精读字数：约 5370 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 加拿大渥太华的联邦档案馆里，光是第一次世界大战的纸质档案，首尾相连排开就有一公里左右。播客主持人内森·拉本兹在节目里现场算了笔账：一公里约合500万页纸，折成token大概10亿到20亿。一个历史学家读一辈子，啃不完其中一小截。 加拿大劳里埃大学历史学教授马克·汉弗莱斯（Mark Humphries），在这期《Cognitive Revolution》里给出了更狠的数字：折腾大半年大语言模型之后，按拉本兹的评估，他处理档案文献的产能约为过去的1000倍。更硬的数据在后头：他把GPT-3.5微调到了85%的准确率，原版GPT-4只有70%出头，人类学生做同样的活是78%到80%。 汉弗莱斯的起点和典型文科生不太一样。他小时候痴迷编程，围观过90年代深蓝大战卡斯帕罗夫，用Visual Basic写过井字棋游戏。2007年，他和同事约翰·梅克翻译一战德文史料，第一次碰上机器学习，用老牌OCR软件ABBYY FineReader认老式德文印刷体，得手动教，效果勉强及格。后来他主持了一个数字化项目，扫了约1200万页档案，大部分是手写体，格式毫无标准，当年的模型根本啃不动。2022年底ChatGPT发布，两件事同时解决了：模型终于能干活；ChatGPT本身还能教他写代码，以前请人开发的天价门槛直接消失。 ## 一公里档案的账：10美分一页，以及一个意外发现 先说清楚历史学家的材料是什么。Google Books和美国HathiTrust扫的是印刷书，而历史学家最依赖的档案，是躺在纸箱里的手写文件、表格和信件，绝大多数从未数字化。还有一座被忽视的库存：历史学家去档案馆早就人手一台相机，一趟拍上万张照片，这些内容全部锁在JPEG里，没法检索。手写识别一旦跑通，等于凭空多出一座巨大语料库，而且大部分没有版权问题，未来还可能拿去训练模型。 手写识别这块，一个叫Transkribus的程序先跑通了。今年年初它的准确率大约96%到97%，听着不错，但意味着每一百个字符错三个，人名地名恰恰最容易错。汉弗莱斯的组合拳是：把Transkribus的输出扔给ChatGPT，让它用预测文本的思路纠错，效果出奇地好，连专有名词都能修对。到了8月，Transkribus干脆把大语言模型集成进自家流程，边转写边校对。 然后算钱。请学生手工转写，时薪20到30美元，几个星期啃几十页。Transkribus收费大约每页10美分。拉本兹接着往下算：一公里档案约500万页，如果走GPT-3.5的API，按每百万token 2美元估，全部处理一遍也就几千美元量级。今天还做不到，但价格曲线摆在那里，几年之内会便宜到研究经费能覆盖。 真正的意外发现在GPT-4的视觉能力上。拿它和Transkribus对打，转写环节惨败：喂一份18世纪的手写文件，它开始总结内容、改写措辞，甚至幻觉，提示词怎么调都拉不回来。汉弗莱斯判断有两个原因：训练数据里老手写体太少；模型掉进了自己熟悉的沟里，它更想告诉你这份文件写了什么，不肯逐字抄出来。处理那些能公开的档案时，还得哄它：「我知道你觉得自己读不了这份文件，但你其实可以，再试一次。」它就照做了。 但转折也在这里。历史学家过去默认，文献必须先转写成文字才能用。他拿养老金档案做实验后发现，可以直接问模型：我关心这个问题，这堆文件里哪些相关？比如想知道某个人一战之后到底领没领伤残养老金，档案里批准、停发、恢复、增减混在一起，人工捋一遍要命，模型却能直接给出一份病史式的摘要。**从1200万页里挑出2500页有用的，这个活模型现在干得比逐字转写好。**转写这个环节，也许会被视觉能力直接跳过，等于把数字人文的流程设计推翻重来。 这背后的逻辑对所有行业都成立。**瓶颈从来都是处理量，处理量一旦变便宜，整个领域的工作方式都会跟着变。**历史学为什么总被重写？因为没人读得完一公里档案，每个人只能选择性阅读，选哪里看、看什么、把时间花在哪。假如机器能把全部材料过一遍，很多定论都得重新算。放射科医生看片、律师翻合同，是同一件事：喂进去的内容越多，越可能看到人眼漏掉的东西。 ## 追踪一个1780年的皮毛贸易商，卡在语言和政策两头 汉弗莱斯目前最硬核的项目，是和研究搭档莉安娜·莱迪（Lianne Leddy）做皮毛贸易档案。任务听起来简单：已知某人1780年在蒙特利尔签了份皮毛贸易合同，去几千页手写日志里把他找出来，写出一生经历。 难点全在语言。他举了个叫温泽尔的中层贸易商：这人写日志提到原住民伴侣，用的是「my girl」；提到儿子，用的是「my boy」。现成的语义检索模型根本不知道my girl等于妻子，最关键的文件就这样全漏了。他试遍了主流方案，用HyDE生成假设文档来辅助检索，结果GPT-4写出来的日志完全是文学腔，动辄停下来感叹清晨之美。真实的皮毛贸易日志长这样： > 今天早上天气不错，下午一棵树倒下来砸死了我的人，傍晚我们卖了五桶朗姆酒。 两句话，三条信息，零抒情。模型怎么教都不肯这么写。还有行业黑话，比如「varang」，指桦皮独木舟的木制肋骨。你问GPT-4，它先一本正经编个假定义，你顺着说对，它又改口说自己不知道。 结论是得自己搭流水线：微调一个嵌入模型，微调一个生成检索示例的模型，再微调一个判断相关性的模型，还得教模型理解历史文献里的种族歧视措辞属于史料本身，别动不动就拒绝回答。目标是对着渥太华大学妮可·圣翁热团队建的3.5万人合同数据库，批量给每个皮毛贸易商写出小传，再从中找规律。眼下卡在上下文长度和递归API调用的成本上。 政策这头也卡着。养老金档案涉及隐私，大部分不能上传，他只能在可公开的材料上试验，或者指望本地部署的开源模型，比如Llama 2。他和加拿大退伍军人事务部签的协议是2018年谈的，那时候没人想得到今天这种API。按加拿大隐私法，政府持有的、当事人去世不满20年的可识别信息禁止对外传输，管你OpenAI保不保留数据。更荒诞的是，Anthropic的Claude直到录制这期节目的那一周才在90多个新国家和地区上线，加拿大此前一直不在名单里。拉本兹的评价很直接：一边挡着自己独有的AI成功案例，一边挡着全球最重视安全的AI产品，这种监管质量，反倒给那些喊「别管风险、只管乐观」的人送了弹药。这里还有个信任鸿沟，用汉弗莱斯的话说，从「哇，ChatGPT会用鲍勃·迪伦的风格写诗」到「我能用它干正事，还敢把数据交给它」，中间隔着一条巨大的学习曲线，而且模型越强，这条曲线越长。 ## 微调的真相：教行为，别只教答案 先看微调这条线，汉弗莱斯在这里踩的坑最多，方法论也最完整。8月底OpenAI开放GPT-3.5微调，他先撞了墙。测试语料约65万词，让GPT-4直接打关键词，能打出一万一千个，大量重叠。改成给它一个300词的关键词库让它从中选，它偶尔不听话，自己往外蹦词。再往提示词里塞规则，提示词膨胀到2000 token，成本爆炸。 转机来自这档节目自己。拉本兹之前聊过用思维链做分类，汉弗莱斯照着改了思路：别只展示「这份文档对应这些关键词」，让模型先分段、再写每段主题描述、再据这两样产出关键词、通读全文查漏、最后汇总。他把GPT-4按这套流程跑出的约400个案例做成训练数据。结果分层非常清楚： - GPT-3.5原生模型，100个测试案例只能拿到理想关键词的50%到60%； - GPT-4对照人类的准确率约70%到72%； - 直接用GPT-4的原始输出微调3.5，准确率追平GPT-4； - 把这400个案例逐条人工修正、补齐短板之后再微调，准确率到85%。 作为参照，他让学生做同样的活，准确率在78%到80%之间。也就是说，**一个微调后的小模型，超过了原版大模型，也超过了人类平均水平。** 他总结的方法论很干脆：微调教的是行为。与其只给模型看理想结果，不如教它把思考步骤一步步说出来。他把这套方法套回之前判断文献相关性的模型，准确率又涨了20%，一个原本接近抛硬币的任务，变成了几乎全对。分类档位的设计也有讲究：未微调的GPT-4不敢下判断，500条结果里七成五被标成「可能相关」，多数其实没用；逼它二选一反而更干净。微调之后，他才敢回到五档制，直接捞顶部几档来用。 中间还有个意外收获。处理原住民人名时，这些名字在档案里按发音拼写，同一个名字在不同文件里写法都不同。他让模型生成语音拼写的训练样本，模型没用语言学书里那套注音符号，直接把名字按实际发音拼了出来。连汉弗莱斯自己都没想通这是哪学的。 拉本兹也顺手给了一个长上下文的实操经验：Claude的10万token窗口，官方说能装三小时播客逐字稿，实测塞满就大规模幻觉，90分钟以内很稳。可靠区间大约在窗口一半以内，长稿切两半分别处理，而且10万档的价格只有3.2万档的六分之一左右。 ## 课堂上，AI的输出正在变成底线 汉弗莱斯在课堂上做了两个学期的实验。他的政策很宽松：随便用ChatGPT，但内容你自己负责，交上来的东西满是幻觉引用、答不上来就挂科，跟是不是AI写的无关。有学生直接问过他，既然能让ChatGPT代劳，我干嘛还要费劲？他的回答是，如果你的全部工作就是把任务输进ChatGPT再原样交出去， > 这个岗位存在不了多久，因为你比ChatGPT贵太多了。 他观察到的问题比抄袭更根本。同事里大多数人还在第一次打开ChatGPT的阶段，他绕着学校做AI科普讲座，发现从没登录试用过的教授数量依然惊人。拉本兹把这叫「能力过剩」：技术已经在线上，多数人的理解和用法远远追不上，他做这档节目的动机之一就是缩小这个差距。所谓「防ChatGPT的作业设计」，在汉弗莱斯看来只是观望期的权宜之计。他更想让学生看到另一面：把一段写不利索的文字交给ChatGPT让它改连贯，模型基本不会动你的想法，作用接近一个写作教练或者帮你改论文的朋友。从C档挣扎到B档和A档的学生，靠编辑和讲解就能被拉上去。 成本争议他也怼了回去。ChatGPT月费20美元，一本教科书的价格，一份流媒体订阅，个人层面谈不上贵。真正贵的是机构：给3万名学生人手配一个月30美元的Copilot，这才是大学犹豫的原因。可汗学院那种「只引导、不代写」的苏格拉底式家教产品是个好的开始，但系统性接入大学，要等微软把Copilot铺进Office这类基础设施，变化才会真正开始。 他给出的核心判断是：**AI能完成的水平，正在变成任务的最低标准。**放到就业市场上看，一份工作里某个任务如果连GPT-3.5的水平都达不到，这个人大概率干不长久。所以教育该做的事，是教学生超过模型的基线。做不到的人会存在，就像今天不是每个人都能拿A，这是现实。拼写检查当年让拼写和语法在英语作文里丢掉了20%的分值，同样的重排会再来一次。 拉本兹补了一句更扎心的话，他给OpenAI做红队测试时说过： > 在绝大多数人眼里，这就是超级智能。只是在你们眼里不算，因为你们太聪明了。 ## 历史学的答案：工作不会消失，输家需要兜底 作为历史学家，汉弗莱斯给这次冲击找的参照系很有意思。工业革命从早期蒸汽机到能用的火车头，走了三代人；汽车业的自动化从五六十年代开始，到今天还在演进。AI的扩散速度完全不同，因为分销网络早就建好了，互联网在技术成熟之前就铺到了每张桌面，专家级的应用几个月内就在各行业冒头。拉本兹判断，这种扩散速度会把采用率推得比历史上任何技术革命都快，连历史学这种看起来离AI最远的领域都躲不开。 他给想补历史课的听众指了两个方向：一是19世纪末的工业化，大量人口被机器挤出或者贬值，直接催生了20世纪上半叶的社保体系；二是更早的圈地运动，养羊比种地赚钱，农民被赶出土地涌进城市，陷入赤贫。两次转型的共同教训是，**被技术甩下的人群一旦长期失落，代价由整个社会承担，而历史上走得通的路，靠的是政府用社会福利把沟填上。** 这次还有个新变量：以前的革命冲击体力劳动者，这次首当其冲的是写字的、分析文件的、坐办公室的专业人士。拉本兹担心的正是这个：很多人本来就写不到GPT-4的水平，以后怎么去监督GPT-4？汉弗莱斯的回应是，这份责任一部分在OpenAI这样的公司身上，社会得同时解决两件事：用新技术，以及保证被甩下的人还有收入和生活的意义。转型会是渐进的，任务一点点从人手里挪给模型，岗位内容跟着变，同时会长出「放牧AI」这类新工种。求职信同理，满篇错误的信本来就排不上号，等大家都在用AI润色，粗糙版本只会沉得更快。他女儿今年7岁，他经常想，15年后她的世界会是什么样。 ## 明天就能用的四件事 这期节目能直接搬走的东西不少： - 做微调时，把思考过程写进训练数据，分段、描述、产出、复查，一步步来，再用人工把GPT-4生成的样本修正一遍。小模型有机会反超大模型，成本还低一截。 - 用长上下文模型读长文档，别顶格塞，切到窗口一半以内再提问，幻觉率会明显下降。 - 在自己的领域做检索，别指望现成的嵌入模型认识你的行话和历史用语，先花时间把领域黑话整理成模型能懂的解释，这一步省不掉。 - 把AI的输出当底线，别当威胁。写任何东西之前，先看模型会给什么，然后确保自己交出去的版本比它好。达不到它的水平，才是真正的危险信号。 汉弗莱斯一年前估计，这套东西离可用还有两三年，实际上不到一年就跑通了。他反复强调的一点是：这个速度本身，就是所有人最该记住的信息。