# 看到GPT-4演示12小时后，他把整个公司掉了个头 > Cognitive Revolution No. 112 中文精读 - 原标题：AI and the Practice of Law: from CaseText to CoCounsel, with Pablo Arredondo, VP of CoCounsel for Thomson Reuters - 发布日期：2024-03-14 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/112-ai-and-the-practice-of-law-from-casetext-to-cocounsel-with-p-pfMCtu.html - 精读字数：约 5823 字（阅读约 13 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2022年9月16日，法律科技公司CaseText的两位创始人看了一场GPT-4的内部演示。12小时之内，他们决定把经营近十年的公司整个掉头，围绕这个还没公开发布的模型重建产品。六周之后ChatGPT才上线，外界要再等半年才知道GPT-4是什么。 讲故事的人叫帕布罗·阿雷东多（Pablo Arredondo），CaseText联合创始人，现在是汤森路透CoCounsel业务副总裁。他早年在凯易律师事务所（Kirkland & Ellis）做专利律师，过去十年一直在给法律行业造检索工具。在Cognitive Revolution这期节目里，他和主持人内森·拉本茨把法律行业被AI改写的过程从头捋了一遍。 演示之前，阿雷东多先被GPT-4骗过一次。他问它一桩自己亲手办过的案子，模型的回答细节丰富、逻辑通顺，好到他开始怀疑自己的记忆出了问题。他回过神来反驳，模型接着甩出一个网址自证。那个网址是编的，点开什么都不存在。主持人内森也有几乎一样的经历：他问模型，自己本科化学教授的合作者名单里有没有自己，模型说有，还编出了一篇论文。 **两个亲历者被同一种东西击中：幻觉足够逼真时，连专业人士都会动摇**。这件事直接决定了CoCounsel的架构，让模型只基于检索到的真实判例作答，一步都不许自由发挥。 ## 法律检索一百年：从背判例到关键词监狱 阿雷东多先补了一段行业史。法律大概是所有行当里最早拥有引用网络的，每份判决都在引用更早的判决，一环扣一环。美国律师和诉讼数量爆炸之后，判例多到一个人一辈子读不完，问题立刻变成两个：怎么找到对的判例？找到了，怎么知道它现在还算不算数？ 19世纪，律师西蒙·格林利夫（Simon Greenleaf）在法庭上引用了一个早已被推翻的判例，被法官当众羞辱。他回去开始整理清单，记录哪些判例被哪些后续判决推翻。这份清单后来长成了法律行业的引证工具，最有名的是谢泼德引证（Shepard's）。律师看一个判例之前，先查它还活着没有。 再往后是韦斯特出版公司，创始人约翰·韦斯特把散乱的判例统一编排成判例汇编。美剧里律师办公室背后那墙书，就是这套东西。韦斯特还组织人力给法律手工分类：侵权、动物致害、狗咬人，一层层往下钻。这套分类法能用，但也是个牢笼，分类怎么切，法律就只能怎么用。 上世纪60年代末70年代初，判例数字化来了，Lexis把几百万份判决搬进电脑，律师第一次能用关键词检索。代价是关键词只认字面：搜回来一堆只碰巧含这个词的噪音，真正想要的判例因为换了措辞，永远搜不到。阿雷东多在凯易执业那几年，用的就是这套。 ## BERT撕开口子，GPT-4让他12小时掉头 CaseText的第一枪打在引证工具的盲区上。传统引证工具只看直接引用路径，他拿音像店打比方：你问店员，喜欢《教父》还有什么推荐，店员说《教父2》和《教父3》，没了。《好家伙》呢？《穷街陋巷》呢？Spotify和亚马逊早就靠「下载了这首歌的人也下载那首」这种软关联做推荐，法律行业一直没人做。 他们的第一个商业产品就是补这个盲区：分析一份律师陈述状引用的全部判例，找出被漏掉但应该读的判例。顶级律所的反应是后背发凉：我们漏了这个案子，我们怎么会漏？我们招的是最好的律师。 2018年前后，谷歌把BERT开源，论文、代码、方法全部公开。CaseText直接拿这套方法在美国判例法上重新训练，用来判断一份判决对另一份判决的处理态度。难点在于法官说话不受约束，直说「我们推翻了Jenkins」好办，法官要是写「我们遗憾地把Jenkins送进遗忘的尘埃堆」，关键词系统就瞎了。语言模型接住了这种表达。阿雷东多说，那是他第一次看到这项技术的火苗：机器标记出一段话，那段话里没有任何常规的「推翻」字眼。 顺着这条路他们做了平行搜索（Parallel Search）：律师输入一整句话，哪怕关键词零重叠，也能找到相关判例。演示句是某人因为上班不戴口罩被开除，系统找回来的是没戴安全帽、工厂安全责任一类的判例。**被关键词监狱关了几十年的律师，感受到的震动不亚于地震**。产品迅速铺开，进了美国最大的200家律所，法院也在用。 2020年GPT-3出来，他们看了十分钟就放下：惊艳，但不够可靠、不够细致，交不到律师手上。 然后就是2022年9月16日。阿雷东多和联合创始人杰克·赫勒（Jake Heller）看完演示，72小时没怎么睡，把能想到的任务挨个试了一遍，12小时内决定全公司转型。他们成了OpenAI在法律领域的专家顾问，产品取名CoCounsel，意思是AI共同律师，致敬Copilot。发布地点是MSNBC的《Morning Joe》节目。法律科技产品上全国电视做首发，放在以前是笑话。以前的节奏是给一位法律图书馆员演示，对方说「挺不错」，三周后再让下一位看；GPT-4时代，全体合伙人像开紧急会议一样齐刷刷涌进演示室。 产品技能很快铺开： - 法律研究：检索增强（RAG），只基于真实判例作答； - 庭外取证准备：先给提问主题清单，律师增删后，再生成问题； - 时间线梳理：上传一堆乱糟糟的文件，自动排出大事记，阿雷东多当一年级律师时熬过无数个夜干这个； - 合同政策合规：把大公司的合同政策喂给模型，比如必须适用特拉华州法，之后每份进来的合同草稿自动被检查，不合规就给出修改红线； - 市场惯例查询：从美国证监会（SEC）文件里拉数据，扫描后合成报告。 他把这条进步线比作：先是拼写检查，然后语法检查，GPT-4带来了实质检查。 最狠的用例来自一家财富500强客户。有个专家证人常年靠给对方作证吃饭，公司把此人过去多起诉讼里的全部专家报告和证词喂给CoCounsel，让它找矛盾，供交叉质询用。 > 很多人说，会被自动化的只是那些没人想干的杂活。但这些模型同样能帮上深水区的忙，比如找出不一致的地方，让你去完成那场摧毁证人的经典交叉质询。 **找证词矛盾是律师上法学院就是为了学会的那种核心活，AI一样干得了**，这是阿雷东多最想纠正的偏见。 ## 可靠性是测出来的，幻觉被摁在引文层 法律行业对错误的容忍度极低，CoCounsel在质量上下的功夫大多用户看不见。公司内部有专门的信任团队，每天的工作就是想办法让系统出错：抓幻觉，也抓答错、引错、理解错。自动化测试能跑的都跑，剩下的靠真人律师用。上线时只放行了测试过关的一小部分技能，时间线功能因为没达标被砍掉过一轮，用户抱怨也没用。 引文层面用老技术兜底：模型引用的每句话，系统回原文核对是否逐字存在，每个判例下面挂真实链接。**链接指向的判例必然真实存在，幻觉被摁死在这一层**。剩下的风险是模型误读法官的意思、误解用户意图，这是他们现在最花力气的地方。 阿雷东多原来反对在产品里放点赞点踩按钮，理由是专业产品不该反过来问用户：医生开完药，难道要问病人我表现怎么样。生成式AI时代他认了。现在有实时反馈通道，每周一次例会只讨论投诉，系统化测试常年跑。他还补了一句大实话：没人能做到零失误，招一个人类律师同样不能。 几个工程细节值得记下来： - 长上下文窗口在他这里不好使。他的比喻：这艘船标称能坐100人，但超过10人就会沉。中间内容会丢，准确性下降，对必须精确的法律场景没法用； - 新模型不能热插拔。OpenAI每次升级，他们都要重新跑全套测试，确认没把律师要用的场景改坏，因此永远比开源社区慢半拍，这是早期访问权换来的代价，有些活儿只能先用笨办法干； - 法律文本绕不开暴力、种族主义这类内容，他们专门申请去掉了安全过滤，否则模型碰到这些话题就拒绝配合； - 为了逼模型输出规整的JSON格式，团队求了OpenAI好几周，function calling出来之后这类活儿才彻底简化； - 向量检索没买现成的。他们自研的嵌入模型用美国判例法训练，测下来一直比市面通用方案更准，至今没换，但每周都在重新评估； - 切块（chunking）得带领域知识。庭审笔录里，问题和答案必须切在同一块，拆开就废了。 RAG这段还有个反直觉观点。律所都以自己的积累为傲，常问能不能用自家数据训一个专属GPT-4，潜台词是「它读过整个互联网，但还没读过我们的简易判决动议」。市面上也有厂商兜售「为贵所定制专属模型」的服务。阿雷东多直接泼冷水：**别花钱训新模型，把GPT-4指向你自己的文档，用RAG就够了**。定制模型的宣传迎合的是律所的自负，拿不出任何证据表明效果更好。现在律所大多也想明白了。他顺带交底：产品界面里那六种数据库选项，底层技术基本是同一套，主要起教学作用；模型跑在专属实例上，过了SOC 2合规认证，客户数据可以即用即删，也绝不拿客户数据训练模型。 ## 每月200美元：把参照系从工具换成同事 CoCounsel定价大约每位律师每月200美元，是ChatGPT零售订阅的十倍。内森本以为会有人望而却步，市场反应却出乎意料地顺。阿雷东多的解释很直白：律师要是把它当成又一个检索工具，会觉得贵；一旦意识到这些活儿本来得雇一个按小时计费的律师助理来干，价格立刻显得划算。**定价的胜负手在参照系，工具对标软件，同事对标人力**。他拿早期电力打比方：最开始只有华尔街和麦迪逊大道装得起街灯，大所现在能用GPT-4跑大规模文件审阅，普通律师暂时玩不起这种高吞吐玩法，但成本一直在降，他们也在设计更省token的提示词。 内森顺势抛出一个行业级尴尬问题：律师按小时收费，工具帮你省时间，省下的时间拿什么计费？阿雷东多搬出英国法律科技元老理查德·萨斯坎德（Richard Susskind）的类比：新药上市，医生只讨论对病人意味着什么，没人讨论对计费小时意味着什么。**律师对客户负有勤勉义务，如果用了AI收入变少，相对于职业责任，这笔账完全算得过来**。他也不讳言行业现状：合伙人让一年级律师花12小时做基础文件审阅，按600美元一小时向客户收费，只付人家100美元，这类模式迟早要重构。 至于为什么死守GPT-4，他的机器学习团队早就烦了，隔三差五劝他试试别的模型。他的回答始终如一：**试过的其他模型在可靠性上没过关，过不了关就上不了线，讨论结束**。过去一年多，GPT-4和第二名的差距，大到直接决定能不能放心交到律师手上。有些子任务可以降级给便宜模型跑，他们也在持续评估，但主线没变。OpenAI当时给他们的建议也是先做最好的产品，再谈优化。 ## 首席大法官换了调门 行业态度的转变，阿雷东多用最高法院首席大法官罗伯茨的两篇年终文章做对照。2016年那篇，罗伯茨把法律行业的慢夸成美德，还指出一个冷知识：最高法院建筑上真刻着龟兔赛跑的浮雕，乌龟就嵌在墙上。阿雷东多吐槽，人生的选择不止乌龟和睡过头的兔子两种。2023年那篇画风突变，罗伯茨引用联邦民事诉讼规则第一条，要求正义、迅速、低成本地解决纠纷，然后说AI显然能帮忙实现；他断言离开AI，法律研究将变得难以想象，同时强调法官不会失业。**体制内位置最高的人公开给AI开门，对整个行业是极强的信号**。 更激进的想象是AI仲裁：双方同意，提交材料，后台用RAG加提示词把争议解决的规则编码进去，模型给出裁决，不服可以上诉给人类。他承认这是最野心勃勃的玩法，但他的合同法教授、网络法学者拉里·莱西格（Larry Lessig）看了最早的GPT-4演示，反应超出他的预期：这位琢磨了三十多年「用代码做规则」的教授说，这正是他等的东西。以前的专家系统全数失败，法律太模糊；现在有机会了。 但有一条线他画得很死：写作。他引用YC创始人保罗·格雷厄姆（Paul Graham）的说法，写作即思考，放任写作能力萎缩是危险的。拼写检查让人不会拼字，GPS让人不会看地图，写作的退化性质完全不同。宣言类支持文件可以让AI写，真正的辩护状不行；让AI起草判决书初稿，他明确反对，因为法律的演化依赖人写进去的原创性。AI生成辩护状，AI再读两份辩护状生成判决书，中间只留一点人类监督，这条路在他看来是法律职业最深刻的危机之一。 ## 不卖给普通人，规则先于新立法 CoCounsel不卖给没有律师资格的普通人。这个决定直接来自幻觉教训：普通人拿到一份看起来专业的备忘录，会以为自己已经有了律师，看不出里面的例外和州际差异，同一条款在甲州可执行、乙州无效是常事。**给请不起律师的人提供法律帮助，是LLM最重要的大方向之一，社会最终会拿这一条来评判这项技术**，阿雷东多对此毫不怀疑，还点名斯坦福的玛格丽特·哈根（Margaret Hagan）在这个方向做得最好。但CoCounsel现阶段选择不做，也不踩「非法执业」的红线。公司没请法务，想用CoCounsel分析一堆文件，可以；宣称「有CoCounsel就不用请律师」，不行。 监管话题他答得很克制。训练数据的合理使用之争，他推荐去读斯坦福教授马克·莱姆利（Mark Lemley）的论文，自称不够格评论。他给法院和州律师协会提建议时的立场倒是明确：**现有规则好好执行，能解决99%的问题**。多数州已确立「技术胜任义务」，对法庭的坦诚义务、不得引用不存在的判例，这些早就写在职业规范里，先执行到位，再谈新规则。 ## 被收购之后：从树枝泥巴到罗马帝国 CaseText在2023年被汤森路透收购。阿雷东多说，对方买他们恰恰因为醒得早。CEO史蒂夫·哈斯克（Steve Hasker）公开宣布要把AI带进所有业务线，打法叫自建、收购、合作三轨并行。他个人最兴奋的是内容：以前CaseText做产品像用树枝和泥巴搭房子，现在手里是罗马帝国的大理石和腓尼基染料，判例汇编、引证图谱、法学评论、Practical Law实务指南全接上了。**现在没有任何借口，做不出来只能怪自己**。节目最后他向所有造大模型的人喊话，称他们是正义的英雄，这项技术正在他的行当里被用来让法律服务更快、更便宜、更普及。 抛开抒情，这期节目留给普通读者的东西相当具体： - 评估AI产品时，把参照系从软件换成人力。每月200美元贵不贵，先问这些活儿雇人要花多少钱； - 可靠性靠流程堆出来。检索锚定真实来源、引文逐字回查、上线前压测、每周过一遍投诉，这套组合拳任何行业都能抄，区别只在测试下多狠的功夫； - 别急着训专属模型。绝大多数场景，把最好的通用模型指向自己的数据，比定制训练划算； - 新模型别热插拔。升级前先跑一遍核心测试集，确认关键场景没被改坏再上线； - 长上下文的标称容量别全信，关键信息放首尾，中间内容当作可能丢失来设计。 法律被公认是最保守、最贵、最难被技术撼动的行当，结果它成了AI渗透最快的行业之一。答案不玄妙：谁的可靠性先做到位，谁先拿到入场券。