# 前沿模型里波兰语只占 1%，波兰人自己造了个 2000 亿 token 的模型

> Cognitive Revolution No. 300 中文精读

- 原标题：Sovereign AI in Poland: Language Adaptation, Local Control & Cost Advantages with Marek Kozlowski
- 发布日期：2025-12-06
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/300-sovereign-ai-in-poland-language-adaptation-local-control-cos-KVos1k.html
- 精读字数：约 4614 字（阅读约 10 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

波兰有 3800 万人口，GDP 约 1 万亿美元，分别是美国的 10% 和 3%。这个体量放在 AI 竞赛里，连上牌桌的资格都谈不上。

但波兰国家信息处理研究所 AI 实验室负责人 Marek Kozlowski 带着团队做了另一件事。他们启动了 PLLuM 项目，全称 Polish Large Language Models，波兰大语言模型。核心思路很直接：**用比前沿模型小一个数量级的体量，在波兰语和波兰文化这个切片上，做到和十倍大的模型同等的质量。**

这期 Cognitive Revolution 里，主持人 Nathan Labenz 和 Marek 聊了整整一小时。话题从数据配比一路聊到欧盟监管、本地部署的经济账，还有一件很少被公开讨论的事：前沿模型的波兰语能力，在某些代际更新里是往下走的。

## 90% 的训练数据是英文和中文，波兰语大概 1%

Marek 给的第一组数字很硬。目前最大的开源和闭源模型，训练语料里 90% 以上是英文和中文，其他所有语言加起来不到 10%。波兰语在部分模型里约占 1%，有些还更低。

这意味着模型学到的绝大部分技能，是在英文和中文指令上获得的。大模型有很强的迁移能力，你用西班牙语让它做数学题，它会在中间步骤里悄悄把指令翻成英文再算。问题是，这种迁移能解决任务，解决不了地道。

Marek 举了个邮件例子。模型写波兰语商务邮件时会冒出这种句式：「我希望你保持在良好的健康和状态中。」这句话在英文里很自然，逐词翻成波兰语也看得懂，但波兰人不会这么说。**语法正确和母语感之间，隔着文化、习惯、历史，还有哪些梗当下正在流行。**

更麻烦的是，现有基准测不出这个差距。Marek 对 MMLU 这类测试有明确的保留意见：大部分是 ABCD 选择题，测的是理解和抽取能力，几乎不测长文本生成。「我们活在一个被基准带偏的世界里。」他在节目里说。

所以 PLLuM 团队自建了一个基准，叫 PLCC，Polish Linguistic and Cultural Competency Benchmark。除了语法和词汇，还测文化、传统、历史，测模型能不能在正确语境里使用成语和习语。Marek 承认，这个基准目前也还没覆盖长文本生成的质量。

## 不做从零预训练，做语言适配

PLLuM 没有从随机权重开始训练。原因很实际：钱和数据都不够。

Marek 引用了开源模型的技术报告：即便是一个 80 亿参数的模型，预训练也需要至少 1 万亿 token 才能得到稳定的基座。PLLuM 团队做完去重和过滤之后，手上大约有 2000 亿波兰语 token。差了一个数量级。

他们的做法叫语言适配，language adaptation。拿 Llama 和 Mistral 的基座模型，用自己的波兰语语料继续预训练几个 epoch，得到一个波兰语增强版基座，再做 SFT 和偏好学习。

Marek 用小孩学语言来类比这三个阶段。预训练是认字、学结构、吸收零散信息，小孩学完这些还不会解数学题。SFT 是上学，学解题、写文章、做摘要这些具体能力。偏好学习是老师批改试卷，告诉模型哪里该改。三个阶段对应下来，模型训练和人的成长路径几乎一一对应。

继续预训练会带来灾难性遗忘，英语能力会掉一些，但不会被手动剪掉。Marek 说他们没有做任何语言能力的裁剪，只是在波兰语上多训了几轮，其他语言自然退化了一点。

真正拉开差距的地方在数据质量。Marek 反复强调「有机数据」这个词。**如果用另一个大模型批量生成 SFT 指令，生成质量差，模型能力会跟着往下掉。所以他们的指令和偏好数据，大量由人工标注员撰写，或者机器生成之后逐条人工校对。**团队有几十到上百名标注员，工具是自研的，不做众包。

这套流程他们写了将近 100 页的论文，2025 年 11 月初放上 arXiv，标题就叫 The PLLuM Family。除了论文，还在 Hugging Face 上放了指令和偏好数据集的样本。Marek 的原话是：**开源权重只是开源的一半，我们想连配方和部分原料一起给出去。**

## 欧盟的监管比美国的「AI 宪法」更硬

Nathan 问了一个美国人很关心的问题：美国公司都在给模型写 constitution，定义价值观边界，波兰有没有类似的「AI 宪法」？

Marek 的回答有点出人意料。他说目前没有，短期内也不太需要，因为欧盟面对的约束根本不是同一类问题。

AI Act 第二章在 2025 年 8 月生效，要求通用目的模型提供模型卡，写清楚用了什么数据、怎么做的安全防护、训练用了哪些资源。再叠加各成员国的版权法规。Marek 的判断很直接：**光版权一条，就可能把 80% 的可用训练数据从数据集中剔除掉。这种量级的约束，比任何一份价值观文档都更影响模型质量。**

他顺带点了名。Llama 的某些版本和 Kimi 等中国模型的许可证里，明确写了禁止在欧盟境内使用。原因不是价值观，是这些厂商不愿意披露训练数据的构成，满足不了 AI Act 的模型卡要求。

那中国模型在波兰完全不能用吗？Marek 给了个很务实的切分。**做长文本生成，比如写文章、写邮件、写历史叙述，他会非常谨慎，因为审查痕迹在长文本里很容易暴露。做抽取、分析、从文档里提信息这类任务，他完全愿意用，风险很低。**

至于波兰社会内部的价值观分歧，比如天主教传统和世俗化城市的拉扯，Marek 的态度是模型提供方不该替所有人做决定。PLLuM 同时发布 chat 模型、instruct 模型和 base 模型，企业可以按自己的场景选，因为「有些约束会对商业用例产生破坏性影响」。

## 代际退化：一个很少被讨论的供应商风险

这期节目里最有信息量的一段，是 Marek 提到的一个现象。他们用 PLCC 基准测前沿模型，发现某些代际更新之后，波兰语和波兰文化能力反而下降了。

他点名了 Anthropic 的 Claude 系列和 OpenAI 的 GPT 系列，说部分版本在下一次发布时，PLCC 分数比上一代更低。原因不难推：**前沿厂商在优化编程和软件工程能力，这些是付费最集中的场景。小众语言的文化能力在资源分配里被挤掉了。**

Nathan 顺着这个逻辑补了一刀。他原本以为前沿公司会想要更多数据，你现在带着几千亿波兰语 token 上门，对方可能根本不要，因为多训一轮代码比多支持一门语言更划算。

对企业来说这是个实打实的风险。你把业务系统接进某个云端模型，做了深度集成，几个月后新版本发布，你依赖的那项能力掉了。要么换供应商，要么回滚到旧版本，如果旧版本还能访问的话。

Marek 由此推出他的核心商业论点：**把关键业务押在云端通用大模型上，等于把能力曲线的控制权交给了一个跟你市场无关的团队。**

## 小模型的经济账：1000 条指令就能追平

Nathan 在这个点上给了印证。他自己调过很多场景，只要输入输出可控、外围还有别的防护层，一个更便宜的模型配上对的训练，效果和大模型差不多。

Marek 把这件事量化了。他的经验是：**当你有 10 到 20 个明确的用例，为每个用例准备 1000 到 3000 条指令做监督微调，小模型能达到云端大模型 few-shot 调用的同等质量，有时还更高。**

这个数字对企业的意义很大。1000 条高质量指令是能组织出来的，不需要几千亿 token。

本地部署的账更好算。当你为了合规必须 on-premise，就得自己买 GPU、付电费。买了 16 张卡之后，所有人都会开始想怎么把模型压到最小。Marek 说这正是小模型的机会，也是 agent 时代的必然：一个复杂流程要调十几个 agent，每个 agent 都挂一个大模型，能耗和成本根本撑不住。

他还提到一个更极端的做法，域适配，domain adaptation。拿企业的封闭内部数据继续预训练，让模型学会这家公司自己的语言。PLLuM 给中东欧最大的银行 PKO BP 做过这个项目，部分任务的提升很明显。

但门槛也很清楚。**去重过滤之后至少要有 100 亿 token，这件事才值得做。倒推回原始数据，大概需要 300 到 400 亿 token。欧洲有这个量级封闭内部数据的公司，Marek 估计不到 100 家。**

Nathan 反问：一家 40 人的公司，Slack、Google Docs、Jira、合同修订历史全算上，感觉也不少啊。Marek 的回答很冷静：算一算、去个重、过个滤，很难到 100 亿。而且大量邮件涉及知识产权和网络安全风险，根本不能用。

## 数据治理才是第一步，不是模型

节目后半段，Marek 说了一句我觉得最该被企业记住的话。很多公司想上 AI，第一步就去做模型选型和部署，跳过了数据盘点，结果项目基本都塌了。

他的顺序是反的。**先搞清楚自己有哪些数据、质量分级如何、哪些能用哪些不能用、内部和外部法规各卡在哪。做完这一步，才有资格谈训练和部署。**

这也解释了他对联邦学习、分布式数据联盟这类方案的态度。方向是对的，匿名化、加密、跨机构共享数据 repositories，理论上能让参与方在不暴露原始数据的前提下联合训练。但现实是，大部分公司连自己家里有什么数据都说不清，怎么可能跟别人做数据联合。

他给的时间表是：不是明年的事。

## 规模扩张会撞上有机构建数据的墙

关于平台期，Marek 的判断是这几代模型的提升在变成横向的，不再是 2022 年到 2024 年那种每年一次的规则改变。GPT-5 相对 GPT-4 的提升，在他看来不算大跳跃。

他给出的解释是数据侧的：**最大的几家厂商已经把互联网上能收集的有机数据基本收完了，有些甚至在扫描还没上网的书籍。有机数据的池子接近见底。**

Nathan 补充说，这正是合成数据、模拟环境这些路线被大量投入的原因。他自己押注这些方法会奏效，但也承认还没定论。

还有个绕不开的结构性矛盾，Marek 讲得很坦率。想要快速出成果、几个月内拿出产品，就必须集中资源，硅谷就是这么起来的。但从经济和社会效益看，分布式、联邦式、把能力摊到更多地方才是更优解。这两条路走不到一起。

他也提到欧洲的处境。Mistral 曾经是欧洲全村的希望，现在 30% 到 40% 的股份在微软手里，开放程度不如从前。人才价格上，美国顶级 AI 研究员的合同被形容成 NFL 四分卫级别，中国公司现在也付得起差不多的钱，欧洲公共部门连「目标函数」都很难定义清楚，说不清投出去的钱怎么回收。

但 Marek 并不悲观。他认为波兰做这件事的价值，不完全在模型本身。**哪怕做出来的东西比中美差一点，拥有自己造模型的能力，本身就意味着在某个时刻可以选择走另一条路。这种选择权，比模型分数更值钱。**

## 明天就能用的五件事

这期节目信息密度很高，但落到操作层面，有几条是企业 IT 负责人和政策制定者本周就能动的。

- **先做数据盘点，再谈 AI 项目。**列出你有哪些数据源、质量分级、合规状态。这一步没做完，模型选型都是空谈。Marek 见过的失败案例，多数栽在这里。
- **算一下你的域适配可行性。**去重过滤后能不能凑到 100 亿 token，凑不到就别做继续预训练，直接走 SFT 路线更划算。
- **准备 1000 到 3000 条高质量指令。**针对你最核心的 10 到 20 个用例，人工写、人工校。这个量级足以让小模型在特定任务上追平云端大模型。
- **给云端模型做代际回归测试。**每次供应商发新版本，用你自己的业务基准跑一遍。语言能力、长文本质量这类指标，厂商不会替你盯。
- **先定义业务指标，再选模型。**别拿 MMLU 分数当决策依据。你要的是「写出一封能带来交叉销售的邮件」，那就按这个建测试集。

Marek 在节目最后推荐了他们 11 月发布的 arXiv 论文，The PLLuM Family，将近 100 页，从数据配方到训练细节全部公开。对一个 3800 万人口的国家来说，这份文档本身就是一种表态：**我们造的模型不大，但我们知道它是怎么造出来的，也愿意告诉你怎么造。**