开源了70%胜率的图像模型，他说这行还在GPT-2阶段

一个从零训练的图像模型，在人类盲测里约70%的时候被认为赢过Stable Diffusion XL，然后这家公司把它免费开源了。

干这件事的是Playground AI，创始人兼CEO叫Suhail Doshi，上一家公司是数据分析公司Mixpanel。2023年底，他们发布了自训的底座模型Playground v2，架构刻意对齐SDXL，社区现成的微调工具和工作流可以直接迁移。2024年1月，他上了Nathan Labenz主持的AI访谈节目Cognitive Revolution。这期有点纪念意义：一年前节目开播，他是第一位嘉宾；这次回来，差不多是第100位嘉宾。

聊了一个多小时，他最核心的判断就一句：图像生成现在的水平，大概相当于语言模型的GPT-2阶段，甚至未必超过GPT-2。

2023年明明是图像模型大年：DALL·E 3、Midjourney v6、Stability AI的SDXL接连发布，照片级真实感、手部、图内文字都在进步。为什么他还这么说？

语言模型走过的路，视觉还没走到

Suhail给团队和候选员工都讲同一个类比。把时间拨回三四年前，语言模型能干什么？总结、情感分析，一堆创业公司就靠情感分析拿了融资。模型不会押韵，不会写代码，干不了什么正经活。后来scaling laws应验，才有了今天的ChatGPT：写代码、答问题，不用再翻Stack Overflow。

视觉模型呢？能画惊艳的画、做表情包、做书封、做填色本。他承认这些很厉害，但除了生成艺术图，模型几乎不会干别的，尤其不会以别的方式操纵像素。他数了数现在能做的事：生成图、抹掉物体、抠背景。“差不多就这些了。”文本那边，长尾价值大得多。

从两三年前的GAN到现在，画面质量涨了一大截，Suhail的抱怨是实用性没怎么涨：眼睛还是偶尔怪，手不总连贯，要求写字时偶尔多出一笔。他原本预期2023年的节奏会快得多，结果落空了。不过他把这当成机会：视觉是一大片没解开的题，现在终于有人往里砸资源了。

Nathan在节目里替普通用户反驳了一句：从外面看，进步很明显啊。几年前Twitter上RiversHaveWings（Katherine Crowson）发的图还是一团团漩涡色块，现在照片级真实感都过了。Suhail没否认进步，他给的解释是：问题出在想象力上。GPT-3刚出的时候，也没几个人预见到GPT-4能写成这样。他自己2022年10月前后就拿到了GPT-4的访问权限，第一件事是让它找自己程序里的安全漏洞，当时都没意识到这东西最大的用处会是写代码。

图像同理。大家现在觉得“能生成好看的图”就是全部，就像当年觉得语言模型只能做情感分析。Nathan他爸有个冷笑话：像素快被挖完了。Suhail的回应是，像素管够，问题是怎么用。他还有个观察：大家期待GPT-5，期待的是“不知道它还会什么”的那种惊喜。这种被模型惊喜到的时刻，视觉领域还一次都没发生过。

理解、编辑、生成，缺了一半的版图

Playground内部把视觉拆成三块：生成像素、编辑像素、理解像素。GPT-4V是理解这块的一个雏形，Nathan和Suhail都算重度用户。

Nathan讲了两个例子。一个是他带娃去马萨诸塞州塞勒姆，拍了一张停车牌，牌上写着十月特殊停车规则，落款Salem PD。GPT-4V从这些线索推出：你大概率在塞勒姆，那个因为女巫审判出名、万圣节前变成旅游目的地的小镇。另一个是他在自己创办的AI视频公司Waymark，用GPT-4V过滤小商家网站上的图片素材，直接问它哪些图适合放进视频，效果很好。

Suhail自己的最爱：代码报错，截个图扔给GPT-4V让它帮忙修。“我都可以偷懒了。”他甚至想要一个能盯着他屏幕、边干边搭把手的助手。

但他也挑毛病：GPT-4V做图像分割经常不行，而分割、框选是很多下游任务的地基。DINO加Segment Anything的组合至今还是这类任务的最优解之一。描述图片时偶尔也会幻觉。

真正的大缺口在编辑。Suhail举了个自家例子：去年圣诞全家福，儿子没笑。狗、孩子、大人凑一张人人都在笑的照片，难。他想要的操作很简单：圈住脸，说“让他笑成这样”，或者把另一张里笑的那张脸合成过来。

再比如重新布置卧室：把床挪到另一面墙，家具不变，模型直接渲染效果图，还能继续追问，柜子换个材质呢？床头柜矮一点呢？改logo也一样：去掉那个漩涡，圆形换成圆角矩形。摄像头场景更明显：系统该学会认出这是家里人还是闯入者。

图表是另一个重灾区。Nathan用GPT-4生成Mermaid语法，再渲染成流程图，梳理Waymark那套AI系统里十几个模型的调用依赖，总算能一眼看懂，但离设计师做的信息图还差得远。Suhail说，一堆人都在等图像模型学会画图表、画流程图，这个需求一直没人接住。

这些事今天要么做不了，要么得开Photoshop画辅助线。针对真实照片的高保真编辑，至今没有团队认真投入过，大家都在玩合成图。Suhail觉得，这还只是冰山一角，视频场景理解、图表生成，全是没人满足的需求。他半开玩笑地说，假如OpenAI整个团队都来做视觉，做出来的东西会远超DALL·E 3。可惜那边的注意力都在语言上。

还有个行业现象：他跟同行聊统一视觉模型，多数人没想过这个方向。大家困在文生图里，或者做电商换装、滤镜那类窄场景，那是2019年式的计算机视觉。基础模型的承诺恰恰是泛化，是每天给你惊喜。

补丁堆不出世界级产品

过去一年，开源社区做了大量微调：修手的模型、修眼的模型、放大的模型，个个都是巧思。Suhail的评价很直接：都是补丁，没有一个是底座模型层面的真修复。

他描述了自己最不想做的产品：一个“修手”按钮、一个“修眼”按钮、一个“角色一致性”按钮。用户得先学一整套黑话，看几个YouTube教程才敢上手。模型流水线每多过一道，推理就慢一截，而且这个模型修好了手，别处又坏了。补丁摞补丁，堆不出世界级产品。

Playground去年在产品里发了大约100个新功能。Nathan说每次打开产品都能感觉到明显变化。Suhail提到，他们有个Slack频道，用户每一条抱怨都会实时推进来。有人嫌改版太频繁，有人私信问怎么让同一个角色保持一致。这些抱怨攒了一年，他得出一个结论：这类问题没有速效药，攒够了，就只能回到模型层面去解。

所以今年Playground只做两件事：把静态2D图像的生成模型做好，把编辑做好。更大的主线是统一视觉模型，图像、视频、3D都在射程内。他的判断依据很朴素：Photoshop、Lightroom、Illustrator这些工具，绝大多数人玩不转。他高中时跟教程学过Photoshop、参加logo比赛，如今手艺早就荒废了。世界上有两类人，一类想改图、想要更好的照片，但没手艺；另一类是专家，能给婚礼照片修碎发、做专业调色、画logo，那要练很多年。把专家级的能力交还给普通人，不用求朋友、不用外包，这就是Playground的生意。

Nathan听出了熟悉的味道，说Sam Altman最近讲过类似的话：在YC他劝所有人尽早发布、快速迭代，而OpenAI自己花了四年才推出产品，烧了大量资金，也不确定用例是什么。Suhail回应，这套计划从公司创立那天起就没变过，只是去年顺手发了一百多个功能。现在他们买了大量GPU，招到了一批很强的研究员。打法是先做出几个通用又有用的能力，让用户惊呼“终于有人解决了这个问题”，再从小长到大。他拿Midjourney举例：去年年初那版产品放今天看相当简陋，但当时就是最好的，照样有人付费，然后一点点成熟。他希望Playground做出来的东西像PS2或者初代PlayStation，糙一点没关系，好玩就行，后面再迭代。

为什么他赌一两年内变天

聊到训练数据，视觉有个先天劣势：网上的图片配文本来就少，而且没人是为了训练文生图模型写的，噪声很大。业内公认LAION数据集的标注质量很差，做的人已经尽力了。语言正好相反：文字自带标注，但语言又很“有损”，几个词根本装不下一张图的信息量。

好消息有两个。第一，DALL·E 3的论文证明，用多模态模型给整个数据集重新配文，能大幅提升模型对提示词的服从度。Suhail喜欢做的一个小测试：让模型画四个瓶子，编号一到四，但要倒序排列。重新配文之后，这类空间推理任务突然变得可行。第二，视觉对合成数据的容忍度比想象中高，图片可以大量生成、标注、修改。去年伯克利Alexei Efros组一位研究员做的InstructPix2Pix，训练数据大部分是合成的，效果谈不上惊艳，但让Suhail看到了上限：一个真正投入的团队，能把这条路走多远。

开源社区也在帮忙。威斯康星大学的Haotian Liu等人做的LLaVA 1.5，证明语言理解是多模态能力的关键底座。语言模型的进步正在反哺视觉。所以Suhail的结论是：视觉大概落后语言一两年，但追赶速度会比语言当年快。

至于未来的交互方式，他判断不会只剩文字。文字是人类压缩高维想法的好办法，但远远不够。他举了“碎玻璃”的例子：每个人脑中的碎玻璃都不一样，光线、颜色、形状全是随机的，你和他各自想出来的画面天差地别。风格更难描述，品牌调性往往是好几种参照物的混合。他猜未来的视觉模型会重度多模态：打字、给参考图、用手指在屏幕上涂抹，一起上。Nathan还提了一嘴脑机接口：一位叫Tanishk的研究者用fMRI实现了低样本的脑活动到图像重建，Meta也展示了用脑磁图重建人眼所见。Nathan说自己2000年代读库兹韦尔只当他是梦想家，如今开始相信指数曲线是真的，还打趣库兹韦尔的新书《奇点更近》这书名到底是不是玩笑。Suhail的回应很冷静：先做到“从想法到文字”，后面就全通了。

规则怎么定：先聊使用，再聊训练

节目后半段聊到生成式AI该有什么规则。Suhail先讲了Greg Rutkowski的故事。这位波兰概念艺术家的画风被模型大量学走，成了反AI艺术阵营最常被提起的名字。Suhail读了他的长文，去看了他的DeviantArt主页，得出两个观察。第一，用户其实并不想画“像Rutkowski的画”，用这些产品的人多少把自己当艺术家，照抄另一个艺术家没什么可骄傲的，也没人靠这个卖出几千美元。第二，Playground是第一个做这件事的网站，而且据他所知至今是唯一一个：提示词里出现Rutkowski的名字，就直接挂出他的主页链接，标注“额外致谢”。因为Rutkowski抱怨过，在Google上人们已经找不到他了。至少可以帮艺术家被找到、被购买、被关注。Suhail不觉得这解决了问题，但小事值得做。

关于马里奥和米老鼠，他的类比很清楚：你我在Photoshop里画马里奥没人管，很多品牌对同人创作也睁一只眼闭一只眼，问题出在商用那一刻。拿去批量印几千件T恤卖，肯定不行。至于在训练数据里彻底过滤这些角色，他觉得不现实：就算过滤了，模型迟早会形成这些概念的表征，精灵已经放出了瓶子。与其纠结训练数据，不如把讨论挪到使用端。

节奏是另一个变量。他的原话很谨慎：如果冲击是渐进的，社会总能找到方式消化；如果每次都是跳变，就必须干预。他特别在意冲击了谁。有个曾经强烈反对AI艺术的艺术家私信告诉过他：

“我就是喜欢画画。我不想学新技能，我不想转型。”

一个人练了十几二十年的手艺，你没法要求他在两三年内追上时代，Suhail认为这不理性。

至于按训练数据给创作者分成，他持怀疑态度。他自己玩音乐，知道流媒体的一分钱分成让音乐人觉得被严重低估，行业里全是怨气。按次分成填不平失业的落差。但他也看到另一面：艺术家真正渴望的是观众。模仿Rutkowski的画和买Rutkowski的画是两回事，人和艺术家之间的关系替代不了。他自己的歌被人说“听起来像The Weeknd”，歌也不会因此火起来。帮真正的艺术家获得聚光灯，可能比分成更有用。

最后他给科技行业提了个醒：过去十年，行业因为不管不顾地推进，把很多人甩下了车，代价是整个行业信誉受损。AI这一波如果继续无视受冲击的人，会重蹈覆辙。

安全是最低道德标准，他希望它开源

Nathan最后一个问题：在法律跟上之前，AI应用开发者彼此该守住什么底线？Suhail的答案很具体。运营过这些模型的团队都见过极端的滥用案例，每家公司都有自己的恐怖故事。Playground自己训练了一个新的安全过滤器，比现有的开源方案拦得更严，站方不想要的色情内容和更严重的违法类别都在拦截范围里，既省了人工审核，也确实减少了危害。他担心的场景很具体：报复性换脸、深度伪造，还有马上要来的大选年。怎么跟父母长辈解释，他们在网上看到的那条“新闻”其实是假的？

他真正呼吁的是开放协作。OpenAI的审核模型免费开放，Playground一直在用。他希望整个行业共建一套开源的安全模型：各家贡献数据，最好的研究员一起做。恶意行为者测试和绕过安全过滤的成本并不高，单家公司跟他们玩猫鼠游戏打不赢，一个多方共建的开源安全模型，可能才是行业最低道德标准的最好载体。安全模型不碰任何公司的核心知识产权，世界只会因此更好。

这期节目听完，有几件事明天就能上手：

• 把电脑上的报错截图扔给GPT-4V，让它帮你定位问题，这是Suhail现在最常用的招。
• 去Hugging Face上试试Playground v2的开源权重，和SDXL画同一组提示词，自己盲测一轮。
• 做产品的记住那句话：别做“修手按钮”式的产品。把用户的抱怨攒起来看，找到那个该由底座模型解决、补丁糊不住的问题。
• 产品里引用了谁的风格，就给谁挂个链接。这件事Playground能做到，别家也能。

Suhail把图像生成比作GPT-2，听着像泼冷水，其实是预告：语言模型从GPT-2到ChatGPT走了三年多，视觉这一程他赌一两年。2024年底回头看，就知道这个判断准不准。