AI 功能被用了 100 亿次,Canva 生成式 AI 负责人把产品方法论讲透了
Designing the Future: Inside Canva's AI Strategy with John Milinovich, GenAI Product Lead at Canva
Canva生成式AI产品负责人John Milinovich与Nathan讨论基础模型微调、设计任务自动化,以及AI对建筑与产品开发的影响。
Canva 的 AI 功能,到 2024 年已经被全球用户累计使用超过 100 亿次。这家有 2 亿多用户的在线设计平台,派出生成式 AI 产品负责人 John Milinovich,上了 Nathan Labenz 主持的播客 Cognitive Revolution,一聊就是两个多小时。John 的背景有点杂:大学读建筑,之后在 Pinterest 管过 40 亿张图片的内容质量,自己创过业,现在掌管 Canva 的 GenAI 产品。这一期几乎没废话,全是方法论和真实案例。
用户分成三份,产品就得两条腿走路
整期节目里信息量最大的一个数据,来自 Canva 的用户调研:问大家想在设计上花多少时间,答案完美三等分。三分之一想花更多时间,三分之一想花更少,三分之一想保持现状。
这个结果直接决定了 Canva 的产品框架。John 把所有 AI 功能分成两类:自动化(automation)和增强(augmentation)。自动化处理「我知道要什么结果,但这事太烦了,帮我干了」,比如一键抠图、把文档转成演示文稿、把白板上几十张便利贴自动归类排序。增强处理「我心里有个模糊的感觉,还没想清楚,给我工具帮它变具体」。
主持人 Nathan 在自己的公司 Waymark(给小商家做视频广告)见过同样的分裂。典型用户是面包店老板,凌晨四点起来揉面,顺手开了个店,设计对他纯属负担,只想要「帮我做了」。所以 Waymark 的路线一直是「你说要什么,我们做出来」。他记了很多年的一句话是:「客户要的从来就没有软件,客户要的是服务。」
抠图这类功能,Canva 靠收购的维也纳团队 Kaleido 做到行业顶尖,就是 remove.bg 背后那批人,如今是 Canva 生成式 AI 研究部门的主力。企业客户用这些小功能用出了真金白银:Expedia 用 Magic Switch 和 Magic Resize,把原来 8 小时的素材改版工作压到 20 分钟;房地产信托 FNRE 用 Magic Edit 改图,省下的时间「夸张到离谱」。John 自己的日常三件套是 Magic Sort、Magic Write 的品牌语气功能,还有 Magic Layouts:把东西一股脑丢上页面,让 AI 给出几十种排版方案。
真正独立的 AI 原生产品目前只有一个:Dream Lab,文生图工具,背后是 Canva 收购的 Leonardo AI 团队,据报道收购价约 3.2 亿美元。Nathan 现场试了,给快满 6 岁的儿子生成一张「宇航员恐龙」生日邀请函,连「Ernie 六岁生日」这几个字都排得像模像样。他感慨,初代 Stable Diffusion 连这都做不到。John 在节目开头区分过两个词:创造力是生成新想法的过程,设计是带着目标去产出作品的过程。按这个标准,编辑器里的 AI 偏设计,Dream Lab 更靠近创造力那一端,服务的是那些还没想好要做什么的人。
从像素到物体,再到概念
John 引用 Canva 联合创始人兼 CEO Melanie Perkins 常说的一个观察:Canva 当年的原始创新,是把设计从「像素的世界」搬进了「物体的世界」。所有素材、模板、字体集中在一个库里,拖拽就能用,普通人第一次觉得设计没那么可怕。
他相信 AI 正在推动第三次跳跃:从操作物体,升级到操作概念。你不用再拖一个矩形,只要说「我要一个极简风格、带点科技感的 logo」。他举 Claude 的 artifacts 当例子:那个产品刻意砍掉了选中某段文字去改的操作路径,用户要改,就得对整个文件提概念层面的要求。图像这边同步在变。多模态扩散 transformer 架构出现后,文生图领域有了自己的「GPT 时刻」,深度图、姿态估计、风格控制这些概念级控制手段开始成熟。Krea 和 Leonardo 的实时生成,甚至允许你画几个抽象的圆圈方块,配一句提示词就出图。
但概念层取代不了物体层。Canva 把 500 多个设计品类按「重形式还是重功能」排成一条光谱:logo 和社交媒体图偏形式,文档和白板偏功能。偏功能的,从概念入手效率高,可最后用户还是要改措辞;偏形式的,可以从「我想要什么感觉」聊起,可最后总得手动调个颜色。好的产品是概念层入口加物体层微调的组合,两层都得留。
还有个细节:Canva 上被下载的设计,几乎没有不带人工修改的。Nathan 引用《辛普森一家》里 Mr. Burns 的名言形容这种心态:「我不懂艺术,但我知道我讨厌什么。」用户看到生成结果,往往是「接近了,但有个地方膈应我」,然后钻进物体层把那个地方改掉。这个「膈应」的时刻,就是产品必须保留精细控制的原因。
顺着这个话题,两人聊到 Claude 的 computer use。Nathan 第一时间拿它去操作自家产品,发现 AI 给另一个 AI 写提示词,效果出奇地好。John 的判断是,未来软件之间的连接未必靠 API 互相集成,更像 Linux 的管道命令,一个 AI 的输出直接变成另一个的输入。所以不管界面设计得多精致,永远留一个「逃生舱口」,让用户能直接和底层模型对话。对人类用户如此,对 AI 用户更是如此,未来会有别的 AI 替人来用你的产品。
他还挑战了一个行业默认假设:文本未必是 AI 最好的界面。让用户打字说「我喜欢第三个」,不如直接让他点一下。设计本身就是最典型的多模态学科,图像、语音、手势、文字都该是入口。
评估从 vibes 开始,但要尽快逃出来
聊天机器人领域有 LMSYS 竞技场这种公开评测,设计领域什么都没有。John 说,过去两年 Canva 逼着自己从零建评估体系,「走到了世界尽头,成了这个领域世界上最好的团队」。
他们的做法:先写严格的评估准则,把「什么是好的」里属于人类品味的部分描述清楚;再训练一批专业设计师当评估员,把这种判断规模化到有统计显著性;然后为每个品类准备黄金提示词集,「好的幻灯片」和「好的社交媒体帖子」标准完全不同;最后让多个生成器在同一条跑道上比武,按视觉质量、提示词遵循度等五到十个维度打分。拿背景生成为例,评估准则细到三层:前景物体选对没有,裁剪好不好,裁多了还是裁少了。
这里有个 John 在 Pinterest 时代就发现的规律:机器学习系统预测一个东西「差」很容易,预测一个东西「非常好」极难。因为「好不好」的历史证据,只有用户互动数据。放到今天,模型在窄域任务上能达到人类评估员 70% 到 90% 的判断一致度,但开放式、强风格依赖的任务依然不行。所以上线前靠离线评估,上线后把新旧模型的结果交织推给真实用户,看提升幅度,跟搜索引擎调优是同一套思路。
Canva 的模型策略是三条腿:自己建,从 2017 年做到现在,生产环境里跑着 100 多个模型;和顶级实验室合作;引入第三方应用生态。微调的经验法则很实用:
- 扩散模型做风格,几十张图跑个 LoRA 就够,门槛极低。
- 大语言模型微调,例子不够很容易过拟合。分类任务适合微调,捕捉「风格」和「气质」不适合。
- 想复刻某种写作风格?先试上下文。模型窗口动辄百万 token,塞 3 万到 5 万 token 的过往写作样本,十有八九比微调效果好。
Nathan 的实践印证了这条。他给播客写开场白,把过去 30 篇开场文,约 5 万 token,连同当期文稿一起塞给 Claude,效果远好于只给形容词描述或只给一篇范文。Canva 的 Magic Write 品牌语气功能走同一条路,John 的说法是样本越多效果越好,但边界因人、因品牌而异,他们还没找到普适公式。顺带一提,Canva 用 5000 张背景生成例子微调多模态基础模型做评估,效果远超当年在 Pinterest 从零训练。基础模型见过几十亿张图,这些先验带来的杠杆,用他的原话说,「放到今天还是让我震惊」。
先能用,再好用,再快,最后便宜
Canva 的开发节奏是四步:make it work, make it good, make it fast, make it cheap。发布里程碑一般设在「好用」之后,有时拖到「开始变快」才上。成本当然在考虑范围内,但从来排不进第一优先级,理由很硬:过去一年推理成本降了大约 95%,起步阶段过度优化成本属于自找麻烦,先把用户体验钉死才是正事。
整场对话里 John 最锋利的一个观点,是问题导向和方案导向的区分。他引用 Canva 前任 CTO、现任杰出工程师 Dave Hearnden 的说法:悬浮滑板这个想法人类有了 50 年,到现在也没人造出来。很多时候结果显而易见,难的是交付。
如果你的方案在 81% 的水平上卡住了,而目标明明是 98%,那大概率意味着:问题没变,该换方案了。
这跟 Nathan 提的「先做最难的部分」是一体两面。传统软件可以端到端规划好再执行,AI 产品做不到,因为没人提前知道模型行不行。所以先搭一个「行走骨架」,把最不确定的那段从输入跑到输出,管线以后再补。
招聘标准也顺着这个逻辑。Canva 找人,第一看对「设计 AI」这件事有没有真热情,不要求设计师出身,但得对人类和 AI 在创意工作里的互动感到兴奋;第二看好奇心和成长型思维;第三看解决实际问题的能力,愿意戴多顶帽子,愿意在新模型离线指标还不完美时就拿进产品里试,亲手摸到那些锯齿边缘。John 特别强调一种「不设限的死磕」:卡住的时候主动举手求助,别干等别人来,因为很多问题「行业里根本没有先例」。
建筑师的旧梦和应用层的赌注
John 学建筑出身,2008 年在建筑学院听 Processing 的创造者之一 Ben Fry 讲生成式设计,从此入坑。今天的建筑 AI 已经可以按日照轨迹模拟室内温度来优化窗户位置,按人流路径规划办公区布局,把建筑师的工作杠杆放大 10 倍到 100 倍。他平时盯着 Krea、Meshy、Spline 这些创意工具,建筑方向关注 Spacemaker 和 Ark Design,每天离不开的则是 Perplexity、Claude、ChatGPT 和 Cursor。
有人问建筑师该不该慌,他的答案是不用。建筑物总要持证建筑师签字担责;而且大项目里建筑师的大量时间花在投标上,活儿先干了一堆,客户才决定选不选你。AI 最先吃掉的就是这块:帮建筑师快速可视化方案的排列组合,赢下合同。至于从 BIM 模型生成报批文件、水电图纸这些死板工作,属于自动化能解决的范畴。他甚至看好半预制住宅:把建筑和施工垂直整合,用一套房屋设计系统像搭积木一样组合。这个方向 Katerra 试过,公司失败了,但 John 认为教训在于执行,想法本身没错。
John 自己在 2018 年就试过类似的事。他的上一家公司 Aesthetic,起点是垂直整合的建筑事务所,后来转向平面设计服务,核心想法是「给每家公司配一个设计师联合创始人」。当时 GAN 刚火,Ian Goodfellow 的工作让他们相信 AI 能吃进设计服务这门生意。这段经历让他对「AI 吃服务业」深信不疑。
这段建筑闲聊,其实通向他的一篇博文主题:GenAI 应用层。他的推理是,每次平台迁移都遵循同一个模式:本地部署到云,桌面到移动,价值先聚在基础设施层,再流向平台层,最后流向应用层。云计算时代,芯片和数据中心的公司先起来,然后是超大规模云平台,最后是几乎所有互联网公司。AI 现在还在基础设施时代。
他给了笔账:全球 GDP 约 100 万亿美元,2030 年预计到 130 万亿;科技行业目前占其中约 5 万亿。哪怕科技对服务业的渗透只多 3 个百分点,也是几万亿美元的机会,而这块机会主要发生在应用层。红杉那篇关于 AI 6000 亿美元缺口的文章,在他看来恰恰说明应用层被严重低估。
他在博文里点名了 GitHub Copilot、Jasper 和 Harvey 三家公司。Nathan 委婉指出,Jasper 已经成了「薄壳应用」的反面教材。John 没有回避,给出了他判断应用层创业的三条标准:
- 深度客户导向。锁定一个具体的人,能看见他眼里的光、摸到他的痛。平台层不断推出通用功能,越是这种时候,越要有强烈的立场和垂直的聚焦。
- 往技术还没吃掉的行业走,比如矿业、房地产、建筑。这些地方 AI 的即时杠杆最大。
- 产品设计要深刻理解模型能力的锯齿边缘,在模型做不到的地方用体验补位。走出常规用例,AI 能给很大价值,但给不了百分之百。
明天就能用上的五件事
把这期节目压缩成马上能动手的清单:
- 写风格类需求,先塞上下文再想微调。把过往范文攒到几万 token 喂进去,大概率比微调省钱省事效果好。
- 评估先行。动手之前先写下「什么叫好」,拆成可以打分的维度,找几个人按同一套准则打分。从 vibes 走到 eval 的速度,决定项目能走多远。
- 记住四步节奏:能用、好用、快、便宜。起步阶段别碰第四步,成本曲线正在以年为单位暴跌。
- 卡在 80% 的时候,问自己一句:是继续磨这个方案,还是问题没变、该换方案了?答案通常是后者。
- 产品里永远留一个「逃生舱口」,让用户能绕过你设计的界面直接和模型对话。对人类用户如此,对 AI 用户也是如此。
最后补一个 John 的判断,分量很重:过去是人学工具,一个活儿要串好几个软件;现在轮到 AI 适应人,围着人要干的活儿转,在后台默默干活,懂你的内容日历,知道节日节点,主动把建议端上来。但 Canva 的数据同样显示,被下载的设计几乎没有不带人工修改的。AI 可以把人送到 95% 的位置,最后那一下,永远是人自己按下去的。
Nathan explores the world of AI-powered design with John Milinovich, Head of Generative AI Product at Canva. In this episode of The Cognitive Revolution, we dive into Canva's innovative approach to AI integration, from task automation to human augmentation. Join us for an insightful discussion about fine-tuning foundation models, AI's impact on architecture, and practical tips for AI product development at scale.
Check out Canva: https://www.canva.com
Be notified early when Turpentine's drops new publication: https://www.turpentine.co/exclusiveaccess
SPONSORS:
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
Incogni: Take your personal data back with Incogni! Use code REVOLUTION at the link below and get 60% off an annual plan: https://incogni.com/revolution
Shopify: Shopify is the world's leading e-commerce platform, offering a market-leading checkout system and exclusive AI apps like Quikly. Nobody does selling better than Shopify. Get a $1 per month trial at https://shopify.com/cognitive
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive
Brave: The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
RECOMMENDED PODCAST:
Unpack Pricing - Dive into the dark arts of SaaS pricing with Metronome CEO Scott Woody and tech leaders. Learn how strategic pricing drives explosive revenue growth in today's biggest companies like Snowflake, Cockroach Labs, Dropbox and more.
Apple: https://podcasts.apple.com/us/podcast/id1765716600
Spotify: https://open.spotify.com/show/38DK3W1Fq1xxQalhDSueFg
CHAPTERS:
(00:00:00) Teaser
(00:01:13) Sponsors: SelectQuote
(00:02:26) About the Episode
(00:04:33) Introduction - Creativity vs Design
(00:08:39) AI-Assisted Experiences
(00:10:25) Automation & Augmentation
(00:15:27) Pixels to Objects to Concepts
(00:17:58) Sponsors: Incogni | Shopify
(00:20:40) Concept-Level Interfaces
(00:23:35) The Future of Design
(00:29:39) Human Element in Design
(00:32:49) AI Talking to AI
(00:35:52) Sponsors: Oracle Cloud Infrastructure (OCI) | Brave
(00:38:04) Purpose-Specific AI Experiences
(00:45:29) GPT-4 Image Editing
(00:51:17) Graduated Approach to Launch
(00:55:09) Fine-Tuning GPT-4
(00:59:10) Cost & Latency
(01:01:29) Hiring AI Engineers
(01:05:02) Engineering Best Practices
(01:09:00) Inspiration in the AI Space
(01:18:28) The Gen AI Application Layer
(01:24:26) Outro
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://www.linkedin.com/in/nathanlabenz/
Youtube: https://www.youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


