每秒三万次控制、十几个神经网络:Skydio 把自主无人机讲透了
E42: The Autonomy Revolution with Hayk Martiros of Skydio
Skydio 自治负责人 Hayk Martiros 与 Nathan 聊复杂自主飞行的技术前沿、融资扩产与无人机行业的走向。
一架约两磅重的无人机,机身上装着6颗导航相机,每颗200度视场,上3颗下3颗,拼出完整球面视野。里面同时跑着十多个深度神经网络。最底层的电机控制回路每秒执行三万次,芯片在每个循环里只剩约200条指令的余量;最高层的任务决策,每秒只做一次。中间隔着四个数量级。
这是播客Cognitive Revolution第42期的内容,2023年7月4日上线,主持人Nathan Labenz采访了Skydio自主系统副总裁Hayk Martiros。Skydio是美国最大的无人机制造商,一家估值数十亿美元的独角兽,客户覆盖美军所有军种,刚完成2.3亿美元融资扩建工厂。这期节目把一台无人机从像素到电压的整条技术链拆开讲了一遍,信息密度非常高。
一栋房子里起步,八年做成美国最大
Hayk的履历有点绕。他出生在苏联解体后的亚美尼亚,7岁随家人搬到阿拉斯加费尔班克斯,父亲是研究地震的地震学家。本科在普林斯顿读机械工程,差点转去学音乐或建筑,后来成了系里“搞机器人软件的那个人”,再到斯坦福读硕士。
2015年前后,他在AngelList上联系上Skydio的CEO Adam Bry,对方在Skype上先考了他几道数学题。等他跑去面试,发现所谓办公室是阿瑟顿的一栋房子,三个创始人挤在里面干活。这三人曾在MIT导师指导下启动了Google X的Wing无人机项目,干了一年就辞职,理由很直接:造机器人必须是公司的核心业务,在一家靠搜索广告赚钱的公司里当副业,做不成。
Hayk被这个判断打动,加入后一待就是八年多。顺带一提,他还有个爆款副业:Riffusion,用Stable Diffusion生成频谱图再转成音乐的开源项目。Nathan打趣说,多数听众要是知道他,大概率是因为这个,而不是无人机。
Skydio最初只想做自主软件,很快发现行不通。要做出真正可靠的自主机器人,必须控制整个技术栈,从机械设计、航电振动,到相机、驱动芯片,再到上层软件。于是他们成了硬件公司,先做消费级产品:一台会自己避障、无GPS也能导航、能拍好莱坞式跟拍画面的无人机,拍滑雪、拍山地车。消费硬件是出了名的坑人生意,但他们活下来了,攒下几万名用户,也把“好飞、难摔”做成了口号。
如今的Skydio重心在企业和政府市场:电力设施巡检、测绘、消防警务和国防的态势感知。旗舰产品半小时续航、6公里作业半径。选摄像头放弃激光雷达的理由很实际:小型无人机对尺寸、成本、功耗极度敏感,而手机产业用十亿级出货量、上千亿美元投资,把摄像头做得又小又便宜又好,跟着这条供应链走最划算。
市场有多大?Hayk的判断是接近无限:全世界的输电塔、桥梁、大坝、道路、建筑,每家财富500强、每个国家都有海量资产。他上周回亚美尼亚,注意到全国每个角落都布满输电塔,和地球其他地方一模一样。
从每秒三万次到每秒一次:四个数量级的分层
Nathan把问题问得很具体:6路视频流进去,4个电机的转速出来,中间到底发生了什么?
Hayk给了一条经典控制理论的经验法则:系统运行频率每差一个数量级,就该拆成不同的层。外层每秒决策10次,内层每秒100次,外层不必关心内层的细节,动力学可以抽象掉。从三万赫兹到每秒一次,中间大约四层。
最内层是电机电流控制,每秒三万次,芯片每个循环只有约200条指令可用,离大语言模型十万八千里。往上依次是:转子转速、机身角速度与加速度、姿态、位置与速度、轨迹。四旋翼想横移必须先侧倾,所以每一层都环环相扣。
核心导航层是一套非线性优化,用二阶方法求解,每秒迭代500次,把旋翼气动、机身姿态、避障约束、用户高层指令放进同一个目标函数里一起权衡。为什么不能拆开算?Hayk举了个场景:一阵大风,同时无人机在下坡飞行,还要侧转躲一根细电线。解耦处理的话,气动需求先撞上电机功率极限,机身倾不下去,直接撞线。
深度网络负责机器最难的那部分。Skydio在2017年发表论文,成为第一家出货深度学习避障系统的公司,装在Skydio 2上。难点在于简单场景很快就解决了,难的是像素里信号不足的情况:白色无纹理的天花板和雾天的天空,在单个相机里几乎一样,必须结合周围所有相机的上下文,才能判断“那是天空,可以飞”还是“那是天花板,会撞”。逆光下的细树枝同理。这类问题,深度学习碾压手写规则。
SymForce:让只懂理论的学生写出生产级代码
Skydio把自研的SymForce开源了。这个库干三件事:符号计算、代码生成、非线性优化。
用法类似写PyTorch模型:工程师用Python写下数学表达式,比如旋翼气动模型、机械臂运动学,在符号层面做简化、求导、因式分解,完全不用考虑运行速度。写完之后,系统自动生成极快的运行时代码。Skydio的核心运动规划器就是这么来的:10万条指令、零分支、单个函数,复杂循环几十微秒跑完,全部在机载芯片上完成。
生成的代码本身是黑盒,没人读得懂10万行,但源头表达式可读、可测、可迭代。Hayk用赛车举例:要建模一辆遥控赛车,得写轮胎与地面的关系、油门到轮速的时间常数、方向盘转10度轮胎转几度,然后求导,再用C++手写高性能实现。过去这要求一个人同时精通理论、数值和底层编程,现在理论部分写表达式就行,剩下的自动生成。任何一个只懂理论的毕业生,都能产出无bug的生产级代码。
那哪些交给学习,哪些保留物理?Hayk的边界很清楚:确定的东西别学,重力就是F=ma,没必要让网络去猜;几乎确定的东西,比如轮胎磨损后的半径、无人机气动、随温度漂移的镜头参数,当作学习系统的初始猜测,让模型在误差范围内修正;至于从像素到决策这种根本无法参数化建模的过程,只能学。
还有一个容易被忽略的点:中间产物本身就有价值。3D地图不只用来避障,还要用来扫描、展示给用户、支持点击测距、生成巡检报告。端到端一把梭的方案,经常把这些东西弄丢了。
机库才是终局:从飞行玩具到洗衣机
Skydio内部有个概念叫“自主弧线”(Arc of Autonomy),描述人机分工的三段演进。第一阶段,人飞,但机器让它更容易更安全。第二阶段,整机自主,人只下指令。3D扫描是典型例子:用户圈定一个三维空间,选好参数,比如3米距离对应每像素1.2毫米,无人机报出“需要40分钟、两块电池、2000张照片”,然后自己飞完。过去这活需要既懂飞行又懂摄影测量的专家,现在普通员工看着就行。
第三阶段是机库(Dock):一个有电有网的箱子,无人机住在里面,可以装在变电站、油井或偏远大坝。站点地图预先建好,用户排个计划,每小时或每天自动起飞、拍照、上传云端,数据通过API直接对接建筑、采矿、保险等行业系统。Hayk的原话是:
要让它像装一台打印机复印机、买一辆皮卡或一台洗衣机那样可靠,它就是得把活干成。
这是进入电力这类慢行业的前提:专职飞手、黄马甲、安全帽、飞行前检查单,全部消失,无人机变成标准工具。定价逻辑随之改变,消费级1到2千美元,企业级几千到几万美元,越端到端越按解决问题的价值收费,无人机摔了换新的就行。
省下的钱有多夸张?Hayk给了两个例子:传统桥梁巡检用桥检车,封一条车道,把人吊在桥底,封桥车道每分钟的成本是天文数字;输电塔巡检靠直升机,油钱、训练、安全成本都高得离谱。Nathan算了笔账:1万美元装一套机库,一年5000个白昼小时,摊下来每次任务一美元级别。Hayk的回答是,成熟期没理由到不了,但从技术、产品到社会接受度,路还很长。他甚至描绘了机库即服务的图景:同一个机库,平时查铁塔,火灾时比消防车先到场,顺手给保险公司查个房。
垂直整合还是开放平台?Hayk说这是公司每周都在吵的问题,答案是两条腿走路。语言模型当胶水连接系统,他们会用也会开放API;3D重建是核心能力,环视相机和数据先验都是独有优势,自己做。但机库市场今天在全球没有任何规模化部署,连未来规模的零头都不到,靠生态等不来,必须自己做出杀手级应用,把行业亲手造出来。Nathan补了一个判断:这波AI浪潮里,现有赢家优势最大,挑战者得把十年硬件积累重做一遍,赢家可以直接往上叠新模型。高层语义层与底层控制分开,让模型理解图像和自然语言指令、输出高层命令,才是具身智能真正的机会。
还有一个工程细节:计算模块的功耗只占整机约10%,真正的代价藏在重量里。无人机效率取决于桨叶尺寸和电池占比,多5克都会影响性能,芯片要配散热,散热又添重量,层层放大。对比之下,汽车多几磅没人会在意。至于端侧还是云端,无人机所有核心功能都在机载运行,因为作业现场可能完全没网。未来新机型算力上来,蒸馏后的语言模型跑上无人机没有悬念,模型小型化的速度远超摩尔定律。
乌克兰战场、不武器化承诺与军备竞赛
节目最后聊到军事。全球无人机出货最大的是中国公司DJI,Skydio是美国最大,地缘政治让这个排名有了别样分量。Skydio的客户包括美军所有军种,也通过合作伙伴进入乌克兰,还派员工去乌克兰和波兰边境做培训。Nathan引用了一份报道:乌克兰每月损失约一万架无人机,主要死于电子战,最常见手段是GPS干扰和欺骗。
这正好撞上Skydio的强项:无GPS导航。在乌克兰,默认GPS不可用,要么被干扰要么被伪造,Skydio靠视觉定位照样飞。小型无人机比人命和大型国防装备便宜几个数量级,这种交换比正在改写战场。
但Hayk划了一条线。Skydio有一套公开原则,其中一条是不武器化无人机,产品专注相机和侦察。他们的无人机约两磅重,本来也驮不动什么。他的表态很明确:
出于很多原因,我基本反对武器化的自主系统。我们不会把无人机武器化,相机和侦察就是我们产品的核心。
他也承认,军备竞赛的逻辑很难躲:别人在做,你不得不做。这个立场在机器人和AI研究者中相当普遍,但现实不给人喘息。他刚回过亚美尼亚,在阿塞拜疆边境看到两侧的国旗,离开那个区域的第二天,当地发生了一次无人机袭击,阿塞拜疆用的是土耳其无人机。
Nathan还问了自动驾驶,因为Hayk的好友在Tesla Autopilot,另一位朋友创办了英国的端到端自动驾驶公司Wayve。Hayk的判断:FSD试乘体验确实惊艳,但那还是测试版,人随时要接管。真正的门槛是,你敢在后座睡觉吗?千分之一的撞车率你接受吗?恶劣天气、陌生路段、放错的建设标志,长尾里全是坑。这个门槛远不止比人强,得强出数量级才算数,因为每个司机都觉得自己高于平均,宁可自己撞,也不愿AI替他撞。
就业话题的讨论相对乐观。被替代的多是危险、极热极冷、偏远、繁重的工种,爬塔的人可以转去管理机队、设计任务、运营整个项目。仓库工人现在全球紧缺,无人机这行反而缺人。Nathan和Hayk都认同UBI的方向,但Hayk补了一句:历史上产业更替一次一次发生,社会都消化了;危险的是所有行业同时被颠覆、速度又快,财富不平等的风险巨大。
明天就能用的三件事
- 用“自主弧线”给机器人产品分级。看它停在哪一环:辅助人操作、整机自主、无人值守。宣传“全自动”的公司,问一句能不能定时任务、断网能不能跑,立刻现形。
- 借鉴“确定的不学,模糊的才学”这条边界。做AI工程时,已知的物理规律和业务规则写进结构或约束,别指望模型自己悟;不确定的参数给初始猜测加误差范围;只有真正无法建模的环节才交给端到端学习。
- 评估巡检类项目时,先算被替代方案的真实成本。封一条车道的每分钟开销、直升机巡线的油钱和保险、爬塔工人的风险溢价,把这些数字摆上桌,ROI不用讲故事。
最后记一笔Nathan的观察:他盘点节目开播以来的嘉宾,发现近一半出生在美国之外,约旦、俄罗斯、法国、埃及、印度、德国、以色列、中国、亚美尼亚,Hayk是其中之一。他希望美国保住这种开放,也打算去找更多美国之外的AI从业者上节目。一台无人机背后的分层架构可以拆解,一个行业的人才构成,同样是竞争力的一部分。
In this episode, Nathan Labenz sits down with Hayk Martiros, VP of Autonomy at Skydio. Martiros leads the autonomy team, which holds the state of the art in complex autonomous flight. Skydio is the largest drone developer in the US, and recently raised $230M to expand its US manufacturing 10-fold, bringing its valuation to $2.2 billion. In this discussion, Hayk and Nathan discuss why Skydio will not weaponize its drones, Skydio’s systems and AI approach, and the considerations of choosing an autonomous system over a human agent.
We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.
LINKS:
SymForce: https://github.com/symforce-org/symforce
End-to-End Learning of Geometry and Context for Deep Stereo Regression (Skydio’s 2017 paper): https://arxiv.org/pdf/1703.04309
TIMESTAMPS:
(00:00) Episode Preview
(01:12) Nathan’s episode intro
(07:44) Hayk’s story
(11:21) What is Skydio?
(14:59) Sponsor: Omneky
(16:56) The core driver of Skydio’s business
(20:21) Skydio’s AI approach
(23:56) Updating the voltage 30,000 times per second
(24:52) How is the Skydio system built?
(34:07) The loops in the Skydio system
(36:00) SymForce, Skydio’s open source library and Hayk’s creation
(41:06) Writing symbolic expressions as a roboticist
(42:14) Writing an expression for a toy race car
(47:58) Skydio neural networks
(51:29) Going from designed systems to end-to-end systems
(58:17) How much does a Skydio drone and dock cost to install?
(01:00:19) The cost savings of using a Skydio drone
(01:02:59) Are $1 drone missions in the consumer’s future?
(01:06:22) Vertical integration vs platform
(01:09:29) The advantages and disadvantages of drones
(01:11:17) Running LLMs on a drone
(01:14:36) Power consumption going to compute vs mechanics
(01:18:26) Hayk’s predictions for consumer autonomous systems
(01:21:51) Standards for choosing autonomous systems over humans
(01:25:23) Skydio’s societal impact
(01:28:34) Universal basic income
(01:30:27) Skydio drone usage in defense
(01:34:34) The Ukraine-Russia conflict
(01:38:02) Hayk’s experience with the Nagorno-Karabakh conflict
TWITTER:
@SkydioHQ (Skydio)
@CogRev_Podcast
@labenz (Nathan)
@eriktorenberg (Erik)
SPONSORS:
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive
Thank you Omneky for sponsoring The Cognitive Revolution. Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work, customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.
This show is produced by Turpentine: a network of podcasts, newsletters, and more, covering technology, business, and culture — all from the perspective of industry insiders and experts. We’re launching new shows every week, and we’re looking for industry-leading sponsors — if you think that might be you and your company, email us at erik@turpentine.co.
MUSIC CREDIT:
MusicLM
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


