Nikhila Ravi：放弃牛津医学博士，剑桥毕业开始学编程，成为Meta超级智能实验室总监，视频一键跟踪模型SAM 2一作

Nikhila Ravi：放弃牛津医学博士，剑桥毕业开始学编程，成为Meta超级智能实验室总监，视频一键跟踪模型SAM 2一作

AI人物 | 感受他们为世界做出的贡献

三个一模一样的杯子倒扣在桌上，球被扣进其中一个。杯子开始换位置，左换右，右换中，越换越快。最后问你：球在哪个杯子底下？

2024年8月，Nikhila Ravi在一档AI播客上，拿这个游戏考了一个AI。视频开头，她点了一下藏球的那只杯子。球被扣着看不见，三只杯子长得一样，还在来回挪。她一边放一边讲：

三个杯子长得一模一样，球被杯子盖住，看不见了，杯子一直在动。可模型一直跟着我们选的那只杯子。到最后，它又把这只杯子找了出来。

这个AI叫SAM 2，Meta在2024年7月29日发布。在视频里点一下某样东西，它就在整段视频里沿着轮廓把它抠出来，一路跟到底。

把一样东西在视频里从头盯到尾，行话叫"目标跟踪"。转播镜头跟着球走、无人机跟拍、给视频里的人换背景，都要先做到这一步。

SAM 2的论文有18位作者，Ravi排在第一位，也是三位项目负责人之一。2025年，这篇论文拿了ICLR的杰出论文荣誉提名。ICLR是机器学习领域的三大顶级会议之一，那一年全会只评出3篇杰出论文、3篇荣誉提名。SAM 2的代码放在程序员常用的代码网站GitHub上，被收藏了两万多次。

她现在是Meta超级智能实验室的总监，和同事一起带SAM团队，带过40多人的研发队伍。

▲Nikhila Ravi（图源：英国皇家工程院）

可她在那档播客里说：

我没读博士。我不是那种典型的研究科学家。

她原本是要去牛津读医学的。

盯住一个东西，难在哪

视频其实是一张张照片连着放，一秒二三十张，每一张叫一帧。电脑看视频，就是一帧一帧地看。

难在东西每一帧都可能变样：转个身、换个角度、走进阴影，还会被别的东西挡住。SAM 2团队后来整理自己的视频数据，发现人工标出来的东西里，有42.5%至少消失过一帧，后来又冒了出来。

▲SAM 2训练数据里的两段视频，每排是同一段视频，每隔1秒截一帧，每样东西涂一种颜色。上排这个人从站着到摔在地上，样子一直在变；下排穿粉衬衫的人走到镜头前，把后面几个人挡住了（图源：Ravi等，SAM 2论文图4）

以前常见的办法有两种。

一种是每一帧都重新找一遍。先把画面里的人、车全框出来，再跟上一帧的框一个个对上号，连成一条条线。2016年的SORT就是这么做的：按上一帧的位置和速度，猜它这一帧该在哪，谁离得近就配给谁。可人被挡住半个身子，框就不好找，线容易断，接回来时还可能接错人。第二年的DeepSORT加了一条：长得像不像。只加这一条，认错人的次数就少了45%。

另一种是只给一张照片。牛津大学2016年的一篇论文就是这么做的：要跟的东西，只在第一帧上用一个方框圈出来。程序拿方框里那一小块当照片，在后面每一帧里找最像它的地方。

手里只有第一眼的样子，东西一变样，这张照片就不太灵了。

从牛津医学院，到伦敦东区的编程学校

Ravi出身一个印度传统家庭，家在伦敦。她2018年写过一篇长文回顾自己这条路，里面说，家里从小教孩子追求名声、钱和稳稳当当的将来。

她在剑桥大学唐宁学院读工程，本科加硕士，都是一等荣誉。剑桥的工程专业什么都学，前两年机械、流体、结构、材料、计算机挨个上。2012年，她还进了剑桥女子板球校队，拿到"全蓝"，这是剑桥给代表学校跟牛津比赛的运动员的最高荣誉。

快毕业时，她选了越来越多机器学习的课。有一天，教授走进教室，说谷歌买下了DeepMind。那是2014年1月，全班就这件事讨论了一整节课。她后来在播客里说，就是从那时候起，她开始想，也许可以试试学医以外的事。

她手里已经有牛津大学医学院的录取，秋天就该入学。可她越来越犹豫，要不要把一辈子交给医学。她想先腾出时间想清楚。

毕业那个夏天，她去了一家叫Code First: Girls的机构，给英国各大学的女生组织免费编程课。帮别人学了6个月，她决定自己也要学，而且要用最快的办法：泡进去。

她报了伦敦东区一所社区办的全日制编程学校，叫Founders and Coders，学8周。班上15个同学，有老师、披萨师傅、前模特、音乐人、服装设计师。每周学一样新东西，每个周五分组做出一个网站来演示。她说，在那儿她找到了自己的同类。

也是在这段时间，一家咨询公司给了她一份工作，她的原话是"薪水好得惊人"。

家里不理解。她写道，在家人眼里，她不去找一份"正经"工作，是在浪费工程学位；写代码只是一时兴起，过阵子就会腻。

家里人劝她，她没听。牛津医学院和咨询公司，她都回了一句"不了，谢谢"。

三年后回头看，这是我这辈子做过最好的决定之一。

之后8个月，她跟着校友和一家小软件公司接项目，什么新技术都抢着上手。再往后，她申请到英国的肯尼迪奖学金，2016年秋天去了哈佛，在哈佛和隔壁的麻省理工学院选了一年计算机课。她在奖学金的博客上记过选课：广义线性模型、数据科学，还有一门"吓人的"随机优化，她说一周前自己都不知道这几个字什么意思。她还去哈佛法学院旁听了一门东西方哲学课，讲的是人该怎么过这一辈子，她自己补了一句：这事贝叶斯统计帮不上忙。

在哈佛，她最喜欢的是计算机视觉，就是教电脑看懂图像。2017年，她投了Facebook，被录用了。

进了Facebook：从做工具到带SAM

她在Facebook的第一份工作，是给公司内部的团队做工具，让大家训练和部署机器学习模型更方便。后来她转到Facebook人工智能研究院，做计算机视觉和三维。2020年，她是PyTorch3D论文的第一作者，这是Facebook开源的一套让电脑处理三维模型的免费工具。

2023年，Meta发布了一键抠图模型SAM，在照片上点一下，就把那样东西沿着轮廓抠出来。英国皇家工程院后来写，她是这个开源项目的共同负责人之一。

2024年7月，皇家工程院评出当年的5位"年度青年工程师"，她是其中之一。公告里写，她在Meta差不多7年，合写了10篇论文，被引用5300多次。

那时，SAM 2快要发布了。照片上点一下能抠出来，下一步就是视频：点一下，一直跟下去。

SAM 2怎么一路跟住：随身带一本相册

SAM 2能跟住，靠的是记性。

可以把它想成一本相册。你点的那一帧，拍一张，放进相册。往后每看一帧，它先翻翻相册，照着里面的样子去认；认出来了，再给这一帧拍一张放进去。相册只放最近6帧的照片，新的进来，最旧的就抽掉；你亲手点过的那几帧，一直留着。

只给第一张照片的办法，比的是第一眼的样子；SAM 2的相册里还有它刚才的样子。狗转了头，相册里就有它刚转头那一刻的样子。

被挡住了也不硬认。SAM 2每一帧都会先判断：它这一帧是不是看不见了。看不见，就记下"看不见"，不随便找个像的顶上去。

哪一帧跟错了，在那一帧再点一下，这一张也进了相册，一直留着，后面就跟着改对。论文里有一张图，讲的是一只金毛的舌头。

▲蓝绿色是SAM 2抠出来的部分。上排：第1帧在舌头上点一下（绿点是"要这个"，红点是"不要这些"），SAM 2自己往下跟，第2帧跟住了；第3帧一只小狗挤进画面，舌头上的蓝绿色没了，跟丢了。下排：在第3帧舌头上再点一下，后面就又跟住了（图源：Ravi等，SAM 2论文图2）

论文说，以前的做法是先拿抠图模型抠，再交给另一个程序去跟，第3帧跟丢以后得从头再来，像第1帧那样重新点好几下。SAM 2有相册，点一下就找回来了。

论文拿9个视频数据集测下来，SAM 2抠得更准，要人点的次数还不到以前的三分之一。在一块高端显卡上，它一秒能处理40多帧，比视频正常播放还快。

Ravi在播客里还演示过水下的章鱼。她说，模型以前几乎没见过章鱼，章鱼浑身是会动的地方，SAM 2却能一条一条跟住它的触手。

教它跟东西的数据，是边做边攒的。团队请人在47个国家拍了5万多段视频。一开始，标注员拿图片版的SAM一帧一帧地抠，平均每帧要37.8秒；后来SAM 2自己先往下跟，人只管纠错，每帧只要4.5秒。

今天：剪视频，标心脏超声

2025年4月，Instagram推出剪视频的App，叫Edits，里面有个功能叫Cutouts。在视频里选中一个人或一样东西，点"跟踪"，背后的SAM 2.1就把它一帧一帧地抠出来，一路跟到底。Meta说，Edits上线头24小时里，这个功能就被用了几十万次。

医生也用上了。2025年，多伦多大学王波团队在SAM 2的基础上做了MedSAM2，拿它给25万多帧心脏超声视频做标注，人工成本降了85%以上。

Ravi说过一句话：

我说过我本来想当医生。可SAM在医学上的影响，可能比我自己当医生能有的还大。

还卡在哪：一模一样的杂耍球

三个杯子能跟住，不代表什么都能跟住。

SAM 2的论文自己举了个例子：几个一模一样的杂耍球，一起在空中飞。相册里每一张都长一个样，它就分不清谁是谁。论文还写，被挡得太久、视频太长、镜头一切换、人挤人的场面，它都可能跟丢或者认错。

还有一种错，跟相册有关。后来有一篇专门改进它的论文指出：哪一帧要是认错了，错的那张也会被放进相册，后面照着错的去认，越跟越偏。

2025年8月，有研究者专门挑了一批更难的视频，东西多、挡得厉害、长得像的扎堆，做成一套新考卷。SAM 2在原来那套考卷上能拿76.4%，到了新考卷，只剩50.9%。

Ravi自己也认这一条。她在播客里说，一堆长得很像的东西挤在一起时，认准你要的那一个，还是很难：

我不知道我们是不是已经把它彻底解决了。

现在：说一个词，全都跟住

2025年11月，SAM 3发布。SAM 2是你点哪个，它跟哪个；SAM 3可以直接说一个词，比如"猫"，它把视频里所有的猫都找出来，每只编个号，一只一只跟到底。这篇论文有38位作者，署名单位换成了Meta超级智能实验室，Ravi是五位项目负责人之一。

▲SAM 3：给一个词，它把对得上的都找出来，一样一种颜色。上排是照片里的"带条纹的猫""圆形细胞""小窗户"；下排是视频，两只袋鼠换了位置，颜色还是各跟各的（图源：SAM 3论文图1）

2026年3月27日，又出了SAM 3.1。以前同时跟几样东西，就得各跑几遍，一样一本相册；SAM 3.1把它们打包，共用一本相册，一起跑。同时跟128样东西时，快了约7倍。

2026年9月28日，Ravi在社交媒体X上发了个小演示，用的就是SAM 3.1，名字叫"对什么都能点赞"。点赞的对象，从一整段视频，换成了视频里的一样东西。她写道：

看视频的时候，有时候我只想给里面的某样东西点个赞，而不是给整段视频。