這不是石建萍第一次來CVPR了。過去這八年,她幾乎沒落下過一屆,倒也習(xí)慣了每年辦一次美國簽證。只不過,這么多年以來,參加CVPR的身份卻在不斷變化:從一個(gè)本科生,到博士生,到研究員,再到如今商湯科技的研究總監(jiān)。

她今年帶來了五篇CVPR論文,其中一篇Oral和兩篇Spotlight,這個(gè)數(shù)量已經(jīng)算是相當(dāng)出色。商湯科技今年也破紀(jì)錄地入選了44篇論文,僅次于谷歌的45篇。工業(yè)界的一家公司有40多篇論文入選CVPR,這在過去絕對(duì)是難以想象的。

過去的十年里,CVPR變了許多。曾經(jīng)在學(xué)術(shù)界孤芳自賞的計(jì)算機(jī)視覺,如今走出了象牙塔,成為聚光燈下最璀璨的科技新星。會(huì)議的主角,從當(dāng)年的向量機(jī),到今天大行其道的深度學(xué)習(xí);2010年出世的ImageNet挑戰(zhàn)賽ILSVRC,也在去年畫上了一個(gè)句號(hào)......

十年前不過1500人的參會(huì)規(guī)模,今年已經(jīng)超過了6500人;當(dāng)年還來參會(huì)的學(xué)生們,現(xiàn)在不少都是工業(yè)界的高級(jí)研究員或首席科學(xué)家......

多年的變遷,其中有委員會(huì)的推波助瀾,也是時(shí)代變遷的必然結(jié)果。大部分人對(duì)這些變化歡欣鼓舞,也有不少人患得患失。這其中的故事,值得我們?nèi)セ厮荨?

曾經(jīng)懵懂的華人學(xué)者

2011年,即將從浙江大學(xué)竺可楨學(xué)院大四畢業(yè)的石建萍收到了來自CVPR委員會(huì)的郵件:恭喜您,您的論文入選了今年的Oral Presentation(論文演講報(bào)告)。這讓她可激動(dòng)壞了。

CVPR,全稱IEEE國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議,在計(jì)算機(jī)視覺領(lǐng)域是和ICCV、ECCV并稱的三大頂尖會(huì)議。計(jì)算機(jī)學(xué)科的發(fā)展速度很快,前沿更新往往是日新月異,相比于1-2年才能面世的期刊,學(xué)者們都傾向于將論文投至年度學(xué)術(shù)會(huì)議。

入選Oral意味著你的論文不僅受到了委員會(huì)的極大認(rèn)可,還可以在參會(huì)者面前做15-20分鐘的演講報(bào)告(現(xiàn)在時(shí)間都縮短了)。CVPR的總體論文錄取率在25%-30%,入選Oral的錄取率不超過5%(2011年為3.5%),剩下的都是Poster(論文海報(bào)),以及在2016年才出現(xiàn)的第三種形式Spotlight,即簡(jiǎn)短的演講報(bào)告。

據(jù)不完全統(tǒng)計(jì),石建萍可能是當(dāng)時(shí)國內(nèi)第一個(gè)論文入選CVPR Oral的本科生。她研究的課題是為A Non-Convex Relaxation Approach to Sparse Dictionary Learning。Sparce Dictionary Learning在當(dāng)時(shí)還是比較主流的研究課題(以基本元素的線性組合以及這些基本元素本身的形式找到輸入數(shù)據(jù)的稀疏表示,也稱為稀疏編碼)。不過,深度學(xué)習(xí)到來后,這些方法都沒有容身之處了。

CVPR是石建萍第一次接觸國際頂尖會(huì)議。辦妥了簽證,她就準(zhǔn)備動(dòng)身前往美國。

那年的CVPR剛剛從前一年的舊金山來到了美國的內(nèi)陸城市科羅拉多,參會(huì)者也從前一年的2000人掉到了1000多人。不比今天的CVPR要選在某某會(huì)議中心,那年的規(guī)格在一家皇冠假日酒店舉辦也就足夠了。酒店里的兩個(gè)Ballroom被用作Oral,一樓的另外三個(gè)房間用來展示Poster,酒店零星地?cái)[著一些來自工業(yè)界公司的展臺(tái),幾張小桌子拼拼湊湊,上面疊放著招人啟示。

多年來,CVPR的日程也一直如此:周二到周四是大會(huì)正式日,周一和周五、甚至是周六則是Workshop和Tutorials。

石建萍的Oral被安排在周二中午,倒也一切順利。剩下的時(shí)間,她就用來看Poster。那時(shí)候接收的論文也不多,一個(gè)半小時(shí)看個(gè)40多篇,不過因?yàn)槭堑谝淮蝸?大多她也看不太懂。

石建萍在CVPR 2011做Oral演講

2011年以前,即使是國內(nèi)一流的學(xué)術(shù)機(jī)構(gòu),包括清華、浙大和中科院自動(dòng)化所,當(dāng)時(shí)能投中CVPR論文的并不多。不是因?yàn)閲鴥?nèi)學(xué)者們的研究能力不足,而是在CVPR上投中論文,需要許多“門道”:選題是否合適?英文寫作是否規(guī)范?實(shí)驗(yàn)該怎么做?當(dāng)時(shí)的國內(nèi)學(xué)術(shù)機(jī)構(gòu)缺乏海歸學(xué)者和相應(yīng)的學(xué)術(shù)環(huán)境,這讓他們往往把不準(zhǔn)國際會(huì)議的脈。

CVPR 2017的領(lǐng)域主席、如今在俄勒岡州立大學(xué)任教的李伏欣,回憶起2008年以前在自動(dòng)化所就讀博士的場(chǎng)景時(shí),感慨道:“那時(shí)候許多同學(xué)的論文英文寫作還都是我改的。大家缺乏專業(yè)的學(xué)術(shù)訓(xùn)練,不了解如何把握實(shí)驗(yàn)設(shè)計(jì)和論文寫作中的各種細(xì)節(jié)?！?

李伏欣還談到了當(dāng)年寫論文的一個(gè)細(xì)節(jié),“我剛出國的時(shí)候,當(dāng)時(shí)寫論文被改的最多的就是‘get’改成‘obtain’,‘to do something’改成‘in order to do something’,看起來是一樣的東西,但就是口語和書面語的區(qū)別?！?

另一個(gè)值得一提的原因是:直到中國計(jì)算機(jī)協(xié)會(huì)在2010年左右(具體時(shí)間無法考證)將CVPR定為A級(jí)會(huì)議之前,國內(nèi)學(xué)術(shù)機(jī)構(gòu)對(duì)CVPR也沒有那么重視。

微軟亞洲研究院(簡(jiǎn)稱微軟亞研)和香港中文大學(xué)多媒體實(shí)驗(yàn)室(簡(jiǎn)稱港中大實(shí)驗(yàn)室)是當(dāng)時(shí)國內(nèi)計(jì)算機(jī)視覺的兩大重鎮(zhèn)。2009年CVPR的最佳論文便出自這兩家學(xué)術(shù)機(jī)構(gòu)之手,論文的第一作者何愷明此后又帶來了殘差網(wǎng)絡(luò)ResNet,也因此獲得了CVPR 2016的最佳論文,這已經(jīng)是后話了。

石建萍是幸運(yùn)的,當(dāng)時(shí)浙江大學(xué)空降了一位海歸學(xué)者——來自加州大學(xué)伯克利分校的張志華。據(jù)石回憶,張志華是一心做純科研的學(xué)者,極力推薦學(xué)生們讀數(shù)學(xué)的書,也不讓他們?nèi)プ龊晚?xiàng)目相關(guān)的東西。后來,張志華先后在上海交大和北京大學(xué)任教,如今是北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院教授。

張志華的引路,讓石建萍與計(jì)算機(jī)視覺結(jié)緣。盡管當(dāng)時(shí)為她寫推薦信的老師曾勸她學(xué)習(xí)比較火的領(lǐng)域,比如數(shù)據(jù)挖掘(Data Mining),但石建萍還是選擇了當(dāng)時(shí)中國計(jì)算機(jī)視覺領(lǐng)域的重鎮(zhèn)——香港中文大學(xué),并投身計(jì)算機(jī)視覺系的賈佳亞教授門下。

湯曉鷗教授的前瞻

時(shí)間來到2012年,多倫多大學(xué)教授、被譽(yù)為“深度學(xué)習(xí)之父”的Geoffry Hinton和他的學(xué)生們帶著AlexNet在那一年的ImageNet ILSVRC挑戰(zhàn)賽上技?jí)喝盒?top5錯(cuò)誤率比第二名低了足足10%。這篇被NIPS 2012收錄的論文也被認(rèn)為是開啟深度學(xué)習(xí)熱潮的一塊里程碑。

可在當(dāng)時(shí),將深度學(xué)習(xí)應(yīng)用到計(jì)算機(jī)視覺的并不只有Hinton組。2011年,當(dāng)時(shí)還在斯坦福大學(xué)任教的吳恩達(dá)聯(lián)合Jeff Dean和Greg Corrado在谷歌創(chuàng)立了Google X項(xiàng)目,用16000個(gè)中央處理器核心,通過深度神經(jīng)網(wǎng)絡(luò),讓該系統(tǒng)僅通過收看大量的Youtube視頻來識(shí)別貓。

而在中國,由湯曉鷗教授所帶領(lǐng)的香港中文大學(xué)實(shí)驗(yàn)室也在2011年起開始探索深度學(xué)習(xí)在人臉識(shí)別方面的可能性。

林達(dá)華是如今香港中文大學(xué)實(shí)驗(yàn)室的主任。2005年從中科大畢業(yè)之后,林達(dá)華曾經(jīng)在港中大實(shí)驗(yàn)室就讀碩士學(xué)位,和湯教授有了一段師生緣。2007年,他獲得全額獎(jiǎng)學(xué)金到MIT攻讀計(jì)算機(jī)科學(xué)博士學(xué)位。2014年,林達(dá)華受湯教授的邀請(qǐng)回到了港中大任教并成為商湯科技的創(chuàng)始成員。

據(jù)他回憶,港中大實(shí)驗(yàn)室研究人臉識(shí)別可以追溯到2000年?！拔以?005年讀碩士的時(shí)候,當(dāng)時(shí)我們主要是用子空間分析——一種線性模型的方法來做人臉識(shí)別,也取得了一些成果,但是直到深度學(xué)習(xí)之前,性能水平始終難以做到商用?！?

轉(zhuǎn)機(jī)出現(xiàn)在2011年,當(dāng)時(shí)在微軟亞研的鄧力教授(如今是美國金融巨頭Citadel的首席人工智能官)率先將深度學(xué)習(xí)應(yīng)用到了語音識(shí)別領(lǐng)域,并取得了顯著的性能提升。這讓同樣在微軟亞研的湯教授嗅到了在視覺領(lǐng)域掀起深度學(xué)習(xí)革命的機(jī)會(huì)。

然而,轉(zhuǎn)型并不容易。當(dāng)時(shí)的學(xué)術(shù)界對(duì)于深度學(xué)習(xí)抱有極大的懷疑態(tài)度。神經(jīng)網(wǎng)絡(luò)早在80年代就出現(xiàn)了,之所以多年來不受重用是因?yàn)槠湓谛阅苌喜]有優(yōu)勢(shì)可言,且神經(jīng)網(wǎng)絡(luò)的黑箱屬性讓研究員難以理解網(wǎng)絡(luò)的學(xué)習(xí)和決策過程。

此外,將過去的工作推翻全面接受深度學(xué)習(xí),花費(fèi)大量的資金購買GPU建立并行算力集群,并決定完全自主研發(fā)深度學(xué)習(xí)平臺(tái),對(duì)湯教授來說這是需要承擔(dān)風(fēng)險(xiǎn)的。許多后輩的學(xué)者都評(píng)價(jià)湯教授是“一位具有前瞻性的學(xué)者”,他當(dāng)時(shí)在深度學(xué)習(xí)上的探索為之后的許多工作都奠定了基礎(chǔ)。

巨大的投入很快取得了回報(bào)。2011-2013年間,在計(jì)算機(jī)視覺領(lǐng)域兩大頂級(jí)會(huì)議ICCV和CVPR上,湯教授組一共發(fā)表了14篇深度學(xué)習(xí)論文,占據(jù)全世界在這兩個(gè)會(huì)議上深度學(xué)習(xí)論文總數(shù)(29篇)的近一半。

到了2014年6月,湯教授帶領(lǐng)港中大多媒體實(shí)驗(yàn)室發(fā)表了DeepID系列算法,實(shí)現(xiàn)人臉識(shí)別準(zhǔn)確率達(dá)98.52%,超越Facebook,在全球首次突破人眼識(shí)別能力。該論文也被CVPR 2014所收錄。

雖然這些成績(jī)還遠(yuǎn)遠(yuǎn)不夠,但學(xué)術(shù)界看到了人臉識(shí)別在商用上的可能性。

CVPR也在2014和2015年開始全面接受深度學(xué)習(xí)。在CVPR 2016,據(jù)不完全統(tǒng)計(jì),將近60%的論文都和深度學(xué)習(xí)相關(guān),口頭報(bào)告更是接近100%來自深度學(xué)習(xí)。

當(dāng)時(shí)在港中大讀博士的石建萍,見識(shí)到了深度學(xué)習(xí)和以往算法的不同?！吧疃葘W(xué)習(xí)確實(shí)把很多東西做成了,以前可能我們流行了很多不同的技術(shù)方案,但是大家都還是在這個(gè)水平線上打轉(zhuǎn),沒有一個(gè)特別大的一個(gè)突破,但是深度學(xué)習(xí)直接將很多問題的一個(gè)準(zhǔn)確率一下抬高了一個(gè)檔次?！?

嗅到了商用機(jī)會(huì)的湯教授,帶著昔日弟子王曉剛和一批港中大實(shí)驗(yàn)室的班底,在2014年年末創(chuàng)立了商湯科技。2015年夏天,石建萍博士學(xué)位畢業(yè),追隨她的“師兄師姐們”進(jìn)入了商湯科技研究院。她的大師兄,也就是如今商湯科技的CEO徐立。

學(xué)術(shù)到工業(yè)的一脈相承

斯坦福大學(xué)教授、Deeplearning.ai的創(chuàng)始人吳恩達(dá)曾經(jīng)說過,如今99%的人工智能應(yīng)用的背后是由監(jiān)督學(xué)習(xí)所驅(qū)動(dòng)。易于標(biāo)注的二維圖像數(shù)據(jù)、算力的提升和深度學(xué)習(xí)算法的演進(jìn),也讓視覺領(lǐng)域在過去幾年首先得益。

從你睜開眼的那刻起,計(jì)算機(jī)視覺就開始了它一天的工作:從識(shí)別你的頭像解鎖手機(jī),到登陸你的銀行賬號(hào);交通燈上的攝像頭緊盯著亂闖馬路的行人并把他們的頭像放大在街頭的顯示屏上;進(jìn)入辦公大樓不用再出示工作證,而是直接看向門口的攝像頭進(jìn)行身份驗(yàn)證......

深度學(xué)習(xí)帶給了視覺領(lǐng)域大規(guī)模商用的潛能,也讓CVPR出現(xiàn)了一番新的景象。

過去,視覺領(lǐng)域的問題無法落地到實(shí)際的應(yīng)用場(chǎng)景里,研究大多局限在實(shí)驗(yàn)室?？扇缃?視覺領(lǐng)域與實(shí)踐緊密結(jié)合,產(chǎn)生出了新的問題,工業(yè)界需要利用研究來推動(dòng)自身的商業(yè)邊界,也就順其自然地向CVPR這樣的國際會(huì)議輸出研究結(jié)果。

最近幾年,貢獻(xiàn)最為明顯的要屬中國的AI公司,比如商湯。繼CVPR 2017入選了23篇論文后,今年商湯又貢獻(xiàn)了44 篇(這其中包括了商湯科技、香港中文大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室以及其他商湯科技聯(lián)合實(shí)驗(yàn)室),其中3篇是Oral(今年CVPR Oral錄取率是1.88%),內(nèi)容覆蓋了十幾個(gè)課題,包括大規(guī)模分布式訓(xùn)練、人體理解與行人再識(shí)別、自動(dòng)駕駛場(chǎng)景理解與分析、底層視覺算法、視覺與自然語言的綜合理解、物體檢測(cè)、識(shí)別與跟蹤、深度生成式模型、視頻與行為理解等。

此外,騰訊AI Lab有21篇論文入選,阿里巴巴18篇,騰訊優(yōu)圖10篇,曠視科技8篇。

石建萍覺得,商湯內(nèi)部其實(shí)沒有鼓勵(lì)大家寫論文,畢竟作為一家商業(yè)公司還是盡可能多的去做實(shí)際產(chǎn)品項(xiàng)目相關(guān)的一些東西,論文數(shù)量多的主要原因是因?yàn)榉諊谶@里。

“越來越多的同學(xué)進(jìn)入商湯或者港中大-商湯聯(lián)合實(shí)驗(yàn)室以后,他旁邊就有同學(xué)在做類似的事情,也更容易入手。在實(shí)際的產(chǎn)品過程中,我們有很多的想法出來,這時(shí)候就可以把一些實(shí)驗(yàn)提交給學(xué)生去做,他們也能夠快速地提高技能?！?

從2009年港中大多媒體實(shí)驗(yàn)室獲得最佳論文,到2018年商湯科技44篇論文入選,這是一脈相承的結(jié)果。

“資源的投入,新問題的產(chǎn)生,肯定對(duì)這個(gè)領(lǐng)域的發(fā)展是有很大的一個(gè)正面驅(qū)動(dòng)作用的”,林達(dá)華說。

“總想有一年來贊助CVPR”

參加完幾次CVPR,石建萍早已沒有當(dāng)初的那股興奮勁兒了,但她依然有新的追求。

“以前和師兄師姐聊天的時(shí)候,他們都說自己有個(gè)夢(mèng)想:參加了這么多年CVPR,總想有一年過來贊助下。”

2015年以前,即便是公司常年贊助CVPR,也不過是在Poster外圍搭上個(gè)小展臺(tái)。而且,這么多年以來,CVPR的贊助名單上永遠(yuǎn)是那幾家美國公司:谷歌、微軟、亞馬遜、IBM......

在2015年的CVPR上,一家叫做知圖科技的AI公司買下了那一年的Platinum Sponsor,并讓該公司的品牌直接印在了每個(gè)參會(huì)者的入場(chǎng)名牌(badge)上。

贊助CVPR有著工業(yè)界的考量,這背后反映的是計(jì)算機(jī)視覺在工業(yè)界的迅速升溫和對(duì)人才的渴求。僅僅在中國,2011年到2015年成立的人臉識(shí)別公司就超過30家,2016 年達(dá)到70多家。其中,既有商湯科技為代表的AI企業(yè);BAT也都在AI和計(jì)算機(jī)視覺領(lǐng)域有了實(shí)驗(yàn)室:阿里巴巴成立iDST,騰訊成立優(yōu)圖,百度成立人工智能實(shí)驗(yàn)室。

根據(jù)IDC在今年5月發(fā)布的《2018年中國計(jì)算機(jī)視覺應(yīng)用市場(chǎng)研究(上)》報(bào)告,截至2017年12月底,中國計(jì)算機(jī)視覺應(yīng)用市場(chǎng)規(guī)模達(dá)15.45億元人民幣,同比2016年增長(zhǎng)184%。其中,政府、金融、互聯(lián)網(wǎng)是計(jì)算機(jī)視覺技術(shù)支出規(guī)模最大的3個(gè)行業(yè);政府行業(yè)中平安城市、金融行業(yè)中人臉身份驗(yàn)證是技術(shù)支出規(guī)模最大的2個(gè)場(chǎng)景。

在AI人才稀缺的年代,像CVPR這樣的大會(huì)就好比是一場(chǎng)大型招聘會(huì)。這些來自高校的學(xué)者或是工業(yè)界的能人,未來都有可能成為廠商們的核心研究員。

同樣在2015年,剛剛成立的商湯科技也成為了CVPR最高級(jí)別贊助商。對(duì)石建萍的那些在商湯的師兄師姐們而言,贊助CVPR除了品牌宣傳外,也算是了卻了心愿。之后,商湯每年都出現(xiàn)在了贊助名單上。

時(shí)間來到2016年,CVPR迎來了歷史上首次展覽會(huì)。那一年就有近100家公司參加,到了今年,廠商數(shù)量超過了115家,也給委員會(huì)帶來了200萬美元的贊助收入。

在拉斯維加斯的凱撒宮舉辦的CVPR 2016吸引了3500 人,在當(dāng)時(shí)達(dá)到了歷史新高。展覽會(huì)在凱撒宮的Octavius Ballroom舉辦,聚集了將近100家公司。Platinum Sponsor的展臺(tái)達(dá)20*20ft。和工業(yè)界展會(huì)雷同,公司們搭設(shè)屏幕展示Demo或者技術(shù)產(chǎn)品。

在那一年的Sponsor名單上,除了商湯我們還看到了更多中國面孔:圖森科技、大疆、百度、滴滴......這幾家公司也都成為了近年來CVPR的熟客。

在那會(huì)兒,商湯的展臺(tái)布置還比較簡(jiǎn)單:兩邊各擺上一張海報(bào),中間擺著三臺(tái)屏幕展示Demo,后面擺著幾張桌子。

來到2018年,商湯的CVPR展臺(tái)除了一如既往的紅色背景外,擺設(shè)裝潢已經(jīng)完全不同了:展臺(tái)的四周由四面展示墻包圍,正反面各搭設(shè)一個(gè)屏幕,用來展示一種商湯的技術(shù)產(chǎn)品。這也難怪,如今商湯科技的布局橫跨十幾個(gè)領(lǐng)域,從人臉識(shí)別系統(tǒng)SensePortrait、到增強(qiáng)現(xiàn)實(shí)感引擎與平臺(tái)SenseAR、再到車內(nèi)駕駛員監(jiān)控系統(tǒng)SenseDrive,要展示的Demo實(shí)在太多。

商湯科技在CVPR 2018的展臺(tái)

這些過去幾年曾出現(xiàn)在某CVPR上的論文,如今以Demo甚至是產(chǎn)品的形式在CVPR上重現(xiàn),這是計(jì)算機(jī)視覺學(xué)者的一種幸運(yùn)。

寫在最后

“好想去感受一次(CVPR)”,這是許多年紀(jì)輕輕、還未經(jīng)歷過CVPR的計(jì)算機(jī)視覺系同學(xué)的心聲。

林達(dá)華還記得他第一年參加CVPR,那還是2005年,也是中了一篇Oral,“我準(zhǔn)備了兩三周,反復(fù)地在老師面前說。那個(gè)時(shí)候Oral時(shí)間也比較長(zhǎng),要將近20分鐘。”

“學(xué)生時(shí)代的話,其實(shí)每一次來開會(huì)都懷著一個(gè)比較好奇的一個(gè)心情,現(xiàn)在也大不一樣了?！?

石建萍也有同感。2011年來的時(shí)候,她還是一個(gè)學(xué)生,對(duì)什么都好奇。今年她帶著幾個(gè)商湯實(shí)習(xí)生過來,有些人也是第一次過來,瞧著和當(dāng)年的自己特別像。

原文標(biāo)題:CVPR 2018 | CVPR十年軼事:走出象牙塔

文章出處:【微信號(hào):SenseTime2017,微信公眾號(hào):商湯科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。