人臉識別作為深度學習最具代表性的技術之一,近年來得到了飛速的發(fā)展,無論是在精度、速度和規(guī)模上都有了極大的提高。在取得如此巨大成功的同時,科學家們將目光轉向了一個尚未充分探索的領域——卡通人臉識別,即將卡通動畫作品中的人臉進行準確的檢測和識別。

隨著數(shù)字技術和新媒體技術的快速發(fā)展我們的生活中出現(xiàn)了越來越多的卡通化人物,它們不僅成為了孩子們認識世界的窗口,更提供了教學輔助和科研傳播的功能,甚至用于描述個人觀點甚至傳播社會思想。與標準的繪畫作品相比,卡通、漫畫、幽默作品以一種十分夸張的方式來表現(xiàn),并導致了人臉的大幅形變和特征轉移。對于卡通人臉的檢測在動畫行業(yè)中的需求也日漸增加,主要包括:通過圖像搜索引擎在網(wǎng)絡中搜索相似的卡通圖像;通過識別和語音合成幫助視覺障礙認識享受卡通電影的樂趣;同時還能作為內容控制和審查軟件的一部分來對社交媒體的內容進行處理。

為了實現(xiàn)這一目標,研究人員們利用了IIIT-CFW卡通數(shù)據(jù)集作為燃料,基于深度學習實現(xiàn)了卡通人臉檢測、識別工作,并超過了傳統(tǒng)的方法達到了優(yōu)秀的檢測效果。

這一數(shù)據(jù)集中包含了8928張帶標記的卡通人臉圖像,其中不僅包含了不同年齡、性別、情感的基本人臉數(shù)據(jù),同時還包括各個人種、人臉位置以及諷刺隱喻等高維度信息,其標注信息示例如下,包括了七個特征維度和包括角色名字的五個人臉位置維度信息:

Face Annotation

作者對于卡通人臉主要進行了三個方面的工作:人臉檢測、人臉識別和性別檢測,并在檢測的過程中對卡通人臉的關鍵點進行了識別和抽取。

對于人臉檢測,研究人員們主要使用了MTCNN(Multi-task Cascaded Convolutional Network)網(wǎng)絡,這一架構包含三個主要的部分分別是通過圖像金字塔提出候選框的建議網(wǎng)絡P-Net、隨后是用于提煉優(yōu)化結果的精煉網(wǎng)絡R-Net,最后是用于生成最終人臉框和五個標志結果的輸出網(wǎng)絡O-Net。

對于人臉識別工作,研究人員們提出兩種方式,第一種是利用Inceptionv3+SVM來進行識別,首先利用Inception來高效抽取圖像特征,并在最后使用分類器來對最終2048維結果進行分類實現(xiàn)識別。

另一種方式利用了建議系統(tǒng)來構建了標志抽取系統(tǒng),并基于多輸入多輸出的CNN分類器實現(xiàn)了人臉識別。首先將卡通圖像進行灰度和歸一化處理,隨后對卡通人臉圖像的15個特征點坐標進行抽取。在檢測過程中,使用了5層的神經(jīng)網(wǎng)絡對特征點進行檢測(利用真實的人臉進行了訓練,以提高人臉特征檢測能力)。最后這一結果和像素處理的結果同時送入到建議人臉識別架構網(wǎng)絡中去,通過CNN的多輸入多輸出結果進行識別。

通過對于上述網(wǎng)絡的訓練后,得到了良好的檢測結果。在人臉檢測的表現(xiàn)上,作者同時和基于HOG特征及Harr特征的結果進行了比較,在真陽性、假陽性、假陰性的指標都超過了這些方法。

在卡通人臉關鍵點提取任務中也表現(xiàn)良好。

這一工作的主要貢獻在于利用MTCNN架構實現(xiàn)了卡通人臉的檢測,并在多個指標上有了較大的提高,同時在卡通人臉識別任務上利用了預訓練的Inception架構和SVM特征分類器實現(xiàn)了更高的效果。并提出了基于LeNet的多輸入多輸出HCNN架構降低了top5的錯誤率。

值得一提的是,在卡通圖像領域還有很多的工作可以去填坑,包括卡通人臉識別、驗證、性別識別,照片到卡通圖像的相互轉換(類似風格遷移)、卡通人臉檢測、位置估計和關鍵點檢測、相關特性識別以及基于卡通圖像特征的搜索引擎。同時還包括通過照片轉化為一系列卡通表情的生成、草圖繪制和渲染,以及相應的逆問題。還有很多應用和點可以再卡通領域進行探索,甚至GANs和VAE也是一個不錯的選擇呢!

原文標題:人臉識別的新世界——卡通人臉檢測

文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關注!文章轉載請注明出處。