一個(gè)典型的基于視頻圖像的人臉識(shí)別系統(tǒng)一般都是自動(dòng)檢測(cè)人臉區(qū)域,從視頻中提取特征,最后如果人臉存在則識(shí)別出人臉的身份。在視頻監(jiān)控、信息安全和出入控制等應(yīng)用中,基于視頻的人臉識(shí)別是一個(gè)非常重要的問題,也是目前人臉識(shí)別的一個(gè)熱點(diǎn)和難點(diǎn)?；谝曨l比基于靜態(tài)圖像更具優(yōu)越性,因?yàn)?Bruce 等人和 Knight 等人已證明,當(dāng)人臉被求反或倒轉(zhuǎn)時(shí),運(yùn)動(dòng)信息有助于(熟悉的)人臉的識(shí)別。

雖然視頻人臉識(shí)別是基于靜態(tài)圖像的人臉識(shí)別的直接擴(kuò)展,但一般認(rèn)為視頻人臉識(shí)別算法需要同時(shí)用到空間和時(shí)間信息,這類方法直到近幾年才開始受到重視并需要進(jìn)一步的研究和發(fā)展。

視頻人臉識(shí)別遇到的困難和挑戰(zhàn),具體來說有以下幾種:

1、視頻圖像質(zhì)量比較差:視頻圖像一般是在戶外(或室內(nèi),但是采集條件比較差)獲取的,通常沒有用戶的配合,所以視頻人臉圖像經(jīng)常會(huì)有很大的光照和姿態(tài)變化。另外還可能會(huì)有遮擋和偽裝。

2、人臉圖像比較小:同樣,由于采集條件比較差,視頻人臉圖像一般會(huì)比基于靜態(tài)圖像的人臉識(shí)別系統(tǒng)的預(yù)設(shè)尺寸小。小尺寸的圖像不但會(huì)影響識(shí)別算法的性能,而且還會(huì)影響人臉檢測(cè),分割和關(guān)鍵點(diǎn)定位的精度,這必然會(huì)導(dǎo)致整個(gè)人臉識(shí)別系統(tǒng)性能的下降。

視頻人臉識(shí)別起源于基于靜態(tài)圖像的人臉識(shí)別,即識(shí)別系統(tǒng)自動(dòng)的檢測(cè)和分割出人臉,然后用基于靜態(tài)圖像的識(shí)別方法進(jìn)行識(shí)別。對(duì)這類方法的一個(gè)提高是加入了人臉跟蹤。在這類系統(tǒng)中,通過利用姿態(tài)和從視頻中估計(jì)到的深度信息合成一個(gè)虛擬的正面人臉。這個(gè)階段的另外一個(gè)能提高識(shí)別率的方法是利用視頻中充裕的幀圖像,基于每幀圖像的識(shí)別結(jié)果,使用“投票”機(jī)制。投票方法可以是確定的,但是概率投票方法一般來說更好。投票機(jī)制的一個(gè)缺點(diǎn)是計(jì)算結(jié)果的代價(jià)比較昂貴。

視頻人臉識(shí)別的第二個(gè)發(fā)展階段是利用多模態(tài)信息。因?yàn)槿祟愐话銜?huì)利用多種信息識(shí)別人的身份,所以一個(gè)多模態(tài)系統(tǒng)將比只利用人臉的識(shí)別系統(tǒng)性能更好。更重要的是利用多模態(tài)信息提供了一種方法,它能全面解決那些只靠人臉無法識(shí)別的任務(wù)。例如,在一個(gè)完全沒有配合的環(huán)境(比如搶劫),歹徒的臉一般是蒙著的,這時(shí)唯一能進(jìn)行無人臉識(shí)別的方法就是分析歹徒軀體的運(yùn)動(dòng)特性。除了指紋,人臉和聲音是最常用于身份識(shí)別的信息。它們已經(jīng)被用于很多多模態(tài)身份識(shí)別系統(tǒng)。 1997 年以來,每?jī)赡?就會(huì)召開一個(gè)專門關(guān)于基于視頻和語(yǔ)音身份識(shí)別的國(guó)際會(huì)議。

最近幾年,視頻人臉識(shí)別進(jìn)入第三個(gè)發(fā)展階段,這個(gè)階段方法的特點(diǎn)是同時(shí)采用空間信息(在每幀中)和時(shí)間信息(比如人臉特征的運(yùn)動(dòng)軌跡)。區(qū)別于概率投票方法的一個(gè)很大的不同之處在于,此類方法是在時(shí)間和空間的聯(lián)合空間中描述人臉和識(shí)別人臉的。

視頻圖像的一個(gè)非常重要的特性是它的時(shí)間連續(xù)性,以及由此產(chǎn)生的人臉信息的不確定性。在人臉跟蹤和識(shí)別中利用時(shí)間信息是視頻人臉識(shí)別算法和基于靜態(tài)圖像的人臉識(shí)別算法的最大區(qū)別。

目前這類算法大致可分為兩類:

1、 跟蹤 - 然后 - 識(shí)別,這類方法首先檢測(cè)出人臉,然后跟蹤人臉特征隨時(shí)間的變化。當(dāng)捕捉到一幀符合一定標(biāo)準(zhǔn)(大小,姿勢(shì))的圖像時(shí),用基于靜態(tài)圖像的人臉識(shí)別算法進(jìn)行識(shí)別。這類方法中跟蹤和識(shí)別是單獨(dú)進(jìn)行的,時(shí)間信息只在跟蹤階段用到。識(shí)別還是采用基于靜態(tài)圖像的方法,沒用到時(shí)間信息。

這種方法說白了其實(shí)就是,在檢測(cè)到人臉之后,對(duì)其進(jìn)行跟蹤,找到某個(gè)人在一段時(shí)間內(nèi)出現(xiàn)的所有幀中,最接近正臉且最清晰的圖片,然后對(duì)其進(jìn)行識(shí)別。省去了“人臉擺正”的過程。

2、 跟蹤 - 且 - 識(shí)別,這類方法中,人臉跟蹤和識(shí)別是同時(shí)進(jìn)行的,時(shí)間信息在跟蹤階段和識(shí)別階段都用到。

原文標(biāo)題:基于“視頻圖像”的人臉識(shí)別算法概述

文章出處:【微信號(hào):Imgtec,微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。