人臉識(shí)別的研究可以追溯到上個(gè)世紀(jì)六、七十年代,經(jīng)過(guò)幾十年的曲折發(fā)展已日趨成熟,構(gòu)建人臉識(shí)別系統(tǒng)需要用到一系列相關(guān)技術(shù),包括人臉圖像采集、人臉定位、人臉識(shí)別預(yù)處理、身份確認(rèn)以及身份查找等 。而人臉識(shí)別在基于內(nèi)容的檢索、數(shù)字視頻處理、視頻檢測(cè)等方面有著重要的應(yīng)用價(jià)值,可廣泛應(yīng)用于各類監(jiān)控場(chǎng)合,因此具有廣泛的應(yīng)用前景。OpenCV是Intel 公司支持的開源計(jì)算機(jī)視覺(jué)庫(kù)。它輕量級(jí)而且高效--由一系列 C 函數(shù)和少量 C++ 類構(gòu)成,實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法,作為一個(gè)基本的計(jì)算機(jī)視覺(jué)、圖像處理和模式識(shí)別的開源項(xiàng)目,OpenCV 可以直接應(yīng)用于很多領(lǐng)域,其中就包括很多可以應(yīng)用于人臉識(shí)別的算法實(shí)現(xiàn),是作為第二次開發(fā)的理想工具。

1 系統(tǒng)組成

本文的人臉識(shí)別系統(tǒng)在Linux 操作系統(tǒng)下利用QT庫(kù)來(lái)開發(fā)圖形界面,以O(shè)penCV 圖像處理庫(kù)為基礎(chǔ),利用庫(kù)中提供的相關(guān)功能函數(shù)進(jìn)行各種處理:通過(guò)相機(jī)對(duì)圖像數(shù)據(jù)進(jìn)行采集,人臉檢測(cè)主要是調(diào)用已訓(xùn)練好的Haar 分類器來(lái)對(duì)采集的圖像進(jìn)行模式匹配,檢測(cè)結(jié)果利用PCA 算法可進(jìn)行人臉圖像訓(xùn)練與身份識(shí)別,而人臉表情識(shí)別則利用了Camshift 跟蹤算法和Lucas–Kanade 光流算法。

2 搭建開發(fā)環(huán)境

采用德國(guó)Basler acA640-100gc 相機(jī),PC 機(jī)上的操作系統(tǒng)是Fedora 10,并安裝編譯器GCC4.3,QT 4.5和OpenCV2.2 軟件工具包,為了處理視頻,編譯OpenCV 前需編譯FFmpeg,而FFmpeg 還依賴于Xvid庫(kù)和X264 庫(kù)。

3 應(yīng)用系統(tǒng)開發(fā)

程序主要流程如圖1 所示。

圖1 程序流程(visio)

3.1 圖像采集

圖像采集模塊可以通過(guò)cvCaptureFromAVI()從本地保存的圖像文件或cvCaptureFromCam()從相機(jī)得到圖像,利用cvSetCaptureProperty()可以對(duì)返回的結(jié)構(gòu)進(jìn)行設(shè)置:

IplImage *frame;CvCapture* cAMEra = 0;

camera = cvCaptureFromCAM( 0 );

cvSetCaptureProperty(camera,

CV_CAP_PROP_FRAME_WIDTH, 320 );

cvSetCaptureProperty(camera,

CV_CAP_PROP_FRAME_HEIGHT, 240 );

然后利用start()函數(shù)開啟QTImer 定時(shí)器,每隔一段時(shí)間發(fā)送信號(hào)調(diào)用自定義的槽函數(shù),該槽函數(shù)用cvGrabFrame()從視頻流中抓取一幀圖像放入緩存,再利用CvRetrieveFrame()從內(nèi)部緩存中將幀圖像讀出用于接下來(lái)的處理與顯示。在qt 中顯示之前,需將IplImage* source 轉(zhuǎn)換為QPixmap 類型。

uchar *qImageBuffer = NULL;

/*根據(jù)圖像大小分配緩沖區(qū)*/

qImageBuffer = (uchar*) malloc(source-》width *

source-》height * 4 * sizeof(uchar));

/*將緩沖區(qū)指針拷貝到存取Qimage 的指針中*/

uchar *QImagePtr = qImageBuffer;

/* 獲取源圖像內(nèi)存指針*/Const uchar*

iplImagePtr=reinterpret_cast《uchar*》(source-》imageDat

a);

/*通過(guò)循環(huán)將源圖像數(shù)據(jù)拷貝入緩沖區(qū)內(nèi)*/

for (int y = 0; y 《 source-》height; ++y){

for (int x = 0; x 《 source-》width; ++x){

QImagePtr[0] = iplImagePtr[0];

QImagePtr[1] = iplImagePtr[1];

QImagePtr[2] = iplImagePtr[2];

QImagePtr[3] = 0;

QImagePtr += 4;

iplImagePtr += 3; }

iplImagePtr+=source-》widthStep–3*source-》width; }

/*將Qimage 轉(zhuǎn)換為Qpixmap*/QPixmap local =

QPixmap::fromImage(QImage(qImageBuffer,source-》wi

dth,source-》height, QImage::Format_RGB32));

/*釋放緩沖區(qū)*/

free(qImageBuffer);

最后利用QLabel 的setPixmap()函數(shù)進(jìn)行顯示。

3.2 圖像預(yù)處理

由于大部分的臉部檢測(cè)算法對(duì)光照,臉部大小,位置表情等非常敏感, 當(dāng)檢測(cè)到臉部后需利用cvCvtcolor()轉(zhuǎn)化為灰度圖像,利用cvEqualizeHist()進(jìn)行直方圖歸一化處理。

3.3 臉部檢測(cè)方法

OpenCV采用一種叫做Haar cascade classifier 的人臉檢測(cè)器,他利用保存在XML 文件中的數(shù)據(jù)來(lái)確定每一個(gè)局部搜索圖像的位置,先用cvLoad()從文件中加載CvHaarClassifierCascade 變量, 然后利用cvHaarDetectObjects()來(lái)進(jìn)行檢測(cè),函數(shù)使用針對(duì)某目標(biāo)物體訓(xùn)練的級(jí)聯(lián)分類器在圖像中找到包含目標(biāo)物體的矩形區(qū)域,并且將這些區(qū)域作為一序列的矩形框返回,最終檢測(cè)結(jié)果保存在cvRect 變量中。

3.4 臉部識(shí)別方法

識(shí)別步驟及所需函數(shù)如圖2 所示。

圖2 識(shí)別步驟(visio)

{$PAGE$}

PCA 方法(即特征臉?lè)椒?是M.Turk 和A.Pentland在文獻(xiàn)中提出的,該方法的基本思想是將圖像向量經(jīng)過(guò)K-L 變換后由高維向量轉(zhuǎn)換為低維向量,并形成低維線性向量空間,即特征子空間,然后將人臉投影到該低維空間,用所得到的投影系數(shù)作為識(shí)別的特征向量。識(shí)別人臉時(shí),只需將待識(shí)別樣本的投影系數(shù)與數(shù)據(jù)庫(kù)中目標(biāo)樣本集的投影系數(shù)進(jìn)行比對(duì),以確定與哪一類最近。

PCA 算法分為兩步:核心臉數(shù)據(jù)庫(kù)生成階段,即訓(xùn)練階段以及識(shí)別階段。

3.4.1 訓(xùn)練階段

主要需要經(jīng)過(guò)如下的幾步:

(1) 需要一個(gè)訓(xùn)練人臉照片集。

(2) 在訓(xùn)練人臉照片集上計(jì)算特征臉,即計(jì)算特征值,保存最大特征值所對(duì)應(yīng)的的M 張圖片。這M 張圖片定義了“特征臉空間”(原空間的一個(gè)子空間)。當(dāng)有新的人臉添加進(jìn)來(lái)時(shí),這個(gè)特征臉可以進(jìn)行更新和重新計(jì)算得到。

(3) 在“特征臉空間”上,將要識(shí)別的各個(gè)個(gè)體圖片投影到各個(gè)軸(特征臉)上,計(jì)算得到一個(gè)M 維的權(quán)重向量。簡(jiǎn)單而言,就是計(jì)算得到各個(gè)個(gè)體所對(duì)應(yīng)于M 維權(quán)重空間的坐標(biāo)值。

OpenCV 實(shí)現(xiàn)為:先用cvLoadImage()載入圖片并利用cvCvtcolor()轉(zhuǎn)換為灰度圖片,建立自定義的迭代標(biāo)準(zhǔn)CvTermCriteria,調(diào)用cvCalcEigenObjects()進(jìn)行PCA 操作,計(jì)算出的Eigenface 都存放在向量組成的數(shù)組中,利用cvEigenDecomposite()將每一個(gè)訓(xùn)練圖片投影在PCA 子空間(eigenspace)上,結(jié)果保存在矩陣數(shù)組中,用cvWrite《datatype》()將訓(xùn)練結(jié)果保存至XML文件中。下面圖3 為訓(xùn)練得到的部分特征臉圖像。

圖3 特征臉圖像

3.4.2 身份識(shí)別階段

在識(shí)別新的人臉圖片時(shí),具體的操作方法流程如下:

(1) 基于前面得到的M 個(gè)特征臉,將新采集的圖片投影到各個(gè)特征臉,計(jì)算得到一個(gè)權(quán)重集合(權(quán)重向量)。

(2) 判斷新圖片是否是一幅人臉圖像,即通過(guò)判斷圖像是否足夠靠近人臉空間。

(3) 如果是人臉圖像,則根據(jù)前面計(jì)算的權(quán)重集合(權(quán)重向量),利用權(quán)重模式將這個(gè)人臉?lè)诸悇潥w到初始時(shí)計(jì)算得到的各個(gè)個(gè)體或者是成為一個(gè)新 的個(gè)體照片。簡(jiǎn)單而言,就是計(jì)算新權(quán)重到原來(lái)各個(gè)個(gè)體權(quán)重的距離,選擇最近的,認(rèn)為是識(shí)別成這個(gè)個(gè)體;如果最近的距離超出閾值,則認(rèn)為是一個(gè)新的個(gè)體。

(4) 更新特征臉或者是權(quán)重模式。

(5) 如果一個(gè)未知的人臉,出現(xiàn)了很多次,也就意味著,對(duì)這個(gè)人臉沒(méi)有記錄,那么計(jì)算它的特征權(quán)重(向量),然后將其添加到已知人臉中[6]。

OpenCV 實(shí)現(xiàn)調(diào)用cvRead《datatype》()加載訓(xùn)練結(jié)果XML 文件,調(diào)cvEigenDecomposite()將采集圖片映射至PCA 子空間,利用最近距離匹配方法SquaredEuclidean Distance,計(jì)算要識(shí)別圖片同每一個(gè)訓(xùn)練結(jié)果的距離,找出距離最近的即可。

3.5 臉部表情識(shí)別

臉部運(yùn)動(dòng)跟蹤利用了Camshift 算法,該算法利用目標(biāo)的顏色直方圖模型將圖像轉(zhuǎn)換為顏色概率分布圖,初始化一個(gè)搜索窗的大小和位置,并根據(jù)上一幀得到的結(jié)果自適應(yīng)調(diào)整搜索窗口的位置和大小, 從而定位出當(dāng)前圖像中目標(biāo)的中心位置。

Camshift 能有效解決目標(biāo)變形和遮擋的問(wèn)題,對(duì)系統(tǒng)資源要求不高,時(shí)間復(fù)雜度低,在簡(jiǎn)單背景下能夠取得良好的跟蹤效果。

Camshift 的OpenCV 實(shí)現(xiàn)分以下幾步:

(1)調(diào)用cvCvtColor()將色彩空間轉(zhuǎn)化到HSI 空間,調(diào)用cvSplit()獲得其中的H 分量。

(2) 調(diào)用cvCreateHist()計(jì)算H 分量的直方圖,即1D 直方圖。

(3) 調(diào)用cvCalcBackProject()計(jì)算Back ProjecTIon.

(4) 調(diào)用cvCamShift()輸出新的Search Window 的位置和面積。

我們利用光流算法評(píng)估了兩幀圖像的之間的變化,Lucas–Kanade 光流算法是一種兩幀差分的光流估計(jì)算法。它計(jì)算兩幀在時(shí)間t 到t +δt 之間每個(gè)每個(gè)像素點(diǎn)位置的移動(dòng)。是基于圖像信號(hào)的泰勒級(jí)數(shù),就是對(duì)于空間和時(shí)間坐標(biāo)使用偏導(dǎo)數(shù)。

首先要用到shi-Tomasi 算法,該算法主要用于提取特征點(diǎn),即圖中哪些是我們感興趣需要跟蹤的點(diǎn),對(duì)應(yīng)函數(shù)為cvGoodFeaturesToTrack(),可以自定義第一幀特征點(diǎn)的數(shù)目,函數(shù)將輸出所找到特征值。接下來(lái)是cvCalcOpTIcalFlowPyrLK 函數(shù), 實(shí)現(xiàn)了金字塔中Lucas-Kanade 光流計(jì)算的稀疏迭代版本。 它根據(jù)給出的前一幀特征點(diǎn)坐標(biāo)計(jì)算當(dāng)前視頻幀上的特征點(diǎn)坐標(biāo)。輸入?yún)?shù)包括跟蹤圖像的前一幀和當(dāng)前幀,以及上面函數(shù)輸出的前一幀圖像特征值,自定義的迭代標(biāo)準(zhǔn),輸出所找到的當(dāng)前幀的特征值點(diǎn)。這些點(diǎn)可以確定面部局部區(qū)域的特征 如眼部,鼻子高度與寬度,嘴部?jī)蓚?cè)與底部的夾角等等,利用與前一幀的特征比較,可得出反應(yīng)臉部動(dòng)態(tài)變化的參數(shù),這些數(shù)據(jù)可以與臉部的一些簡(jiǎn)單表情相關(guān)聯(lián)。下面圖4 為跟蹤眼睛上下眨動(dòng)的圖像。

圖4 跟蹤眼部上下眨動(dòng)圖像

4 總結(jié)

本文以O(shè)penCV 圖像處理庫(kù)為核心,以QT 庫(kù)所提供的界面框架為基礎(chǔ),提出了人臉識(shí)別系統(tǒng)設(shè)計(jì)方案,實(shí)驗(yàn)證明本方案具有較好的實(shí)用性,可移植性。但仍有許多不足之處,如身份與表情識(shí)別部分可以通過(guò)引入神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)SVM 進(jìn)行分類,可以使識(shí)別準(zhǔn)確率與識(shí)別種類數(shù)得到提高,這些也是后續(xù)工作中步需要改進(jìn)的。