與圖像處理相比,從視頻當(dāng)中提取見解或使用AI技術(shù)既帶來新的挑戰(zhàn),同時也提供可觀的優(yōu)化賒。有一種誤解認為,視頻AI只是簡單從視頻素材當(dāng)中提取特定幀,并對各視頻幀運行計算機視覺算法。雖然這種作法確實可行,但卻并不能真正帶來分析見解。在今天的文章中,我們將通過幾項實例來了解這種處理單一視頻幀方法的缺點。但考慮到篇幅有限,這里我不會詳細討論克服這些缺點所需要的其它算法。感興趣的朋友可以參考Video Indexer,其提供了多種能夠?qū)崿F(xiàn)此類目標的特定視頻算法。

視頻中出現(xiàn)的人物

我們一起來看以下[視頻]中的前25秒

請注意,在這25秒當(dāng)中Doug一直出現(xiàn)在畫面之內(nèi)。

如果要為Doug在視頻當(dāng)中出現(xiàn)的情況繪制一條時間線,則應(yīng)該如下圖所示。

請注意,在這一過程當(dāng)中Doug并非全程面向鏡頭。在視頻的第7秒當(dāng)中,他有在盯著Emily——第23秒也出現(xiàn)了同樣的情況。

如果您在視頻中的對應(yīng)時段之內(nèi)運行人臉檢測,則Doug的面部將無法被檢測到(請參閱以下截圖)。

換句話來說,如果只是在各視頻幀上進行人臉檢測,大家將無法繪制出如上所示的時間線。要獲得這樣的時間線,我們必須有能力跨越視頻分段追蹤面部,并考慮其中出現(xiàn)的臉部側(cè)面視圖。Video Indexer能夠追蹤面部,這意味著您將能夠看到之前展示的完整時間軸。

使用光學(xué)字符識別提取主題/關(guān)鍵詞

請看以下兩幀內(nèi)容。

這兩幀來自主講人在舞臺上進行演講的視頻,后面背景墻上的“Microsoft”一詞一直時隱時現(xiàn)。作為人類觀看者,我們當(dāng)然能夠輕松推斷出其顯示的是“Microsoft”。但如果在這兩張圖片上運行OCR,輸出結(jié)果將只有“Microsc”與“crosoft”。如果在視頻剪輯當(dāng)中處理完整的視頻幀序列,您會得到大量這種殘缺不全的詞匯。為了順利從鏡頭中提取到正確且完整的詞匯,您需要對這種部分詞匯應(yīng)用算法。Video Indexer能夠?qū)崿F(xiàn)這項功能,并從視頻當(dāng)中獲得更好的分析見解。

人臉識別

人臉識別系統(tǒng)由人臉數(shù)據(jù)庫組成,而該人臉數(shù)據(jù)庫則包含一組指向不同人物對象的訓(xùn)練用圖像。其還提供一項查詢功能,用于從查詢圖像當(dāng)中提取面部特征,并將其與人臉數(shù)據(jù)庫相匹配。查詢函數(shù)的輸出結(jié)果包含可能的匹配列表以及置信度值。查詢功能的輸出質(zhì)量,將取決于人臉數(shù)據(jù)庫與查詢圖像的實際質(zhì)量。

在視頻處理場景下,其中將包含多個視頻幀,且人物會配合不同的頭部姿態(tài)及照明條件亮相。我們當(dāng)然可以在每位人物出場時采取逐幀處理的方式進行人臉識別系統(tǒng)查詢,但這種作法可能導(dǎo)致各幀之間出現(xiàn)不同的人臉匹配結(jié)論與存在巨大差異的置信度值。換句話來說,我們需要使用額外的邏輯層來確定人臉匹配結(jié)果。作為優(yōu)化手段,我們可以選擇合適的幀子集進行有針對性的人臉識別系統(tǒng)查詢,從而減少該系統(tǒng)的實際查詢次數(shù)。

在處理視頻時,我們還可以通過使用來自多個視頻幀的人物訓(xùn)練圖像整理變化趨勢,從而構(gòu)建并增強人臉數(shù)據(jù)庫。另外,大家也能夠建立邏輯以追蹤跨幀人物并利用啟發(fā)式算法評估其中的變化。 Video Indexer同樣能夠?qū)崿F(xiàn)這一功能,意味著用戶將能夠從當(dāng)前視頻當(dāng)中構(gòu)建起質(zhì)量更高的人臉數(shù)據(jù)庫成果。