吉米戈麥斯是加州民主黨人,哈佛大學(xué)畢業(yè)生,也是少數(shù)在美國眾議院任職的西班牙裔立法者之一。

但在亞馬遜的面部識別系統(tǒng)里,他被識別為一個潛在的罪犯。

戈麥斯是28名美國國會議員中的一員,與被逮捕的人的照片完全匹配,這是去年美國公民自由聯(lián)盟對亞馬遜重新認(rèn)知計劃進(jìn)行測試的一部分。

亞馬遜被警方使用工具中將近有40%的虛假匹配,涉及有色人種。

這些發(fā)現(xiàn)被公民自由團(tuán)體,立法者甚至一些科技公司越來越多的關(guān)注,隨著技術(shù)變得更加主流,面部識別可能會傷害少數(shù)人種。iPhone和Android手機(jī)上已經(jīng)開始使用面部識別技術(shù)進(jìn)行解鎖,警察、零售商、機(jī)場和學(xué)校也在慢慢接觸它。但是研究表明,面部識別系統(tǒng)更難以識別女性和膚色較黑的人,這可能導(dǎo)致災(zāi)難性的誤報。

“這是一個例子,說明技術(shù)在執(zhí)法領(lǐng)域的應(yīng)用如何對已經(jīng)過度監(jiān)管的社區(qū)造成有害后果,”北加州ACLU的技術(shù)和公民自由律師Jacob Snow說。

面部識別有它的好處。馬里蘭州的警察利用這項技術(shù)在首都公報的大規(guī)模槍擊案中找出了一名嫌犯;在印度,它幫助警察在四天內(nèi)識別了近3000名失蹤兒童;Facebook使用該技術(shù)為視障人士識別照片中的人物;它已成為解鎖智能手機(jī)的便捷方式。

但這項技術(shù)并不完美,而且還有一些尷尬的失誤。谷歌照片曾將兩個黑人識別成大猩猩。在中國,一位女士聲稱她的同事能夠使用Face ID 解鎖她的iPhone X。當(dāng)執(zhí)法機(jī)構(gòu)使用面部識別來識別犯罪嫌疑人或在抗議中揭露人們時,被誤認(rèn)的風(fēng)險就會增加。

“當(dāng)執(zhí)法部門使用這項技術(shù)確定某人是否因犯罪而被通緝時,那就是完全不同的情況,”戈麥斯說,“錯誤的身份有可能會導(dǎo)致執(zhí)法部門和那個人之間發(fā)生致命的互動?！?

立法者對ACLU的調(diào)查結(jié)果并不感到震驚,并指出科技工作者通常更多地考慮如何使某些東西發(fā)揮作用,而不是關(guān)于他們構(gòu)建的工具如何影響少數(shù)人種。

科技公司通過改進(jìn)用于培訓(xùn)面部識別系統(tǒng)的數(shù)據(jù)來回應(yīng)批評,但與民權(quán)活動家一樣,他們也呼吁更多的政府監(jiān)管,以幫助保護(hù)技術(shù)不被濫用。喬治敦大學(xué)法學(xué)院的研究人員估計,每兩名美國成年人中就有一名被用于執(zhí)法人員使用的面部識別網(wǎng)絡(luò)。

亞馬遜不贊同ACLU研究,認(rèn)為組織在測試識別系統(tǒng)時使用了錯誤的方法。

“機(jī)器學(xué)習(xí)是一個非常有價值的工具,可以幫助執(zhí)法機(jī)構(gòu),雖然可能存在誤判,我們不能因為設(shè)定了錯誤的溫度導(dǎo)致烤焦了披薩而扔掉烤箱。”人工智能總經(jīng)理Matt Wood在亞馬遜網(wǎng)絡(luò)服務(wù)公司的一篇博文中辯解道。

識別問題

與白人男性相比,面部識別服務(wù)可能更難以識別少數(shù)民族和女性,這有多種原因。

喬治城法學(xué)院隱私與技術(shù)中心的高級助理克萊爾加維說,科技工作者用來訓(xùn)練計算機(jī)識別面孔的公開照片可能包括比白人更多的白人。例如,如果一家公司使用名人數(shù)據(jù)庫中的照片,那么它就會傾向于白人,因為好萊塢的少數(shù)人種人數(shù)不足。

Garvie說,科技公司的工程師,大多是白人,也可能在不知不覺中設(shè)計面部識別系統(tǒng),以更好地識別某些種族。研究表明,人們更難以識別另一個種族的面孔,并且“跨種族偏見”可能會滲入人工智能。她還補(bǔ)充說,對于深色皮膚缺乏色彩對比的問題,以及女性使用化妝品來掩蓋皺紋或頭發(fā)不同的問題,都存在挑戰(zhàn)。

根據(jù)麻省理工學(xué)院媒體實驗室的研究人員進(jìn)行的一項研究,微軟,IBM和Face ++制作的面部識別系統(tǒng)很難確定像非洲裔美國人這樣的黑皮膚女性的性別。35%的黑皮膚女性的性別會被誤認(rèn)為是高加索人等1%的淺膚色男性。

麻省理工學(xué)院于1月份發(fā)布的另一項研究表明,亞馬遜的面部識別技術(shù)比微軟或IBM確定黑皮膚女性性別的工具更難。

科技公司的作用

亞馬遜對麻省理工學(xué)院的研究結(jié)果提出了質(zhì)疑,一名女發(fā)言人指出,該研究稱這項研究“具有誤導(dǎo)性”。研究人員使用“面部分析”來識別面部特征,如性別或微笑,而不是面部識別,將人臉與照片或視頻中的相似面部相匹配。

“面部分析和面部識別在底層技術(shù)和用于訓(xùn)練它們的數(shù)據(jù)方面完全不同,”伍德在一篇關(guān)于麻省理工學(xué)院研究的博客文章中說?！皣L試使用面部分析來衡量面部識別的準(zhǔn)確性是不明智的,因為它不是用于此目的的預(yù)期算法?！?

這并不是說科技巨頭沒有考慮種族偏見。

微軟去年表示,它將識別女性和膚色較深的男性的錯誤率降低了20倍。

Facebook發(fā)言人使用面部識別技術(shù)在照片中標(biāo)記用戶,該公司表示,該公司確保其使用的數(shù)據(jù)“平衡并反映出Facebook的用戶的多樣性”。谷歌指出了它發(fā)布的關(guān)于人工智能的原則,其中包括禁止“制造或加強(qiáng)不公平的偏見”。

為了推進(jìn)面部識別的公平性和準(zhǔn)確性研究,IBM于1月份為研究人員發(fā)布了一個名為Diversity in Faces的數(shù)據(jù)集,該數(shù)據(jù)集不僅僅關(guān)注膚色,年齡和性別。該數(shù)據(jù)包括100萬張人臉圖像,注釋有面部對稱,鼻子長度和前額高度等標(biāo)簽。

“我們擁有所有這些關(guān)于多樣性意味著什么的主觀和松散概念,”IBM的首席科學(xué)家約翰史密斯說。“因此,IBM創(chuàng)建此數(shù)據(jù)集的目的是深入研究如何真正衡量面孔多樣性的科學(xué)?！?

該公司收集了照片網(wǎng)站Flickr的圖片,本月受到一些攝影師,專家和活動家的批評,因為他們沒有通知人們他們的圖像被用來改善面部識別技術(shù)。作為回應(yīng),IBM表示嚴(yán)肅對待隱私,用戶可以選擇退出數(shù)據(jù)集。

亞馬遜表示,它使用反映多樣性的培訓(xùn)數(shù)據(jù),并向客戶介紹最佳實踐。今年2月,它發(fā)布了一些指導(dǎo)方針,稱立法者在考慮監(jiān)管時應(yīng)考慮到這一點。

亞馬遜全球公共政策副總裁邁克爾·龐克在一篇博客文章中說:“所有相關(guān)各方之間應(yīng)該進(jìn)行公開,誠實和認(rèn)真的對話,以確保技術(shù)得到適當(dāng)應(yīng)用并不斷加強(qiáng)。”

需要明確的規(guī)則

即使科技公司努力提高其面部識別技術(shù)的準(zhǔn)確性,人們對這些工具可用于歧視移民或少數(shù)民族的擔(dān)憂也不會消失。在某種程度上,這是因為人們?nèi)匀辉趥€人生活中與偏見搏斗。

民權(quán)組織和專家認(rèn)為,執(zhí)法部門和政府仍然可以利用這項技術(shù)來識別政治抗議者或追蹤移民,使他們的自由處于危險之中。

“完美準(zhǔn)確的系統(tǒng)也成為一種非常強(qiáng)大的監(jiān)控工具,”加維說。

民權(quán)組織和科技公司呼吁政府介入。

“管理政府使用技術(shù)的唯一有效方法是政府主動管理這種用途,”微軟總裁布拉德史密斯在7月的一篇博客文章中寫道。“如果人們擔(dān)心如何在整個社會中更廣泛地部署技術(shù),那么規(guī)范這種廣泛使用的唯一方法就是讓政府這樣做?！?

美國公民自由聯(lián)盟呼吁立法者暫時禁止執(zhí)法部門使用面部識別技術(shù)。民權(quán)組織還致信亞馬遜,要求它停止向政府提供Rekognition。

一些立法者和科技公司,如亞馬遜,已經(jīng)要求評估面部識別技術(shù)的國家標(biāo)準(zhǔn)與技術(shù)研究所認(rèn)可面部識別的種族偏見測試的行業(yè)標(biāo)準(zhǔn)和道德最佳實踐。

對于像戈麥斯這樣的立法者來說,這項工作才剛剛開始。

“我不反對亞馬遜,”他說?！暗钱?dāng)一種新技術(shù)會對公民的隱私、他們的公民自由產(chǎn)生深遠(yuǎn)影響了,那么它一定是有問題的?！?