圖1：Facebook 首席執(zhí)行官馬克·扎克伯格的虛假視頻
未經(jīng)訓(xùn)練的人很難發(fā)現(xiàn)Deepfake 視頻，因為它們非常逼真。無論是作為一種新的戲弄形式還是用于其他目的，描述人們從未做過或說過的事情的虛假視頻都是對長期以來眼見為實的觀念的根本威脅。
大多數(shù)深度偽造視頻都是通過向計算機算法顯示一個人的許多圖像，然后讓它使用它看到的信息生成新的面部圖像來創(chuàng)建的。此外，該人的聲音是合成的，因此看起來和聽起來都像是該人說了一些新的東西。
我的研究小組（Siwei Lyu，本文作者，紐約州立大學(xué)奧爾巴尼分校計算機視覺和機器學(xué)習(xí)實驗室主任）的一些早期工作使我們能夠檢測不包括人眼正常眨眼次數(shù)的深度偽造視頻，但最新一代的Deepfake 視頻技術(shù)已經(jīng)適應(yīng)了這一趨勢，因此我們的研究不斷推進。
我們的研究現(xiàn)在可以通過仔細觀察特定幀的像素來識別視頻的真實性。更進一步，我們還采取了積極主動的措施，保護個人免遭深度造假視頻的侵害。
發(fā)現(xiàn)缺陷
在最近的兩篇研究論文中，我們描述了檢測具有偽造者無法輕易修復(fù)的缺陷的深度偽造視頻的方法。
當(dāng)Deepfake 視頻合成算法生成新的面部表情時，新圖像并不總是與人的頭部位置、照明條件或距攝像機的距離完美匹配。為了使這些假臉融入周圍環(huán)境，必須對它們進行幾何變形、旋轉(zhuǎn)、調(diào)整大小或以其他方式扭曲。此過程會在生成的圖像中留下數(shù)字痕跡。
我們注意到，一些深度偽造視頻具有明顯的數(shù)字痕跡。這些痕跡可以使照片看起來明顯經(jīng)過修改，例如模糊的邊界和人為平滑的皮膚。更細微的變化仍然會留下證據(jù)，我們已經(jīng)教了一種算法來檢測它，即使人眼看不到差異。
如果深度偽造視頻中的人沒有直視相機，這些偽像就會發(fā)生變化。真人的視頻顯示他們的臉部在三維空間中移動，但深度偽造視頻算法還無法在三維空間中偽造臉部。相反，他們生成一張常規(guī)的二維臉部圖像，然后嘗試旋轉(zhuǎn)、調(diào)整和扭曲該圖像以適應(yīng)人們想要看到的方向。
此類算法目前還不能很好地做到這一點，這為發(fā)現(xiàn)它們提供了機會。我們設(shè)計了一種算法來計算人的鼻子在圖像中指向的位置，它還可以根據(jù)面部輪廓計算出頭部指向的方向。在真人頭部的視頻中，這些應(yīng)該是可以預(yù)測的。然而，在深度偽造視頻中，它們常常是錯位的。
圖2：當(dāng)計算機將尼古拉斯·凱奇的臉放在埃隆·馬斯克的頭上時，它可能無法正確對齊臉部和頭部
檢測深度偽造視頻
從技術(shù)上講，檢測深度偽造視頻的科學(xué)就像一場軍備競賽，因為偽造者不斷改進他們的技術(shù)，所以我們的研究總是試圖跟上，甚至保持領(lǐng)先。
如果有一種方法可以影響創(chuàng)建深度偽造視頻的算法，降低其效率，那么我們就有更好的機會檢測偽造視頻。我的團隊最近找到了實現(xiàn)這一目標(biāo)的方法。
圖3：在左圖中，在我們處理圖像之前，可以輕松地在圖像中檢測到人臉。在中間的圖像中，我們添加了一些噪聲，以便算法可以檢測到其他人臉，但不能檢測到真實的人臉。在右圖中，我們修改了圖像并將其增強了30 倍以使其可見
人臉圖像庫由處理數(shù)千張在線照片和視頻并使用機器學(xué)習(xí)來檢測和提取人臉的算法組成。計算機可能會查看班級照片，發(fā)現(xiàn)所有學(xué)生和老師的面孔，然后將這些面孔添加到庫中。當(dāng)生成的庫中有大量高質(zhì)量的人臉圖像時，生成的Deepfake 視頻更有可能成功愚弄用戶。
我們發(fā)現(xiàn)了一種方法，可以向數(shù)碼照片或視頻添加專門設(shè)計的噪聲，這些噪聲對于人眼來說是不可見的，但可以欺騙人臉檢測算法。它隱藏了面部檢測器用來定位面部的像素模式，并產(chǎn)生虛假信號，表明在沒有面部的情況下存在面部，例如一塊背景或某人衣服的一塊正方形。
真實面孔越少，非真實面孔越多，訓(xùn)練數(shù)據(jù)就會受到污染，深度偽造視頻算法生成假面孔的能力就越差。這不僅減慢了創(chuàng)建Deepfake 視頻的過程，而且還使得生成的Deepfake 視頻包含更容易檢測的更大缺陷。
當(dāng)我們開發(fā)這個算法時，我們希望能夠?qū)⑵鋺?yīng)用于任何人上傳到社交媒體或其他在線網(wǎng)站的任何圖像。在上傳過程中，他們可能會被問到：您想保護視頻或圖像中的人臉不被用于深度偽造嗎？如果用戶選擇“是”，那么算法可以添加數(shù)字噪聲，以便人們?nèi)匀豢梢钥吹皆诰€可見的人臉，但它們實際上對試圖模仿它們的算法隱藏起來。 （選自：fastcompany 作者：呂思偉編譯：網(wǎng)易情報參與：瀟瀟）
