原創(chuàng) 文摘菌 大數(shù)據(jù)文摘

大數(shù)據(jù)文摘出品

作者：劉俊寰

各位星戰(zhàn)迷，《曼達(dá)洛人》第二季大結(jié)局看得爽嗎？

反正，盧克天行者的出現(xiàn)就頓時(shí)讓文摘菌顱內(nèi)高潮了，第二季在豆瓣上的評(píng)分也高達(dá)9.5分，足見質(zhì)量之高。

不過，對(duì)于盧克天行者的扮演者，今年69歲的馬克哈米爾來說，這一切遠(yuǎn)不止參演電影那么簡單，因?yàn)橹谱鲌F(tuán)隊(duì)還必須給他技術(shù)“減齡”。

不知道國內(nèi)的觀眾對(duì)官方的CG減齡技術(shù)的效果怎么看。所謂CG減齡，其實(shí)就是利用CG技術(shù)修復(fù)演員容顏從而符合電影設(shè)定，這在業(yè)內(nèi)被稱為“顏設(shè)”。這項(xiàng)技術(shù)在漫威系列電影，比如《驚奇隊(duì)長》《美國隊(duì)長3》中都有所運(yùn)用。

最近文摘菌發(fā)現(xiàn)，國外的網(wǎng)友可能沒有那么買賬，于是他們自己動(dòng)手用DeepFake重新制作了結(jié)局盧克出現(xiàn)的部分，直接換上了年輕的馬克哈米爾的臉。

大家可以對(duì)比著看看效果：

"May the force be with you."國外的網(wǎng)友對(duì)此表示出了極大的贊美，有人留言表示，“膚色和紋理比原版看上去都要好很多”。也有網(wǎng)友指出，“上嘴唇看起來還是有一些僵硬”。當(dāng)然，還有看熱鬧不嫌事大的網(wǎng)友還表示，直接讓“冬兵”出演不就行了嗎？（這有理有據(jù)的文摘菌也是無法反駁）讓人歡喜讓人憂的DeepFake

說到DeepFake，可能你還不知道，現(xiàn)在網(wǎng)絡(luò)上超過95%的DeepFake視頻都是通過DeepFakeLab制作完成的，目前，這個(gè)項(xiàng)目在GitHub上的標(biāo)星超過了22.5k。

GitHub鏈接：

https://github.com/iperov/DeepFaceLab

本質(zhì)上說，DeepFake是一種使用AI深度學(xué)習(xí)，將一張圖片中人的臉換到其他人的圖片上的技術(shù)。通過這種技術(shù)，我們可以創(chuàng)建一個(gè)非常逼真的“假”視頻或圖片，“換臉術(shù)”也因此得名。

研究人員使用自動(dòng)編碼器神經(jīng)結(jié)構(gòu)，使這一想法成為現(xiàn)實(shí)?；舅悸贩浅：唵危簩?duì)于每張臉，我們都訓(xùn)練一套編碼器和相應(yīng)的解碼神經(jīng)網(wǎng)絡(luò)。編碼時(shí)，使用的是第一個(gè)人的圖片。而解碼時(shí)，卻是使用第二個(gè)人解碼器。

對(duì)于訓(xùn)練部分，如果是公眾人物自然是不愁數(shù)據(jù)可用，當(dāng)照片不足時(shí)，我們還可以從視頻中進(jìn)行提取。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練并學(xué)習(xí)了關(guān)于每個(gè)人面部的特征之后，它自己就能預(yù)測想出這個(gè)人還沒擺出來的姿勢。

比如，訓(xùn)練生成John Oliver。

在DeepFake出現(xiàn)之前，人們想換個(gè)臉只能依賴手動(dòng)PS，如果是在一段視頻里面，那就得一幀一幀地?fù)Q，費(fèi)時(shí)又費(fèi)力。DeepFake的出現(xiàn)，一定程度上緩解了這個(gè)工作量。

但同時(shí)，也有人利用DeepFake這一機(jī)器使用機(jī)器學(xué)習(xí)算法和數(shù)千張人臉圖片來生成不存在的人的真實(shí)感圖像，包括。

只要某個(gè)人上傳數(shù)據(jù)集到互聯(lián)網(wǎng)上，將其插入“DeepFake色情片”訓(xùn)練集中，其他人就也可以使用該數(shù)據(jù)集來創(chuàng)建“完全由AI生成的色情”。

在不少人看來，在原有色情作品上，利用Deepfake生成不存在的人臉進(jìn)行二次創(chuàng)作可以避免法律上的懲罰和道德上的譴責(zé)。

對(duì)嘴型也是一個(gè)技術(shù)活

正如作者之一Shamook表示，他們沒有原始視頻的資源，因此只能在CG減齡的基礎(chǔ)上進(jìn)行“換臉術(shù)”，效果自然是沒有直接在毛片上處理來得好。

對(duì)于有網(wǎng)友指出的嘴部的動(dòng)作，他們也用到了Wav2Lip，一種準(zhǔn)確對(duì)口型的技術(shù)。在GitHub上這個(gè)項(xiàng)目的標(biāo)星超過了1.8k。

GitHub鏈接：

https://github.com/Rudrabha/Wav2Lip

根據(jù)一位YouTube博主WhatMakeArt介紹，每個(gè)人都可以用在GitHub上開源的wav2lip算法實(shí)現(xiàn)口型同步這項(xiàng)技術(shù)，所有的代碼運(yùn)行部分也都可以在Google Collab Notebook上找到。

這位博主表示，每當(dāng)他看到有關(guān)于深度學(xué)習(xí)或AI圖像處理的教程時(shí)，都想嘗試一把，但總是被過于復(fù)雜的過程勸退，不是缺少了相關(guān)代碼依賴，就是安裝了不同的Python庫，或者是自己的GPU算力或其他必要的硬件無法滿足要求。

但wave2lip是真正能夠讓所有人都可以去嘗試的一項(xiàng)技術(shù)，而且對(duì)于DeepFake之類技術(shù)的流行，我們也需要具備一些基礎(chǔ)分辨的能力。

整個(gè)過程的使用，這位博主也專門錄制了一起視頻進(jìn)行講解，可以說十分小白友好了：

https://www.youtube.com/watch?v=Ic0TBhfuOrA

Google Colab Notebook鏈接：

https://colab.research.google.com/drive/1tZpDWXz49W6wDcTprANRGLo2D_EbD5J8?usp=sharing

根據(jù)介紹，wav2lip模型是在LRS2數(shù)據(jù)集上進(jìn)行訓(xùn)練的。

LRS2數(shù)據(jù)集來自BBC電視節(jié)目中的數(shù)千個(gè)口語句子，每個(gè)句子的長度不超過100個(gè)字符。訓(xùn)練、驗(yàn)證和測試集按播出日期進(jìn)行劃分。數(shù)據(jù)集統(tǒng)計(jì)信息如下表所示：

訓(xùn)練前的話語集既對(duì)應(yīng)部分句子又對(duì)應(yīng)多句，而訓(xùn)練集僅由單個(gè)完整句子或短語組成。在訓(xùn)練前和訓(xùn)練集之間有一些重疊。

根據(jù)該數(shù)據(jù)集的創(chuàng)建者說法，雖然在訓(xùn)練前和訓(xùn)練集中可能存在一些標(biāo)簽噪聲，但測試集經(jīng)過了額外的驗(yàn)證，所以，據(jù)目前所知，測試集中是沒有錯(cuò)誤存在的。

數(shù)據(jù)集鏈接，內(nèi)含下載方法：

https://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs2.html

CG減齡術(shù)廣泛運(yùn)用

對(duì)于CG減齡，大家可能相對(duì)來說要更熟悉一些。

從去年李安的電影，到頒獎(jiǎng)季熱門影片《愛爾蘭人》，甚至在《我和我的祖國》中，年輕版的任達(dá)華和惠英紅也用到了數(shù)字減齡術(shù)。

其實(shí)，好萊塢早就開始運(yùn)用CG技術(shù)來修改演員的面容了。只是作為電影工業(yè)的一部分，“美容造型”已經(jīng)廣泛進(jìn)入了拍攝預(yù)算，但為了保護(hù)演員的名聲，這種美容和美體是需要“保密”的。曾獲奧斯卡最佳剪輯提名的喬·沃克爾曾經(jīng)透露：“我們在一位女演員身上某處幾乎難以被觀眾注意的地方進(jìn)行了95%的壓縮處理，使得她看上去身材更完美。”

但是，CG減齡也不是說用就能用的，背后投入的資金和時(shí)間都是無法想象的。

比如，在大衛(wèi)芬奇的代表作之一《本杰明·巴頓奇事》中，在2008年的投資就接近1.5億美元，就是因?yàn)橐孟喈?dāng)多的CG技術(shù)來合成不同年齡的布拉德·皮特。片中，44歲的布拉德·皮特出演年齡“負(fù)增長”的怪人本杰明·巴頓，剛出生時(shí)就一頭華發(fā)、滿臉皺紋，然而隨著歲月的流逝，他卻日益青春煥發(fā)。

如此看來，省時(shí)節(jié)力的DeepFake是否會(huì)成為電影工業(yè)界的新寵呢？

相關(guān)報(bào)道：

http://ent.people.com.cn/n1/2019/1214/c1012-31506032.html

https://www.youtube.com/watch?v=wk_5QP2NSKM

https://twitter.com/Sham00k/status/1341026018547666947

原標(biāo)題：《不滿《曼達(dá)洛人》用特效給69歲天行者“減齡”，網(wǎng)友用DeepFake重制結(jié)局：強(qiáng)過官方》

閱讀原文