打破次元壁!這個AI 演算法可以讓照片裡的人跳出來
《哈利波特》世界裡有一種神奇的魔法報紙,報中照片上的人物可以動起來,看起來有點像GIF 圖。在故事裡這當然是「魔法」的功勞,現實世界中還沒有造出這樣的報紙。不過,華盛頓大學的幾個科學家不死心,他們想用AI 演算法來讓照片中的人動起來。<p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn1.techbang.com/system/images/476421/original/552f864c499f4ffc273e1b2f957bb550.gif?1545981213" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="500" height="423" /><label class="caption" style="width: 500px; display: block; text-align: left; margin: 5px auto 30px; color: #555555; line-height: 22px; padding: 0px 3px 22px; border-bottom: 2px solid #f0f0f0;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>圖片來源:Haven &amp; Hearth </label></p> <p>這種技術叫做Photo Wake-Up。先來看一下效果,他們在照片、海報和藝術畫上都進行了實驗。</p> <p>首先向我們走來的是籃球運動員庫裡,看起來是剛進了球。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn1.techbang.com/system/images/476422/original/4a17ce14ee262370737ac0b8892fdb53.gif?1545981254" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="405" /></p> <p>然後是鋼鐵人。哎,你從太空回來了?</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn0.techbang.com/system/images/476423/original/e4a23fec203e90e56f2a7d6c40d3829d.gif?1545981341" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>是超級賽亞人孫悟空!只是原地跳了幾下...... 我以為他要變身了</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn2.techbang.com/system/images/476424/original/b39ce411337a480d2e913d6ce90b10ad.gif?1545981417" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>還有一位長相奇怪的女子,原來是畢卡索的《女孩與船》。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn2.techbang.com/system/images/476430/original/d503403070e3e4832d29bdaebfd9c08c.gif?1545981521" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>是不是很酷炫?這些人物就像是從畫中走出來的一樣,不僅從2D 變成了3D,還能做各種動作。</p> <p>其實類似的嘗試之前就有人做過,把照片裡的2D 形象映射到3D 模型上,然後讓它們動起來。不過結果嘛,像是行屍走肉。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn0.techbang.com/system/images/476429/original/34fea7ba7936f7e1b85836cff33632df.gif?1545981508" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>因為2D 形像都是從某一個固定角度去看的,用3D 模型的標準去控制,會出現不匹配的情況。更不用說畢卡索畫裡的人,根本沒有一個合適的模型來匹配。讓2D 形象動起來還有一個難點,就是身體部位的重疊部分不好控制,走路的時候哪隻手在前?哪隻手在後?還要被身體擋住。這些複雜的問題不解決,根本無法做到栩栩如生。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn0.techbang.com/system/images/476428/original/3d24bbb4071ea10e17dfe2df967fff3a.gif?1545981499" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>團隊給出的解決方案是AI 演算法。首先將2D 形象與3D 形變模型匹配,標記出身體各部位的位置。然後按照形變演算法,一步步構建網格。按照關鍵點位置控制網格,還原出皮膚資料,構建好貼圖。最後,把貼圖放回到原圖中,用演算法填充背景,人物就可以隨便跑了!</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn2.techbang.com/system/images/476432/original/f4d01e7592894bd83df290e64244c69f.png?1545981790" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="292" /></p> <p>團隊還特別提到,頭部姿勢的準確性對動起來的人十分重要,因為大部分人會將注意力放在人物的臉上。因此,他們的演算法還可以辨識形象的頭部角度,還有注視方向。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn2.techbang.com/system/images/476434/original/005a07a9472dba6b5a38e1b3daefb5e3.png?1545981827" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="268" /></p> <p>為了讓這個演算法可以實際應用,團隊還提供一個調整的選項,允許使用者改動關鍵點的位置。</p> <p>這項技術可以被用到AR、VR 中,配合相應設備來使用。想像一下,未來我們在博物館中看的藝術畫,可能是動起來的。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://cdn2.techbang.com/system/images/476425/original/1d25e08df02de8b5f525d6837f9d8c9a.gif?1545981490" alt="打破次元壁!這個AI 演算法可以讓照片裡的人跳出來" width="720" height="404" /></p> <p>&nbsp;</p> <p style="text-align: center;"><iframe src="https://www.youtube.com/embed/G63goXc5MyU" width="720" height="405"></iframe></p> <ul> <li>Photo Wake-Up項目地址:<a href="https://grail.cs.washington.edu/projects/wakeup/" target="_blank" rel="noopener">https://grail.cs.washington.edu/projects/wakeup/</a></li> <li>本文授權轉載自<a href="http://www.geekpark.net/news/236864">極客公園</a>&nbsp;</li> </ul><a href="http://www.facebook.com/TKbang">加入T客邦Facebook粉絲團</a><img src="http://feeds.feedburner.com/~r/techbang/~4/haFPK7NgFbA" height="1" width="1" alt=""/>