網(wǎng)站導(dǎo)航
燃爆！奧運(yùn)8分鐘AI影片火了 巴赫**：感謝中國(guó)黑科技
巴黎奧運(yùn)會(huì)上，由阿里巴巴和國(guó)際奧委會(huì)聯(lián)合推出的“奧運(yùn) 8 分鐘”短片《不失色的她》受到關(guān)注。短片用 8 分鐘濃縮了百年奧運(yùn)史上偉大女性的影響故事，致敬不斷突破和拼搏的女運(yùn)動(dòng)員們，如蘇珊·朗格倫、張山、凱瑟琳·斯威策。阿里云運(yùn)用 AI 修復(fù)技術(shù)，包含清晰化、上色化、基于生成技術(shù)的視頻插幀補(bǔ)幀等步驟，涉及多種技術(shù)方案，解決了運(yùn)動(dòng)影像修復(fù)中的諸多難題，多輪反復(fù)修改才呈現(xiàn)終成片，修復(fù)團(tuán)隊(duì)也受到女運(yùn)動(dòng)員精神的鼓舞。
巴黎奧運(yùn)會(huì)是首屆廣泛應(yīng)用 AI 技術(shù)的奧運(yùn)會(huì)，AI 技術(shù)加強(qiáng)了對(duì)歷史影像的保護(hù)和傳播，云計(jì)算也替代衛(wèi)星成為賽事直播的主要方式，云+AI 給全球觀眾帶來新鮮體驗(yàn)，奧委會(huì)巴赫稱贊中國(guó)技術(shù)力量為奧運(yùn)會(huì)作出寶貴貢獻(xiàn)。
短片名為《不失色的她》（To the Greatness of HER），由阿里巴巴和國(guó)際奧委會(huì)聯(lián)合推出。
百年奧運(yùn)史上偉大女性的影響故事在此被濃縮在寶貴的8分鐘里，旨在致敬一代又一代在奧運(yùn)賽場(chǎng)上不斷實(shí)現(xiàn)從0到1、不斷突破和拼搏的女運(yùn)動(dòng)員們。
值得關(guān)注的是，這支8分鐘短片不僅用上AI為歷史時(shí)刻重賦色彩，其中還有大模型、AIGC技術(shù)的加持。
頒獎(jiǎng)時(shí)刻，分獲銀牌和銅牌的對(duì)手將張山高高扛起。一張經(jīng)典照片也有中國(guó)射擊隊(duì)另一位傳奇——許海峰當(dāng)場(chǎng)記錄下來。
該項(xiàng)目主要包含三大處理步驟。
清晰化：借助圖像超分辨率技術(shù)，將低分辨率的老照片轉(zhuǎn)化為高分辨率的清晰圖像。
上色化：通過先進(jìn)的圖像上色技術(shù)，為黑白照片添加逼真的色彩。
基于生成技術(shù)的視頻插幀補(bǔ)幀。
具體涉及的技術(shù)方案，包括基于生成對(duì)抗網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的圖像上色、圖像去噪和超分辨率，以及可控圖像生成技術(shù)等。
《她》背后的AI技術(shù)
聽上去，老照片、視頻修復(fù)并不是什么新鮮事，但實(shí)際上當(dāng)修復(fù)的對(duì)象變成運(yùn)動(dòng)影像，背后的技術(shù)難度就較大增加了。
舉個(gè)例子，蘇珊·朗格倫的照片拍攝于100年多前，效果是這樣的：
一方面，人臉已經(jīng)看不太清楚了。
另一方面，背景觀眾眾多，增大了修復(fù)的復(fù)雜性。
阿里云修復(fù)團(tuán)隊(duì)想到的解決方案，是利用大模型+Stable Diffusion等生成式AI技術(shù)，加入文本引導(dǎo)，讓AI發(fā)揮想象力的同時(shí)，對(duì)這種想象加以控制，使之不脫離歷史本身。
具體來說，技術(shù)人員先利用擴(kuò)散技術(shù)對(duì)人物面部進(jìn)行重繪。在重繪過程中，為了保留原始人物信息，會(huì)結(jié)合真實(shí)的史料信息作參考，并采用ControlNet等技術(shù)，對(duì)人物面部的線條、深度等都進(jìn)行了控制。
對(duì)于復(fù)雜的背景，由于透看關(guān)系，本身就比較模糊。修復(fù)團(tuán)隊(duì)采用的方案聚焦照片中的重點(diǎn)人物、元素進(jìn)行修復(fù)，對(duì)背景則只進(jìn)行小范圍的修復(fù)，后再將前后景拼接起來。
為了讓色彩更加自然，阿里云修復(fù)團(tuán)隊(duì)還結(jié)合了歷史學(xué)家的專業(yè)意見，通過對(duì)歷史色彩庫(kù)的學(xué)習(xí)，讓AI上色的準(zhǔn)確率達(dá)到了80%以上。
另外，在超分辨率方面，阿里云的技術(shù)方案能在1秒內(nèi)把640p分辨率圖像超分到4k分辨率，清晰度提升25倍。
視頻修復(fù)方面，阿里云修復(fù)團(tuán)隊(duì)主要解決了視頻前后一致性和連續(xù)性問題。
運(yùn)動(dòng)影像還有一個(gè)特點(diǎn)，是運(yùn)動(dòng)變化很快。對(duì)此，阿里云修復(fù)團(tuán)隊(duì)基于生成技術(shù)，對(duì)老視頻進(jìn)行了插幀補(bǔ)幀，以達(dá)到更好的連續(xù)性效果。
事實(shí)上，由于修復(fù)的難度，后我們看到的巴奧這8分鐘的成片，是在多輪反復(fù)修改后呈現(xiàn)的。
在這個(gè)過程中，修復(fù)團(tuán)隊(duì)一遍又一遍耐心地揣摩，甚至“已經(jīng)看不出哪一張更像本人了”，重要原因，是在修復(fù)的過程之中，技術(shù)人員自身也受到了女運(yùn)動(dòng)員們的鼓舞：
希望能通過修復(fù)這組照片，讓更多人了解到歷史上的這些重要事件。同時(shí)也希望通過修復(fù)技術(shù)，讓凱瑟琳女士等打破障礙、提高競(jìng)技標(biāo)準(zhǔn)的女性的精神激勵(lì)更多人。
公司信息
我要咨詢
每日熱詞
