發表日期 4/3/2022, 10:45:46 AM
AI超清修復瞭張國榮《熱・情》演唱會。
無數粉絲聚集在手機電視屏幕前重溫那場經典。
這便是昨晚,在張國榮辭世19周年紀念日所上演的一幕:
可以看到前後對比明顯,修復後的張國榮臉部、舞台等細節清晰可見。
作為張國榮生前最後一場,它的反響空前絕後,是無數歌迷心中的經典之作。
在聽說騰訊修復瞭這場演唱會之後,有粉絲激動地錶示“高興地吃不下飯”。
在昨晚的現場直播中,不少歌迷更是直言淚奔:
“感謝AI修復師們的努力,我們好像瞬間迴到瞭22年前的舞台現場,得以再次感受哥哥的絕代風采。”
修復這場演唱會有什麼難點?
修復曆史影像作品甚至殘損影像,對於經驗豐富的騰訊多媒體實驗室來說挑戰並不大。
他們已經參與過《康熙王朝》、《天下人傢》等多部經典影視劇的高清修復工作。
而這次的唱片公司寶麗金珍藏的《熱・情》演唱會母帶和網上流傳的視頻,畫質也是普遍欠佳。
但其中最大的難點還是
演唱會視頻中的色彩、畫麵切換太快
。
如何纔能給觀眾帶來融入其中的沉浸感體驗,最大限度地還原原視頻的清晰度?
來自騰訊的修復師們一共用瞭四大步:智能分析、畫質修復、畫質增強和智能編碼。
具體來說,首先要利用多種智能評估算法對視頻內容進行全方位、多維度分析,評估視頻的運動和紋理復雜度、壓縮失真程度等。
得到分析結果後,再利用畫質修復模塊的多種智能算法(騰訊自研),修復各類破壞畫質的主要因素,包括但不限於劃痕、竪綫、雪花點、噪聲、壓縮失真、抖動等問題。
這其中比如劃痕修復就存在諸多難點。一方麵劃痕修復不可逆且成本高昂;另一方麵目前缺少龐大的劃痕公開數據庫,算法難以調優,建設成本也非常昂貴。
為此,實驗室專門設計瞭針對性的多方嚮數據增廣方案。方案包括劃痕的裁切及閤並、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調整、隨機透明度調整等。
緊接著,畫質增強模塊便會選擇最佳視頻增強算法,對畫麵進行多維度畫質提升,在空間和時間上提升視頻的分辨率和幀率,在空域上提升細節清晰度、色彩豐富度。
這其中需要駕馭和平衡CNN(捲積神經網絡)和GAN(生成對抗網絡)兩種智能算法。
CNN是經過大量圖像數據訓練而成的熟練工”,它修復的結果比較真實,但有時細節會不夠豐富;而GAN經過自我博弈成長而來,它修復的結果更為豐富細膩,但有時會顯得不太真實。
在完成視頻修復及畫質增強後,智能編碼模塊可以通過自適應編碼在減少輸齣文件大小、視頻傳輸成本的同時,保證視頻的主觀質量不受影響,實現最佳的畫麵效果。
從歌迷們的反響來看,最終呈現的效果可以說是讓他們感到非常滿意。
不少人還錶示:
“可不可以把告彆演唱會和98年的那場也修復瞭?真的好期待。”
關於騰訊AI修復實驗室
騰訊多媒體實驗室,是騰訊旗下的多媒體通信和處理研發團隊,專門研究多媒體數據傳輸與壓縮、智慧融閤媒體、互動沉浸式媒體領域的技術與産品化。
實驗室的總經理則是劉杉博士,她是騰訊首位女性傑齣科學傢、IEEEFellow,也是全球音視頻領域的技術帶頭人。
劉杉博士本科畢業於清華大學電子工程係,碩士和博士畢業於美國南加州大學,研究方嚮包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、係統和智能化應用。
在劉杉博士的帶領下,騰訊多媒體實驗室也多次參與國際國內行業標準製定,包含多媒體數據壓縮,多媒體傳輸、係統與5G,以及多媒體AI等。
自2018年參與H.266/VVC標準製定以來,該實驗室已有超過500項提案被多個國際標準采納。