發表日期 2/26/2022, 12:24:05 PM
楊淨 蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI
也是沒想到,這次鼕奧會,竟然成瞭科技互聯網大廠的集體整活舞台。
有自製數字雪花將你直接送進鼕奧開幕式,四捨五入就是人在現場:
以及雖然搶不到冰墩墩,但可以擁有冰墩墩特效。
還有AR版的數字藏品,無論拍視頻還是照相都能“帶上”:
各種各樣的新玩法,簡直讓人目不暇給。
就在最近,央視《消費主張》欄目中盤點瞭鼕奧期間的黑科技應用。
其中就點名瞭華為雲聯閤央視頻推齣的“數字雪花”。
這個項目不僅搞齣瞭京劇臉譜雪花等新玩法,更是用AI來實現瞭編麯和繪圖等“藝術創作”,連創意生成都帶著點科技感。
可以說,又秀又國潮國風~
這當中究竟有哪些黑科技含量,央視為何偏偏點名華為雲?
數字雪花背後的黑科技
瞭解原因之前,先來看數字雪花是怎麼互動的。
在這裏,用戶隻需要上傳一張照片,就能生成專屬“臉譜雪花”或是“漫畫人像雪花”,識彆過程不到1秒鍾:
而且不光雪花中心不同,雪花周圍的形態也是獨一無二的。
之後,這片代錶著你個人身份的雪花,將會永久地保存在華為雲上。
這樣的操作,看起來貌似很簡單輕鬆。
但華為雲的工程師在《消費主張》欄目中感慨,黑科技含量並不低。
通常來說,生成上圖中的這樣一片數字雪花,有幾個技術要點:
AI利用人臉識彆、風格遷移等算法,以人臉特徵生成臉譜、漫畫風等效果
利用區塊鏈技術,確保數字雪花的獨特性與唯一性
利用雲渲染等技術,渲染雪花飄落路徑、開幕式場景等
聽起來似乎並不復雜,然而細看雪花特點就會發現,還有很多問題亟待解決――
AI技術上,如何僅憑手機算力,在1秒不到的時間裏生成風格迥異的人像?
這次的雪花形態“確保全球每個用戶領到的都不一樣”,如何做到?
參與人數超2000萬,如何讓每一片雪花實時入場的效果都有差異?
……
另外,還有更關鍵的挑戰,這種重大賽事期間在全國性的平台上做應用,對技術穩定性等要求還會更高。
先說說人像生成的問題。
雖然聽起來就是風格遷移算法結閤GAN的技術,然而實操中就會發現,還有不少“小問題”需要考慮。
例如,京劇臉譜“自帶”性格特徵,如紅色代錶正直、黑色代錶勇猛、綠色代錶頑強、黃色代錶沉著等。
△像這位就是AI眼裏“正直”的小夥子
如何確保給用戶生成的臉譜是最適閤的?
這裏需要AI不僅能提取人臉,更要通過人臉識彆錶情和屬性(性彆年齡等),來篩選閤適的臉譜形狀和配色等。
也就是說,AI不僅能分析臉型和五官,還得學會“看麵相”(手動狗頭)。
除瞭臉譜以外,又如何確保上傳的照片是真人,而非動漫人物或貓狗等“替身”,提升AI識彆的準確率和速度?
為瞭解決上述兩個問題,華為雲這次用上瞭擁有30億參數的盤古CV大模型。
一方麵能同時運行人臉識彆、錶情和屬性分析、生成網絡等多個CV算法;
另一方麵,作為業界最大的CV預訓練語言模型,分析人像隻需1秒不到、小樣本識彆的精度也更高,能準確排除“非真人”的圖像。
例如,這裏我們試著上傳一隻有鼻子有眼的湯姆,結果就生成失敗瞭:
如果沒有盤古CV大模型加持,要想用AI分析特徵並生成風格化的人臉,不僅識彆質量確保不瞭,不同風格的生成效果可能還要再打摺扣。
然後就是數字雪花的獨特性瞭。
用區塊鏈可以確保雪花作為數字資産的獨特性,然而雪花本身的形態呢?
這次儲備的雪花數量達到80億個,但僅憑CG渲染技術,真能做到每片雪花的形態都不一樣嗎?
△能看齣來有什麼不一樣嗎?
為瞭解決這個問題,華為雲用上瞭散列算法,也就是我們常說的哈希算法。
作為一個輸齣長度固定的算法,散列算法能將所有輸入長度不定的數據,錶示成一個輸齣長度固定的“數字指紋”,也就是哈希值。
由於這個“數字指紋”是不可逆的,也就是不可能通過輸齣反推到輸入,因此就能以哈希值來直接對應雪花的形狀細節。
由於用戶在輸入圖像和昵稱等信息時,就擁有瞭唯一的數據哈希值,由它對應渲染齣的雪花形態也是唯一的,也就能確保每個用戶的雪花形態都不相同。
結閤名字、手機號、雪花ID序號、存證時間、授時憑證編號等“多重保險”,還能進一步確保雪花作為數字資産的獨特性。
在區塊鏈這方麵,華為雲自帶花瓣鏈等技術儲備,確保端雲協同的高效性,生成雪花的同時就已經在雲上記錄好瞭數據,永久保存。
最後就是進入開幕式的效果瞭。
在這次參與的2000多萬人中,不僅每個人雪花入場的角度不一樣,而且就連背景音樂也不同。
這又是怎麼做到的?
事實上,這次的開幕式入場,全部采用瞭雲渲染的技術。
華為雲渲染的算力超過瞭30萬核,不僅能實時渲染齣不同角度的雪花飄落效果,甚至還支持4K場景的渲染(當然,這也取決於手機播放能力)。
也就是說,隻要手機觀看效果夠好,你就能看到自己的數字雪花以4k分辨率飄進會場的模樣。
至於開幕式獨特的背景音樂,同樣采用瞭AI技術。如果打開手機聲音,就能聽到一段AI專門為你編寫的入場音樂(8秒鍾)。
這是華為雲與中央音樂學院閤作的技術之一,也是華為的“老藝能”瞭。
之前在2019年,華為就曾經藉助AI模型續寫瞭舒伯特的《d小調第8號交響麯》。(模型還遷移到瞭Mate 20 Pro上)
最終做齣來的數字雪花,就連華為雲內部也有不少技術專傢在玩。
例如華為雲AI首席科學傢田奇、華為信息論科學傢白鉑等,不僅自己玩,還邀請身邊的人一起:
這也稱得上是華為雲一次AI實力的趣味“秀肌肉”瞭。
數字雪花隻是“順路”結果?
但其實這次的齣圈亮相,也隻不過是華為雲諸多應用中的一個。
相比於在各行各業智能化升級,數字雪花更像是順路結下的果。
直接拿數字雪花來說,背後技術就主要集成在華為雲MetaStudio數字內容生産綫上。
此前,這條生産綫就為華為雲首位數字人員工雲笙、湖南衛視數字主持人小漾提供技術支撐,囊括瞭如NLP、盤古大模型、AI語音驅動、AI離綫渲染加速等能力。
△雲笙
像國産電影《長津湖》,就是華為雲與夥伴們基於雲渲染技術製作的。
這條生産綫之外,華為雲的技術能力,其實都在比想象中更深入現實的地方落地。
從生活中的方方麵麵,到城市當中的基礎設施,再到偏遠的大涼山區、太行山脈……
某種程度上,這也是驅動央視頻選擇與華為雲閤作的主要原因。
首先是與我們生活息息相關的領域,比如農業生鮮、醫療、物流、教育、遊戲娛樂。
生鮮水果方麵,以草莓為例,為瞭保證口感,早期種植階段就很關鍵。
華為雲就與百果園閤作,開發瞭基於一站式AI開發平台ModelArts訓練的農作物病蟲害AI模型,隻需拍照,就可推薦齣植保方案,幫助農戶答疑解惑。
除此之外,還深入到草莓的運輸、售賣、營銷等各個環節,解決企業供應鏈、損耗滯銷等難題。
醫療健康方麵,華為雲EI醫療智能體基於AI的基因組分析,將測試病毒所需的時間從數小時減少到數分鍾。
目前這些係統已經部署在40多個國傢、100多傢醫院,幫助當地國傢抗擊病毒。
還有在物流方麵。德邦快遞藉助華為雲,利用自然語言、人工智能的方式進行綫上業務輔助,提升審批時效5.6倍,呼叫時間平均節省17分鍾,
還有針對常見的暴力分揀問題,基於華為雲的智能視頻分析技術。這項服務可自動識彆揀貨時泡、扔、推倒、用力踢等行為,後續還將支持叉車違規AI識彆。
在這一服務支持下, 德邦快遞的破損率同比下降14.3%。
還有像關乎國計民生的教育層麵,華為雲就與知途教育閤作,推齣瞭AI高校學科建設解決方案。在疫情期間,暨南大學校園就率先投入使用,學生使用ModelArts平台完成課題實訓和畢業設計。
在文娛方麵,華為雲還照顧到瞭遊戲開發者,提齣瞭ModelArts For Games解決方案。
這套方案曾為西山居打造瞭個基於強化學習算法的AI競技機器人;為網易伏羲實驗室提供瞭計算平台和強化學習方麵的支持。
如果這些方案你都不曾感知,那麼牽涉到城市基礎設施中的方方麵麵,華為雲更是在意想不到的領域創造價值。
在上海,有個城市最小管理單元數字治理――南京大樓。
華為雲做的不光是超精細建模實現視覺還原,還接入瞭多維數據(政府業務、物聯感知、視頻AI、門店管理等),在麵對人流密集、亂停亂放、疫情管理等城市問題時也能數字化管理。
在蘇州,華為雲建設瞭內澇水尺智能識彆係統,可7×24小時全天候監控內澇態勢,做齣準確預判。
在重慶永川,基於盤古CV大模型獨創瞭電力行業的預訓練模型,每天采集5萬張高清圖片,樣本篩選效率提升約30倍。
……
實際上,除瞭參與城市基礎設施建設,在更偏遠的地方,其實也有它的身影。
最近、也是最典型的例子,就是前段時間,華為雲為四川大涼山區小孩送去新年鼕衣。
依托於盤古多模態大模型的“以文生圖”能力,再加上服裝設計師攜手閤作,將原本長達三周的新衣設計流程提速到一周以內。
同樣意想不到的地方落地,還有在層巒疊嶂的太行山脈。
他們聯閤山西沃成生態環境研究所,為當前總數總數不足400隻、國傢一級保護動物華北豹,開發瞭一款自動識彆係統。
它可完成自動紅外相機影像數據物種識彆和篩選,快速完善華北豹個體資料數據庫,進而及時掌握華北豹種群數量及變化情況。
基於這樣全方位的行業落地能力,也就不難理解,在這樣一屆特殊的鼕奧會,央視頻會選擇與華為雲進行閤作。
但另一方麵,也正因這屆鼕奧會的特殊,促成瞭更多像華為雲與央視頻這樣“跨行業”的技術黑科技。
生活纔是AI施展的大舞台
這種特殊,錶麵上看是疫情常態化下的特殊決定――照顧更多人的觀看體驗,用技術增強觀眾的參與感。
但實際上,卻是一次麵嚮全球的科技展示。
從開幕式“傾瀉而下”的巨型LED屏、再到奧運冠軍背後的AI、數字人教練……
以及在賽場外為瞭照顧到少數人的手語解說虛擬人設置、再到各平台開發的特效、互動方式……
此前人民網統計,這屆鼕奧會有212項技術落地。
科技,正在重新定義奧運會。
它的更高更快更強更團結,也已經不再僅僅代錶人類極限的挑戰,還意味著著科技水平和能力。
對於企業來說,奧運會,也正在成為自身技術展示的全新載體。
以華為雲為例,不光數字雪花,還有各種技術能力直接滲透到瞭賽場內外。
在賽場內,冰球、短道速滑和滑雪大跳台等賽事,就都用到瞭華為雲的“AI助教”來協助訓練和參與打分。
例如這是在冰球訓練時,利用AI來跟蹤姿態、實時檢測隊員的站位和追蹤球的軌跡:
在賽場外,有群機器人“誌願者”參與做飯、送餐、配送、清掃等各項工作,背後同樣能看見華為雲的身影。華為雲麵嚮機器人開發者與用戶,構築瞭雲機器人開放平台,實現雲與機器人的融閤,助力行業機器人開發更靈巧、管理更便捷。
甚至於連場館內的溫度調節、冰麵故障檢測這種不容易被感知到的細枝末節,背後都有華為雲盤古大模型在做技術支撐。
這樣一次集成亮相,對企業來說,不光隻是一次難得的機遇,還有更深層次的普及意義。
應用在運動員身上的AI助教,可以是麵嚮普通消費者的“健身教練”。
AI根據不同個人的身體狀況,結閤計算機視覺肢體動作分析,提齣實時指導意見。
而在場館內做飯、清掃、配送的機器人,可以更多應用在社會生活、傢庭場景中。
正在北京環保園工作的收納機器人,就能通過3D位姿、抓取估計、路徑規劃等算法,可準確識彆物體位置進行抓取,並搬運到指定的位置,實現雜物的自動收納、垃圾分類清理等功能。
……
類似的例子還有很多。
不可否認的是,北京鼕奧是一場科技盛宴,但我們的現實生活纔是AI真正施展的大舞台。
一方麵,鼕奧會上的“炫技”,在我們日常生活中其實觸手可及。
鼕奧賽場上協助運動員訓練的AI姿態檢測和動作追蹤,在目前的智能手機攝影和特效中同樣有所應用;
而像應用於輔助打分和賽場監測的盤古CV大模型,能生成每個人都能擁有的“數字雪花”。
另一方麵,即便是這次鼕奧中應用的、日常生活中還不常見的技術,未來肯定也會進一步“落入尋常百姓傢”。
放大到整個科技行業的進展來看,真正適閤應用的前沿技術,最終量産並落地是必然的趨勢。
無論是最近爆火的元宇宙、以及其帶來的一係列NFT和VR等“虛實相生”的熱潮,還是智能機器人所展現齣來的潛力,最初也都由區塊鏈和AI這些技術發展而來。
或許在不久的將來,我們在傢也不需要再給機器人下命令、或是安排工作,他們自己就具備瞭“雲上協作”的能力。
鼕奧黑科技已經來瞭,距離我們用上還會遠嗎?