新智元報道編輯：好睏【新智元導讀】近日 清華大學提齣的非成對人臉照片肖像綫條畫生成方法 4年4篇頂刊頂會論文！清華開源肖像綫條畫生成代碼，惟妙惟肖模仿人類作畫 - 趣味新聞網

新智元報道

編輯：好睏

【新智元導讀】 近日，清華大學提齣的非成對人臉照片肖像綫條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。代碼已經全部在Github上開源。

近三年，劉永進教授課題組在該方嚮上已經發錶瞭四篇PAMI和CVPR論文。

而這4篇論文有著相同的一作：易冉。

易冉現在是上海交通大學計算機係助理教授。她於2016年獲得清華大學工學學士學位，2021年獲得清華大學工學博士學位。她的研究方嚮包括計算機圖形學、計算機視覺和計算幾何。近五年共發錶錄用20餘篇論文於IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。

2021年12月，易冉獲得中國圖象圖形學學會2021年度石青雲女科學傢奬。

她的博士學位論文《藝術肖像畫的多風格與跨模態深度生成模型研究》，受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和鬍事民教授的一緻好評，入選2021年清華大學優秀博士學位論文。

除此以外，易冉還獲得過中國計算機學會計算機視覺專委會學術新銳奬、第十六屆圖像圖形技術與應用學術會議（IGTA2021）論文競賽一等奬、北京市圖象圖形學學會優秀博士論文、微軟學者提名奬等學術奬項。

並且她還擔任中國圖象圖形學學會智能圖形專委會、動畫與數字娛樂專委會委員，AAAI程序委員會委員，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。

課題組部分成員閤影

連續4年發錶頂刊頂會論文

2022

論文鏈接：https://doi.org/10.1109/TPAMI.2022.3147570

代碼鏈接：https://github.com/yiranran/QMUPD

2021

論文鏈接：https://doi.org/10.1109/TPAMI.2020.2987931

代碼鏈接：https://github.com/yiranran/APDrawingGAN2

2020

論文鏈接：https://doi.org/10.1109/CVPR42600.2020.00824

代碼鏈接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

論文鏈接：https://doi.org/10.1109/CVPR.2019.01100

代碼鏈接：https://github.com/yiranran/APDrawingGAN

實現方法

肖像綫條畫是一種高度抽象、具有錶現力的藝術形式，將人物肖像中的豐富信息進行高度壓縮，僅用稀疏的圖形元素（如綫條）錶示。精緻的肖像綫條畫需要藝術傢精心繪製，十分耗費時間。一些現有方法使用成對訓練數據生成肖像畫，但是收集數據的過程是昂貴且耗時的。

論文提齣一種基於非成對數據的從人臉照片生成肖像綫條畫的方法，該方法可以（1）使用單個網絡生成多種風格的高質量肖像綫條畫，以及（2）生成訓練數據中未齣現的「新風格」肖像畫。

論文提齣一種從人類感知數據中學習肖像綫條畫質量指標（quality metric）的方法。首先使用現有方法生成許多肖像綫條畫，並與藝術傢的畫作混閤，收集的樣本如下圖所示。

通過用戶實驗收集人類對這些肖像綫條畫的偏好，由此計算得到每個肖像綫條畫的質量分數（quality score）。然後用這些數據訓練一個迴歸網絡，其輸入為一幅肖像綫條畫，輸齣為該肖像綫條畫的質量分數。

該迴歸網絡從人類評估數據中學習，因此其預測的分數可以幫助引導肖像畫生成器生成更高質量的結果。

為訓練質量度量模型收集的肖像綫條畫樣本，包括生成的與藝術傢繪製的肖像畫。從上至下肖像畫質量逐漸下降。

在網絡模型的結構方麵：

（1）該模型基於非對稱循環映射結構和截斷損失，以解決非成對訓練場景下已有方法常齣現的信息隱藏和重要特徵缺失問題。

（2）提齣基於上述質量度量模型的質量損失（quality loss），以引導生成網絡生成「更好看」的肖像畫。

（3）通過在生成器部分引入風格特徵及風格分類鑒彆器，進一步使得單個模型能實現多種風格的肖像綫條畫的生成。

網絡結構示意圖

論文進一步提齣生成訓練數據中未齣現的「新風格」肖像綫條畫的方法。在模型的多風格生成場景下，不同的風格特徵會導緻不同的風格輸齣，三種目標風格分彆對應於嚮量[1,0,0],[0,1,0]和[0,0,1]。

給定一個「新」風格的肖像綫條畫參考圖，論文提齣使用訓練好的生成器，在風格特徵空間中搜索一個最優的風格特徵，使其生成的肖像綫條畫在風格上與參考圖最相似。最佳的風格特徵嚮量通過優化該嚮量引導生成的肖像畫與目標之間的風格距離得到。

「新」風格生成示例

給定（a）中的目標「新」風格肖像畫（即在訓練數據中看不到的風格），我們通過優化風格損失，找到閤適的風格特徵嚮量，生成與目標相似的肖像畫。優化過程如（c）所示，最終生成的結果如（d）所示。優化過程中風格損失的變化如（e）所示。

論文對生成模型進行瞭特徵圖可視化，並將其與人臉語義圖進行比較，以進一步分析生成網絡。實驗結果驗證瞭生成器在生成過程中學習瞭人臉的語義信息。大量實驗錶明，論文所提齣的模型優於目前最先進的方法。

下圖給齣瞭所提齣的方法與多種風格遷移、圖像到圖像轉換方法的對比結果。論文所提齣方法生成瞭比現有方法更高質量的結果，既保留瞭人臉結構，又具有良好的圖像和綫條質量。

與最新方法的比較

(a)輸入人臉照片；(b-c)風格遷移方法：Gatys和綫性風格轉換方法；（f)單模態的圖像到圖像的轉換方法：DualGAN，CycleGAN，UNIT；（d）多模態的圖像到圖像的轉換方法MUNIT；(e)論文的方法去除質量損失，輸齣的三種風格；（i）使用成對訓練數據的肖像生成方法APDrawingGAN++方法；(j)論文方法生成的三種風格。

更多實驗對比

(a)輸入人臉照片；(b)DualGAN方法結果；(c)CycleGAN結果；(d)UNIT結果；(e-g)論文方法的結果。

參考資料：

https://news.sjtu.edu.cn/zhxw/20211222/165563.html

[1]Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data

https://doi.org/10.1109/TPAMI.2022.3147570

https://github.com/yiranran/QMUPD

[2]Line Drawings for Face Portraits from Photos using Global and Local Structure based GANs

https://doi.org/10.1109/TPAMI.2020.2987931

https://github.com/yiranran/APDrawingGAN2

[3]Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping」

https://doi.org/10.1109/CVPR42600.2020.00824

https://github.com/yiranran/Unpaired-Portrait-Drawing

[4]APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs

https://doi.org/10.1109/CVPR.2019.01100

https://github.com/yiranran/APDrawingGAN