一個文本-圖像對數據都不用 也能讓AI學會看文作圖？來自字節的最新text2image模型 字節最新文本生成圖像AI，訓練集裏居然沒有一張帶文字描述的圖片？！ - 趣味新聞網

一個文本-圖像對數據都不用，也能讓AI學會看文作圖？

來自字節的最新text2image模型，就做到瞭。

實驗數據顯示，它的效果比VQGAN-CLIP要真實，尤其是泛化能力還比不少用大量文本-圖像數據對訓練齣來的模型要好很多。

嗯？不給文字注釋AI怎麼知道每一張圖片代錶什麼？

這個模型到底咋訓練齣來的？

不用文字訓練也能根據文本生成圖像

首先，之所以選擇這樣一種方式，作者錶示，是因為收集大量帶文字的圖像數據集的成本太高瞭。

而一旦擺脫對文本-圖像對數據的需求，我們就可以直接用大型無文本圖像數據集 （比如ImageNet）來訓練強大且通用的text2image生成器。

字節實現的這個模型叫做CLIP-GEN，它具體是怎麼操作的？

一共分三大步。

首先，對於一幅沒有文本標簽的圖像，使用CLIP的圖像編碼器，在語言-視覺（language-vision）聯閤嵌入空間（embedding space）中提取圖像的embedding。

接著，將圖像轉換為VQGAN碼本空間（codebook space）中的一係列離散標記（token）。

也就是將圖像以與自然語言相同的方式進行錶示，方便後續使用Transformer進行處理。

其中，充當image tokenizer角色的VQGAN模型，可以使用手裏的無標記圖像數據集進行訓練。

最後，再訓練一個自迴歸Transformer，用它來將圖像標記從Transformer的語言-視覺統一錶示中映射齣對應圖像。

經過這樣的訓練後，麵對一串文本描述，Transformer就可以根據從CLIP的文本編碼器中提取的文本嵌入（text embedding）生成對應的圖像標記（image tokens）瞭。

那這樣全程沒有文本數據參與訓練的文本-圖像生成器，效果到底行不行？

性能與清華CogView相當

作者分彆在ImageNe和MSCOCO數據集上對CLIP-GEN進行訓練和評估。

首先，用MS-COCO驗證集中的六個文本描述生成樣本。

CLIP-GEN和其他通過大量文本-圖像對訓練的text2image生成模型的效果對比如下：

其中，VQGAN-CLIP的結果比較不真實，並且伴隨嚴重的形狀扭麯。

來自清華的CogView號稱比DALL-E更優秀，在這裏的實驗中，它確實可以生成良好的圖像結構，但在紋理細節上差點兒事兒。

DF-GAN可以生成具有豐富細節的閤理圖像，但也容易産生局部僞影。

作者認為，與這些對比模型相比，CLIP-GEN的圖像細節更豐富，質量更高一些，比如它就很好地詮釋瞭第二組文字中要求的“水中倒影”（不過不太能理解“三隻毛絨熊“中的數字概念）。

定量實驗結果基本證明瞭這一結論：

CLIP-GEN拿到瞭最高的FID-0、FID-1分數；CapS得分（衡量輸入文本和生成圖像之間的語義相似性）除瞭比CogView低4%，比其他模型都高很多。

此外，作者還發現，CLIP-GEN的泛化能力似乎也不錯。

在下麵這組非常規的文字描述中，比如生成“一隻會飛的企鵝”，“叼雪茄的狗”、“有臉和頭發的檸檬”……CLIP-GEN基本都可以實現，彆的模型卻不太能理解。

作者介紹

本模型的五位作者全部來自字節。

一作名叫Wang Zihao。

通訊作者名叫易子立，本科畢業於南京大學，博士畢業於加拿大紐芬蘭紀念大學，目前在字節擔任人工智能專傢（主要研究多模態、超分辨率、人臉特效），在此之前，他曾在華為工作。