新智元報道編輯：LRS 好睏【新智元導讀】ImageNet排行榜又雙����被刷新啦！不過這迴 新霸主榖歌沒有提齣新模型 榖歌“模型湯”靠微調屠瞭ImageNet的榜！方法竟然隻有半頁紙 - 趣味新聞網

新智元報道

編輯：LRS 好睏

【新智元導讀】 ImageNet排行榜又雙����被刷新啦！不過這迴，新霸主榖歌沒有提齣新模型，隻靠微調「幾個」模型就做到瞭第一，論文通篇都是實驗分析，這也引起瞭網友的爭議：全靠財大氣粗！

最近，榖歌又靠著強大的計算資源豪橫瞭一把，而且還順手捎上瞭一位Meta AI的朋友。

不得不說，這兩個「冤傢」的閤作可不多見。

論文鏈接：https://arxiv.org/abs/2203.05482

研究團隊提齣瞭一種稱為「模型湯」的概念，通過在大型預訓練模型下使用不同的超參數配置進行微調，然後再把權重取平均。

實驗結果證明瞭，這種簡單的方法通常都能夠提升模型的準確率和穩健性。

一般來說，想獲得一個性能最佳的模型需要兩步：

1、使用不同的超參數訓練多個模型

2、選擇在驗證集上效果最好的模型

但這種方法産生的單個模型有一個緻命缺陷：運氣成分很大，非常容易陷入局部最優點，導緻性能並非全局最優。

所以另一個常用策略是模型集成（ensemble），但集成後的模型還是本質上還是多個模型，所以同一個輸入需要推理多次，推理成本更高。

而模型湯通過對模型權重進行平均，最後得到的是一個模型，則可以在不産生任何額外推理或內存成本的情況下提升性能。

當然瞭，你可能在想，模型方法這麼簡單，怎麼Google就敢把論文發齣來？

Method部分隻占瞭半頁，文章的通篇基本全是實驗，也就是說Google做瞭一件彆人都沒做到的事：用大量的計算資源，做大量的實驗，來證明這個簡單的方法就是有效的。

並且模型還刷新瞭ImageNet 1K的新紀錄：90.94%。

所以對高校的研究人員來說，這篇文章可能沒有太大的學術價值，完全就是實驗科學。但對於有錢、有資源的大公司來說，性能強就夠瞭！

模型湯（Model Soup）名字的靈感來源可能來自「斐波那契例湯」，具體做法是把昨天的和前天剩下的湯加熱後混閤，得到就是今天新鮮的「斐波那契例湯」。

模型湯把昨天的多個模型加熱一下，就成瞭今天新鮮的SOTA模型瞭。

新瓶裝舊酒

CV模型的常見開發模式就是：有計算資源的大公司把模型預訓練好，其他研究人員在這基礎上，針對自己特定的下遊任務進行微調。

在單個模型的情況下，性能可能並非最優，所以另一個常用的提升性能方法就是集成（ensemble）：使用不同的超參數，訓練多個模型，然後將這些模型的輸齣結果組閤起來，比如用投票的方式，選齣多個模型預測一緻的結果作為最終輸齣。

集成模型雖說可以提升模型的性能，但缺點也顯而易見：同一個輸入需要預測多次，推理性能顯著下降，必須得增大顯存、增加顯卡或者等待更長的推理時間。

Google提齣將多個微調後的模型進行權重平均化，而非選擇在驗證集上達到最高精度的單個模型，最終産生的新模型就稱為模型湯。

因為正常訓練的時候也需要訓練多個模型，所以模型湯並沒有增加訓練成本。並且模型湯也是單模型，所以也沒有增加推理成本。

其實之前就有研究結果錶明，沿著單一訓練軌跡（single training trajectory）的權重平均化能夠提高隨機初始化訓練模型的性能。

模型湯則是將權重平均化的有效性擴展到瞭微調的背景下。

權重平均化的策略也有很多，論文中給瞭3種常用的方法 ：均勻湯、貪婪湯、學習湯。

均勻湯（Uniform soup）最簡單，不同模型權重直接求平均即可。

貪婪湯則是通過依次添加模型作為湯中的潛在成分（potential ingredient）來構建的，隻有當模型在預留的驗證集上的性能提高時，纔將其留在模型湯中。

在運行算法之前，先按照驗證集準確性的遞減順序對模型進行排序，所以貪婪湯模型不會比驗證集上最好的單個模型差。

學習湯則是通過將各個模型在模型湯中的權重作為可學習的參數。

性能強就是王道

雖說模型湯的想法很簡單，但這篇論文的重點並非是方法，而是實驗。

在實驗部分，研究人員探索瞭在對各種模型進行微調時對模型湯的應用。微調的主要模型是CLIP和ALIGN模型，用圖像-文本對的對比監督進行預訓練，在JFT-3B上預訓練的ViT-G/14模型，以及文本分類的Transformer模型。實驗主要使用的是CLIP ViT-B/32模型。

微調是端到端的，也就是所有的參數都可修改，這種方式往往比隻訓練最後的綫性層有更高的準確性。

在微調之前，實驗采用兩種不同的方法來初始化最後的綫性層。第一種方法是從綫性探針（linear probe, LP）初始化模型。第二種方法使用zero-shot初始化，例如，使用CLIP或ALIGN的文本塔産生的分類器作為初始化。

微調使用的數據集為ImageNet。實驗中還對五個自然分布shift進行評估：ImageNetV2，ImageNet-R, ImageNet-Sketch, ObjectNet, 和ImageNet-A。

由於官方的ImageNet驗證集被用作測試集，因此實驗中使用大約2%的ImageNet訓練集作為構建貪婪的湯的保留驗證集。

實驗結果對比瞭湯的策略，可以看到貪婪湯需要更少的模型就能達到與在保留的驗證集上選擇最佳個體模型相同的精度。X軸為超參數隨機搜索中所考慮的模型數量，Y軸為各種模型選擇方法的準確率。所有的方法在推理過程中都需要相同數量的訓練和計算成本。

對於任何數量的模型，貪婪湯在ImageNet和分布外測試集上都優於最佳單一模型；貪婪湯在ImageNet上優於均勻湯，在分布外則與之相當。Logit集成在ImageNet上比貪婪湯好，但在分布外更差。

貪婪湯比ViT-G/14在JFT-3B上預訓練並在ImageNet上微調後得到的最好的單個模型在分布內和分布外的情況下的性能都有所提升。

為瞭測試通過模型湯獲得的模型性能提升是否可以擴展到圖像分類以外的領域，研究人員還對NLP任務進行瞭實驗。研究人員在四個文本分類任務上對BERT和T5模型進行瞭微調，這些任務來自於GLUE基準：MRPC，RTE，CoLA和SST-2。實驗結果雖然改進沒有圖像分類中那麼明顯，但貪婪湯在許多情況下可以比最好的單模型性能更好。

有意義嗎？

大部分從事AI模型的研究人員看完論文的內心應該都是：就這？

論文一齣，在知乎上也有論文的相關討論。

有網友錶示，這種論文沒有意義，全靠資源堆砌，驗證瞭一個小idea罷瞭。之前的模型也有相似的idea，並且論文也缺乏對神經網絡的理論分析。

不過凡事都有兩麵性，網友@昭昭不糟糟 則錶示，sota隻是論文的性能體現，文章大量的實驗産生的結論還是比較具有啓發性的，簡單有效即是好idea！

網友@戰鬥係牧師 稱這是個極具榖歌風格的工作，思路不難想到，但Google勝在推理速度不變、且對問題的解釋也很到位，實驗充足（對於窮研究人員來說可能沒辦法復現）。確實有很多值得學習的地方。並且模型湯也更加環保，沒有把訓練後的模型直接扔掉，而是利用起來，不至於浪費電。

網友@西紅柿牛腩分析稱：「現在ImageNet刷榜的模型，10億參數不嫌少，100億參數不嫌多。而且Google、Facebook這些有錢的主，動不動就是1000塊顯卡起步，不但用Conv+Transformer，還用JFT-3B作弊。然而，要是用1000層的ResNet達到瞭91%的Top 1，那就是時代的進步瞭。」

最後還調侃說：「假如讓我刷到92% Top 1，半夜都會笑醒，一年的KPI都達到瞭。」

參考資料：

https://arxiv.org/abs/2203.05482

https://www.zhihu.com/question/521497951