WWW 2022最佳論文齣爐：北京大學團隊獲唯一最佳學生論文奬 - 趣味新聞網

機器之心專欄

北京大學DAIR實驗室、 騰訊機器學習平台部Angel Graph團隊

來自北京大學 DAIR 實驗室與騰訊機器學習平台部 Angel Graph 團隊共同完成的研究斬獲WWW 2022 唯一最佳學生論文奬（Best Student Paper Award）。

4 月 29 日晚，國際萬維網頂會 WWW-2022（The Web Conference，簡稱 WWW）公布瞭本屆會議的最佳論文。以北京大學計算機學院崔斌教授博士生張文濤為第一作者的論文 《可擴展的圖神經結構搜索係統 (PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm) 》斬獲大會唯一的最佳學生論文奬（Best Student Paper Award）。

圖 1 獲奬證書以及官方宣傳

WWW（現改名為 TheWebConf）會議是計算機和互聯網領域曆史最為悠久同時最為權威的頂級學術會議之一，被中國計算機學會列為 A 類推薦國際學術會議。本次會議共收到 1822 篇論文投稿，最終錄用 323 篇，錄用率為 17.7%。本次會議僅評選齣一篇最佳論文奬和一篇最佳學生論文奬，獲奬論文首先被會議 “係統和基礎設施” 方嚮推薦為最佳論文進入到大會最佳論文候選（共 11 篇），並在最終評比中獲最佳學生論文奬。獲奬論文是北京大學 DAIR 實驗室與騰訊機器學習平台部 Angel Graph 團隊共同完成，這是 WWW 成立 30 多年以來，中國學術研究機構第 2 次獲得最佳學生論文奬。

論文鏈接：https://dl.acm.org/doi/10.1145/3485447.3511986

係統鏈接：https://github.com/PKU-DAIR/SGL

1. 內容簡介

圖神經網絡模型在多個圖任務上都取得瞭最佳效果，並受到瞭學術界和工業界的廣泛關注。然而，現有的圖神經網絡係統有如下圖所示的兩個瓶頸。一方麵，受限於單機場景下的存儲和計算開銷以及分布式場景下的通信開銷，大多數基於消息傳播機製 (Neural Message Passing，NMP) 的圖神經網絡模型可擴展性較低，很難直接用於現實生活中的大規模圖數據。如圖 2 所示，以典型的基於消息傳播機製的 GraphSAGE 模型為例，分布式場景下的高昂通訊代價限製瞭圖神經網絡的可擴展性。此外，如圖 3 所示，現有的圖神經網絡係統需要用戶針對特定圖數據和圖任務編寫代碼和訓練流程，然而設計網絡結構也需要經驗豐富的專傢，建模成本很高。

圖 2 圖神經網絡的可擴展性瓶頸

圖 3 圖神經網絡的建模瓶頸

本論文研究瞭大規模圖學習過程中麵臨的圖模型可擴展性低以及建模門檻高兩個問題，進而提齣瞭一套能自動化建模超大規模圖網絡的可擴展圖學習係統。具體來說，本文提齣瞭一個新穎的圖神經網絡建模範式，並基於該範式設計瞭一個超過 15 萬種網絡結構的可擴展圖網絡設計空間，為圖神經網絡可擴展性的相關研究指明瞭一個新的方嚮和路綫。此外，本文還實現並開源瞭一套多目標（如模型預測效果和資源占用）自動化圖神經結構搜索係統，來支持更簡單和更高效的大規模圖學習。

2. 係統目標以及係統設計與方法

區彆於現有的大規模圖神經網絡係統，本文提齣的 PaSca 是一個端到端的係統。如圖 4 所示，係統的輸入有兩部分組成：1）圖數據 2）搜索目標（預測性能、內存占用、訓練以及預測效率等）。給定這兩個輸入，係統能自動化地在預定義的可擴展圖網絡搜索空間進行高效地搜索，並輸齣能兼容多個搜索目標的可擴展圖神經網絡模型。

圖 4 係統目標概覽

可擴展性圖神經網絡建模範式

圖 5 兩種建模範式的對比

如圖 5 所示，現有的圖神經網絡模型大都遵循如上圖所示的消息傳遞機製。此外，為瞭兼容主流的圖神經網絡模型，相應的圖神經網絡係統也使用基於消息傳遞機製的係統抽象。然而，基於消息傳播機製的圖模型在每個 batch 訓練過程中都需要進行聚閤和更新操作。當圖節點數據分布在不同機器上時，頻繁的聚閤操作會導緻高昂的通信開銷。區彆於現有的消息傳遞機製，本文提齣的 Scalable Paradigm(SGAP)將消息聚閤操作和更新操作分離，定義瞭可擴展性圖神經網絡建模的新範式：前處理―訓練―後處理，消息聚閤操作隻存在於前處理和後處理中，極大地降低瞭分布式場景下的通信開銷。

自動化搜索係統

本文提齣的自動化搜索係統包含兩個模闆，分彆是搜索引擎以及分布式驗證引擎。如圖 6 所示，在每一次迭代中，搜索引擎都會從搜索空間中推薦相應的可擴展圖神經網絡結構，之後評估引擎訓練圖網絡模型並返迴模型的驗證結果。

圖 6 PaSca 自動化搜索係統架構圖

搜索引擎的主要目標是找到在 SGAP 建模範式下能同時兼容多個搜索目標的可擴展圖神經網絡結構。如錶 1 所示，它首先定義瞭一個包含 15 萬種不同網絡結構的搜索空間，並基於貝葉斯優化來實現網絡結構的推薦。在每次迭代中，推薦服務器會建模觀測到的網絡結構與優化目標值之間的關係，並推薦能最好地平衡多個優化目標的網絡結構。最後，它基於驗證引擎返迴的觀測結果來更新曆史信息。

錶 1 基於 SGAP 的網絡結構搜索空間

驗證引擎的主要是用來高效評估被推薦的模型性能。對於前處理和後處理階段，圖數據聚閤器會將圖數據劃分並存儲到多台機器上。對於任意節點，當它的第 i - 階消息計算完成之後，工作節點會拉取它的鄰居信息並計算它下一階的信息。在訓練階段，每個工作節點都可以用批訓練的方式基於參數服務器來實現網絡參數的更新。

3. 實驗效果

本文在十個真實的數據集上進行實驗，實驗主要是為瞭說明：1）基於 SGAP 的圖神經網絡建模範式具有高可擴展性；2）PaSca 係統搜索齣來的網絡能很好地平衡多個搜索目標，並取得良好的預測性能。

圖 7 可擴展性分析

本文比較瞭基於 SGAP 範式建模的 PaSca-APPNP 模型以及基於 NMP 範式建模的 GraphSAGE 模型在分布式場景下的可擴展性。固定總的批處理大小並增加工作節點的數目，如圖 7 所示，實驗發現 PaSca-APPNP 能夠獲得更接近理想情況下的加速比。

圖 8 搜索結果的帕纍托平麵

如圖 8 所示，實驗展示瞭 PaSca 係統在 Cora 數據集的搜索結果的帕纍托平麵。本文從中挑選瞭 3 個代錶性的模型，分彆命名為 PaSca-V1, PaSca-V2 和 PaSca-V3。這些代錶性模型能兼容不同的優化目標，比如 PaSca-V3 取得瞭最小的分類誤差但是比 PaSca-V2 的預測時間更久。

圖 9 搜索結果的訓練時間與預測性能對比

如圖 9 所示，本文實驗測試瞭搜索齣來的代錶性模型在實際 Industry 數據集上的預測性能和訓練時間。可以看到 PaSca-V2 和 PaSca-V3 的預測效果都優於 JK-Net，但是訓練時間更短。此外，如錶 2 所示，本文在八個數據集上測試搜索齣來的代錶性模型的預測性能。實驗發現，基於 SGAP 建模範式的圖神經網絡模型能夠取得和其他範式下模型相當甚至更好的預測性能。另外，搜索齣來的 PaSca-V3 始終取得瞭最好的模型預測性能。

錶 2 搜索結果的預測性能

4. 係統應用

Angel Graph 圖計算團隊目前負責論文成果在騰訊內部的技術落地。獲奬論文的相關成果已實現於 Angel Graph 係統並部署於騰訊公司太極機器學習平台，廣泛應用於金融風控和社交網絡推薦等業務，代錶性業務落地場景如下：1）微信公眾號文章視頻推薦場景點擊率提升 1.6% 2）PCG 平台與內容事業群內容風控場景惡意識彆覆蓋率提升 10% 3)微信運營平台中心社交反欺詐場景欺詐賬號識彆覆蓋率提升 20% 4)全民 K 歌個人主頁用戶相似推薦場景人均關注提升 2.397%。

5. 總結

圖神經網絡模型在多個圖任務上都取得瞭最佳效果，並受到瞭學術界和工業界的廣泛關注。然而，大多數圖神經網絡模型可擴展性較低，很難直接用於現實生活中的大規模圖數據。此外，設計針對特定圖數據和圖任務的神經網絡結構也需要經驗豐富的專傢，建模成本很高。為此，本文提齣瞭一個非常新穎的圖神經網絡建模範式，並基於該範式設計瞭一個可擴展的圖神經結構搜索空間，為圖神經網絡可擴展性的相關研究指明瞭一個新的方嚮和路綫。此外，本文還實現並開源瞭一套多目標（如模型預測效果和資源占用）自動化圖神經結構搜索係統，搜索齣來的代錶性模型在預測性能、效率以及可擴展性方麵都取得瞭較好的平衡。PaSca 係統能幫助研究者更好地探索可擴展的圖神經網絡結構，極大地促進瞭圖神經網絡從學術研究走嚮實際落地。