北京時間3月3日 Graphcore發布瞭第三代IPU係統Bow係列和新一代IPU Bow IPU＋超級智能——Graphcore邁嚮未來AI的關鍵 - 趣味新聞網

北京時間3月3日，Graphcore發布瞭第三代IPU係統Bow係列和新一代IPU，後者采用7納米製程工藝，是全球首款基於台積電的3D Wafer-on-Wafer技術的處理器，性能較上一代提升40%，電源效率提升16%，用戶無需修改代碼即可接入使用新係統，新産品價格較上一代保持不變（Graphcore為訂購IPU-M2000的老用戶提供瞭優惠方案，以確保其可以獲得相似的性能/美元）。“3D Wafer-on-Wafer的芯片測試已經進行瞭一年多的時間，這得益於我們與技術夥伴的緊密協作，同時，他們也需要在AI處理器上共同推進新技術的落地。”Graphcore大中華區總裁兼全球首席營收官盧濤在接受采訪時談到。

Graphcore大中華區總裁兼全球首席營收官盧濤

采用3D封裝技術的Bow IPU在單個封裝中容納瞭超過600億個晶體管，在供電裸片中添加瞭深溝槽電容器，位於處理內核和存儲旁，提供瞭高效供電，實現350 TeraFLOPS的AI計算，優化瞭矽供電。Bow IPU中的Wafer-on-Wafer能夠在矽片之間提供更高的帶寬，優化電源效率，在晶圓級彆提升Colossus架構的功率。通過把兩個晶圓結閤在一起，産生一個新的3D裸片，其中一個晶圓用於AI處理，在架構上與GC200 IPU處理器兼容，擁有1472個獨立的IPU-Core tile，能夠運行8832個並行程序，具有900MB的處理器內存儲，吞吐量從47.5TB/s提高到65TB/s，10個IPU-Links可提供320GB/s，第二個晶圓擁有供電裸片。盧濤稱：“通過與台積電緊密閤作，我們充分驗證瞭整套技術，包括背麵矽通孔（BTSV）和Wafer-on-Wafer（WoW）混閤鍵閤中的多項突破性技術。”

Bow IPU處理器

作為Bow Pod係統的組成部分，最新Bow-2000 IPU Machine采用瞭與第二代IPU-M2000 machine同樣的係統架構，但配備瞭四個Bow IPU處理器，可提供1.4 PetaFLOPS的AI計算。Bow-2000與IPU-M2000同樣使用1U刀片，具有3.6 GB的處理器內存儲，吞吐量為260TB/s，IPU流存儲達到256 GB，具有2.8 Tbps IPU-Fabric。Bow-2000可以兼容之前的IPU-POD係統，其高速、低時延的IPU結構和靈活的1U外形尺寸保持不變。Bow-2000是整個Bow Pod係列的基礎組成部分，可安裝在戴爾、Atos、Supermicro和浪潮等品牌的主機服務器上，組成Bow Pod係統。

Bow-2000 IPU係統

Bow Pod係列包括Bow Pod16（4台Bow-2000和一台主機服務器）、Bow Pod32（8台Bow-2000和一台主機服務器）、Bow Pod64以及更大的旗艦係統Bow Pod256和Bow Pod1024。其中，Bow Pod16能提供5.6 PetaFLOPS的算力，嚮上縱嚮擴展到Bow Pod32、Bow Pod64，再以Bow Pod64作為橫嚮擴展單元，擴展到Bow Pod256、Bow Pod1024等。旗艦産品Bow Pod256可以提供超過89 PetaFLOPS的AI算力，超大規模Bow Pod1024（當前處於早期訪問版本）可提供358.4 PetaFLOPS的AI算力。橫嚮擴展方麵，如果以IPU-POD16的性能作為基準，Bow Pod16的性能有1.4倍，Bow Pod256有18倍。

Graphcore中國工程副總裁、AI算法科學傢金琛

第三代IPU係統Bow係列

“這些性能的提升在很大程度上也歸功於軟件棧的生態係統。”Graphcore中國工程副總裁、AI算法科學傢金琛錶示，“核心的部分就是Poplar SDK，包括驅動器、編譯器等等。在此基礎之上，Graphcore還有著豐富的生態，例如支持PyTorch、TensorFlow、HALO、PaddlePaddle、Keras等框架和庫，並且支持Jupyter Notebook、Inference Deployment Toolkit等。麵嚮開發者社區，我們提供瞭廣泛的代碼用例，以及各種文檔、視頻的示範。例如在機器學習的應用上提供瞭豐富的模型範例，覆蓋圖像識彆、檢測、語音等AI領域，這些範例還在持續增加。在雲上，我們也提供瞭廣泛的部署、監控、管理、集成等功能。還有PopVision工具，可以幫助用戶和Poplar編程者更有效地提升應用在我們的平台上的性能優化。”

Poplar SDK

在各類AI應用的真實環境中，在與配有Bow Pod係統的Mk2 IPU-Pod係統相同的峰值功率範圍內，各類AI應用的性能提升可達到40%，包括圖像分類、檢測、文本到圖像等，覆蓋CNN、Transformer等網絡。對於計算機視覺模型EfficientNet，在EfficientNet-B4上的性能提升達到39%，Bow Pod16性能是同類Nvidia DGX A100係統的5倍左右，神經網絡模型訓練大概隻需要14個小時，而價格隻有一半，相當於TCO優勢提升10倍。實際錶現中，Bow係統的性能和上一代産品相比也有較大的提升，在Conformer模型上，有著36%的提升，在ASR的模型和TextToSpeech（文本轉語音）的模型上，有著約39%的提升。在較大幅度性能提升的基礎之上，Graphcore還保證瞭整體性能的有效性，相關的模型可以達到接近96%的電源效率。

Bow在實際場景中的應用錶現

Bow Pod可為各種AI應用提供更好的性能錶現

盧濤稱，人類大腦裏麵約有860億個神經元、100萬億個突觸。如果將突觸類比AI模型的參數個數，那麼當前最大的AI模型約有1.6萬億個參數，距離人腦還有100倍的差距。為瞭邁嚮未來AI，Graphcore正在開發一款可以用來超越人腦處理的超級智能機器――Good Computer（古德計算機），預計在2024年交付。這款機器會搭載新一代IPU技術，帶來超過10 Exa-Flops的AI浮點計算、最高4PB的存儲、帶寬超過10PB/秒，支持超過500萬億參數的AI模型，獲得Poplar SDK的完全支持，並且會延續3D Wafer-on-Wafer邏輯棧。價格方麵，該計算機預計在100萬美元至1.5億美元（取決於配置）。

Good Computer（古德計算機）

目前，Bow IPU已經獲得瞭不少客戶的部署和認可，例如美國的一所國傢實驗室就利用其進行瞭基於Transformer模型和圖神經網絡的實踐，主要應用場景為化學研究、網絡安全等。此外，Graphcore在醫療健康、保險、雲計算、氣象、分子動力學、互聯網等行業的客戶也在加速落地。在中國市場，已經有客戶拿到瞭Bow係統，計劃展開測試和部署應用。針對該係統的模型性能優化等軟件開發工作，也是由Graphcore的中國團隊完成的。

Graphcore的客戶遍及各行各業

隨著企業的數字化轉型步入深水區，愈發多元化、復雜化的工作負載催生瞭異構計算的黃金時期，IPU能夠在一眾XPU中殺齣重圍，除瞭有著領先的工藝設計和架構優勢、完善的軟件棧，還有能夠讓其大展拳腳的模型實例和應用場景。以Transformer為例，CV、語音等越來越多的垂直應用轉嚮Transformer，對網絡訓練的深度和精度提齣瞭更高的要求。而早在2020年，Graphcore就觀察到瞭這一趨勢，並為此進行瞭大量的技術研發，IPU的架構設計與之也較為適應，例如在訓練方麵的錶現不輸於NVIDIA的係統，在推理方麵的錶現則要更好。

“起初，IPU並沒有針對某個具體的模型來設計，原因是我們認為AI計算在底層都是以計算圖來組織的，所以要看怎樣的計算架構適閤相應的應用。像是在Transformer場景中，IPU的優勢就比較大。”盧濤錶示，“如今，AI領域呈現著X×Y×Z的關係，即X是應用，Y是框架，Z是處理器，X×Y×Z的可能性會有很多。如果有一套主綫齣來之後，對於芯片廠商仍會有廣闊的空間，但大體上都是沿著一條主乾道在發展，這樣對於客戶、開發者都是有好處的。”

(7881494)