選自arXiv作者：Julia Gusak等機器之心編譯編輯：杜偉、澤南在本綜述論文中 研究者解釋瞭不同技術的工作原理、評估和比較 大規模神經網絡最新文獻綜述：訓練高效DNN、節省內存使用、優化器設計 - 趣味新聞網

選自arXiv

作者：Julia Gusak等

機器之心編譯

編輯：杜偉、澤南

在本綜述論文中，研究者解釋瞭不同技術的工作原理、評估和比較，還分析瞭一些實現這些技術的框架。

現代深度學習和人工智能技術的發展涉及使用深度神經網絡（DNN）來解決圖像、視頻、音頻、自然語言處理、圖像形式的內容生成等各種問題，或生成給定格式主題的文本等任務。

俄羅斯斯科爾科沃科學技術研究所、法國裏爾大學、波爾多大學、Inria 等科研機構聯閤發錶瞭一篇論文《Survey on Large Scale Neural Network Training》，它試圖解決的問題是： 若給定模型和計算平台的情形下，如何訓練纔是最有效率的 。為瞭使訓練高效，其必須可行，最大程度地利用資源的計算能力，在並行情況下，它不能讓信息傳輸成為瓶頸。訓練的效率從根本上取決於計算內核在計算資源（CPU、TPU、GPU）上的有效實現以及 GPU 之間和不同內存之間通信的有效實現。

論文鏈接：https://arxiv.org/abs/2202.10435

在這兩種情況下，人們為優化計算內核的算術強度，及有效實現硬件網絡上的通信做瞭很多工作。對於使用者來說，已存在強大的分析工具來識彆硬件瓶頸，並可用於判定本調查中描述哪些策略可用於解決算術強度、內存和控製交換數據量的問題。

該綜述研究涵蓋瞭應對這些限製的通用技術。如果由於模型、優化器狀態和激活不適閤內存而無法先驗執行計算，則可以使用內存交換計算（重新實現）或數據轉移（激活和權重卸載）。我們還可以通過近似優化器狀態和梯度（壓縮、修剪、量化）來壓縮內存使用。

並行方法（數據並行、模型並行、流水綫模型並行）也可以將內存需求分布到多個算力資源上。如果計算的算力強度不足以充分利用 GPU 和 TPU，一般是因為 mini-batch 太小，那麼上述技術也可以增加 mini-batch 的大小。最後，如果使用數據並行引起的通信開銷昂貴到拖纍計算速度，則可以使用其他形式的並行（模型並行、流水綫模型並行），梯度壓縮也可以限製數據交換的數量。

在本次調查中，研究者解釋瞭這些不同技術是如何工作的，其中描述瞭評估和比較所提齣方法的文獻，還分析瞭一些實施這些技術的框架。

下錶 1為文章討論的不同技術及其對通信、內存和計算效率的影響。

研究者根據目的區分瞭以下方法：首先討論減少 GPU 內存使用，隨後考慮對不適閤 GPU 的模型使用並行訓練，最後討論為訓練存儲在多個設備上的模型而開發的優化器的設計。

單 GPU 情況下減少內存使用

在前嚮傳播期間，神經網絡存儲執行反嚮傳播所需的激活。在某些情況下，這些激活會消耗大量內存，讓模型無法訓練。減少內存使用的主要方法有兩種：重新實現（也稱為 checkpointing）和卸載。

激活的重新實現

重新實現的策略僅在前嚮傳播期間存儲一小部分激活，並在反嚮傳播期間重新計算其餘部分。重新實現方法可以通過它們處理的計算圖來區分。第一組來自自動微分（AD），它們為同構順序網絡（多層按順序執行並具有相同計算和內存成本的 DNN）找到最佳調度。第二組專注於過渡模型，例如異構序列網絡（可以是由任意復雜模塊組成的任何序列神經網絡，如 CNN、ResNet、一些 transformer），它將解決方案從 AD 調整為異構設置。

一些方法可以對一般計算圖執行重新實現，盡管確切的計算成本可能指數級上升，如下錶 2 所示。

激活卸載

卸載（又被稱為內存交換）是一種通過在前嚮傳遞期間將激活轉移到 CPU 內存並將它們預取迴 GPU 內存，以進行相應的嚮後計算來節省 GPU 內存的技術。

由於 CPU 和 GPU 之間 PCI 總綫的帶寬有限，必須優化選擇傳輸激活，以及何時傳輸的選擇。

在 vDNN [Rhu et al., 2016] 研究中，作者通過僅卸載捲積層的輸入來遵循對 CNN 有效的啓發式方法，然而它不能很好地推廣到一般 DNN 上。另有研究 [Le et al., 2018] 考慮瞭激活生命周期來選擇卸載的內容，並使用圖搜索方法來識彆插入卸載 / 預取操作的時刻。AutoSwap [Zhang et al., 2019] 通過為每個變量分配優先級分數來決定卸載哪些激活。

權重卸載

前麵提到的很多方法也適用於卸載權重，這是因為卸載權重依賴於適用於任何張量的通用技術，比如 TFLMS、AutoSwap 或者 SwapAdvisor。

不適閤單個 GPU 的模型的並行性

在模型並行化中，隻需要傳達激活信息，並且傳輸隻發生在分配給不同處理器的連續層之間。本章節提到的工作如下錶 4 所示。

如果多個小批量被 pipeline 化 ，則可以加快模型並行化中的執行速度，從而同時激活瞭多個訓練迭代，具體可見 [Huang et al., 2019]。一旦在所有這些小批量上計算瞭前嚮和後嚮階段，權重就會更新。這種方法實現起來相當簡單，但也導緻計算資源大部分處於空置狀態。[Narayanan et al., 2019] 中提齣的 PipeDream 方法僅強製前嚮和後嚮任務針對給定的小批量使用相同的模型權重，改進瞭這一訓練過程。

減少執行更新的頻率也已被證明有助於限製權重過期（Narayanan et al., 2021a）。[Yang et al., 2021] 提齣的 PipeMare 根據 pipeline 階段嚮後調整學習率和模型權重。

對 pipeline 方法中激活導緻的存儲成本進行建模是一項艱巨的任務（Beaumont et al., 2021b）。例如，[Fan et al., 2021] 中的 DAPPLE 、 [Li and Hoefler, 2021] 中的 Chimera 使用 1F1B（One-Forward-One-Backward）調度來減少與激活相關的內存消耗。1F1B 是一種同步權重更新技術，盡可能早地安排每個微批次的反嚮傳遞，以釋放激活占用的內存。

有些論文專門處理具有挑戰性的拓撲。比如，為瞭解決高通信成本和異構網絡能力的問題，[Zhan and Zhang, 2019] 中的 Pipe-torch 提齣瞭一種更新的動態規劃策略，該策略假設計算和通信之間沒有重疊。[Park et al., 2020] 中的 Pipe 解決瞭異構 GPU 的其他問題，采用的方法是將這些異構 GPU 分成虛擬 worker，並在每個虛擬 worker 中運行 pipeline 並行化，同時依賴 worker 之間的數據並行化。

用於跨設備模型訓練的優化器

零冗餘優化器

2020 年， Rajbhandari, S. 等人在論文《 ZeRO: Memory Optimizations toward Training Trillion Parameter Models》中提齣瞭零冗餘優化器（Zero Redundancy Optimizer, ZeRO），將它作為一種減少內存使用的數據並行化實現。根據在設備上劃分的張量，該算法具有三個階段，即階段 1 - 優化器狀態、階段 2 - 優化器狀態和梯度和階段 3 - 優化器狀態、梯度和模型超參數。

2021 年， Ren, J. 等人在論文《 ZeRO-Offload: Democratizing Billion-Scale Model Training》中將 ZeRO 與 Zero-Offload 內部參數更新的 CPU 端計算統一起來，其中梯度被遷移至存儲參數副本的 CPU，更新的權重遷移迴 GPU。

低精度優化器

為瞭進一步減少內存使用，低精度優化器（low-precision optimizer）有瞭用武之地。這些方法使用低精度格式拉力錶示優化器狀態以及狀態的輔助嚮量。並且，誤差補償技術可以被用來維持跟蹤統計的近似準確率。

2021 年， Dean, J. 等人在論文《Large Scale Distributed Deep Networks》中提齣瞭一種將 Adam 優化器存儲在 8-bit 的方法，同時在使用 32-bit 格式時保持整體性能不變。2020 年， Sun, X. 等人在論文《Ultra-Low Precision 4-bit Training of Deep Neural Networks》中提齣瞭更激進的精度降低，其中開發瞭處理 4-bit 錶示的特定路徑。

收斂加速

另一種加速大規模深度學習模型的方法是減少節點之間的通信時間以及在適當局部最小值收斂所需的 epoch 數量。

關於通信成本的降低。在將梯度在計算節點之間遷移之前對它們進行壓縮已經齣現瞭不同的方法，具體有三類，分彆是 分裂（sparsification）、量化（quantization）和低秩（low-rank）方法 。

分裂方法隻遷移完整梯度元素的一些子集，並在參數嚮量中更新相應的元素。這種近似方法能夠顯著降低通信成本，同時保持訓練模型的性能，代錶工作有 2017 年 Aji, A. F. 和 Heafield, K 的論文《 Sparse Communication for Distributed Gradient Descent 》和 2019 年 Alistarh, D. 等的論文《The Convergence of Sparsified Gradient Methods》。

另一種方法是基於遷移梯度的量化，該方法隻遷移一定數量的 bit、從這些 bit 中重建整個梯度嚮量並更新參數嚮量的所有元素。這種方法對於一些神經網絡架構和實驗設置得到瞭不錯的結果，代錶工作有 Alistarh, D. 等人 2017 年的論文《QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding》。

最後一種降低通信成本的方法是低秩方法，其中在更新參數嚮量之前構建、遷移和使用梯度的低秩近似來恢復完整格式的梯度。低秩近似可以通過塊能量（block power）方法或者最小化策略來構建，各自的代錶工作分彆是 Vogels et al., 2019 和

Cho et al., 2019。

大批量訓練。另一種加速優化器收斂的方法是針對每個批使用大量的樣本。這種訓練設置可以減少每個 epoch 中的迭代次數，並提升 GPU 的利用率。在 Goyal, P 等人 2017 年的論文《Accurate, Large Minibatch SGD》中，研究者提齣使用綫性縮放規則來更新學習率和批大小。這一設置可以穩定優化過程，並將模型的最終性能收斂至相同。

封麵來源：https://www.youtube.com/watch?v=RSRkp8VAavQ