新智元報道編輯：LRS【新智元導讀】神經網絡模型越訓越大 也越來越費電。柏林工業大學的研究團隊反其道行之 最孤獨的神經網絡：隻有一個神經元，但會“影分身” - 趣味新聞網

新智元報道

編輯：LRS

【新智元導讀】 神經網絡模型越訓越大，也越來越費電。柏林工業大學的研究團隊反其道行之，搞瞭一個單神經元的網絡，能模擬多層神經網絡，性能還不差！

要說世界上最先進的神經網絡模型是什麼？那絕對是人腦莫屬瞭。

人腦有860億個神經元，相互結閤在一起構成的神經網絡不僅在性能上超越人工神經網絡，能量消耗也少的驚人。

當下的人工智能係統試圖通過創建多層神經網絡來模仿人腦，旨在將盡可能多的神經元塞進盡可能少的空間。

這種方式雖然取得瞭性能進步，但這樣的設計不僅需要大量的電力，並且輸齣的結果與人腦相比也是相形見絀。

根據估計，OpenAI在微軟數據中心使用 Nvidia GPU 訓練神經網絡GPT-3時，大約需要 190,000 韆瓦時的電量，相當於丹麥 126 戶傢庭每年使用的電量。如果換算成化石燃料産生的二氧化碳含量來算，相當於駕駛一輛汽車從地球齣發往返一趟月球。

並且神經網絡以及使用巨大數據集訓練它們所需的硬件數量，還在不斷增長。以GPT為例，在GPT-3時已經有1750億個參數瞭，比前身GPT-2的參數量要多100倍。

這種「越大越好」的神經網絡設計顯然不符閤可持續的科學發展觀。

來自柏林工業大學的一個多學科研究小組最近創建瞭一個新型神經「網絡」。但叫它網絡還是比較勉強的，因為它新就新在，隻有一個神經元！

研究人員提齣一種新的方法，能夠將一個任意大小的深度神經網絡摺疊成一個具有多個延時反饋的單一神經元循環。這個單神經元深度神經網絡隻包括一個單一的非綫性和適當地調整反饋的信號，可以完全錶示標準的深度神經網絡（DNN），包含稀疏DNN，和將DNN的概念擴展到動態係統的實現。

這個新模型也稱為時間摺疊（Folded-in-time） Fit-DNN，在基準任務的測試中也錶現齣相當強的性能。

獨木難成林？

一個常規的神經網絡網絡需要在空間上申請多個節點彼此連接，而單個神經元模型則是在時間維度上進行擴散連接。

研究人員設計的多層前饋DNN的完全時間摺疊的方法，隻需要一個帶有反饋調節延遲環的單一神經元。通過非綫性操作的時間順序化，可以實現一個任意深度或寬度的DNN。

在傳統的神經網絡中，如GPT-3，每個神經元都有一個權重值，以便對結果進行微調。但這種方式導緻的結果通常是更多的神經元，産生更多的參數，而隻有更多的參數纔能産生更精確的結果。

但柏林工業大學的團隊發現，他們可以通過在不同時間對同一神經元進行不同的加權，而不是在空間上分散不同加權的神經元來實現類似功能。

這就好比在宴會上，你可以通過快速切換座位的方式，裝作不同的客人說齣不同的部分來模擬餐桌上的對話。

聽起來有點「人格分裂」，但通過這種時序上的擴展，一個人（神經元）也可以完成多個人纔能完成的事。

剛纔提到「快速」切換，柏林團隊錶示，這種說法已經很低調瞭。

實際上他們的係統通過激光在神經元中激活基於時間的反饋迴路，理論上可以達到接近宇宙極限的速度――也就是以光速或接近光速進行神經網絡切換。

根據研究人員的說法，這對人工智能來說意味著，能夠顯著降低訓練超大規模神經網絡的能源成本。

為瞭實現上述想法，研究人員假設係統狀態根據一般形式的微分方程在連續時間內演變。

這裏x(t)錶示神經元在時間t的狀態；f是一個非綫性函數，其參數a(t)結閤瞭數據信號J(t)、時間變化的偏置b(t)以及由函數Md(t)調製的延時反饋信號x(t -τd)。可以明確考慮不同延遲長度τd的多個環路。由於反饋環路，係統成瞭一個所謂的延遲動力係統。

直觀地說，Fit-DNN中的反饋迴路導緻神經元重新引入已經通過非綫性f的信息，這使得非綫性f可以多次連鎖。經典的DNN通過逐層使用神經元來構成其可訓練的錶徵，而Fit-DNN則通過重復嚮同一神經元引入反饋信號來實現同樣的目的。

在每個pass中，時變的偏置b(t)和延遲綫上的調製Md(t)確保係統的時間演變以期望的方式處理信息。為瞭獲得數據信號J(t)和輸齣y，兩個變量都需要一個適當的前處理或後處理操作。

為瞭進一步說明Fit-DNN在功能上等同於多層神經網絡，可以看到Fit-DNN可以將具有多個延遲環的單個神經元的動態性轉化為DNN。

x(t)的時間演化可以分為長度為T的時間間隔，每個間隔模擬一個隱藏層。在每個區間中，選擇N個點。使用一個具有小時間間隔θ的等距時間網格。對於有N個節點的隱藏層來說，可以得齣θ=T/N。在每個時間網格點tn=nθ，將係統狀態x(tn)作為一個獨立變量。每個時間網格點tn將代錶一個節點，而x(tn)代錶其狀態。可以進一步假設數據信號J(t)、偏置b(t)和調製信號Md(t)是步長為θ的步長函數。

作為一個非常稀疏的網絡，研究人員首先將Fit-DNN應用於圖像去噪任務：在Fashion-MNIST數據集的圖像中加入強度為方差為1的高斯噪聲，將其視為值在0（白色）和1（黑色）之間的嚮量。然後截斷閾值0和1處剪切所得到的嚮量條目，以獲得有噪聲的灰度圖像。去噪的任務就是要從其噪聲版本中重建原始圖像。

實驗結果對比瞭原始Fashion-MNIST圖像、其噪聲版本和重建圖像的例子。可以看到恢復的效果還是相當不錯的。

但Fit-DNN真正的問題是，時間循環的單個神經元是否能産生與數十億個神經元相同的結果。

為瞭證明Fit-DNN和時間狀態下的計算能力，研究人員選瞭五個圖像分類任務：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100，以及SVHN。

實驗對比瞭Fit-DNN在上述任務中每個隱藏層的不同節點數N=50、100、200和400時的錶現。從結果中可以看到對相對簡單的MNIST和Fashion-MNIST任務上單個神經元取得瞭很高的準確率。但對於更具挑戰性的CIFAR-10、CIFAR-100和SVHN任務的準確率則比較低。

雖然這些結果顯然不能與當下sota模型創造的性能記錄相媲美，但它們是在一個新穎的、完全不同的架構上實現的。特彆是，這裏的Fit-DNN隻使用瞭權重矩陣可用對角綫的一半。對於測試的任務，增加N顯然會導緻性能的提高。

隨著進一步的發展，科學傢們相信該係統可以擴展到時間維度上「無限數量的」神經元連接。

他們錶示，這樣的係統是可行的，它可以超越人腦，成為世界上最強大的神經網絡，這就是人工智能專傢所說的「超級智能」。

參考資料：

https://thenextweb.com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans