發表日期 3/14/2022, 1:37:41 PM
機器之心報道
編輯:蛋醬
在2021年的各大頂會中,使用PyTorch的論文數量已經是使用TensorFlow的至少3倍以上,而這一差距還在持續擴大。
從早期的學術框架 Caffe、Theano,到後來的PyTorch、TensorFlow,自 2012 年深度學習再度成為焦點以來,很多機器學習框架成為研究者和業界工作者的新寵。
2018 年底,榖歌推齣瞭全新的JAX框架,其受歡迎程度也一直在穩步提升。很多研究者對其寄予厚望,希望它可以取代 TensorFlow 等眾多深度學習框架。
不過,PyTorch 和 TensorFlow仍是ML框架領域的兩大實力玩傢,其他新生框架的力量暫時還無法匹敵。而PyTorch 和 TensorFlow之間則是此消彼長的關係,力量對比也在悄悄發生著變化。
2019年10月,康奈爾大學本科生、曾在PyTorch 團隊實習的Horace He曾對PyTorch 和 TensorFlow在學界的使用情況進行瞭數據統計。結果顯示,研究者已經大批湧嚮瞭 PyTorch,不過當時看來,業界的首選仍然是 TensorFlow。
如下圖所示,從2019年中期開始,在統計的各大頂會中,PyTorch從使用率指標上就已完成瞭對TensorFlow的反超。
數據收集時間:2019年10月。
當時的開發者社區曾熱議:未來,誰能在 ML 框架之爭中迎來「高光時刻」?兩年後,Horace He再次給齣瞭更新後的統計結果。
截止目前,EMNLP、ACL、ICLR三傢頂會的PyTorch的占比已經超過80%,這一占比數字在其他會議中也都保持在70%之上。短短兩年間,TensorFlow的生存空間又大幅縮小。
PyTorch 在學界的「超車」
具體到每一傢頂會,作者也在圖錶中展示瞭詳細數據:
以CVPR為例,在CVPR 2018之前,TensorFlow的使用率還高於PyTorch,而在下一年,局勢立即逆轉。
CVPR 2019的PyTorch使用率為22.72%(294篇),TensorFlow的使用率變為11.44%(148篇);到瞭CVPR 2020,這兩個數字分彆變成瞭28.49%(418篇)和7.7%(113篇)。
在ICML、ICLR、NeurIPS這些會議中,依舊是同樣的競爭形勢:
PyTorch一騎絕塵,TensorFlow則持續下跌。在ICLR 2022中,PyTorch使用率為32.20%(1091篇),TensorFlow跌到瞭6.14%(208篇),拉開瞭五倍的差距。
TensorFlow 在學界還有未來嗎?
所以,退守一方的TensorFlow,怎麼就到瞭今天這個地步?
在Hackrnews社區,這一話題引發瞭開發者的熱議:
「在學術齣版中,能夠將你的工作與 SOTA 進行比較是非常關鍵的。如果你所在地區的其他人都使用某個框架,那麼你也應該這樣做。過去幾年,Pytorch是我關注最多的框架瞭。」
「但Tensorflow 的一個亮點是靜態圖錶。隨著模型變得更加密集,並且需要不同的部分並行執行,我們在 PyTorch 的運行模型中看到瞭一些挑戰。」
在這位開發者看來,如果想並行地做很多事情,Tensorflow 還是有一些特性是其他産品無法比擬的。這完全取決於你在做什麼。
還有人說,Tensorflow的式微是因為齣現瞭策略上的失誤。
「我認為 Tensorflow 在學術界做齣瞭一個糟糕的舉動,因為它在早期版本中使用起來非常睏難。當然,它的性能總是比 PyTorch 好,但當你是一個工作負擔很重的博士生時,你就不太關心你的代碼是否高效,而更關心你的代碼是否能work。有人說 PyTorch 的調試相對輕鬆,所以那些早期的模型用瞭PyTorch發錶,後來很多人也就來到瞭PyTorch。」
你怎麼看呢?