發表日期 3/7/2022, 12:03:29 PM
作者 | 西西
編輯 | 陳彩嫻
眾所周知,算法、算力與數據是人工智能(AI)發展的“三駕馬車”,吳恩達等學者也常說:以數據為中心的AI,或數據驅動的AI。
由此可見,近年來激增的數據量是 AI 騰飛的源動力之一,數據在 AI 中扮演重要角色。那麼,人們口中常說的“大數據”,規模究竟有多大呢?
齣於好奇心,一位意大利物理研究者 Luca Clissa 調查瞭 2021 年幾個知名大數據源(榖歌搜索、Facebook、Netflix、亞馬遜等等)的規模大小,並將它們與大型強子對撞機(LHC)的電子設備所檢測到的數據做瞭對比。
地址:https://arxiv.org/pdf/2202.07659.pdf
毫無疑問,LHC 的數據量是驚人的,高達 40k EB。但商業公司的數據量也不容小覷,比如,亞馬遜S3存儲的數據量也達到瞭大約 500 EB,大緻相當於榖歌搜索(62 PB)的 7530 倍。
此外,流數據在大數據市場中也占有一席之地。Netflix 和電子通信等服務産生的流量比單純的數據生産者要多一到兩個數量級。
1
LHC 的數據量
根據 Luca Clissa 的調查,2021年各大知名數據源的體量大約如下:
圖注:2021年的大數據規模
右上角(灰色部分)是歐洲核子研究組織(CERN)大型強子對撞機(LHC)實驗的電子設備所檢測到的數據,規模最大。
在上一次運行(2018 年)中,LHC 在四個主要實驗(ATLAS、ALICE、CMS 和 LHCb)中的每一個實驗裏,每秒産生大約 24 億次粒子碰撞,每次碰撞可以提供約 100 MB 數據,因此預計年産原始數據量約為 40k EB(=10億韆兆字節)。
但根據目前的技術和預算,存儲 40k EB 數據是不可能的。而且,實際上隻有一小部分數據有意義,因此沒有必要記錄所有數據。記錄的數據量也降低到瞭每天大約 1 PB,2018 年的最後一次真實數據隻采集瞭 160 PB,模擬數據 240 PB。
此外,收集的數據通過 WLCG (全球LHC計算網絡)不斷傳輸,2018 年産生瞭 1.9k PB 的年流量。
不過,歐洲核子研究組織(CERN)正在努力加強 LHC 的能力,進行 HL-LHC 升級。這個過程預計生成的數據量將增加 5 倍以上,到 2026 年,每年估計産生 800 PB的新數據。
2
大廠數據量對比
大公司的數據量很難追蹤,且數據通常不會公開。對此,Luca Clissa 采用瞭費米估算法(Fermi estimation),將數據生産過程分解為其原子組成部分,並做齣閤理的猜測。
比如,針對特定數據源,檢索在給定時間窗口內産生的內容量。然後通過對這些內容的單位大小的閤理猜測來推斷數據總量,例如平均郵件或圖片大小,1 小時視頻的平均數據流量等等。
他對榖歌搜索、YouTube、Facebook等等數據源進行瞭估算,結論如下:
榖歌搜索:最近的一項分析估計,Google 搜索引擎包含 30 到 500 億個網頁。根據 Web Almanac 所提供的信息,假設榖歌的年度平均頁麵大小約為 2.15 MB,截至 2021 年,Google 搜索引擎的數據總規模應約為62 PB。
YouTube:根據 Backlinko 的數據,2021 年用戶每天在 YouTube 上上傳的視頻時長為 72 萬小時。假設平均大小為 1 GB(標準清晰度),2021年 YouTube 的數據大小約為263 PB。
Facebook 與 Instagram:Domo 的 Data Never Sleeps 9.0 報告估計,2021 年 Facebook 與 Instagram 每分鍾上傳的圖片數量分彆為 240k 和 65k。假設平均大小為 2 MB,則總共大約為252 PB 和 68 PB。
DropBox:雖然 Dropbox 本身不産生數據,但它提供瞭雲存儲解決方案來托管用戶的內容。2020年,公司宣布新增用戶 1 億,其中付費訂閱用戶達到 117 萬。通過推測免費和付費訂閱的占用率分彆為 75%(2 GB)和 25%(2 TB),Dropbox 用戶在 2020 年所需的存儲量約為733 PB。
電子郵件:根據 Statista 的數據,從 2020 年 10 月到 2021 年 9 月,用戶大約傳送瞭近 131,000 億次電子通信(包含 71,000 億封電子郵件和 60,000 億封垃圾郵件)。假設標準郵件和垃圾郵件的平均大小分彆為 75 KB 和 5 KB ,我們可以估計電子郵件的總流量約為5.7k PB。
Netflix:Domo 估計,2021 年 Netflix 用戶每天消耗 1.4 億小時的流媒體播放,假設每小時 1 GB(標準定義),總計大約51.1k PB。
亞馬遜:亞馬遜網絡服務 (AWS) 的首席布道師 Jeff Barr稱,截至 2021 年,亞馬遜 S3 (Simple Storage Service)中存儲瞭超過 100 萬億個對象。假設平均每桶的對象大小為 5 MB ,那麼存儲在 S3 中的文件的總大小則約等於500 EB。
總的來說,科學數據可以在數量上與商業數據源相媲美。
參考鏈接:
1.https://towardsdatascience.com/how-big-are-big-data-in-2021-6dc09aff5ced
2.https://firstsiteguide.com/google-search-stats/
3.https://backlinko.com/
4.https://mms.businesswire.com/media/20210929005835/en/911394/5/data-never-sleeps-9.0-1200px.jpg?download=1
5.https://backlinko.com/dropbox-users
6.https://www.statista.com/
7.https://aws.amazon.com/cn/blogs/aws/amazon-s3s-15th-birthday-it-is-still-day-1-after-5475-days-100-trillion-objects/
8.https://atlas.cern/
雷峰網雷峰網