作為智能駕駛的核心傳感器 攝像頭的作用毋庸置疑。為瞭獲得更好的圖像質量 汽車級ISP“不可小視”，市場爭奪戰已經打響 - 趣味新聞網

作為智能駕駛的核心傳感器，攝像頭的作用毋庸置疑。

為瞭獲得更好的圖像質量，通常在係統開發過程中，工程師需要對相機的ISP（圖像信號處理）參數進行調整，以更好的適配場景和算法。一般情況下，這個優化調整的過程需要幾個月時間。

研究結果錶明，對於任何一種CV算法，相機的ISP都必須根據其結構、任務、語義、訓練和偏好進行專門優化。而視覺感知的重要性，也在被越來越多的企業視為未來自動駕駛的低成本解決方案。

近日，豐田汽車旗下負責智能駕駛開發的子公司Woven Planet對外證實，未來將效仿特斯拉公司的做法，試圖用低成本攝像頭來推進自動駕駛技術落地。

該公司認為，基於攝像頭采集數據和訓練模型，是一個具備“突破”性意義的裏程碑，並且有助於降低推動自動駕駛落地的成本，同時對於一個強大的自動駕駛係統也至關重要。

“我們需要大量數據。僅僅從非常昂貴的冗餘安全自動駕駛係統（比如，配置激光雷達）中采集數據，是遠遠不夠的。”Woven Planet公司相關技術負責人錶示，低成本相機的大部分數據，已經接近高成本傳感器的水平。

ISP的規範

在Woven Planet公司的崗位招聘中，攝像頭模塊負責人的要求之一，就是對圖像信號處理（ISP）有深刻的理解，涉及相機模塊、圖像傳感器、接口、ISP SoC等，並負責攝像頭係統技術路綫圖的製定。

在ISP層麵，上述崗位需要對圖像信號處理、圖像質量調整、相機校準、圖像質量度量、色彩科學有較強的理解能力，瞭解計算機視覺算法，以及攝像頭的工廠校準，內部/外部校準，ISP調諧校準等。

通常在一款攝像頭的ISP標定過程，涉及到黑電平、NR降噪、靜態壞點、鏡頭的Shading、AWB靜態白平衡、CCM、陰影矯正、電子防抖、日夜切換、聚焦參數等多個環節。

而針對汽車行業，尤其是智能駕駛、艙內監控等應用，ISP優化也有很多差異化的地方。 比如，針對前視ADAS係統，需要可以快速分析遠處和近處的物體，鏡頭聚焦在一個遠距離範圍內，需要最大限度地提高係統的靈敏度。

針對後視及環視應用，則需要應用畸變校正算法和多圖像的拼閤。比如，采用預畸變的SFRplus測試圖卡，應用於廣角鏡頭的畸變和清晰度測試。對於超廣角攝像頭則需要增加超廣角清晰度分析設備來進行測試。

艙內監控，比如駕駛員疲勞分心預警感知，主要是掃描駕駛員的麵部和眼部位置，需要高精度成像來跟蹤不同光綫環境中的駕駛員狀態識彆。

而在行業標準方麵，此前大多數汽車攝像頭係統都是獨立定製開發的模式，並沒有用於校準或測量圖像質量的標準化參考點。汽車成像由於其不同和獨特的成像條件（魚眼、多攝像頭、高動態範圍/HDR、溫度範圍等），給行業帶來瞭獨特的挑戰。

此後，IEEE-SA P2020汽車成像標準工作組的成立，就是為瞭解決汽車成像係統的圖像質量測量方麵存在的相當大的模糊性，包括基於人類和計算機視覺。

按照此前IEEE P2020汽車成像工作組發布的行業白皮書可以看到，過去汽車製造商和一二級供應商缺乏一種共同的語言來描述係統的圖像質量，造成很多需求在OEM、一級、二級供應商開發過程中齣現偏差。

一個比較明顯的差異化結果就是，即便是基於相同的視覺處理芯片、算法，由於攝像頭的差異，可能就會齣現同一個功能的錶現差異。

就在今年初，誠邁科技就與英偉達正式簽署閤作協議，為智能駕駛相關企業提供基於NVIDIA DRIVE Orin及Xavier等係統級芯片産品的量産級彆ISP服務。

ISP的爭奪戰

毋庸置疑，不管是其他應用行業，還是汽車行業，攝像頭性能的優化已經變得越來越重要。 過去，攝像頭廠商是主要的ISP需求方。近年來，一方麵，CMOS廠商在逐步尋求集成ISP的方法，同時，在SoC中也把ISP作為主要的模塊。

這些通常都被稱為硬ISP，還有一種是軟ISP，通過專業算法處理傳感器數據，如綫性糾正、噪點去除、壞點修補、顔色插值、白平衡校正、曝光校正等。此前，特斯拉傳言要“拋棄”ISP，大概率也是希望采用軟ISP來規避第三方硬件上的限製。

而與攝像頭中集成ISP不同，類似英偉達、高通等SoC廠商的産品中集成的ISP，在過去比較難通過第三方來實現調優。比如，Qualcomm處理器自帶的ISP，就有自己的優化算法。即便是可以實現參數調校，也大多數會限定在高通的框架之內。

這也是為什麼此前很多手機廠商尋求自研ISP來提升攝像頭的性能，並構建差異化門檻。原因恰恰就是因為“相同的鏡頭和傳感器經過不同的ISP調教，也會有不同的效果。”

此外，ISP是非標準化的芯片IP，既有客觀的性能指標，比如攝像頭的數量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀化的圖像評價指標。

幾年前，Arm站瞭齣來，希望一統汽車級ISP的IP江湖。

早在2016年，ARM就收購瞭成像技術開發商Apical，後者專門從事ISP和計算機視覺技術開發。後者成立於2002年，此前主要服務手機市場。

今年初，Arm宣布正式發布汽車級Mali-C78AE ISP，符閤ISO 26262 ASIL B功能安全要求。在Arm看來，未來五年，汽車攝像頭市場的規模還在快速增長，單車配置10-13個攝像頭會成為常態，這意味著，ISP市場（需要適配不同的需求）也在同步擴大。

而相比於傳統攝像頭內置的ISP，Mali-C78AE有超過380個故障檢測電路，可以檢測連接攝像頭的傳感器和硬件故障。這對於需要滿足更高功能安全要求的係統來說，至關重要。

此外，Mali-C78AE采用瞭更好的降噪技術和動態範圍管理，通過調整幀的過暗或過亮區域，確保每個幀都能清晰和適當曝光，並且能夠在大約150毫秒的時間窗口內調整幀數據，大大降低ISP的齣錯幾率。

同時，和過去與攝像頭數量成正比關係的ISP來說，Mali-C78AE能夠處理多達4個實時攝像頭或16個虛擬攝像頭的數據，這意味著整體係統成本的下降，同時也會大幅降低攝像頭的功耗。

在量産端，Mali-C78AE ISP將可以配閤此前已經發布的Cortex-A78AE CPU、Mali-G78AE GPU。 公開信息顯示，Mobileye即將推齣的下一代EyeQ Ultra、EyeQ6H等SoC將率先搭載Arm的ISP，進一步提升圖像處理能力。

ISP的軟實力

當然，ISP的能力優化，仍然是一條漫長的道路。這也預示著，基於攝像頭的感知技術仍然具備很大的潛在提升空間。

按照IEEE-SA P2020白皮書中所說，定義ADAS係統的組件要求是一個復雜的過程。在中間數據流中觀察到的特定效果不一定是孤立的，需要對完整的信息傳輸流進行復雜的分析。

這意味著有必要分析從光學層麵到電子信號層麵的鏈條，必須考慮到係統預期運行的使用情況。因此，至關重要的是，組件不隻是作為孤立的元素來錶徵，而是在一個單一的框架下很好地涵蓋瞭鏈條上的所有影響，這樣纔能適當地錶徵整個係統。

比如，IEEE P2020分組3（係統和部件層麵的計算機視覺的圖像質量）的目標就是開發一緻的指標，既描述各種退化，又給齣其置信度的界限。探索區分性的概率方法，如對比度檢測概率（CDP）。這有助於整體信號鏈的可視化，並旨在改善跨域障礙。

這也催生瞭ISP賽道的工程服務市場。

比如， Imatest LLC 公司在去年就推齣瞭新的相機幾何校準驗證服務，原因是在構建汽車攝像頭係統時，幾何相機校準是必要的，以提供圖像和真實世界之間的對應關係。

同時，測試服務與IEEE P2020保持一緻，産生64個目標對組閤進行分析。目標距離誤差用於描述給定校準的質量。相機鏇轉到多個位置，通過圖像場進行評估，每個圖像都産生一組用於分析的距離錯誤值。

此外，在ISP算法層麵，也有不少公司開始推齣一些工具。

去年，一傢名為 Visionary.ai 的以色列軟件公司就推齣瞭一套軟件ISP工具，基於AI技術大幅提高圖像和視頻的質量，並檢測每幀中的每個細節。

另一傢名為 Algolux 的計算機視覺和圖像優化解決方案提供商，也將計算成像技術（CIT）導入汽車ISP領域，也就是在傳統成像技術中引入信息處理方法，改變傳統光學成像單一依靠綫性光學信息傳遞理論的瓶頸。

這也被稱為，下一代軟ISP的“新”能力。

因為，硬ISP是由工程師撰寫的代碼，特斯拉稱之為軟件1.0。人工智能增強的ISP，也被稱為軟件2.0，不是由工程師決定，而是由AI技術進行不斷迭代優化。

比如，Algolux公司給齣的解決方案，就是不采用傳統的硬ISP圖像處理器，而是采用RAW傳感器數據作為輸入，然後通過端到端深度神經網絡融閤和處理數據。

“我們的軟ISP現在提供的最好結果，是在0.1 lux（被拍攝主體錶麵單位麵積上垂直照射到的光通量）以下，可以在幾乎完全黑暗的情況下檢測全色圖像和視頻。”在Visionary.ai公司看來，傳統硬ISP架構則需要長時間曝光的圖像檢測，而我們可以實現視頻級檢測。

或許，這纔是我們需要正視的ISP“變革”。同時，ISP的優化能力，也將是汽車感知技術方案商的差異化競爭門檻。