雙鏡頭技術深入剖析

雙鏡頭相機技術深入剖析

這兩年手機的亮點越來越少,高階智慧機現在基本都不再去比拼跑分,而開始PK拍照性能。於是乎,這兩年各家紛紛開始做起了雙鏡頭相機。

| 雙鏡頭相機都能做什麼?

那問題來了,雙鏡頭相機到底能做什麼?

1.雙鏡頭相機可以測距,所以可以做距離相關的應用

57ca5a84adfaf.png

如上圖,由於雙鏡頭相機通過演算法,可以判斷被攝物體的距離,所以通過此特性,很容易做出一些特效,如:

A: 背景虛化

單眼相機最出眾的特色之一就是大光圈。由於雙鏡頭相機可以測出不同被拍攝物體的距離,對需要進行大光圈的物體對準,其他不同距離的物體虛化,可以輕鬆實現大光圈的效果。

57ca5a9e34aac.png
原圖

57ca5b6819e6d.png
(以美女為中心對焦,虛化背景和受傷的蘑菇)

57ca68d36e817.png
(以蘑菇為中心對焦,虛化背景和美女)

B: 背景替換

由於可以測量距離,可以將被拍攝物體裡的主體提取出來,更換背景,就可以比PS還簡單,進行摳圖。

C: 背景特效

既然可以摳圖,只是對背景做一下處理,還是很容易的。比如,此圖就用了素描特效。

D: 測量距離

這個圖就非常明顯的標識出不同物體的距離,這個距離信息用不同顏色標識出來。當AP獲得了不同物體的距離信息,就可以做到上述的各種功能。

57ca68d91eeaf.png

2. 雙鏡頭相機 可以做光學變焦

若兩個相機的FOV不一樣,一個大FOV,一個小FOV,再通過演算法實現兩個光學鏡頭之間的效果,就可以輕鬆做到光學變焦。

57ca68ccae1cb.png 57ca68ccd9a48.png若不用雙鏡頭相機,放大圖片後,文字不清楚.

57ca68e6ef776.png

若使用雙鏡頭相機,放大圖片後,文字依然清楚.

57ca68d92ae66.png

此圖就是融合了廣角的圖和長焦的圖,通過演算法算出了中間態度照片,讓細節不失真。

3. 暗光效果增強

這個一般使用彩色+黑白的鏡頭。通過黑白鏡頭 獲取圖片的光亮強度,來對圖片暗光補償。

57ca68da9ede4.png

4. 3D拍攝以及3D建模

不同於一般的3D電影的拍攝。手機上的兩個鏡頭無法在影像的拍攝過程中就產生足夠的視覺差,這是由於兩個鏡頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯的得到3D視覺效果。所以往往需要演算法進行增強。

由於可以測出距離,後續的雙鏡頭相機不僅僅可以實現3D攝影,還可以進行3D建模,到這個時候,我想雙鏡頭相機的重要性則會更加重要。

57ca68d23cae2.png

其他的效果增強,比如HDR,提高分辨率,這些功能其實單相機也可以實現,只是雙鏡頭相機可以讓效果更好,就不一一列舉了。

小結:

目前來看,這幾個功能是雙鏡頭相機手機最常見的功能。背景虛化/更換,暗光效果給用戶帶來了更多的拍照效果。光學變焦則讓我們感受了變焦功能的相機功能。但個人覺得未來最讓人激動的則是3D功能。今年VR這麼火,VR的素材哪裡來?還是得靠雙鏡頭相機演算法的優化。若3D拍照和建模的演算法成熟後,將會讓雙鏡頭相機 變得更加流行。

| 雙鏡頭相機的原理

如前面介紹,雙鏡頭相機的應用主要分為:距離相關的應用,光學變焦,暗光補償以及3D拍攝和建模。每種應用的原理都有些不同,我們就分別介紹一下相關的原理:

1.距離相關應用

人眼是很容易對一個物體的距離進行定位,但當人閉上其中一個眼睛後,定位能力就會下降很多。雙鏡頭相機就是模擬人眼的應用。簡單的說,測距離的話,就是通過演算法算出,被拍攝物體與左/右鏡頭的角度θ1和θ2,再加上固定的y值(即兩個鏡頭的中心距),就非常容易算出z值(即物體到相機的距離)

57caaed7b3512.png

不過這也很容易推算,若兩個鏡頭中心距過小的話,可計算的物體距離就會很近。若想算出很遠距離,就必須讓左右鏡頭的距離拉遠。

2.光學變焦

光學變焦主要是左右鏡頭使用不同的FOV(可視角),這樣兩個鏡頭取景不同。當用戶需要廣角照片,則用視角為85度的左鏡頭取景,獲得廣角效果。當用戶需要長焦照片,則用視角為45度的右鏡頭取景,獲得長焦效果。

57caaf3bc0530.png

為了使左右鏡頭拍攝的物體重疊度高,光學變焦的雙鏡頭相機模組不能像做距離應用的鏡頭的模組那樣距離過大,而是需要將左右鏡頭擺得越近越好。

3.暗光增強

一般來講,做暗光增強就是將兩個鏡頭一個用RGBG的標準鏡頭,一個用去掉RGBG 濾波片的黑白鏡頭。 RGBG用來獲得物體的色彩,而黑白鏡頭用來獲得更好的進光量,來判斷被拍物體的光強強度。然後將兩個圖片融合即可獲得更好的暗光增強。

只是一般來說,有兩種融合方法:

1.以黑白圖片為主體,將彩色圖片上獲取的每個像素的顏色貼至黑白圖片上,將兩種圖片融合。
2.以彩色圖片為主體,將黑白圖片上獲取的每個影像的光亮強度補償到彩色照片上,將兩種圖片融合。
至於哪種方式更合適做融合,可能仁者見仁智者見智,就不在這展開討論了。

同樣,做暗光增強,為了讓左右鏡頭拍攝的物體重疊圖高,此類雙鏡頭相機模組也是要求越近越好。

57caafb50fdd6.png

需要說明的事,華為P9 其實選用的就是這個方式的模組。

當然有些業內人士也表示這種演算法目前做的效果並不明顯。暗光補償對用戶來的確很幫助,尤其拍夜景的時候。不過有些客戶認為SONY和三星的Dual PD技術就非常好,更願意用Dual PD 鏡頭來做暗光補償。

到底是雙鏡頭相機還是Dual PD的暗光補償效果好,大家可以比較一下華為P9和三星的Galaxy S7 edge,就會有答案了。

4.3D拍攝和3D建模

3D拍攝和3D建模的演算法其實跟距離應用有點類似,只是它的精度要求更高,甚至有時會需要用紅外測距進行更準確的距離判斷。在這裡就不詳細展開介紹了。

5.對ISP的要求

提到雙鏡頭相機的演算法,不得不提到ISP(Image Signal Processing 影像信號處理器),ISP主要作用是對前端影像傳感器輸出的信號做後期處理,主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等,依賴於ISP才能在不同的光學條件下都能較好的還原現場細節,ISP技術在很大程度上決定了手機的成像品質。

功能機時代,ISP都是做在鏡頭上的,不同像素的鏡頭搭配不同性能的ISP。隨著手機鏡頭像素越來越高,對ISP性能的要求越來越高,若將ISP集成到鏡頭Sensor上,勢必造成鏡頭的模組過大,甚至影響拍照效果。所以智慧機時代,ISP一般都是在主晶片SoC上。部分品牌客戶為了實現更好的效果,甚至不惜成本的外加一顆ISP用來達到更好更專業的拍照效果。

好的拍照演算法就需要搭配好的ISP,ISP和演算法相輔相成,缺一不可。而雙鏡頭相機對ISP性能要求更多。首先,為了使的左右鏡頭的信號能夠同時被處理,單一的ISP已經無法滿足雙鏡頭相機的需求。這就需要雙路ISP實現此功能。

57cab048dddc7.png

以暗光增強為例,彩色/黑白影像分別進入各自的ISP通道和校准通道,然後將兩副圖片做匹配(如將兩幅圖片相同的部分提取出來,去除只有一個鏡頭拍到的部分),然後通過遮擋,檢測,補償等演算法處理相關的圖片。最後將兩幅圖片融合起來,實現顏色的增強。當然實際上ISP配合演算法做的事情,遠遠比這圖片上寫的要多。筆者實在不知道,就不在這誤導大家了。

當然,在這裡面也有一個小小的插曲。畢竟是兩個ISP,兩個ISP多少有一些處理速度,處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣,就需要雙鏡頭相機拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個鏡頭的同步信號對接,在每次讀取圖片時,將圖片都打上一個時間戳,ISP通過時間戳,保證左右鏡頭拍出來的照片在同一時間拍攝,最終再進行融合。

6.鏡頭的介面

一般來講,目前的智慧手機的鏡頭介面都是MIPI介面。之前手機平台都只有2路MIPI介面,分別給前鏡頭和後鏡頭。做雙鏡頭相機,就要求平台至少支持三路MIPI介面。其實在之前的高階平台上,為了實現更高像素,已經用雙路ISP了(比如為了支持16M的鏡頭,會用2路8M能力的ISP),這類平台很有可能只有兩路MIPI。但這個無法阻止工程師去做前單鏡頭+後雙鏡頭相機。

57cab0b340379.png

沒錯,加一個小小的Swtich,就可以輕鬆實現雙鏡頭相機。

 

| 雙鏡頭相機演算法供應商

由於演算法是需要跟ISP配合的,所以演算法和ISP是相輔相成的,想把演算法做好,也得有好的ISP。

做為主平台供應商,高通/聯發科都有自己的ISP,所以也自己開發了雙鏡頭相機演算法。至於其演算法好壞,還有待市場的檢驗。

而作為Sensor供應商,Sony, Samsung, OV也在積極開發雙鏡頭演算法,暫時也沒有看到量產的產品。不過在功能機時代,是沒有ISP的。這些相機 sensor的供應商做2M/5M的時候,都得搭配自家的ISP,所以這些供應商都是有自己開發ISP的經驗。所以開發雙鏡頭相機演算法,相對來說也是有相關的經驗的。

Apple去年收購了Linx,也擁有了多鏡頭的專利和演算法,是否會用在自家的雙鏡頭相機機型,那就看今年的iPhone7。理論來上說,Linx有足夠多的演算法,所以Apple不至於跟某大廠去買雙鏡頭相機的IP授權。

除了這些平台,sensor供應商和智慧機的品牌商會自己開發雙鏡頭相機演算法外,其他供應商我們一一列舉一下:

57cb9f5fe2fd0.png

1996年成立於台灣的華晶,主要開發獨立的ISP晶片。部分高階手機,相機,和車載都有用其ISP的案例。雙鏡頭相機手機也有用其ISP的。距離應用,光學變焦和暗光補償都有所建樹。

57cb9f806b29a.png

一家以色列的公司。其演算法的優勢主要在光學變焦和暗光補償上。景深方面,也有一定的研究。從媒體宣傳來看,hTC有機型採用了其演算法。

57cb9fc85c80d.png

虹軟成立於1994年,總部在美國,在上海,杭州和南京都有技術中心。虹軟的強項是光學變焦和暗光補償。上一篇裡的第二個光學變焦圖和暗光補充的圖就來自虹軟。

57cb9fdf679d2.png

上海興芯微是一家成立於2011年的公司,主要從事影像處理器的研發,目前產品主要應用在車載市場。做為為數不多的研發獨立ISP的公司,目前也在開發雙鏡頭相機的演算法和ISP。在雙鏡頭相機市場起來後,X-Chip將會是一匹非常有潛力的黑馬。

雙鏡頭相機也是剛剛出來, 所以演算法方面,各家都有各自的優點和缺點。不過從目前已經推出的雙鏡頭相機手機效果來看,各家的演算法還有待提高。等各種演算法能力上去後,勢必會讓雙鏡頭相機成為手機的標配。

| 雙鏡頭相機 sensor 供應商

由於雙鏡頭相機在拍照的時候,需要兩個相機同步時間標記,這就需要相機 Sensor就得有同步信號。目前有此同步信號的sensor供應商有Sony,Samsung,OV,格科微。所以雙鏡頭相機的Sensor主要用這幾家的產品。

| 雙鏡頭相機 模組供應商

目前能做雙鏡頭相機的模組廠很多,有光寶,舜宇,信利,Namuga,O-Film,三星機電,丘鈦。不過有量產經驗的主要是光寶,舜宇和信利。華為的機型主要是用光寶和舜宇的模組。而O-Film和三星機電憑藉其強大的工廠能力,現在也大舉進軍雙鏡頭相機模組領域。 Namuga則是跟各演算法公司保持良好的溝通關係,並為三星手機的供應商,也逐漸在雙鏡頭相機模組領域發力。

不過不同功能對模組要求不一樣。我們繼續拿上一篇說的四個功能為例:

距離方面的應用

一般的做法,就是大小相機,常見的相機規格如13M+2M,13M+5M。如下圖:

57cba07c421db.png

或者就是把兩個相機放的遠一些,如下圖:

57cba0b637939.png

通過這兩種方式,才能更好的計算被拍攝物體到鏡頭的距離。

光學變焦

光學變焦的雙鏡頭相機模組,最主要是兩個相機需要有不同的FOV(鏡頭所能覆蓋的視角範圍),類似下圖:

57cba0f318616.png

不同的FOV(鏡頭所能覆蓋的視角範圍),拍出來的聚焦點不同,再通過演算法,就可以實現光學變焦功能。

暗光增強

一般的暗光增強,都是通過一個RGB全彩色的相機 + 一顆 MONO黑白的相機進行拍攝,如下圖:

57cba1317338f.png

演算法方面,主要是通過右面的黑白相機 讀取進光量的多少,從而補償左邊RGB 相機的色彩。

3D拍攝和建模

這種方式跟距離相關的模組有點類似。只是3D對距離的精準度要求更高。這種情況下,更需要將兩個相機的距離擺得遠一點,甚至有些會採用外加紅外輔助定位來實現距離測量,最終實現3D拍攝和建模的作用。

| 雙鏡頭相機 模組製作的難點

雙鏡頭相機的做法,一般有兩種:共基板,或者共支架。如下圖:

57cba1ad5114a.png

若共基板,則是將兩個相機 Sensor 共同放在同一個基板上,然後一個FPC(一種具有可彎折的柔性電路板)從此基板上引出來即可。

若共支架,如上圖,通過支架將Sensor固定住,每個sensor有自己的基板和自己的FPC(一種具有可彎折的柔性電路板)。

共基板的優點:兩個sensor 可以坐在同一個平板上,而且抗跌落。

共基板的缺點:良率低,造成價格昂貴。

共支架的優點:良率高,價格低廉。

共支架的缺點:因為是兩顆獨立Sensor模組,需要通過AA校準使其在同一個平面上,難度大,抗摔落也差。

總之兩種方法各有優缺點,目前只有華為採用的是共基板的方式。但無論哪種方式,目前良率都是較差的,所以成本還是很高的。

| 雙鏡頭相機未來

若演算法提高,模組良率提高,雙鏡頭相機還是有很多優勢值得大家去做的。

不過由於不同功能對模組擺放要求不同,雙鏡頭相機目前來看,有可能完全無法滿足大家對相機的要求。

由於Google推出Project Tango的時候,很聰明的提出了一個三相機的概念:

57cba253e89bb.png

當需要測距和3D建模的時候,可以用兩個距離遠的相機;若做光學變焦和暗光補償,可以用兩個距離近的鏡頭。甚至此Depth Sense 可以結合紅外,更準確的測量距離。

無論如何,隨著雙鏡頭相機演算法的演進,VR需求的增加,相機發揮的作用越來越大。雙鏡頭相機,甚至前雙鏡頭相機+後三相機的手機。

 

出處:雷鋒網

作者:賈智龍

One thought on “雙鏡頭技術深入剖析

  • 2016-09-21 at 23:25:17
    Permalink

    很棒的分析,有新文章請再寄到我信箱,謝謝~

    Reply

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

Loading