對稱型
Huawei 華為 榮耀6 Plus 智能手機 - 主攝像頭
Huawei 華為 P9 智能手機 - 主攝像頭
華為榮耀6 Plus和P9,均采用了雙攝像頭設計,兩枚攝像頭的光圈、感光器尺寸均一致,外觀上也沒有區別。P9相對特殊一點,它的兩個攝像頭由一個彩色和一個黑白攝像頭組成,除此之外,像素數、感光器尺寸等等都一樣。這樣的設計,均被視為對稱型。
非對稱型
HTC One M8 智能手機 - 攝像頭
LG G5SE 智能手機 - 雙攝像頭
非 對稱型很容易理解,兩枚攝像頭并不相同,從外觀上就能看出差別,而鏡頭光圈、感光器參數也均不一樣。HTC M8雙攝像頭有主副之分,主攝像頭負責成像,而副攝像頭用于協助主攝像頭完成景深探測,并不直接參與到畫質改善當中。而LG G5 SE則是很簡單粗暴的將兩個焦距的攝像頭組合在一起,一個等效28毫米,一個約等效9毫米,結合長寬比的切換,提供了更多的焦距選擇。這種兩個攝像頭參數 明顯不一致的設計,被稱作非對稱設計。
Amazon 亞馬遜 Fire Phone
亞馬遜Fire Phone是手機圈的一股泥石流,它正面一共有5個攝像頭,一個為標準前置攝像頭,而其他4個紅外攝像頭用于偵測體感以協助實現亞馬遜引以為榮的3D交互,但這款手機很失敗,但它也很好的證明了,攝像頭能做的事情不只是拍照。
雙攝像頭的功能
與單攝像頭不一樣的功能才是雙攝像頭存在的意義,關于雙攝像頭的應用前景,業界的腦洞是相當大的,但兌現靈感還需時間。
模擬淺景深
Huawei 華為 P9 智能手機-實拍-北京什剎海火德真君廟石獅[大光圈模式]
制 造商=HUAWEI;型號=EVA-AL00;焦距=5毫米;等效焦距=27毫米;光圈=F1.0;測光模式=模式;感光度=ISO50;白平衡=自動; 對比度=標準;飽和度=標準;銳度=標準;曝光補償=0.0EV;曝光時間=2229000/1000000000秒;曝光程序=程序模式;場景類型=標 準;日期=2016.05.04 12:21:57
國產手機無一例外的將淺景深模擬雙攝像頭的重要賣點,但要做好真的很難,它依賴精確的算法,硬件上還需要進一步的增強。
通過3D渲染來模擬雙攝像頭
我們用3D渲染軟件來模擬雙攝像頭是如何剝離主體的。模擬場景中,雙攝像頭同時注視一個點,它們的焦點是重合的。因為攝像頭的位置不同,所以有一定的機位差,從而導致像差。
左攝像頭看到的茶壺
右攝像頭看到的茶壺
然后我們分別渲染兩臺虛擬攝像頭看到的畫面,這么放在一起,很難看出大的不同。
左右圖像疊加
如 果將兩張圖疊加到一起,就看到玄機了。圖像并不是完全相同,疊加讓茶壺的左右側產生了重影,重影的部分就是相差。越靠外,重影越大,越居中,重影越小。而 這些重影,基本上也是茶壺的輪廓。這就是雙攝像頭剝離主體對象的基本原理。但你也很快發現,這種剝離方法并得不到精確的輪廓,遠比不上人肉摳圖的精度。不 管是華為還是小米,其雙攝像頭的淺景深模擬功能都很初級,看看小圖可能還行,放大就發現漏洞百出了。
矩陣鏡頭
Pelican Imaging 3D攝像頭
說到這里,我們可以談起一個變態設計了,就是來自Pelican Imaging的鏡頭陣列。它始終沒商用化,還在試驗階段。這個設計又演化出了新的版本,它的設計核心就是,靠更多的攝像頭來實現更多像差的采樣,從而得到更加精準的輪廓。
LINX imaging 的攝像頭方案
無獨有偶,LINX Imaging 也有類似的陣列方案,它實現的功能也是剝離主體,背景分離,對被攝對象進行3D化。比還在紙上談兵的Pelican Imaging幸運的是,LINX已被蘋果收購,說不定iPhone 7上就會采用它們的技術。
圖像增強
圖像增強包括許多方面的應用,例如雙攝像頭同時拍攝,然后進行合成處理,包括降噪、HDR等等,圖像增強的應用只適合對稱型的雙攝像頭設計。
Huawei 華為 P9 智能手機-實拍-野渡無人舟自橫
制 造商=HUAWEI;型號=EVA-AL00;焦距=5毫米;等效焦距=27毫米;光圈=F2.2;測光模式=模式;感光度=ISO50;白平衡=自動; 對比度=標準;飽和度=標準;銳度=標準;曝光補償=0.0EV;曝光時間=1274000/1000000000秒;曝光程序=程序模式;場景類型=標 準;日期=2016.05.16 14:45:01
對比場景-實拍-野渡無人舟自橫-三星Galaxy S7 Edge
制 造商=SAMSUNG;型號=SM-G9350;焦距=4毫米;等效焦距=26毫米;光圈=F1.7;測光模式=中央平均;感光度=ISO50;白平衡= 自動;曝光補償=0.0EV;曝光時間=1/2008秒;曝光程序=程序模式;場景類型=標準;日期=2016.05.16 14:44:26
實 際使用會發現,要做到真正意義上的顯著增強,其實很難,因為兩枚攝像頭所采集到的畫面并不是完全一樣,所以合成時或者要矯正,或者只能對重疊部分增強。不 管如何,是做不到1+1=2的效果,例如華為P9,雖然理論上它采用了類似的技術應用,但比起優秀的單攝像頭機型,畫質上并沒有任何優勢。圖像增強的核心 仍舊是算法,而雙攝像頭的意義是采樣倍率提高了一倍。
模擬變焦
由于手機本身體積的限制,實現光學變焦是比較困 難的事情,雖然有過不少光學變焦硬塞到手機的例子,但都變成了歷史的咸魚。所以出現了利用原生16:9和裁切到4:3的方法提供兩種焦距,也有Lumia 系列那樣通過感光器冗余設計實現兩個焦距的選擇,而用戶需要的是更多更多和更多。LG G5 SE干脆提供了2個焦距不一樣的攝像頭,結合原生16:9的設計,提供了更多的焦距選擇。對稱型的雙攝像頭又如何提供不同的焦距呢?
雙眼和單眼小黃人
請 睜開你的雙眼,然后閉上其中的一只,發現了什么?你會發現視野是不是不一樣?雙眼的寬,而單眼的窄。是的,人就是對稱型雙攝像頭設計,單眼焦距約等效50 毫米,雙眼則約等效于35毫米。那么,對稱型的雙攝像頭的變焦方案就出來了,單攝像頭采樣、雙攝像頭采樣、雙攝像頭的交集采樣、對交集部分進行裁切采樣、 對交集部分進行多幀裁切采樣等等,理論上可以實現部分的無損變焦,和部分損害相對小的有損變焦。理論要兌現,依然少不了強力算法的支持。
變色龍
圖片來自網絡
如果你的眼珠子能像變色龍朝不同方向,那么你的視野范圍還可以更大。人做不到,但攝像頭可能做得到,利用對變色龍眼睛的仿生可以實現更大的采樣視野,這樣也就更方便模擬更大的廣角視野了。
3D視頻拍攝
3D 視頻拍攝設備
3D 視頻是一個可能項目,但目前還沒有手機廠商推出這個功能。3D視頻需要雙攝像頭支持,而且必須是對稱型設計的。但要拍出“真實的縱深感”,需要攝像頭保持 距離,多少合適?人眼的瞳距就是合適的,約6-7厘米。顯然,目前沒有一款雙攝像頭手機能滿足這一點,不過難說以后腦洞大開的廠商用特殊的外殼加外置攝像 頭來協同主攝像頭來實現3D視頻拍攝。
人臉識別和體感
Microsoft 微軟 Surface Pro 4筆記本電腦
intel RealSense 技術裝備的手機
刷 臉已經成為一種實用性生物認證技術,但目前還沒有出現在手機上,但也是遲早的問題,微軟Surface Pro4 和 Surface book上采用了該項技術,識別是一方面,硬件支持少不了,這些是通過雙攝像頭實現的,一枚普通的前置攝像頭加上一顆紅外攝像頭,實現對人臉包括瞳孔的信 息進行3D化建模,依靠相片是無法欺騙認證的。除了微軟的兩款Surface設備之外,其他采用了英特爾Realsense 技術的Windows10設備,也可以通過刷臉來完成驗證。
英特爾也正在致力于將Realsense 推廣到手機平臺,利用英特爾的算法包,Realsense可以實現類似于Kinect的體感應用或者3D建模,蘋果也在體感應用方面暗自發力。這些技術可 以用于AR、VR、運動拍攝等應用場景,用手機配套的VR頭盔配合手機實現類似于HoloLens那樣的體驗也是有可能的。而Google的 Project Tango,也是這么一個類似的開發項目。
雙攝像頭背后的算法研發
要讓雙攝像頭真正發揮到明 顯優于單攝像頭,需要強勁的算法支持,而這恰恰是目前極為匱乏的,硬件反而不算什么,有錢能解決硬件問題解決不了軟件問題。芯片廠商都在開發自己的方案, 包括高通、聯發科以及華為海思。感光器廠商也在努力,包括索尼、三星和OmniVision。對于大金主,就是買買買,例如蘋果收購LINX。一些傳統的 圖像算法提供商或者業界老司機也在向第三方提供算法,例如Acrsoft和Altek。微軟和英特爾這樣資深科技公司,在體感、3D建模等方面有著的先人 一步甚至幾步的技術優勢,它們會影響到畫質以外的雙攝像頭應用領域。
真正重要的是算法,算法優秀,才能顯出雙攝像頭的硬件優勢,這樣的觀 點,我們反復提及,因為,國產手機比起洋手機更熱衷于雙攝像頭,并不是因為國產手機的技術先進,而是大部分人消費者簡單的認為2個就比1個強,你來我往, 互相迎合。在這種認識基礎上,出現各種漫無邊際的吹噓,甚至神化,居然不小心單反都被滅了,居然還有人信,居然還被點燃了愛國心。
雙攝像頭的前景
對 于雙攝像頭[包括多攝像頭]的前景,Soomal非常看好,雙攝像頭如果應用得當,手機將不只是卡片相機殺手的角色了,它將走出一條具有智能手機特色的拍 攝體驗之路。攝像頭的功能也不再是簡單的拍照工具,而是更為豐富的測量和交互的輔助傳感器,它將成為智能設備的眼睛,這將是一次真正意義上的進步,它不但 影響智能手機行業,還會深刻的影響到智能機器人、安防等領域。
雙攝像頭機型如雨后春筍一樣出現,但希望各路廠商珍惜市場機會,不要透支信用,過度的夸大宣傳只會讓人對雙攝像頭生厭。別讓雙攝像頭變成商業營銷的附屬品,而是成為一次真正的技術革新。至于技術,我們不擔心,突破是必然的,不浮躁能少走彎路,更快突破。