眼睛對于包括人類在內(nèi)的動物而言至關(guān)重要，它幫助我們測量距離，是生存的條件之一。捕獵者在捕獵時使用眼睛來測量與獵物之間的距離，而獵物也在用眼睛觀察是否有捕獵者正在靠近，以便避開危險。大約5.4億年前，地球上開始出現(xiàn)擁有視力的生物，而與視力息息相關(guān)的生存競爭也由此拉開序幕。從那時起，眼部結(jié)構(gòu)各異的動物物種數(shù)量飛速增長。生物進(jìn)化早期的物種在這一方面十分多元，從僅有一只眼睛的寒武厚槳蝦（Cambropachycope）到多達(dá)五只眼睛的歐巴賓海蝎（Opabinia）和麒麟蝦（Kylinxia）等。而如今，大多數(shù)動物都擁有兩只眼睛【1】。
通過雙眼觀察物體會出現(xiàn)輕微的雙眼視差，也就是左眼和右眼接收到的圖像位置有所差異。大腦通過計算這種差異來預(yù)測與目標(biāo)物體之間的距離。這就是所謂的雙眼視差（Binocular disparity）1，大多數(shù)動物都依靠雙眼視差來測量距離。
1 雙眼視差（Binocular disparity）：左眼和右眼所見物體在圖像位置上存在差異
智能手機攝像頭采用了一種名為相位檢測自動對焦（PDAF，Phase Detection Auto Focus）【2】的技術(shù)，該技術(shù)使用雙眼視差來根據(jù)拍攝對象調(diào)整焦距。在此基礎(chǔ)上，SK海力士研發(fā)了A4C（All 4-Coupled）圖像傳感器，在讀取色彩信息的同時，利用每個像素的視差，提高圖像質(zhì)量和自動對焦功能。本文將介紹SK海力士全新開發(fā)的A4C圖像傳感器所具備的三大優(yōu)勢—快速準(zhǔn)確的對焦檢測、高分辨率圖像以及多種應(yīng)用場景。
A4C傳感器的優(yōu)勢之一：快速準(zhǔn)確的對焦檢測
A4C圖像傳感器的結(jié)構(gòu)如圖1所示。與傳統(tǒng)Quad【3】傳感器類似，A4C傳感器搭載一個可將光線轉(zhuǎn)換為電流的光電二極管和僅特定波長光束可以穿透的濾色片。但是，與Quad傳感器不同的是，A4C傳感器的結(jié)構(gòu)將每四個相同顏色像素歸為一組，每組上方配備一個微透鏡（Micro lens）2 ，四個像素分別位于左上角（TL，Top Left）、右上角（TR，Top Right）、左下角（BL，Bottom Left）和右下角（BR，Bottom Right）。
2 微透鏡（Micro lens）：一種將光集中到中心位置以提高CIS效率的透鏡。
A4C傳感器的自動對焦功能基于這樣一種機制：如果來自物體的不同光線匯聚至一個焦點，則物體處于對焦?fàn)顟B(tài)；如果來自物體的不同光線未能匯聚至一個點，則物體處于失焦?fàn)顟B(tài)。換句話說，如果一個微透鏡下的四個像素的強度值一致，則物體處于對焦?fàn)顟B(tài)；如果強度值不一致，則物體處于失焦?fàn)顟B(tài)。例如，在捕捉圖2所示物體時，當(dāng)圖像處于圖2第一個示例中的對焦?fàn)顟B(tài)，上方紅色光路和下方藍(lán)色光路會落在同一微透鏡下的同一組像素。然而，如圖2第二個和第三個示例所示，當(dāng)物體位于焦點交匯處的前方或后方，通過頂部和底部路徑進(jìn)入透鏡的光路則無法聚焦到同一個微透鏡。這些光線會落在不同的像素上，從而形成視差（Disparity）3。通過視差分析，傳感器可以判斷出如何移動透鏡模塊的位置才能將焦距調(diào)整至最佳狀態(tài)。
3 視差（Disparity）：當(dāng)物體的一個點按照光路聚焦到傳感器平面的不同位置時發(fā)生的位移。
與現(xiàn)有的PDAF技術(shù)相比，A4C傳感器能夠計算每個像素的視差。換言之，A4C傳感器具有很高的精度，在低于10 勒克斯（lux）的弱光環(huán)境下也可以確保10倍以上精度。與利用雙眼視差的PDAF技術(shù)不同，A4C傳感器利用的是微透鏡下方位于上下左右四角的四個像素的視差。因此，A4C傳感器擁有非常出色的對焦檢測性能，能夠準(zhǔn)確檢測水平或垂直方向的物體。
A4C傳感器的優(yōu)勢之二：高分辨率圖像
A4C傳感器的輸出圖像能以每個微透鏡下四個像素為一組的方式提高感光度，或通過將各個像素獨立輸出的方法來提高圖像分辨率（例如，5000萬像素A4C傳感器可以輸出5000萬像素分辨率的圖像4 或1250萬像素微透鏡分辨率的圖像5）。如果傳感器將每個微透鏡下四個像素作為一組生成輸出圖像，圖像分辨率會降至單獨使用每個像素時的圖像分辨率的四分之一。但是，四個像素一組的方法可以將感光度提高四倍。因此，在夜間、弱光環(huán)境等光線不足的情況下，微透鏡分辨率（Micro lens resolution）傳感器的優(yōu)勢更為明顯。
4 像素分辨率（Pixel resolution）：A4C傳感器的像素數(shù)量
5 微透鏡分辨率（Micro lens resolution）：A4C傳感器的微透鏡數(shù)量。A4C傳感器的微透鏡分辨率是像素分辨率的四分之一。
另一方面，在白天或室外等光線充足的情況下，可以使用將各個像素獨立輸出的方式來提高圖像分辨率。像素分辨率（Pixel resolution）是微透鏡分辨率的四倍，因此，單獨像素輸出的圖像會更清晰，且有更多細(xì)節(jié)。但是，在使用A4C傳感器的像素分辨率模式時，需要克服視差帶來的圖像質(zhì)量問題。當(dāng)同一場景中的物體處于不同距離時（如圖3所示），鏡頭會捕捉處于聚焦?fàn)顟B(tài)下的物體的高分辨率圖像，如實線所示。另一方面，所有處于失焦?fàn)顟B(tài)的物體都會出現(xiàn)視差問題，如圖3虛線所示。這意味著，同一微透鏡下相鄰像素之間的強度存在差異，進(jìn)而導(dǎo)致圖像中出現(xiàn)柵格圖案，圖像質(zhì)量下降。
使用A4C傳感器拍攝處于不同距離的物體時得到的圖像。距離傳感器最近的綠色物體處于對焦?fàn)顟B(tài)，而其他物體均處于失焦?fàn)顟B(tài)，成像較為模糊。如果將圖4中的白色區(qū)域放大，可以看到視差造成的柵格圖案，圖像質(zhì)量下降。為改善圖片質(zhì)量下降的問題，SK海力士的A4C傳感器采用了專有A4C相位校正（APC，A4C Phase Correction）技術(shù)和四合一像素（Q2B，Quad-to-Bayer）技術(shù)，可以對圖像進(jìn)行處理并改善圖像質(zhì)量。需要特別指出的是，SK海力士的APC算法可以分析物體反射的光線，從而確定落在圖像傳感器的透鏡模塊路徑。而且，這項技術(shù)既解決了因失焦區(qū)域視差所導(dǎo)致的圖像質(zhì)量下降問題，又保證了處于對焦?fàn)顟B(tài)的物體區(qū)域的細(xì)節(jié)呈現(xiàn)。
A4C傳感器的優(yōu)勢之三：多種應(yīng)用場景
除了精準(zhǔn)對焦檢測和捕捉高分辨率圖像外，A4C傳感器的優(yōu)勢還包括它可以應(yīng)用于一系列光場成像場景。光場成像是一種再現(xiàn)物體射線分布的技術(shù)，可以計算場景中的光線強度和光線源頭的精確方向，并將這些信息用于背景虛化（Bokeh）6、再對焦（Refocus）7和多視角（Multi-view）8等計算機視覺應(yīng)用程序中。
6 背景虛化（Bokeh）：一種調(diào)整物體對焦同時模糊背景的技術(shù)
7 再對焦（Refocus）：一種在圖片成像后針對某一點進(jìn)行再對焦的技術(shù)
8 多視角（Multi-view）：一種使用由不同角度拍攝的多幅圖像來進(jìn)行幾何或空間復(fù)合校準(zhǔn)的技術(shù)
當(dāng)使用A4C傳感器拍攝圖像時，從物體反射出來的、與焦點一致的光線經(jīng)過四個不同的路徑，到達(dá)同一微透鏡下的四個像素，如圖5所示。因此，如果傳感器能夠感知A4C像素的強度和微透鏡下的具體位置，便可明確具體像素的光強度及光的來源方向。
具體而言，如果傳感器以同一微透鏡下多個像素為一組的模式形成局部圖像，這些像素會接收通過相同透鏡模塊路徑到達(dá)傳感器的光線，這意味著，傳感器可以再現(xiàn)從透鏡模塊的相同位置感知到的局部圖像（例如，如果傳感器將同一微透鏡下左上角TL的像素作為一組來形成圖像，則將呈現(xiàn)透鏡模塊左上角的局部圖像）。這樣的局部圖像被稱為子孔徑（SA，Sub-Aperture）圖像【4】，A4C傳感器可以從透鏡模塊的左上角、右上角、左下角和右下角生成四個子孔徑圖像。如下文所述，這四個來自不同點的子孔徑圖像可用于各種計算機的視覺應(yīng)用。
1）背景虛化應(yīng)用：使用四個子孔徑圖像可以提高虛化圖像的質(zhì)量。由于左右攝像頭之間的視角和機械位移問題，使用普通雙攝鏡頭生成的背景虛化圖像往往與實際場景有一定差別。但是，只要使用子孔徑圖像，即通過A4C傳感器生成局部圖像，就不會出現(xiàn)上述差別問題。此外，A4C傳感器可以使用四張子孔徑圖像來計算深度數(shù)據(jù)，在精度方面要優(yōu)于使用兩個圖像的雙攝像頭。
2）再對焦應(yīng)用：子孔徑圖像支持再對焦，即，通過A4C傳感器的強度和方向信息將焦點調(diào)整至指定位置。傳統(tǒng)的再對焦技術(shù)因為需要在圖像傳感器上方添加微透鏡陣列【4】，會存在機械誤差問題。而A4C傳感器則不需要額外添加微透鏡陣列，因此不存在機械誤差問題，同時精度也可以得到很大改善。
3）多視角應(yīng)用：從本質(zhì)上來說，子孔徑圖像是從不同角度觀察物體得出的圖像數(shù)據(jù)。因此，在一系列多視圖應(yīng)用場景中可以使用到四張子孔徑圖像，包括3D圖像恢復(fù)、3D安全應(yīng)用程序以及改善弱光條件下圖像質(zhì)量等。
綜上所述，SK海力士開發(fā)的A4C傳感器不僅可以克服傳統(tǒng)圖像傳感器的局限性，而且具有三大優(yōu)勢：快速準(zhǔn)確對焦檢測、捕捉高分辨率圖像、多種光場成像應(yīng)用場景。除A4C傳感器外，SK海力士正在開發(fā)HDR（High Dynamic Range）、非拜耳（Non-Bayer）、像素裝倉（Pixel Binning）等新型圖像信號處理（ISP，Image Signal Processing）技術(shù)。SK海力士憑借業(yè)界最佳的設(shè)備和工藝技術(shù)，開發(fā)了0.7um和0.64um微型像素，提高了CIS（CMOS圖像傳感器，CMOS Image Sensor）像素密度，使其在未來成為信息傳感器的核心組成部件。未來，SK海力士的CIS技術(shù)有望用于包括智能手機攝像頭、生物、安全和自動駕駛汽車在內(nèi)的各個應(yīng)用領(lǐng)域，為創(chuàng)造經(jīng)濟(jì)和社會價值做出貢獻(xiàn)。
參考文獻(xiàn)
【1】Andrew Parker，《一瞬之間：視覺激發(fā)的寒武紀(jì)大爆發(fā)》（In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution），2003年。
【2】SK海力士新聞中心，圖像傳感器的視覺演變與創(chuàng)新，https://news.skhynix.com.cn/the_visual_evolution_and_innovation_of_image_sensors/。
【3】SK海力士新聞中心，SK海力士“1.0μm黑珍珠（Black Pearl）” 圖像傳感器詳解，https://news.skhynix.com.cn/everything-about-the-1-0%CE%BCm-black-pearl-sk-hynixs-image-sensor/。
【4】R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz與P. Hanrahan.“手持式全光學(xué)相機的光場攝影”，斯坦福大學(xué)計算機科學(xué)技術(shù)報告 CSTR 2005-02，2005年4月。
