Google 在五月份的 I/O 開發者大會中發表 Pixel 3a 系列手機,並把 Pixel 3a 手機與 iPhone 相機對比夜拍功能作為宣傳重點。究竟,Pixel 系列手機的拍攝能力為什麼超乎水準,Google 今(23)特別邀請計算攝影的發明人,現任Google 傑出工程師 (Distinguished Engineer) Marc Levoy 來對有興趣的朋友們揭秘!

Google 傑出工程師 (Distinguished Engineer) Marc Levoy 。(圖/黃慧雯攝)
Google 傑出工程師 (Distinguished Engineer) Marc Levoy 。(圖/黃慧雯攝)

Marc Levoy 分享到,在手機相機的發展歷程中,過去就會利用不僅靠硬體,而是加入「計算攝影」(Computational Photography)整合連拍的幀數,來提升相片品質。之後逐漸開始加入機器學習、再加上Google(等廠商)陸續公開此領域的技術研究成果,讓更多在相機演算法的創新得以逐漸實現。

究竟,Pixel 手機如何能靠著「計算攝影」,也就是軟體演算法的幫助,在肖像、HDR(高動態範圍)、高解析變焦以及夜視功能上,表現超群呢?

一、HDR+功能

首先聚焦高動態範圍環境(環境光對比強烈的情況,例如中午陽光熾熱時在大樓陰影下拍攝)中的Pixel手機以及Nexus手機的HDR+功能。

Marc Levoy 指出,過去在高動態環境下,典型的做法是採用「包圍曝光」(Exposure Bracketing)的方法,捕捉不同曝光值下的影像,也就是將短曝光時間與長曝光時間的照片結合,呈現出最終影像作品。但是這在手持狀態很難執行,因為無法拍攝到固定影像,所以Google改採捕捉多張曝光不足的連拍影像再進行校準與整合,並利用色調映射(Tonemap)增強陰影、降低亮部細節的做法。不過 Marc Levoy 也坦言這樣的演算法事實犧牲了整體色調以及對比度,為了保留局部對比度的成像結果。

HDR+技術的加入,讓 Pixel 手機在 2016 年推出後獲得 DxOMark 評為 89 分,是當年的第一名。

二、Pixel 2 肖像功能

當前,大多手機具備雙鏡頭相機,透過立體匹配演算法(Stereo Matching)去計算深度圖(Depth Map),接著選擇一個平面保持銳利影像(焦點所在,也就是照片中保持清晰的場景,也就是人像的位置),再將遠處或近處的影像模糊,打造出具有淺景深的人像照片。

但是 Pixel 2 以及 Pixel 3 主相機都只有一顆(沒有另一顆相機可以提供深度圖),因此 Google 利用了(一)利用機器學習分割出相片裡的人像、(二)利用相機中「雙像素(Dual-pixel)預估深度圖」的硬體技術(一顆像素在拍攝時分為左右兩半,透過各一半像素所拍下有些為差距的相片,來讓影像立體化),來讓 Pixel 2/3 相機拍出肖像模式照片。Marc Levoy 點到,其實 Pixel 手機所拍出的人像照,事實上也跟光學成像的照片不一樣,因為光學成像只會讓焦點位置清晰,前後都呈現模糊的景深效果,但是 Pixel 所運用的軟體算法,則是讓一個區域內的主體都清晰,例如臉部、鬍鬚、衣服上的標誌等等,通通呈現清晰狀態,但卻能背景呈現模糊,展現景深。

三、高解析變焦(Super Res Zoom)技術

Google 在 Pixel 3 當中加入了高解析變焦功能,他們如何僅用一顆相機鏡頭就做到變焦效果?Marc Levoy 指出,事實上,因為影像感測器的畫素排列,事實上是將感測紅、綠、藍三種顏色的畫素依序排列。所以實際上,對影像感測器來說,並非感測紅色的畫素區域,就會缺少紅色的影像資訊,因此事實上用來感測其他顏色光的畫素位置,都需要利用插補的方法重建。

基於這個原理,Google 就利用了人們手持相機拍攝時,會輕微晃動的情況來讓所有畫素都能捕捉到紅色、藍色、綠色的資訊,如此就不需要再利用插補算法來彌補。這項技術在將多層影像合成更高像素的照片時,不只可用來提升相片細節,解析度也能媲美不少雙鏡頭手機。(有趣的是,如果手機被放在三角架上,不受手震影響的情況下,Pixel 3 手機則是會透過光學影像穩定功能(OIS)來製造「搖晃」模擬手震,來拍出高解析變焦照片。如果把手機放在腳架上,並且將影像放大多倍,就會看見影像微微晃動的情況。)

四、夜視模式

Marc Levoy 分享到,夜視模式利用了(一)按下快門後,相機觀景器會靜止幾秒高速捕捉15幀畫面;(二)Pixel 3 部分整合高解析變焦功能,Pixel 1/2/3a 則是透過結合 HDR+ 功能;(三)透過學習式白平衡來調整影像色調,以及(四)透過計算攝影的自動調整,讓夜晚所拍攝的照片能夠保真實的色調,來完成夜視拍攝模式。

Marc Levoy 很有趣的分享到,在調整夜視照片的功能中借鑒了前人的智慧。Google 從古典畫作中學習到,透過強化對比度、將陰影投射為黑色、以及用黑暗環繞場景的方法,能讓夜視功能所拍出的照片更真實,不會太過超現實(與眼睛看到的差距太大,或是夜晚的場景拍起來像白天)。

Marc Levoy 最後提到,事實上正因為 Pixel 系列手機更多採用基於軟體層面的算法來加強成像品質,因此需要透過硬體更新才能提升相片畫質,而是只需要升級軟體演算法,就能提升相機能力,是 Pixel 手機在相機上的一大特色。

編註:Marc Levoy是史丹佛大學電腦科學榮譽退休教授(該職由VMware創辦人所支持),同時也是Google 傑出工程師(Distinguished Engineer)。在Google工作期間,他推出過街景(StreetView)服務、並且共同設計了圖書館書籍掃瞄器。他目前帶領的團隊所負責的專案包含Pixel手機的HDR+模式、肖像(人像)模式以及夜視功能、Jump光場相機和Halide圖像處理程式語言等等。

(中時電子報)

#Google #Pixel #相機 #計算攝影 #演算法