新一代圖片處理技術讓富士 X-Trans傳感器如虎添翼

X-Trans 相機與市場上的其他相機有何不同，機器學習又是如何顛覆 raw 文件的處理方式的？ DxO首席科學家 Wolf Hauser 探討了 X-Trans 的優(yōu)缺點，以及 DxO 用于顯著提高圖像質(zhì)量的處理方法。
?

富士公司向來不憚于另辟新徑，他們在 2012 年推出了 X-Trans 傳感器。 鑒于整個相機行業(yè)幾乎都在使用拜耳傳感器，這可謂一個大膽的舉措。在過去的十年里，關于 X-Trans 的激烈討論不絕于耳，它能否為攝影師帶來切實的好處，或者僅僅是一個精心設計的營銷技巧？ 正如接下來將探討的，X-Trans 兼有優(yōu)缺點，而用于解讀該傳感器 raw 數(shù)據(jù)的算法對于獲取理想結果至關重要。 富士相機的粉絲長期以來一直在尋找一款最優(yōu)秀的軟件來處理他們的圖像，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)支持對 X-Trans raw 文件的處理，讓富士相機拍攝的清晰圖像呈現(xiàn)出色的細節(jié)。

拜耳還是 X-Trans，百事可樂還是可口可樂？
您可能已經(jīng)注意到，討論相機技術的微小細節(jié)會一石激起千層浪，自 X-Trans 推出以來，留言板和社交媒體上關于 X-Trans 優(yōu)缺點的辯論便如火如荼。 然而，濾色器陣列只是用于定義相機的眾多功能中的一個，鮮有客戶在購買相機時將其放在首位。 使用富士相機的攝影師喜愛其相機的獨特外觀和質(zhì)感，享受其人體工學設計和易用性，更不用說相機直出的驚艷效果。 富士的工程師是色彩方面的專家，擁有 70 多年的彩色攝影經(jīng)驗，品牌愛好者深愛富士依托公司悠久的膠片生產(chǎn)歷史打造出的膠片模擬效果。

Astia 和 Velvia 等名稱也為他們的相機賦予一種逼真感。

拜耳與 X-Trans 的爭論與 ARM 處理器與英特爾設計的處理器之間上演的對決十分相似。 蘋果的營銷部門聲稱他們的 iPad 更好，因為其配備了他們的全新 ARM 芯片，而微軟則勸說大眾 Surface 更好，因為它使用了最新的英特爾芯片。 兩家品牌的愛好者們會花無數(shù)個夜晚在論壇上激烈爭辯，討論 ARM 與英特爾、RISC 與 CISC 孰優(yōu)孰劣——但實際上 99% 的用戶對此并不關心。 他們選擇平板電腦的標準，是更喜歡其中某一款的外觀和質(zhì)感、用戶體驗以及對品牌的認可。

除了系統(tǒng)內(nèi)部的一些技術差異之外，對于大多數(shù)用戶來說，選擇富士還是佳能、尼康、索尼等可能與選擇百事可樂還是可口可樂那樣沒有太大區(qū)別。

復雜性的后果
無論選擇相機的標準是什么，盡可能發(fā)揮其傳感器的最佳性能仍然很重要。此外，還有必要看看將圖像放大到 100% 或更大時會發(fā)生什么。

我們需要牢記，最終呈現(xiàn)的圖像不單是傳感器本身作用的結果。無論是在相機內(nèi)還是通過軟件，都會歷經(jīng)各種各樣的流程，尤其是去馬賽克，即填補紅色、綠色和藍色通道之間空白的算法。 這些算法與濾色器陣列相結合，才決定了最終的結果。

拜耳濾色器一直占據(jù)一席之地的原因之一，便是工程師已習慣于處理它的數(shù)據(jù)。 研究人員耗費四年時間，才找到為拜耳傳感器去馬賽克的最佳方案，多年來開發(fā)的那些高度復雜的算法為他們放寬了許多設計方面的基本限制。 即使是相當簡單的算法，例如嵌入在第一代數(shù)碼相機中的算法，也能產(chǎn)生不錯的效果。

另一方面，X-Trans 模式增加的復雜性也相應帶來了復雜得多的去馬賽克流程。 據(jù)說富士的工程師花了五年時間才使得其相機處理能力迎頭趕上其他競品，得以于 2012 年在 X-Pro1 中引入 X-Trans。 與此同時，與拜耳相比，研究界發(fā)表的關于 X-Trans 去馬賽克的論文要少得多。它不僅是一個更復雜的問題，而且用于解決這個問題的研究數(shù)量也更少。 平心而論，當前的 X-Trans 去馬賽克算法距離實現(xiàn)理論上的最佳解決方案還有一段距離。 這也是富士的粉絲經(jīng)常徘徊在不同的軟件包之間尋找解決方案、以獲得最佳結果的原因之一。

通過機器學習克服復雜性
今天，機器學習——特別是一項被稱為卷積神經(jīng)網(wǎng)絡的技術——正在徹底改變圖像處理。 這類新算法在短短幾年之內(nèi)便讓數(shù)十年的研究工作相形見絀，它不再由研究人員和工程師手工計算得出，而是由計算機從數(shù)百萬個訓練示例中由經(jīng)驗式學習得出。 例如，在拜耳的去馬賽克技術中，神經(jīng)網(wǎng)絡現(xiàn)在可以輕松擊敗人類設計出的最佳算法。

這種變革對于畢生致力于去馬賽克算法的研究人員來說，固然令人沮喪，但它實際上是一個巨大的機會。 由此不僅可以獲取更佳的結果，而且還提高了生產(chǎn)力：計算機可以在幾天或幾周內(nèi)找到最先進的去馬賽克算法，而不是幾年或幾十年。 當有確切的輸入和預期的輸出，但兩者之間的映射過于復雜、無法以經(jīng)典算法表達時，機器學習的優(yōu)勢便格外突顯。 圖像和語音識別便是最早的范例。機器學習確實是一種非常強大的工具，在經(jīng)典算法行之有效的領域（如去馬賽克），它依然被證實有用。

X-Trans 的去馬賽克是機器學習的絕佳對象。 由于比拜耳的去馬賽克流程更為復雜，其機器學習相較于傳統(tǒng)工程的優(yōu)勢，理應比在拜耳去馬賽克上顯現(xiàn)的優(yōu)勢更大。 我們在 Adobe 的同行在 2020 年初推出由機器學習驅(qū)動的“增強細節(jié)”功能時，便清晰地證明了這一點。 測評人士得出結論是，拜耳的圖像上只展現(xiàn)出微妙的差異，但 X-Trans 的圖像獲得了顯著改善。

在 DxO，我們使用 DxO PhotoLab 中的機器學習解決了另一項高度復雜的任務：我們的 RAW 轉(zhuǎn)換技術——DxO DeepPRIME。它使用單個巨大的卷積神經(jīng)網(wǎng)絡同時應用去馬賽克和降噪。 經(jīng)過 10 天的密集工作，我們的計算機開發(fā)出了一種高度復雜的算法，其表現(xiàn)優(yōu)于我們在低 ISO 條件下的傳統(tǒng)去馬賽克技術，以及我們在高 ISO 條件下的傳統(tǒng)去馬賽克和降噪技術。

DxO PhotoLab5 和 DxO PureRAW2 為 X-Trans 提供 DxO DeepPRIME
拜耳傳感器圖像的工作完成后，做出更改以適應 X-Trans 的 raw 文件便不再是一項艱巨的任務，因為只需進行少量修改就可重復使用生成訓練數(shù)據(jù)的過程。 當中依然有許多困難需要克服，因為我們必須從根本上改變網(wǎng)絡形狀以適應復雜的 X-Trans 模式，但它是可行的，并且具有光明的前景， 最終的結果也令人振奮。 我們來看一個例子。

這張低光室內(nèi)動態(tài)照片是使用富士 X-T3 在 ISO 6400 下拍攝的。 原始照片曝光不足，因此我們在后期處理過程中將其推高了兩檔 — 相當于 ISO 25600（上圖）。 JPEG 圖像上無法進行如此大幅度的曝光調(diào)整，因此這里不是與相機進行比較，而是與一款著名的 raw 轉(zhuǎn)換器——具有“增強細節(jié)”功能的 Adobe Lightroom（左下角）進行比較。 當我們放大人臉觀察時，可以看到 DxO DeepPRIME（右下，使用 DxO PhotoLab）的圖像明顯更為清晰。 因為 DeepPRIME 使用神經(jīng)網(wǎng)絡同時運行去馬賽克和降噪，在降噪方面表現(xiàn)更佳，同時在亮度和顏色方面保留了更多細節(jié)。

不僅僅是機器學習
顯然，要在像 DxO PhotoLab 和 DxO PureRAW 2 這樣復雜的軟件中完全支持 X-Trans，需要的不僅僅是 DxO DeepPRIME。 我們實驗室用于校準每個相機機身的顏色和噪點模型的許多內(nèi)部工具也必須進行調(diào)整。 其他幾個處理塊也必須從頭開始設計，例如用戶在進行調(diào)整時用于顯示預覽的去馬賽克算法。

讓您的照片也受益于技術的進步
經(jīng)過一段時間的緊張研發(fā)，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)已準備就緒，可為您的 RAW 文件帶來顯著的改進。 我們相信，攝影師會愛上我們的 DxO DeepPRIME 技術，它能成功再現(xiàn)此前缺失的色彩細節(jié)，為老照片帶來新的活力，提升高 ISO 圖像的品質(zhì)。 下載免費試用版并了解 DxO DeepPRIME 如何可以提升您的照片品質(zhì)。