淺談計算成像：前言篇（一）

計算成像這一個領(lǐng)域我斷斷續(xù)續(xù)關(guān)注已有一段時間，但是實操去進行coding的經(jīng)驗還相對有限，本文及后續(xù)系列文章旨在分享我對計算成像領(lǐng)域的認識、相關(guān)算法總結(jié)，相關(guān)器件和光學(xué)系統(tǒng)設(shè)計等。長期關(guān)注我的讀者可能已經(jīng)注意到，我的專業(yè)領(lǐng)域主要集中在器件、物理、硬件層面，雖然計算成像我斷斷續(xù)續(xù)關(guān)注已有一段時間，對于全息重建、ptycho、TIE，橫向剪切干涉、單像素等有一些摸索，但是實操經(jīng)驗還相對有限，對于算法和系統(tǒng)層面的深入理解也有所欠缺，如果本文存在任何疏漏，懇請各位不吝賜教！也希望相關(guān)同行能多多交流~

/00? 前言1：對光學(xué)系統(tǒng)的思考/

作為一個曾經(jīng)研究光電器件的博士，我一度覺得光電探測器件是光電模組的核心，總是思考著如何實現(xiàn)高性能的、多功能的器件，實現(xiàn)精簡（乃至去掉）光學(xué)模組、簡化讀出電路、并且化簡后端算法處理（乃至所見即所得）。后來逐漸接觸到了光學(xué)系統(tǒng)、成像算法，才逐漸對“模組”和“系統(tǒng)”的概念有了更深刻的理解。相關(guān)的感悟主要有以下三點：

1. 系統(tǒng)最優(yōu)化而非單體最優(yōu)化：

如果只盯著模組里的單項，實現(xiàn)其單體最優(yōu)化并不能實現(xiàn)系統(tǒng)最優(yōu)化，比如最好的探測器件并不見得可以構(gòu)成最優(yōu)的探測模組，比如從降低器件噪聲上說，如果僅僅從感光像素上出發(fā)實現(xiàn)低噪聲像素設(shè)計，探索異質(zhì)結(jié)勢壘設(shè)計、低壓雪崩、暗電流抑制等技術(shù)，不但器件設(shè)計和工藝探索的難度大，而且還會面臨成本問題。如果把低噪聲這一指標壓力同時下發(fā)到器件、電路讀出、算法處理，則更有可能實現(xiàn)系統(tǒng)性能、成本、難度的兼顧。

2. ?器件層面的難點并非系統(tǒng)層面的難點：

近年器件層面已經(jīng)可以實現(xiàn)很多多維度的光信息探測了，包括光譜、光偏振。但是這個時候需要思考一個問題，把這部分功能實現(xiàn)放在器件側(cè)真的會比放在光學(xué)側(cè)更有優(yōu)勢么？以及所說的優(yōu)勢在什么場景下成立？以光譜探測為例，現(xiàn)在推出的器件級別的光譜探測方案依賴于超構(gòu)表面、漸變參雜、新興材料，這些技術(shù)都面臨工藝兼容、良率提升、成本控制等問題。而相比起來在光學(xué)側(cè)實現(xiàn)分光式光譜探測則相對成熟，成本可控，唯一的缺點是體積龐大。那么，需要思考的是在什么場景下體積縮小所帶來的優(yōu)勢或者收益足以抵消光譜儀器件化所需付出的代價？此外部分光維度的探測很難在器件側(cè)實現(xiàn)，比如相位或說是波前，這類信息像素不能做直接感知，但是依賴于干涉進行強度信息轉(zhuǎn)化，就能在算法側(cè)很容易的得到解決。

3. 光學(xué)模組是器件、系統(tǒng)、算法的強匹配和聯(lián)合設(shè)計：

器件、系統(tǒng)、算法領(lǐng)域的專家是需要多多交流和了解對方領(lǐng)域的，從而把不同的指標下發(fā)到不同模組，或者共同承接指標的實現(xiàn)，實現(xiàn)最少冗余設(shè)計下性能可用，成本可控、質(zhì)量可靠。以無透鏡成像為例，如果同時進行像素設(shè)計，匹配屋無透鏡算法的需求設(shè)計小像素探測陣列、降低探測靶面鈍化層厚度以降低衍射距離，并犧牲其他不需要的性能，則可以在保證成本情況下實現(xiàn)相比同類更優(yōu)的無透鏡成像系統(tǒng)，這比單純的優(yōu)化算法或者光源能實現(xiàn)好的綜合最優(yōu)系統(tǒng)。

/01 前言2：對計算成像的思考/

提到計算成像，可能部分長期從事實驗，乃至機理研究的學(xué)者心里會產(chǎn)生本能的抗拒，對于實驗+物理黨，我們更愿意接受“所見即所得”的系統(tǒng)和設(shè)備?！盀槭裁葱枰嬎愠上瘛边@也是我剛接觸這一領(lǐng)域的時候就思考的一個問題。畢竟所見即所得是最為直接的一種方式。將“計算”過程引入“成像”一個問題就是其間接性，比如你如何證明你計算重建的信息反映了真實的物理場景而不會由于反解過程出現(xiàn)“無中生有”？

這個問題要回答，我覺得可以從以下幾個應(yīng)用場景去看計算成像的必要性：

信息“不可見”場景：

人眼直接可見的信息是光強度和色彩，但是光作為一種電磁波具有高維度的信息和特征。有些信息和特征是無關(guān)通過肉眼觀測或直接進行采集成像的，一個例子就是光的傳輸相位信息。相位信息里包含了豐富的信息，可用于透明物體成像、細胞干重測量、表面形貌成像、缺陷檢測等應(yīng)用場景。但是相位信息是無法直接可見的。我們直接可見的信息是振幅信息，而相位、光譜、偏振都一定程度的被丟失了，光學(xué)系統(tǒng)通過特殊設(shè)計后可以實現(xiàn)光譜、偏振的可見，但是完全不依賴計算的“可見”需要付出較大的硬件成本代價，這在某些消費級乃至工業(yè)級場景下不可接受。

信息“可見不可建”場景：

很多場景下需要對物體進行3D成像，即捕捉并重建物體的三維形狀和外觀。這種技術(shù)在多個領(lǐng)域都有應(yīng)用，包括醫(yī)學(xué)成像、工業(yè)檢測、娛樂和虛擬現(xiàn)實。然而圖像傳感器只能實現(xiàn)2D圖像的采集，此時直接成像不能實現(xiàn)3D物體的重建。而結(jié)合計算成像技術(shù)，比如Tomography即可實現(xiàn)物體的3D信息重構(gòu)。

信息“所見非所得”場景：

在某些成像技術(shù)中，如X射線斷層掃描（CT）或磁共振成像（MRI），原始數(shù)據(jù)通常是一系列投影或測量值，需要通過算法重建出最終的圖像。還有在背景噪聲大、運動模糊、背景干擾等場景，直接采集的信號并非原始信號，需要進行計算成像處理將原始信號進行恢復(fù)，對應(yīng)技術(shù)包括自適應(yīng)光學(xué)、高速攝影成像，計算降噪等。這一原理也可以反向用于信息加密、隱身、全息等領(lǐng)域。

4. 信息“冗余”場景：

在部分場景，原始圖像中冗余信息較多，如果直接采集會導(dǎo)致存儲和能耗的浪費，此時引入壓縮感知相關(guān)的計算成像算法，可以實現(xiàn)數(shù)據(jù)量的減少和硬件需求的降低。

正如上面討論光譜儀所探討的，沒有完美的技術(shù)和完美的方案，當在某些場景下，某個技術(shù)的優(yōu)勢或者帶來的利益足夠彌補為其所需付出的代價時，這個技術(shù)就具備發(fā)展的潛力和推動的意義。正如計算成像，在上述四種場景下，其相比傳統(tǒng)的直接成像就具備綜合對比下的性價優(yōu)勢。

下圖圖表展示了成像系統(tǒng)變得不可或缺的眾多領(lǐng)域。其中生物領(lǐng)域的成像涉及到諸多傳統(tǒng)成像方法不可見或者不可建的場景，比如細胞成像、超聲成像、MRI等。鬼成像則可以用以解決實現(xiàn)信息冗余問題。

圖片來源：Fourier Optics and Computational Imaging

計算成像雖然缺乏觀測的直接性，引入了計算過程也帶來一定的黑盒性，但是計算成像利用先進的算法和計算技術(shù)實現(xiàn)了更多維度信息的獲取，整合、處理、增強圖像的質(zhì)量和信息內(nèi)容，同時也降低了對硬件的要求。目前，計算成像領(lǐng)域的研究和應(yīng)用正在不斷擴展，它為傳統(tǒng)成像技術(shù)提供了新的視角和可能性，同時也帶來了新的挑戰(zhàn)，如算法的復(fù)雜性、計算資源的需求以及數(shù)據(jù)的安全性和隱私保護。