墻也能變?yōu)?ldquo;鏡子”?拐角處的物體也能成像?

　　畢業(yè)于美國西北大學(xué)的李馮強博士，在幾天前與合作者在NatureCommunications發(fā)表的論文中[1]，詳細介紹了所涉及的主要技術(shù)——合成波長(cháng)全息術(shù)。

　　圖 | 李馮強(來(lái)源：李馮強)

　　借助該技術(shù)可對拐角處成像，當駕車(chē)穿過(guò)山口或蜿蜒曲折道路時(shí)，可通過(guò)顯示附近看不見(jiàn)的其他車(chē)輛或動(dòng)物，來(lái)防止交通事故的發(fā)生。

　　(來(lái)源：Nature Communications)

　　這就好比汽車(chē)行走在彎道時(shí)，在墻上安裝了一面虛擬鏡子，哪怕你的視線(xiàn)被擋住，依然能看到其他地方來(lái)的車(chē)輛。

　　另外由于是主動(dòng)成像，該技術(shù)可在夜晚甚至有霧情況下工作。其次，也可用做工業(yè)檢測，在無(wú)需拆卸的情況下，即可對設備內部進(jìn)行高精度成像和檢修。

　　另一個(gè)應用是醫學(xué)成像領(lǐng)域，由于該技術(shù)可對透過(guò)散射介質(zhì)成像，因此可以對皮膚下組織比如毛細血管進(jìn)行非侵入式高精度成像，甚至可以對胸腔中跳動(dòng)的心臟成像。

　　圖 | 相關(guān)論文(來(lái)源：Nature Communications)

　　本科畢業(yè)于華中科大，目前在蘋(píng)果公司工作

　　來(lái)自于湖北荊門(mén)的李馮強博士，本科畢業(yè)于華中科技大學(xué)光電信息工程專(zhuān)業(yè)，碩士就讀于美國里海大學(xué)電子工程專(zhuān)業(yè)，2020 年在美國西北大學(xué)取得計算機科學(xué)的博士學(xué)位，期間主要從事計算成像方面的工作。在攻讀博士期間，李博士和萊斯大學(xué)、威斯康辛麥迪遜大學(xué)、南衛理公會(huì )大學(xué)、阿貢國家實(shí)驗室，以及大連海事大學(xué)的趙明博士有廣泛的合作。

　　李博士目前就職于蘋(píng)果公司，從事三維計算機視覺(jué)方面的算法研發(fā)工作。來(lái)到蘋(píng)果之前，他曾在谷歌 X 實(shí)驗室和 Facebook Reality Labs 分別實(shí)習過(guò)，期間進(jìn)行機器視覺(jué)和 AR/VR 的研究工作。本次發(fā)表的論文，是他讀博期間的代表作。

　　他表示，該研究是對位于遮擋或者散射介質(zhì)后的物體進(jìn)行成像，也可稱(chēng)為非視線(xiàn)成像。與之前的非視線(xiàn)成像技術(shù)相比，該方法能以亞毫米的精度，快速捕獲大面積的全場(chǎng)圖像。

　　(來(lái)源：Nature Communications)

　　之前大部分非視線(xiàn)成像技術(shù)是基于飛行時(shí)間傳感技術(shù) (time-of-flight)，這類(lèi)非視線(xiàn)成像需要通過(guò)振鏡掃描來(lái)捕獲全場(chǎng)圖像，這種基于機械掃描的方式不僅耗時(shí)，而且也限制了圖像的分辨率。

　　另外一些基于記憶效應 (memory effect) 的非視線(xiàn)成像技術(shù)，雖然擁有較小的探測區域、以及出色的空間分辨率，但是這些技術(shù)的掃描視角極小一般在 2 度以下，故此這類(lèi)技術(shù)在應用上會(huì )受到限制。

　　而該研究提出的非視線(xiàn)成像技術(shù)是基于合成波長(cháng)全息術(shù) (synthetic wavelength holography)。由于光波的波長(cháng)較短大約有幾百個(gè)納米，當光波照射到粗糙的墻面的時(shí)候，會(huì )發(fā)生散射效應，從而導致光波平面被破壞，也就無(wú)法得到光波所攜帶的物體結構的信息，因為這些信息很難被解碼。

　　如果波長(cháng)變長(cháng)的話(huà)，波平面就會(huì )不容易被破壞，甚至可以穿透墻體成像比如聲波。從物理課中我們知道，當兩個(gè)頻率相近但不同的聲波發(fā)生干涉時(shí)，會(huì )得到一個(gè)頻率是原先兩個(gè)聲波頻率之差的聲波，這個(gè)頻率之差的絕對值被稱(chēng)為差頻 (beat frequency)。

　　而合成波長(cháng)全息術(shù)正是基于這一想法，通過(guò)兩束頻率相近的激光光束，來(lái)得到一個(gè)頻率低和波長(cháng)較長(cháng)的(cm)的光波，這樣即可實(shí)現把墻面變“鏡面”，從而對拐角處的物體成像，以及穿透散射介質(zhì)后的對物體進(jìn)行成像。

　　在非視線(xiàn)成像中，基于合成波長(cháng)全息術(shù)可使用更小的探測區域、更大的角度視場(chǎng)、以及更高的空間分辨率。同時(shí)在成像系統中，使用焦平面陣列相機還可避免之前研究中的機械掃描，從而獲得更高的時(shí)間分辨率，這樣就能具備對移動(dòng)目標的成像能力。

　　(來(lái)源：Nature Communications)

　　盡管這項工作目前還處于研究階段，但其具有很多潛在的應用。我們知道在平常拍照時(shí)，相機只能記錄暴露在相機視場(chǎng)的物體信息而無(wú)法記錄被物體遮擋的信息。而非視線(xiàn)成像正是打破這一限制。

　　舉例來(lái)說(shuō)，通過(guò)門(mén)縫可以看到房間里的信息，這是因為光線(xiàn)存在彎折。如果用傳統相機拍照的話(huà)，則無(wú)法通過(guò)門(mén)縫看到房里面的信息，這時(shí)就可借助該技術(shù)通過(guò)門(mén)縫也能看到房間內所有物體的信息。

　　另外以汽車(chē)預警導航為例，汽車(chē)駕駛在彎道時(shí)通常會(huì )放置一個(gè)曲面鏡。這樣就可看到對面方向來(lái)的車(chē)，從而避免交通事故。非視線(xiàn)成像的實(shí)現起到類(lèi)似的作用，假設車(chē)輛行走在道路蜿蜒時(shí)看不到前方的車(chē)，借助拐角成像，就可在拐角處看到平常用相機拍不到的信息，進(jìn)而看到彎道后面的車(chē)輛信息，最終實(shí)現避免交通事故的發(fā)生。

　　再比如說(shuō)，通過(guò)一面墻看到墻拐角的物體地方，我們可以把墻面理解成一個(gè)散射介質(zhì)，這時(shí)使用傳統相機無(wú)法透過(guò)墻面這一散射介質(zhì)看到拐角信息。但是，因為該研究帶來(lái)的合成波長(cháng)足夠長(cháng)，墻面帶來(lái)散射影響并不是很大，所以墻面就能變成一個(gè)反射鏡。

　　對于透射介質(zhì)來(lái)說(shuō)，比如通過(guò)皮膚看皮下組織信息時(shí)，我們可以把皮膚看作是一個(gè)遮擋物，它會(huì )阻礙相機對皮下組織的成像，但是該研究提出的合成波由于波長(cháng)足夠長(cháng)，使其可穿過(guò)遮擋物對皮下組織進(jìn)行成像。

　　(來(lái)源：Nature Communications)

　　研究靈感基于此前發(fā)表在頂會(huì )的論文

　　據介紹，這項研究由李博士的同事弗洛里安·威洛米策(Florian Willomitzer)博士領(lǐng)導，李博士作為共同作者參與了整個(gè)項目的研發(fā)，包括項目論證以及理論分析，實(shí)驗平臺搭建以及實(shí)驗，實(shí)驗結果分析和討論，重建算法開(kāi)發(fā)等，其博士導師西北大學(xué)計算機科學(xué)副教授奧利弗·科薩特(Oliver Cossairt)則負責指導該研究。

　　圖 | 西北大學(xué)的研究者(來(lái)源：李馮強)

　　這項研究的靈感，來(lái)自該團隊在飛行時(shí)間三維成像技術(shù)的工作。之前，該團隊通過(guò)使用合成光波實(shí)現了對大尺度的物體高精度的三維掃描，相關(guān)論文發(fā)表在IEEEInternational Conference on Computational Photography (ICCP)2018和IEEETransactions on Pattern Analysis and Machine Intelligence 2021。李博士作為第一作者和通訊作者領(lǐng)導了這兩項工作。

　　(來(lái)源：Nature Communications)

　　與此同時(shí)由于是計算成像，該研究涉及到各種交叉學(xué)科，包含物理建模，光學(xué)設計，電子器件的耦合控制，數據的采集及處理，以及圖形處理和重建及優(yōu)化算法開(kāi)發(fā)。

　　在本次研究中，該團隊先是跟南衛理公會(huì )大學(xué)幾位合作者進(jìn)行了理論分析，接著(zhù)進(jìn)行仿真模擬實(shí)驗，模擬在不同的粗糙墻面單波長(cháng)和合成波長(cháng)的反射以及散射效應，并且開(kāi)發(fā)了二維和三維重建算法。

　　通過(guò)模擬實(shí)驗，該團隊更深一步地理解了在整個(gè)成像過(guò)程中的物理效應和原理。最后，李博士等人進(jìn)行實(shí)際實(shí)驗論證、搭建實(shí)驗平臺、開(kāi)發(fā)實(shí)驗采集、數據處理以及重建算法，并在不同的非視線(xiàn)成像情況 包括拐角處以及散射介質(zhì)后，對物體進(jìn)行成像。

　　(來(lái)源：Nature Communications)

　　相比于之前的研究，該團隊提出了一種全新的非視線(xiàn)成像的解決方案，審稿人也給出了積極評價(jià)，對于研究結果也很興奮。

　　(來(lái)源：Nature Communications)

　　據李博士介紹，他們在研究中也遇到了一些困難。他表示在實(shí)驗驗證時(shí)碰到和解決各種工程問(wèn)題，很多問(wèn)題在模擬仿真中并未被注意到。

　　比如，實(shí)驗平臺搭好以后發(fā)現得到的合成波長(cháng)全息圖非常的弱，排查了所有硬件和處理算法后，發(fā)現是參考光和物光的強度不匹配，通過(guò)調整參考光的強度，他們最終順利得到了預想中的合成波長(cháng)全息圖。

　　對于該研究的后續工作，據李博士介紹，該團隊計劃在圖像采集速度，成像質(zhì)量，圖像處理上進(jìn)一步提高。同時(shí)在系統集成上，該團隊也希望使整體系統更加小型和輕便化。

　　-End-

點(diǎn)擊進(jìn)入莞訊網(wǎng)首頁(yè)>>