視力取決于通過角膜、瞳孔和晶狀體等透明組織進入眼睛的光線。當(dāng)光線到達視網(wǎng)膜時，感光器產(chǎn)生信號并通過視神經(jīng)將信號傳輸?shù)酱竽X，從而形成圖像。進入眼睛的一些光被覆蓋在角膜上的高反射性液體薄膜反射回現(xiàn)實世界。

馬里蘭大學(xué)的研究人員能夠捕獲這種反射光并提取周圍環(huán)境的三維模型。在預(yù)印本服務(wù)器arXiv上一篇題為“通過你的眼睛看世界”的論文中，該團隊描述了用于捕獲眼睛反射并使用經(jīng)過專門訓(xùn)練的AI視覺渲染算法NeRF將其轉(zhuǎn)換為連貫3D渲染的方法。

(相關(guān)資料圖)

神經(jīng)輻射場(NeRF)是一種AI神經(jīng)網(wǎng)絡(luò)，可以基于多個2D圖像生成復(fù)雜3D場景的新穎連續(xù)視圖。通常，NeRF可以通過不同角度的幾十張靜態(tài)圖像生成具有足夠深度和細(xì)節(jié)的3D表示，幾乎與可以在物體或空間中移動的視頻沒有區(qū)別。

在馬里蘭州團隊目前的努力中，他們從固定位置的高分辨率相機拍攝的多張圖像開始，聚焦于朝相機看的運動中的個人，其框架類似于護照或駕駛執(zhí)照照片。放大被成像人眼睛中的反射，可以看到視野的鏡像，并且可以識別該區(qū)域中的物體。

圖像中包含各種眼睛偽影、虹膜紋理的復(fù)雜性以及每幅圖像中捕獲的可識別但分辨率較低的反射。為了從圖像中刪除虹膜，通過訓(xùn)練2D紋理圖來執(zhí)行紋理分解，該紋理圖可以學(xué)習(xí)虹膜紋理并將其刪除。

利用所有成年人大致相同的角膜幾何形狀，進行計算以準(zhǔn)確跟蹤他們的眼睛正在看的地方。這還允許確定相機的角度，在彎曲的幾何形狀上繪制圖像的坐標(biāo)，并為NeRFAI設(shè)置觀察方向，以便稍后用于重建3D渲染。盡管角膜位置和幾何估計存在細(xì)微的誤差，但該方法在場景重建中是有效的。

放置在人兩側(cè)(框架外)的區(qū)域燈用于照亮他們面前的感興趣的物體。在拍攝多張圖像時，被拍攝者被要求在相機的視野內(nèi)移動。

在人眼測試該方法時，可以看到圖像的分辨率非常適中，但是是深度映射的3D渲染。

在數(shù)字圖像之前使用假眼的更理想的綜合測試中，通過提高3D映射的分辨率獲得了更明顯的圖像。

第三項測試應(yīng)用該方法從MileyCyrus和LadyGaga的音樂視頻中捕獲眼睛反射圖像，試圖重建他們在拍攝視頻時所觀察到的內(nèi)容。

麥莉·賽勒斯(MileyCyrus)的眼睛圖像似乎是一個LED網(wǎng)格燈，這很合適，因為她在視頻中流著淚，凝視明亮的光線可能有助于達到預(yù)期的效果。在LadyGaga的眼中，有一個可以解釋為三腳架上的相機的東西，但圖像不清楚。

在測試的兩個音樂視頻場景中，搖滾明星主題可能是工作室中唯一光線充足的東西，因為燈光、攝像機和動作都是關(guān)于他們的。在更平常的情況下，比如Zoom通話或一系列自拍帖子，照明可能更有利于收集周圍環(huán)境的信息。

關(guān)鍵詞：