?圖像修復(fù)是一種計算機視覺技術(shù)，其中可以填充圖像中缺少的像素。它通常用于從圖像中刪除不需要的對象或重新創(chuàng)建被遮擋的圖像的缺失區(qū)域。修復(fù)是預(yù)測缺失圖像數(shù)據(jù)的常用工具，但是以逼真的，連貫的方式合成缺失像素是一項挑戰(zhàn)。



東京大學(xué)的研究人員提出了一種基于頻率的修復(fù)方法，該方法可以同時使用頻率和空間信息來生成缺失的圖像部分。Hiya Roy等人在《電子成像雜志》（JEI）上發(fā)表。“Image inpainting using frequency domain priors”中詳細介紹了該技術(shù)。當(dāng)前的方法在學(xué)習(xí)過程中僅采用空間域信息，這可能會使內(nèi)部重建的細節(jié)丟失，從而導(dǎo)致僅估計原始補丁的低頻部分。為了解決該問題，研究人員研究了基于頻率的圖像修復(fù)，并證明了在頻域中將修復(fù)轉(zhuǎn)換為反卷積可以預(yù)測缺失圖像區(qū)域的局部結(jié)構(gòu)。



CelebA數(shù)據(jù)集上不同圖像修復(fù)方法的語義特征完成結(jié)果的視覺比較。



a）輸入具有缺失區(qū)域的圖像，b）作者的反卷積網(wǎng)絡(luò)進行的第一階段重構(gòu)的DFT，c）擬議方法的圖像修復(fù)結(jié)果（第二階段之后），以及d）地面真實（GT）圖像。最后一列顯示了通過新方法獲得的缺失區(qū)域的預(yù)測以及GT圖像中相同區(qū)域的原始像素值。



羅伊說，頻域信息包含豐富的表示形式，使網(wǎng)絡(luò)能夠以比僅使用空間域信息的傳統(tǒng)方式更好的方式執(zhí)行圖像理解任務(wù)。因此，在這項工作中，我們嘗試通過使用頻域和空間域信息來訓(xùn)練網(wǎng)絡(luò)來實現(xiàn)更好的圖像修復(fù)性能。



歷史上，圖像修復(fù)算法分為兩大類?；跀U散的圖像修復(fù)算法嘗試將圖像的外觀復(fù)制到缺失區(qū)域中。這種方法可以很好地填充小孔，但是結(jié)果的質(zhì)量會隨著孔大小的增加而降低。第二類是基于補丁的修補算法，該算法在圖像中尋找最合適的補丁以填充缺失的部分。此方法可以填充較大的孔，但對圖像的復(fù)雜或獨特部分無效。



這項研究的獨創(chuàng)性在于作者在去卷積網(wǎng)絡(luò)的修復(fù)的第一階段就使用了頻域表示，即通過快速傅里葉變換獲得的圖像頻譜。波爾多大學(xué)，JEI高級編輯表示，這產(chǎn)生了捕獲圖像結(jié)構(gòu)元素的粗糙修復(fù)結(jié)果。然后，通過GAN網(wǎng)絡(luò)在像素域中完成了改進。在所有質(zhì)量指標(biāo)（PSNR，SSIM和L1）上，他們的方法都優(yōu)于最新技術(shù)。



Roy及其同事表明，在頻域中進行反卷積可以使用來自圖像的上下文來預(yù)測圖像結(jié)構(gòu)的缺失區(qū)域。在第一階段，他們的模型使用頻域信息學(xué)習(xí)上下文，然后重建高頻部分。在第二階段，它使用空間域信息來指導(dǎo)圖像的配色方案，然后增強在第一階段中獲得的細節(jié)和結(jié)構(gòu)。結(jié)果是更好的修復(fù)效果。



Roy等人說，實驗結(jié)果表明，通過生成更清晰的細節(jié)和感知上逼真的修復(fù)效果，我們的方法可以在具有挑戰(zhàn)性的數(shù)據(jù)集上取得比最新技術(shù)更好的結(jié)果。 根據(jù)我們的經(jīng)驗結(jié)果，我們認為同時使用頻率和空間信息的方法應(yīng)具有優(yōu)勢，因為它們具有優(yōu)越的性能。



該小組希望他們的研究成為跳板，以擴展其他類型的頻域變換的使用，以解決諸如圖像去噪之類的圖像恢復(fù)任務(wù)。

原文鏈接：https://www.xianjichina.com/special/detail_479765.html
來源：賢集網(wǎng)
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。