Stand on the shoulders of giants

해당 논문은 다음과 같은 사실에서 contribution을 가진다. 1) unconditionial DDPM pre-trained on ImageNet을 활용2) Randomly initialized된 Degradation parameter들을 optimize 3) Hierarchical guidance and patch-based methods 4) 매 스텝마다 temporary output을 예측5) single/multiple linear inverse task들을 다룰 수 있음PreliminaryDDPMsForward ProcessBackward Processxt에서 x0 tilde를 구하면 이들을 기반으로 평균과 분산을 구해 다음 값인 x_{t-1}을 예측하는 방향으로 프로세스가 진행된다.  G..

본 논문에서는 diffusion sampling framework안에서 data term과 prior term을 나누어 반복적으로 해결해나감으로써 Image Restoration을 수행하고자한다.data term = 다양한 degradation operator H를 사용해 다양한 degradation model들을 다룸prior term = Plug-and-play denoiser prior로 off-the-shelf diffusion model을 사용1. IntroductionPlug-and-play Image Restoration은 Alternating Direction Method of Multipliers(ADMM), HQS 과 같은 splitting algorithms 덕분에 iterative ..

Introduction 본 논문은 Image restoration(IR)에서의 linear inverse problems를 해결하기 위해 제안된 unsupervised posterior sampling 방법론으로, pre-trained denoising diffusion generative model을 활용한다.  학습된 priors에 기반한 unsupervised 접근들의 경우 재학습 없이 새로 주어지는 문제에 adapt할 수 있기에 supervised보다 desirable하다. signal을 복원하기위해 보통의 방법론들은 아래 과정을 따른다.[1] Prior-related terms over the signalNeural network를 통해 distribution 등의 정보 획득degradation..

[2024/07/01] Image Restoration 연구 과정에서 연구 흐름을 recap하고자 해당 survey를 읽게 되었습니다. 아래 내용은 세부적인 내용은 포함하고있지 않으며 흐름을 파악하기 위한 용도로 작성되었습니다. (원문 :  https://arxiv.org/abs/2308.09388)  Introduction이전에 sptial/freqeuncy관점에서 hand-crafted 알고리즘들이 제안되었지만 여전히 texture generation에 한계가 존재했다.이후 GAN이 등장하면서 MSE loss 등의 pixel-wise loss외에 adversarial loss를 함께 사용하게되었다.GAN-based IR의 한계점Mode corruption, Unstable optimization (m..

Main IdeaKeyword : Fourier transformation을 이용한 image restorationFourier transform을 사용하면general image restoration prior를 줄 수 있음.image degradation을 disentangle할 수 있음.global properties + intrinsic priorDFT 특성 👍Amplitude component가 결정적이기때문에, amplitude와 phase component를 swap하면 degradation이 clear version으로 transferred됨.degradation은 주로 amplitude component에서 일어나고 이때 fourier transform을 사용해 image degrada..