Stand on the shoulders of giants

해당 논문은 다음과 같은 사실에서 contribution을 가진다. 1) unconditionial DDPM pre-trained on ImageNet을 활용2) Randomly initialized된 Degradation parameter들을 optimize 3) Hierarchical guidance and patch-based methods 4) 매 스텝마다 temporary output을 예측5) single/multiple linear inverse task들을 다룰 수 있음PreliminaryDDPMsForward ProcessBackward Processxt에서 x0 tilde를 구하면 이들을 기반으로 평균과 분산을 구해 다음 값인 x_{t-1}을 예측하는 방향으로 프로세스가 진행된다.  G..

본 논문에서는 diffusion sampling framework안에서 data term과 prior term을 나누어 반복적으로 해결해나감으로써 Image Restoration을 수행하고자한다.data term = 다양한 degradation operator H를 사용해 다양한 degradation model들을 다룸prior term = Plug-and-play denoiser prior로 off-the-shelf diffusion model을 사용1. IntroductionPlug-and-play Image Restoration은 Alternating Direction Method of Multipliers(ADMM), HQS 과 같은 splitting algorithms 덕분에 iterative ..

Introduction해당 논문에서는 one-stage detector인 YOLOv5와 domain adaptiation을 결합해 cross-domain detection 성능을 개선할 수 있는 semi-supervised domain adaptive YOLO를 제안했다.ContributionsDAOD 문제를 해결할 수 있는 novel한 SSDA-YOLO를 제안함Penalty function인 distillation loss, consistency loss를 새롭게 제안해 성능을 개선시킴.저명한domain transfer 실험들에서 성능 개선Outdated detector인 Faster R-CNN과 비교했을때 발전된 Detector가 DAOD 필드에 필요함을 보임.Related Works1) Object..

Main Idea 대부분의 IR work들은 linear inverse problems에 집중한 반면, 본 논문은 posterior sampling을 통해서 noisy한 (non)linear inverse problems를 다룰수 있는 diffusion solver를 제안한다. 이를 통해 Gaussian이나 푸아송과 같은 여러가지 measurement noise statistics를 해결할 수있고, 그 외에 fourier phase retrival과 non-uniform deblurring과 같은 nonlinear inverse problem들을 효과적으로 다룰 수 있게 했다는 점에서 의미가 있다  IntroductionInverse problems를 해결하기 위해서 diffusion models를 통해..

본 논문에서는 reverse process를 Gaussian noise에서 시작하지 않고 single forward diffusion에서 시작해 sampling steps를 상당히 줄일 수 있음을 보였다.  IntroductionDiffusion models는 forward diffusion process를 t=0에서 시작해 t=T까지 점진적으로 노이즈를 더하고 reverse diffusion process에서 trained score function을 활용해 t=T에서 t=0까지 점진적으로 denoising해 샘플을 생성한다.Diffusion model들의 문제점은 sampling하기 너무 느리다는 점이다. 해당 문제를 해결하기 위한 Unconditional generative models에 대한 기존..

Introduction 본 논문은 Image restoration(IR)에서의 linear inverse problems를 해결하기 위해 제안된 unsupervised posterior sampling 방법론으로, pre-trained denoising diffusion generative model을 활용한다.  학습된 priors에 기반한 unsupervised 접근들의 경우 재학습 없이 새로 주어지는 문제에 adapt할 수 있기에 supervised보다 desirable하다. signal을 복원하기위해 보통의 방법론들은 아래 과정을 따른다.[1] Prior-related terms over the signalNeural network를 통해 distribution 등의 정보 획득degradation..

Introduction기존 DDPM은 같은 initial state에서 시작하더라도 비일관된 high-level semantics를 기반으로 stochastic하게 이미지를 생성하기때문에 control하기가 어렵다.Learning-free method이자 generation process에서 각 transition이 reference image를 이용해서 refine되는 모델을 구상하였다. Reference image를 활용해서 coarse ~ fine information 범주로 semantics를 sharing할 수 있도록 하였다.  Contributions Generative process의 각 잠재 변수를 주어진 reference image의 것으로 matching함으로써 refine한다.User..

[2024/07/01] Image Restoration 연구 과정에서 연구 흐름을 recap하고자 해당 survey를 읽게 되었습니다. 아래 내용은 세부적인 내용은 포함하고있지 않으며 흐름을 파악하기 위한 용도로 작성되었습니다. (원문 :  https://arxiv.org/abs/2308.09388)  Introduction이전에 sptial/freqeuncy관점에서 hand-crafted 알고리즘들이 제안되었지만 여전히 texture generation에 한계가 존재했다.이후 GAN이 등장하면서 MSE loss 등의 pixel-wise loss외에 adversarial loss를 함께 사용하게되었다.GAN-based IR의 한계점Mode corruption, Unstable optimization (m..

Main ideaFocal detection network + fast/light-weight suppression head(based on CSP)Focal detection network ⇒ rpn w/ per pixel center & scale regressionlight suppression head ⇒ detached settings ∴ lightFalse Positive를 줄인다. (by fast suppression)*기존 : RPN + Detection head(bbox heads)Anchor free method*기존: single/multi-stage detectors는 rely on anchorsloss MR-2 in havy occlusion settings  BackgroundP..

Main IdeasFast R-CNN (Fast Region-based Convolutional Network method for object detection)mAP SOTA 달성 (R-CNN, SPPnet보다 우수한 성능)truncated svd를 사용하여 학습 시간은 줄이면서(Speed up 하면서) mAP를 거의 유지했다.RoI (max) pooling layerhxw ROI window를H x W grid가 되도록 h/H x w/W 크기의 sub windows로 나눈다.pooling을 각 feature map별로 진행spatial pytamid pooling layer의 원리(SPPnet)를 따르고 있다. Initializing from pre-trained networksFast R-CNN을 ..