[paper review] Fourmer: An Efficient Global Modeling Paradigm for Image Restoration

Main Idea

• Keyword : Fourier transformation을 이용한 image restoration
• Fourier transform을 사용하면
  • general image restoration prior를 줄 수 있음.
  • image degradation을 disentangle할 수 있음.
  • global properties + intrinsic prior
  • DFT 특성 👍
    • Amplitude component가 결정적이기때문에, amplitude와 phase component를 swap하면 degradation이 clear version으로 transferred됨.
    • degradation은 주로 amplitude component에서 일어나고 이때 fourier transform을 사용해 image degradation과 content를 분리하자.
    • (degraded와 clear version의 이미지의 amplitude와 phase components를 swap하면 확인가능)
• core design(*key design principal ; spatial interaction + channel evolution)
• = Fourier spatial interaction modeling + Fourier channel evolution

Related Works

• solving single image restoration problem

1. Traditional optimization methods

• dark channel prior, historgram dist prior 드을 사용했음
• (-) iteration optmization 사용하므로 $$

2. Deep learning-based methods

• VDSR, DnCNN, ARCNN
• CNN 기반 방법론
• (-) locality property로 image storation에 치명적.

3. Fourier Transformation for global modeling

• 기존 = global property + micro basic operator w/ global receptive field
• 본 논문 = 복원에 fit한 intrinsic prior + macro framework design

Method

• Fourier Transform (+ Inverse Fourier Transform)
• : Fourier Transform F를 통해 HxWxC의 이미지를 Fourier space로 옮김.

  

      ⇒ Amplitude component, phase component (A, P) 계산 (channel-wise)

Overview

• 1 stage 구성
  • FPE Block
  • Down Sampling
• Optimization flow
  • spatial domain loss : L1 loss (Lspa)
    • Network의 output인 H0와 ground-truth image GT pixel-level 차

      

    • requency domain loss (Lfre)
      • DFT 써서 H0와 GT 각각을 Fourier space로 convert.

        

 

FPE(Fourier Prior Embedded block) 구체적 설명

1. Fourier Spatial Interaction
   1. input = spatial image → F → real/imaginary components

      

   2. depth-wise로 cnn & reLU 적용

      

   3. inverse DFT 적용해 다시 spatial domain으로 변환

      

   4. 얘네들을 concatenate해서 X_s 생성, 이때 the spatial features processed by a half-instance normalization block, resulting in the final output, S_X발생 (https://deepkerry.tistory.com/30, HINet)

 

2. Fourier Channel Evolution

1. 위 Spatial interaction으로 나온 Sx를 decomposing해서 C_R, C_I 생성 (real, imaginary)
2. concat하고, conv 1x1과 ReLU 넣어서 결과 구하기.

   

3. inverse DFT로 다시 spatial domain으로 변환

   

Experiment

Dataset

• Low-light image enhancement = LOL, Huawei
• Image De-raining = Rain100H, Rain100L
• Image Dehazing = RESIDE
• Guided image super-resolution = worldview 2, 3, GaoFen2

Evaluation Metrics

• IQA
  • ERGAS, PSNR, SSIM, SAM

Results

• GPPNN의 basic block을 FPE Blocks로 바꿨을때 이득이었음.
• FSI와 FCE를 둘다 쓸때 가장 좋았음
• 정의한 Loss텀이 효과적이었음.

Appendix

HINet: Half Instance Normalization Network for Image Restoration

• instance normalization을 직접적으로 써서 image restoration task의 개선을 이끌어내자.
• U-Nets 구조의 multi-stage 방식

  

• Half Instance Normalization Block =  image의 patch가 작은 low-level task에서 batch normalization 사용시 train/inference 차이때문에 잘안쓰고 그대신 Instance normalization을 씀으로써 학습/추론을 동일하게 적용한다. (정보 보존 큼)

  

input → conv로 나온 Fmid에서 한쪽 part에만 IN을 적용, 나머지 한쪽은 channel 정보들 보존

(ref = https://deepkerry.tistory.com/30 )

 

date : 2024/3/6