SISR - DeepLearning

# https://sofar-sogood.tistory.com/entry/SRCNN-Image-Super-Resolution-Using-Deep-Convolutional-Networks-ECCV-14

# https://jaejunyoo.blogspot.com/2019/05/deep-learning-for-SISR-survey-1.html

# https://hyuna-tech.tistory.com/entry/%EA%B8%B0%EC%B4%88%EA%B0%9C%EB%85%90-SISR-%EB%B6%84%EC%95%BC-%EB%85%BC%EB%AC%B8-%EC%9D%B4%ED%95%B4%EB%A5%BC-%EC%9C%84%ED%95%9C-%EC%9A%A9%EC%96%B4-%EC%A0%95%EB%A6%AC

 

Image Super Resolution : 컴퓨터 비전 분야에서 이미지의 해상도를 좋게 하는 영상 처리 기술

 

SISR(Single Image Super Resolution) : 한 장의 저해상도 이미지를 가지고 고해상도 이미지를 만들어내는 low level vision

 

SISR 문제를 풀 때 Low Resolution을 High Resolution으로 키우는 행위는 필수적.

 

SR 문제를 푸는 알고리즘은 크게 4종류

- Prediction models

- Edge based methods

- Image Statistical methods

- Example[Patch] basesd method

 

이 중 Example basesd method가 SOTA(State of the arts=현재 최고 수준의 결과)

이 방식은 이미지 내에서 비슷한 특징을 찾고 이를 이용해 patch를 만들고, LR 이미지에서 추출한 patch를 high dimenstional feature vector로 표현

 

 

SRCNN

SISR 분야에 최초로 CNN을 적용한 연구

매우 적은 channel과 layer 갯수를 가진 매우 작은 network

 

이후 나온 CNN을 사용하는 SISR methods는 대부분 SRCNN의 단점을 보완하는 방식으로 발전함

<SISR model category>

a) Residual learning

대표적 모델: VDSR(Very Deep SR)

처음으로 SISR에 학습가능한 깊은 모델을 제안

VGG 네트워크 구조를 차용하여 20개의 layer를 학습

Residual learning 방법을 제안.

-> 학습이 LR 이미지에서 HR 이미지로 mapping하도록 하는 것이 아닌 bicubic upsampled LR 이미지와 HR 이미지의 잔차(residual) 혹은 noise를 학습하는 방식을 제안.(Resnet의 residual과는 약간 다름)

 

b) Recursive learning

 

c) Channel attention

 

d) Dense connections

 

e) Local multi-path learning

 

f) Scale-specific multi-path learning

 

g) Group convolution

 

h) Pyranmid pooling