Segmentation Network

Keyword : 모바일 시스템에서 동작, 실시간 구현, Real-time Sematic Segmentation

# 딥러닝 경량화 기술 동향 : https://sotudy.tistory.com/12?category=795081

---

# https://kuklife.tistory.com/120

# https://eda-ai-lab.tistory.com/545

# https://eremo2002.tistory.com/120

# https://github.com/younnggsuk/younnggsuk.github.io/blob/main/_posts/2021-02-14-segnet_a_deep_convolutional_encoder_decoder_architecture_for_image_segmentation.md

# https://cool24151.tistory.com/92

 

 

Seg-Net(2016)

자율주행을 위한 Scene Understanding을 목적으로 개발된 모델

- 구성

Encoder Network : VGG16 13개의 convolution layer와 fc layer는 제거하여 학습 파라미터 수를 줄임. 

Decoder Network : 13개의 conv와 max pooling indices(위치 정보)를 이용해 비선형 upsampling 수행

Multi-Class Softmax Layer : 각 픽셀을 독립적으로 분류

- 특징

Memory와 inference time에서 효율적이도록 함. 

모델의 학습 파라미터 수를 줄임. 

Decoder Network의 End to End 구조

- 장점

Decoder Network의 구조적 장점으로 속도 향상 및 경계 묘사 향상

Memory & Accuracy 사이의 trade-off에서 FCN, DeepLab-LargeFOV, DeconvNet 보다 좋은 퍼포먼스를 낸다.

road scene segmentation, indoor scene segmentation task에서 더 좋은 성능을 보임. 

- 단점

 

---

# https://modulabs-biomedical.github.io/U_Net

 

 

U-Net(2015)

 

- 구성

Convolution Encoder에 해당하는 Contracting path에서는 context를 캡쳐하고, Decoder에 해당하여 대칭적인 구조를 이루는 Expanding path에서는 정교한 localization을 가능하게 함.

 - 특징

Expanding Path에서 Upsampling을 할 때 좀 더 정확한 localization을 하기 위해 Contracting path의 feature를 copy&crop하여 concatenate한다.

SegNet과 다른 점은 Pooling Indices를 사용하는 대신 전체 feature map이 encoder에서 decoder로 전송된 다음 연결하여 Convolution을 수행한다. 이는 모델을 더 크게 만들며 더 많은 메모리 사용을 하게 된다.

 

- 장점

 

- 단점

네트워크가 각 패치(로컬 영역)에 대해 개별적으로 실행되어야하고, 패치가 겹쳐 중복성이 많아 상당히 느리다.

localization과 context 사이의 trade-off가 있는데, 큰 사이즈의 패치들에서는 많은 maxpooling을 해야해서 localization의 정확도가 떨어질 수 있고, 작은 사이즈의 패치들에서는 협소한 context만 볼 수 있다. 

---

# https://ichi.pro/ko/geomto-v-net-volumetric-convolution-biomedical-image-segmentation-187010856692084

# https://baekseokjeong.tistory.com/17

# 

 

 

V-Net

 

- 특징

- 장점

- 단점

 

---

# https://deep-learning-study.tistory.com/528

# https://ysbsb.github.io/cnn/2020/02/12/DenseNet.html

# https://www.microsoft.com/en-us/research/blog/high-resolution-network-a-universal-neural-architecture-for-visual-recognition/?OCID=msr_blog_hrnet_cvpr_tw 

# https://velog.io/@hanovator/Deep-High-Resolution-Representation-Learning-for-Human-Pose-Estimation

 

 

Dense-Net(2017)

- 구성

모든 레이어의 피쳐맵을 연결. 이전 레이어의 피처맵을 그 이후 모든 레이어의 피처맵에 연결하는 구조. 

- 특징

다양한 레이어의 피처맵을 연결하여 정규화 효과를 냄.

- 장점

기울기 소설 문제 완화

파라미터 수와 연산량이 적음

- 단점

 

 -> PDV(Progressive Dense V) Net

---

# https://github.com/HRNet/HRNet-Semantic-Segmentation

# https://velog.io/@hanovator/Deep-High-Resolution-Representation-Learning-for-Human-Pose-Estimation

# https://github.com/HRNet

 

 

HR-Net

- 특징

- 장점

- 단점

 

---

# https://deep-learning-study.tistory.com/532

# https://yunmorning.tistory.com/58

# https://gaussian37.github.io/dl-concept-mobilenet/

# https://minimin2.tistory.com/42?category=827788  - MobileNet V1

# https://minimin2.tistory.com/43?category=827788  - MobileNet V2

 

Mobile Net(2017)

모바일기기에서 서빙이 가능하도록 경량화에 집중한 모델

- 구성

Depthwise separabke convolution 구조를 사용

마지막 FC layer를 제외하고 모든 레이어에 BN, ReLU를 사용. 

모델의 latency와 accuracy를 조절하는 두 개의 파라미터 Width Multiplier, Resolution Multiplier가 있음.

- 특징

공간 방향의 Depthwise convolution과 채널 방향의 Pointwise convolution을 따로 수행하여 합치는 방식.   

pooling layer를 따로 사용하지 않고 convolution의 stride를 2로 잡아 차원 축소 및 정규화의 효과를 낸다.

- 장점

파라미터량을 획기적으로 줄였음에도 VGG16에 비해 크게 떨어지지 않는 성능. 

Depthwise separabke convolution 구조로 때문에 기존 conv 연산량 보다 8~9배 적음

- 단점

 

 

 

 

 

 

 

 

 

# https://koreapy.tistory.com/583

(MRI 및 영상진단 AI) MRI에 초점을 맞춘 의료 영상의 딥러닝 개요 An overview of DeepLearning focusing on MRI

# https://go-hard.tistory.com/118?category=827120 

[Part 1] Image Segmentation Using Deep Learning, A survey

# https://heartbeat.fritz.ai/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc

A 2019 Guide to Semantic Segmentation

# https://nanonets.com/blog/semantic-image-segmentation-2020/

A 2021 guide to Semantic Segmentation

# https://neptune.ai/blog/image-segmentation-in-2020

Image Segmentation in 2021: Architectures, Losses, Datasets, and Frameworks | Neptune Blog

# https://paperswithcode.com/task/real-time-semantic-segmentation

Papers with Code - Real-Time Semantic Segmentation

# https://www.sciencedirect.com/science/article/pii/S0167865521000234?via%3Dihub 

Deep learning for real-time semantic segmentation: Application in ultrasound imaging

# https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5886811/