-
실제 사람이 이미지를 인식할 때 뇌의 일부부만 활성화됨
-
MLP (Multi-Layer Perceptron) 처럼 모든 픽셀을 검토하는 것은 인간의 뇌가 학습하는 방식과 다름
- 인간이 이미지를 인식할 때는 특정한 패턴과 위치적인 정보를 이용함
-
Image를 일렬로 나열하기 보다 2D 상태로 분석해보는 것이 어떨까? → Convolution 개념 등장
- Convolution, Pooling, Fully connected layer
- CNN은 이미지의 위치적인 정보의 특징을 추출할 수 있기에 MLP 보다 인간의 사고방식을 잘 흉내냄
- CNN은 학습을 해가면서 중요한 정보를 강조하고 덜 중요한 정보는 덜 강조하며 발전해 나감
-
AlexNet (2012), VGGNet (2014), GoogLeNet (2014) (Inception), ResNet (2015), DenseNet (2017)
-
ILSVRC (ImageNet Large Scale Visual Recognition Challenge)
-
AlexNet

- activation: ReLU → vanishing gradient problem, GPU implementation (2 GPUs), Data augmentation, Dropout
-
VGGNet: repeated 3x3 block
- 3x3 filter (1 stride) → receptive field 동일해도 # of parameters 줄어듬
- 7x7 필터 한 번 적용 vs 3x3 필터 3번 적용
- 입력에서 볼 수 있는 영역(=receptive field)은 비슷하게 커짐 → 즉, 모델이 보는 "정보의 범위"는 유지
- 7x7 한 번 = "큰 창문 한 장으로 한 번에 풍경 보기"
- 3x3 세 번 = "작은 창문 여러 장을 차례대로 겹쳐서 보지만, 결국 비슷한 풍경 범위를 볼 수 있음. 대신 창문마다 색유리(ReLU)가 있어서 더 다양한 효과를 낼 수 있고, 창문 크기가 작아서 제작비(파라미터)도 줄어듦."
-
GoogLeNet: 1x1 convolution

-
ResNet → skip connection (152 layers)
- Deeper neural networks are hard to train.
- To add an identity map (skip connection = shortcut)
-
DenseNet (2017) → concatenation
- Concatenation instead of addition
- Dense Block → 그 당시로서는 엄청 무거운 모델
-
Segmentation (pixel wise classification)
- Semantic segmentation은 이미지 내에서 픽셀 단위로 객체를 분류해내는 작업
- Fully Convolutional Networks (FCN)
- The first end-to-end (다시 차원이 커져야 한다 = input size만큼 output size를 만들어야함)
- Deconvolution (Transposed Convolution)
- U-Net
- CNN for biomedical image segmentation
- 차원을 줄이고 다시 차원을 늘리는 모델