Day 32. Image classification & Semantic segmentation

2021 03 09

image classification
(영상 인식에 대해)

- problem with deeper layers에 대해
0 Alexnet -> VGGNet으로 갈수록 깊어지는데 이를 통해 더 깊을 수록 더 좋은 성능인 것이 밝혀짐
1 하지만 더 깊어질수록 Gradient vanishing/exploding, computationally complex, degradation problem(과거에는 오버피팅 문제였는데 층이 깊어질수록 이 문제가 생김)
2 GoogLeNet: 여러 convolutions을 수평적으로 쌓음 -> 계산복잡도가 높아지기 때문에 1x1 convolutions 사용
3 ResNet: 많이 쌓을수록 좋은 것을 발견함 -> 기존에는 층을 많이 쌓을 수 없었던 문제가 있었음 -> 이전에는 층이 깊어질수록 오버피팅 될 것이라고 생각함(iteration이 커질수록 트레이닝 에러가 작아질 것) -> ResNet 저자들 왈: 네트워크 depth를 더 쌓기 어려운 문제는 오버피팅이 아니다, 최적화가 잘 안된 문제다 -> 해결책: Shortcut connection
- 성능이 좋은 이유: 2^n만큼 인풋과 아웃풋을 연결하는 경우의 수가 있음 -> 중간의 오류를 패스하는 모든 경로들


semantic segmentation에 대해
- semantic segmentation은 사진이 주어졌을 때 사진 내 각 픽셀을 카테고리로 분류하는 task(image classification은 사진이 주어졌을 때 사진 전체를 카테고리로 분류)
0 semantic segmentation이란?
이미지 분류를 영상 단위로 하는 것이 아닌 픽셀 단위로, 하나의 픽셀이 사람에 속하는지, 오토바이에 속하는지 등 구분 -> 영상 속에 있는 물체의 마스크를 생성하게 되는데 같은 클래스이지만 서로 다른 물체를 구분하지는 않음 -> 사람이 여러명이면 모두 같은 색으로 구분
1 어디에 사용하는가?
medical images, autonomous driving

- semantic segmentation architectures
0 Fully Convolution Network(FCN)
입력과 출력까지 미분가능한 뉴런네트워크의 형태로 구성되서, 입출력 쌍만 있으면 학습할 수 있음
1 Fully connected vs. Fully convolutional
Fully connected(FC layer): 공간정보를 고려하지 않고 fix dimensional 벡터가 주어지면 또 다른 fix dimensional 벡터가 생성됨
Fully convolutional: 1x1 convolution -> activation map이 입출력
2 이전 레이어에서 activation map이 출력이 되면 AlexNet에서는 flattening을 통해 긴 벡터 하나로 펴줌 -> 영상의 공간정보를 고려하지 않고 하나로 합쳐짐 -> FCN에서는 각 채널에 대해(각 위치에 대해) 벡터 하나씩
3 upsampling?
- segmentaion을 이용하면 출력값이 적음 -> 입력값은 크기 때문에 저해상도 문제가 생김 -> 이를 해결하기 위해 upsampling layer 사용
- 작은 activation map을 원래 입력 사이즈에 맞춰주기 위해 upsampling layer사용 -> 일단은 작게 만들어서 receptive field를 최대한 키워둔 후 upsampling???
4 upsampling & convolution 같이 사용하는 방법: 중첩 문제 최소화 -> 하나의 레이어로 한번에 처리