Inception-v4, Inception-ResNet
and the Impact of Residual Connections on Learning
Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alexander A. Alemi
Google Inc. 1600 Amphitheatre Parkway Mountain View, CA
Base
왜 이름이 인셉션일까?
Inception module
기존에는 한 층에 컨볼루션을 한 번 했다면 MLP는 한 층에 컨볼루션 연산을 여러번 해서 비선형적 관계를 더 잘 표현할 수 있도록 함.
residual connections, skip conection
ResNet의 기본 개념. 기존에는 25개 이상의 레이어를 사용하면 gradient vanishing 문제로 정확도가 떨어지는데 이를 해결하기 위해 레이어1의 출력을 레이어2의 입력으로도 사용하면서 레이어 2의 출력과 연결함.
기존 네트워크에서는 다음레이어로 넘어가는 값이 y = f (x) 이지만 , residual network는 H(x) = f (x) + x
덧셈 연산의 추가 만으로 스킵 연결 구현 가능. backpropgation시 미분값이 사라지는 현상을 줄이고 곱 형태보다 연산이 단순해짐.
F(x)=H(x)-x로 나타낼 수 있고 F(x)를 0으로 만드는 방향-->입력이랑 같게 만드는 방향으로 학습함.
*잔차,residual = H(x)-x
(다르게 말해보면 Identity가 short connection을 통해 출력값으로 넘어오기 때문에 Residual만 0이 되도록 하는 weight를 오류역전파에 의해 구하기가 쉬워짐.)
1x1 convolution
1x1 Conv는 채널(차원) 단위에서 Pooling하기 때문에 1x1 Conv 필터 개수를 입력채널보다 작게 하면 dimension reduction, 차원 축소가 가능.
Abstract
기존 인셉션 모델에 residual connections을 결합하여 빠른 학습이 가능
residual connections 한 Inception v4가 기존 Inception보다 성능이 조금 더 낫다.(outperforming similarly)
residual/nonresidual Inception networks를 위한 간소화 된 아키텍처 제시
적절한 활성화 스케일링은 넓은 residual Inception networks training을 안정화 할 수 있다.
residual 3개와 Inception-v4네트워크 하나의 앙상블을 통해 이미지넷 classification대회에서 5위 기록.
Introduction
객체 인식은 컴퓨터 비젼와 AI의 중요 과제.
Deep CNN은 1980년대 Lecun이 등장시킨 후, 2012년 발표된 AlexNet이 실제로 쓰일 수 있을 만큼 좋은 성과를 내고 있음.
객체 인식의 품질 기준은 ILSVRC12 이미지 인식 대회의 이미지 셋을 기준으로 함.
본 연구에서는 Residual connections (He et al. 2015) 과 최신 Inception아키텍쳐(Szegedy et al. 2015b)를 결합함.
Inception-v4, Inception-Resnet 두가지를 Inception-v3와 비교하여 설명할것.
Related Work
residual connection은 깊은 CNN에 필수적이라고 여겨졌으나 해당 연구 결과 없어도 트레이닝이 가능하다고 판단.
그러나 트레이닝 속도를 크게 향상시키기 때문에 사용됨.
Architectural Choices
Inception-v4
Pure Inception blocks==stem
시작 모듈, 컨볼루션과 풀링 결과가 연결되어(Filter concat) 다음 레이어로 넘어감
Residual Inception Blocks
연산할 파라미터 수를 줄이기 위해 1x1 컨볼루션을 먼저 진행하여 입력 차원 수를 줄임.
inception-c :차원을 줄이면서 발생하는 정보 손실을 막기위한 방법으로 같은 입력값에 대하여 다양한 연산.
입출력 크기가 똑같음. 입출력 크기가 다른것은 Reduction module이라고 부름.
Scaling of the Residuals
잔차(Residuals)를 스케일링 함으로써 학습의 안정성을 높임.
Reduction Module
Inception-ResNet
Experimental Results
이미지넷 데이터로 검증했을 때, Inception-ResNet-v2가 제일 좋은 성능을 보임
모델 Inception-v3, Inception-v4는 잔류 연결을 사용하지 않고 필터 연결을 사용하는 심층 회선 네트워크
InceptionResNet-v1, Inception-ResNet-v2는 필터 연결 대신 residual connection을 사용하는 Inception 스타일 네트워크