[CS231n/#05] Convolutional Neural Networks

📌 CNN History

🔸 A bit of history...(NN이 잘 쓰이게 되기까지)

▪️ 퍼셉트론을 구현한 최초의 기계, 출력 값이 0 또는 1

▪️ 가중치 W를 update하는 규칙이 있으며 이는 backprop과 유사함

▪️ backpropagation 기술이 나오기 이전부터 시작되었음

 

 

▪️ 1960s : linear layer를 쌓기 시작함 (최초의 multi layer, backprop 이전, train idea도 아직 없음)

 

 

▪️ 1986 : 최초 backpropagation 소개됨 , 최초로 network를 학습시키는 것에 관한 개념이 정립되기 시작한다.

▪️ 그러나 NN을 더 크게 만들지 못하고, 새로운 이론도 나오지 않았음

▪️ 널리 사용 x 이다가 2000년대가 되어서 다시 활발해짐

 

 

▪️  DNN의 학습 가능성을 선보이고, 효과적이라는 것을 보여줌

▪️ 현재 모던한 그런 NN은 아니어서 backprop이 가능하기 위해서는 세심한 초기화 필요..

▪️ pretraining, 초기화를 위해 RBM을 이용한 각 히든레이어 가중치 학습, 그리고 전체 full NN이 초기화가 되면 backprop과 fine tuning을 한다.

 

 

▪️ NN이 유명해진 것은 2012년으로 음성 인식에서 아주 좋은 성능을 보였음

▪️ 2012년 Hinton lab에서 영상 인식의 관한 paper가 나왔는데 여기서 ImageNet 분류에 최초로 NN 사용함 (좋은 결과)

▪️ AlexNet의 경우 ImageNet의 benchmark의 에러를 극적으로 감소시킴

▪️ 이후 ConvNets은 널리 쓰이게 됨.

 

 

🔸 CNN이 어떻게 유명해졌을까?

▪️ 1950s Hubel과 Wiesel의 시각피질의 뉴런에 관한 연구

▪️ 고양이의 뇌에 전극을 연결하여 다양한 자극으로 실험

▪️ 이 때 뉴런이 oriented edges와 shapes 같은 것에 반응을 하는 것을 관찰

▪️ 뇌의 피질 내부에 topographical mapping이 있으며 피질 내 서로 인접해 있는 세포들은 지역성을 띄고 있음

 

 

▪️ 뉴런들이 계층 구조를 지닌다는 것을 발견했다.

▪️ Retinal ganglion : 시각신호가 가장 먼저 도달하는 곳, retinal ganglion은 원형으로 생긴 지역.

▪️ Simple cells : 가장 상위에 있고 이 세포들은 다양한 edge들의 방향, 빛의 방향에 반응함.

▪️ 그리고 complex cells과 simple cells은 연결 되어있는데, complex의 경우 빛의 방향, 움직임에서 반응함

▪️ 이렇게 복잡도가 증가하는, hypercomplex cell의 경우 end point같은 것에서 까지 반응할 수 있음

▪️ (즉 복잡할수록, 반응할 수 있는 특징들이 많아지는..?)

 

 

 

▪️ 1980에 Fukishima는 simple/complex cells을 교차시켜 이 아이디어를 사용한 최초의 NN을 제안. (neocognitron)

 

 

▪️ 1998 : backprop, gradient-based learning 적용한 NN

▪️ 문서인식, 우편번호 숫자 인식에 아주 잘 동작, 우편 서비스에서 우편번호 인식에 널리 사용됨.

▪️ 숫자라는 데이터는 단순했고 이 Network를 더 크게 만들지는 못했음.

 

 

▪️ 2012 CNN의 현대화 바람을 일으킴. AlexNet, 이전 LeCun의 CNN보다 더 크고 깊어진 것이 특징이다.

▪️ ImageNet dataset과 같은 대규모의 데이터를 활용할 수 있고, GPU parallel computing 힘도 있다.

▪️ 현재에는 ConvNets은 거의 모든 곳에 사용이 가능해졌다. (Detection, Segmentation, 자율주행 자동차, 임베디드 시스템 등)

▪️ CNN은 얼굴인식, 비디오, 단일 이미지의 정보 및 시간적 정보, pose recognition, 의학 영상 해석 및 진단 등등 매우 다양하게 사용

 

 

▪️ Image Captioning : 이미지가 주어지면 이미지에 대한 설명을 문장으로 만들어 내는 것!

 

▪️ 이외 예술 작품 만들기도 가능하고 Deep Dream, Style Transfer등 다양한 방법 적용 가능

 

---

 

📌 CNN 동작 원리

🔸 Fully Connected Layer

▪️ FC Layer는 어떤 벡터를 가지고 연산을 하는 것이다.

▪️ 입력 받은 32x32x3 이미지를 벡터로(3072x1) 만든다. 

▪️ 가중치 W와 벡터를 곱하여(Wx, 내적) activation(output)을 얻는다.

▪️ 1개의 숫자 하나를 얻게 되는데, 이는 Neuron의 한 값이라고 할 수 있다. 그리고 10개의 출력 (10x1)을 가지게 된다.

 

 

 

🔸 Convolution Layer

▪️ Convolutional Layer는 FC 레이어와 다르게 기존의 구조를 보존시킨다.

▪️ FC 레이어처럼 벡터로 쭉 늘리기 보다는, 이미지의 구조를 유지하게 된다.

▪️ filter는 가중치이며 이 필터가 이미지를 슬라이딩하면서 공간적으로 내적을 수행한다.

 

 

🔸 Convolution 수행 원리

▪️ 필터는 입력이 깊이 (Depth, 채널 수) 만큼 확장된다. 이미지가 32x32x3일 때 3이 depth에 해당함

▪️ 필터 5x5는 다른 size도 가능 (ex. 3x3)

▪️ 이 이미지 케이스의 경우 filter는 NxNx3이 되어야 함

▪️ 필터를 가지고 전체 이미지에 내적 시킨다. 슬라이드처럼 이미지 어떤 공간에 겹쳐 놓고 내적을 수행한다.

 

 

✏️ Question & Answer 정리

▪️ W를 Transpose 하는 것은 수학적으로 표현하기 위한 것, 헹 벡터를 만들어주기 위해서 하는 것이다.

▪️ W를 5x5x3이지만 결국 내적을 수행하려면 1x75가 될 것이다. 결국 모두 펴서 벡터간 내적을 진행한다.

▪️ convolution은 신호처리 분야(필터를 뒤집은 후 연산)의 convolution과 의미가 완전히 같지는 않다.

 

 

🔸 Convolution에서 슬라이딩 원리

▪️ convolution은 이미지의 왼쪽 상단부터 시작하고 필터의 모든 요소를 가지고 내적을 수행하면 하나의 값을 얻게 된다.

▪️ 그리고 이 Output을 activation map에 해당하는 위치에 저장한다.

▪️ 그리고 입력 이미지와 출력 activation map의 차원이 다를 수 있다. 이는 슬라이딩을 어떻게 하느냐에 따라서 달라진다.

▪️ 하나의 필터를 가지고 전체 이미지에 conv 연산을 수행하여 activation map이라는 출력 값을 얻음

 

 

 

▪️ 보통 여러 개의 필터를 사용하는데, 이 이유는 필터마다 다른 특징을 추출하고 싶기 때문이다.

▪️ 5x5x3 필터가 6개라면 6개의 activation map을 얻을 수 있다.

 ▪️ 이런 식으로 쌓아올려서 CNN을 활용할 수 있다!

▪️ 각 layer의 output은 다음 layer의 input이 된다.

▪️ 각 layer마다 여러 개의 필터를 가지고 있고, 이 필터마다 각각의 출력 map을 만든다.

 

 

 

⭐️ 특징이 어떻게 생겼고, Layer의 계층에 따라 단순/복잡한 특징들이 존재한다는 것을 이해해야 함!

 

▪️ 여러 개의 layer들을 쌓고 나서 보면 결국 각 필터들이 계층적으로 학습하는 것을 볼 수 있다.

▪️ 앞 쪽의 필터는 low-level feature를 학습하는데, edge 같은 것을 볼 수 있다.

▪️ mid-level은 좀 더 복잡한 특징을 가지는 것을 볼 수 있다. (corner, blob 같은..)

▪️ high-level의 경우는 좀 더 객체와 닮은 것들이 output으로 나오는 것을 볼 수 있다.

▪️ 네트워크 앞쪽에서는 단순한 것들을 처리하고 뒤로 갈수록 점점 더 복잡해진다.

 

▪️ 여기에 시각화된 것에 대해서는 하나의 grid는 하나의 뉴런이다.

▪️ 이 시각화한 뉴런의 모습은 "이미지가 어렇게 생겨야 해당 뉴런의 활성을 최대화 시킬 수 있는지"를 나타낸다.

▪️ 이미지가 뉴런을 비슷하게 생겼을수록 output 값은 큰 값을 가진다.

▪️ 시각화는 역전파를 통해서 볼 수 있다.

 

 

🔸 Activation Example

▪️ 슬라이드의 그림들은 각 필터가 만든 출력값이며, 5x5 필터들 32개를 시각화한 것임

▪️ 빨간색 네모박스의 필터는 edge를 찾고 있는 것이다. 이 필터를 슬라이딩 시켜서 필터와 비슷한 값들의 경우는 값이 더 커진다.

▪️ activation은 이미지가 필터를 통과한 결과가 되고, 이미지 중 어느 위치에서 필터가 크게 반응하는지를 보여준다.

 

 

 

 

🔸 CNN 과정

▪️ 처음 conv layer 후 non-linear layer를 통과한다.(ex. ReLU)

▪️ pooling은 activation maps의 사이즈를 줄인다.

 

---

 

🔸 Spatial dimension

▪️ stride 크기 만큼 이동해서 다음 convolution 연산.

▪️ stride = 3인 경우, 이미지를 슬라이딩 했을 때, 필터가 모든 이미지를 커버할 수 없음 (1-3, 4-6, 마지막 열의 데이터는 커버 x)

▪️ stride = 3의 케이스 처럼 이미지에 잘 맞아 떨어지지 않는 경우 제대로 동작하지 않음..!

▪️ output size를 계산하는 수식을 통해서 이미지와 잘 맞아 떨어지는 사이즈로 stride를 설정할 수 있다. + 출력값 정보도 알 수 있음

 

 

 

 

🔸 Zero padding

▪️ 이미지 가장자리에 0을 채워 넣는 방법

▪️ 출력의 사이즈를 의도대로 만들 수 있다.

▪️ 가장자리 zero padding을 한 경우, N = 9, F = 3 이므로 (9 - 3)/ 1 + 1 = 6 + 1 = 7이 되므로 output은 7 x 7 이다.

 

 

 

✏️ Question & Answer 정리

▪️ zero-padding을 하는 이유는 레이어를 거치면서도 입력의 사이즈를 유지하기 위해서이다.

▪️ zero-padding을 하지 않는다면, 출력 사이즈가 빠르게 줄어들게 된다.

▪️ 깊은 네트워크의 경우 정보를 잃고 원본이미지를 표현하기에 너무 작은 값을 사용하게 된다.

 

▪️ 또한, zero-padding을 하면, 필터의 중앙이 닿지 않던 (ex. 모서리) 부분도 연산할 수 있다.

▪️ zero-padding을 하지 않아서 사이즈가 줄어드는데, 이는 매번 각 코너에 있는 값을 계산하지 못하기 때문이다.

 

---

 

🔸 Stride와 filter 일반적으로 정하는 방법

▪️ Filter : 주로 3x3, 5x5, 7x7을 사용함

▪️ Stride : 주로 filter가 3x3 인 경우에는 1, 5x5 인 경우에는 2, 7x7 인 경우에는 3을 사용한다.

 

 

 

🔸 Parameter 수 구하기

▪️ parameter 수 = ((필터 사이즈)*(Depth) + 1 (bias))*(# of filters)

 

 

🔸 Summary slide & hyperparameter common settings

 +) ▪️ 1x1  convolution도 의미가 있다. 이 때, 공간적인 정보를 이용하지 않는다. 

 

 

---

 

 

🔸 Convolution Layer (brain/neuron 관점)

▪️ 왼쪽, 오른쪽 그림은 같은 아이디어이다.

▪️ 차이점은 뉴런의 경우 local connectivity가 있다. (conv layer처럼 슬라이딩x, 특정 부분에만 연결)

▪️ 뉴런의 경우 한 부분만 처리하고, 그런 뉴런이 모여 전체 이미지를 처리한다.

▪️ 이를 정리하면 spatial structure를 유지한 채로 layer의 출력인 activation map을 만드는 것이다.

 

 

 

 

🔸 중요 용어 정리

▪️ 5x5 필터가 있을 때 이는 한 뉴런의 receptive field가 5x5라고 할 수 있다.

▪️ Receptive field : 한 뉴런이 한 번에 수용할 수 있는 영역

▪️ 5x5 필터가 슬라이딩하면서 계산을 할 때, 필터 값이 항상 같다! ⭐️⭐️

 

 

🔸 Output value

▪️ 여기서 중요한 것은 필터가 5개의 종류일 때, 5개의 점은 정확하게 같은 지역에서 추출된 서로 다른 특징이라 볼 수 있다.

▪️ 각 필터는 서로 다른 특징을 추출한다!

 

---

 

🔸 Pooling Layer

▪️ Pooling layer는 representation들을 더 작고 관리하기 쉽게 해준다.

▪️ representation을 줄이는 이유는 파라미터 수를 줄이기 위한, 그리고 일종의 공간적인 불변성을 얻기 위함이다.

▪️ pooling layer는 down sample을 한다. (공간적, row, col 방향으로, depth에는 영향을 주지 않음)!

 

 

 

 

▪️ 일반적으로 풀링은 Max Pooling이 사용된다.

▪️ pooling도 필터 크기를 정할 수 있다. 

▪️ pooling은 또한 겹치지 않게 하는 것이 일반적이다. (목적은 down sample이므로)

▪️ pooling도 일종의 stride 기법이라고 볼 수 있다.

 

 

✏️ 왜 Max pooling을 average pooling보다 주로 사용할까?

▪️ 우리가 다루는 값들은 "얼마나 이 뉴런이 각 위치에서 활성되었는지"이다.

▪️ 따라서 Max pooling은 어떤 신호에 대해 얼마나 그 필터가 활성화 되었는지를 알려준다고 볼 수 있다.

▪️ 즉 인식에 대해서 생각할 때, 위치보다 그 값이 얼마나 큰지 중요하다.

 

 

🔸 Pooling Layer Design Choice

▪️ pooling layer는 보통 padding을 하지 않는다.

▪️ down sampling이 목적이기 때문이며, convolution처럼 코너의 값을 계산하지 못하는 경우도 없기 대문이다.

▪️ 보통 필터 사이즈는 2x2, 3x3을 사용하고 stride는 2를 사용한다.

 

 

 

🔸 요약

▪️ Typical architectures에서 -는 연결되어 있음을 의미함

▪️ FC, Pooling을 줄이는 추세이다.

▪️ class score를 구할 때, softmax를 사용한다.