[Deep Learning Application] Lecture 7 : Convolutional Neural Networks

1. 완전연결층(FC Layer) 한계

- FC Layer는 모든 입력이 모든 출력에 연결 → 이미지(32x32x3)처럼 차원이 크면 매우 많은 파라미터 필요.

- 이동 불변성(Translational Invariance) 상실 → 같은 패턴이 위치만 달라져도 새로 학습해야 함.

- 지역성(Locality) 고려 부족 → 인접한 픽셀이 같은 객체에 속할 확률이 높지만 반영되지 않음.

2. CNN의 기본 아이디어

- 필터(커널)를 정의 → 이미지 전체에 같은 필터를 적용해 특징 추출.

- 핵심 가정:

     1. 공간적 지역성(Spatial Locality): 국소 영역만 보면 충분한 특징을 얻을 수 있음.

     2. 이동 불변성(Translational Invariance): 같은 필터를 모든 위치에 적용 → 같은 패턴은 어디서든 잡힘.

     -> 따라서 CNN은 파라미터 공유(Parameter Sharing) + 연결 희소성(Sparsity of Connections)을 통해 효율적인 이미지 인식 가능.

 

3. 합성곱 연산 (Convolution Operation)

- 작은 영역(window)마다 내적(dot product) 계산 → activation map 생성.

- RGB 이미지라면 3채널 필터를 적용 → 각 채널 값 합산.

- 여러 개의 필터 → 서로 다른 특징 맵 생성.

 

- 층을 쌓으면: 저수준(에지·색상) → 중간수준(모양·패턴) → 고수준(귀·코 같은 구체적 특징)으로 점차 추상화

 

4. CNN 레이어 구조

- 하이퍼파라미터 4개: 필터 수(K), 필터 크기(F), 스트라이드(S), 패딩(P)

- 출력 크기:

- 장점: FC 대비 파라미터 수를 크게 줄임.

 

5. 스트라이드(Strides) & 패딩(Padding)

- Stride: 필터를 몇 칸씩 이동시킬지 결정. 크면 출력 크기 축소.

- Padding: 경계에 0 추가 → 출력 크기 유지 가능.

6. 풀링(Pooling) 레이어

- Max pooling (가장 많이 사용): 국소 영역에서 최대값만 취함.

- 특징:

     1. 출력 크기 축소 → 계산량 절약.

     2. 잡음 제거 효과.

     3. 위치 변화에 둔감한 특징 생성.

 

-하이퍼파라미터: 필터 크기(F), 스트라이드(S).

7. 전형적인 CNN 구조

1. Convolution: 지역 특징 추출

2. ReLU: 비선형성 추가

3. Pooling: 크기 축소 및 요약

4. FC Layer: 최종 분류 수행