완전 연결 네트워크 FC와 비교할 때 CNN은 로컬 연결입니다. 즉, 이전 계층의 뉴런의 출력은 다음 계층의 여러 인접 뉴런의 입력에만 연결되고 다음 계층의 뉴런의 입력은 연결됩니다. 레이어는 이전 레이어의 입력만 수신하며, 인접한 여러 뉴런의 출력만 받습니다.

수용 필드(시야)

컨볼루션 커널

입력 신호의 변환은 출력 신호의 변환과 동일합니다.

컨볼루션 연산 자체의 속성, 선형 시불변 시스템의 기본 속성

풀링 유닛을 적절하게 설계하고 활성화 함수를 선택함으로써 CNN은 변환 불변성을 대략적으로 유지할 수 있습니다.

예

N K-1

N-K 1

저역 통과 필터

하이패스 필터

대역통과 필터

다양한 주파수 성분을 포함하는 복잡한 신호의 경우, 다양한 컨볼루션 커널로 구현된 다양한 필터를 사용하여 신호에서 다양한 스케일의 성분을 얻을 수 있습니다.

네트워크 출력 계층의 출력과 예상 응답 간의 오류는 출력 계층 네트워크를 훈련하는 데 사용됩니다.

BP 알고리즘은 출력 레이어 오류를 각 이전 레이어로 역전파하고, 역전파 오류를 사용하여 차례로 각 레이어의 컨볼루션 커널을 학습시킵니다.

z=최대{0,a}

입력과 컨볼루션 커널 활성화 기능 간의 컨볼루션 연산

공유 매개변수가 거의 없음

다양한 성격의 입력 특성을 분할하고 정복하세요.

2차원 컨벌루션 작업은 Xij 데이터 배열에서 hij를 슬라이딩하는 것과 동일합니다. amn을 계산해야 할 때 h00은 Xmn과 정렬되도록 슬라이드한 다음 j hij의 곱 항 Xm을 계산하여 추가합니다.

효과적인 컨벌루션 출력 크기는 (D1-K1 1)×(D2-K2 1)입니다.

컨볼루션 연산을 통해 각 컨볼루션 커널 h가 생성한 행렬

입력하다

컨볼루션 커널

산출

윈도우의 최대값을 취하는 풀링, 즉 작은 윈도우 내의 최대값을 풀링 결과로 선택하는 풀링

풀링 결과로 창 내 평균

풀링 결과로 창 내의 고정 포인트 값

크기

풀링 보폭

입력의 양쪽 끝에 (K-1)/2개의 0을 추가합니다.

한 쪽에 K/2 0을 추가하고 다른 쪽에 (K/2)-1 0을 추가합니다.

컨볼루션 연산 단계

감지 수준(ReLU 기능)

풀링(선택 사항)

3D 데이터 볼륨

텐서 컨볼루션 커널

컨볼루션 평면

채널 차원의 다양한 특징 추출

1×1 컨볼루션 커널

컨볼루션 레이어 컨볼루션 계산

FC 레이어 완전 연결 계산 활성화 출력

풀링 계층은 풀링을 수행합니다.

FC 레이어는 표준 BP 역전파 알고리즘에 따라 계산됩니다.

컨벌루션 계층 및 풀링 계층 역전파 알고리즘

ReLU 활성화 함수는 tanh 활성화 함수보다 6배 빠르게 학습합니다.

더 깊은 레이어, 더 작은 컨볼루션 커널, 하나의 풀링 레이어에 해당하는 여러 컨볼루션 레이어를 사용합니다.

CNN의 깊이를 높여 더 나은 훈련 결과 얻기

레이어 수를 직접적으로 늘리면 부정적인 영향을 미칩니다.

4개의 병렬 가지

모듈을 분기하고 병합하여 출력 생성

각 분기에는 1×1 컨볼루션이 포함되어 있습니다.

목적은 매개변수와 계산 복잡성을 줄이기 위해 분할하고 정복하는 것입니다.

네트워크 성능 저하 문제

잔여 네트워크 특성

잔여 빌딩 블록

잔여 그리드 구조

밀집된 네트워크 특성

조밀한 네트워크 구조