마인드 맵 갤러리 클래식 네트워크 분석
일부 클래식 네트워크의 세부 기능이 소개되고 AlexNet, ZLNet, VGG, GoogleNet 및 resnet에 대한 지식이 공유됩니다.
컴퓨터 비전 디지털 이미지 처리
완전히 연결된 신경망
컨벌루션 신경망
주의 메커니즘
모델 생성
컨벌루션, 노이즈 제거, 에지 추출
컴퓨터 비전과 딥러닝
클래식 네트워크 분석
알렉스넷
구조
총 8층
5개의 컨볼루셔널 레이어
완전 연결 레이어 3개 레이어
효과
분류에 의미 있는 데이터로부터 구조적 특징을 학습합니다.
입력 이미지의 구조적 정보 설명
설명 결과는 256개의 6x6 기능 응답 맵에 저장됩니다.
ZLNet
AlexNet과 동일한 구조
개선하다
이전 컨볼루션 커널을 더 작은 크기로 변경
특징을 성공적으로 추출하려면 단계 크기를 늘리세요.
늦은 컨볼루션 커널 수 늘리기
VGG
16층 신경망
13개의 컨벌루션 레이어
3개의 완전히 연결된 레이어
더 큰 수용 필드를 얻으려면 더 작은 3x3 컨볼루션 커널을 직렬로 사용하십시오.
더 깊은 깊이, 더 강한 비선형성, 더 적은 네트워크 매개변수
AlexNet의 LRN 레이어 제거
요약하다
작은 컨볼루션 커널의 장점
직렬로 연결된 여러 개의 작은 크기의 컨볼루션 커널은 큰 크기의 컨볼루션 커널과 동일한 수용 필드를 얻을 수 있으며 더 적은 훈련 매개변수가 필요합니다.
512로 컨볼루션하는 이유
특징을 최대한 수집하고 표현하기 위한 많은 매개변수가 있습니다.
매개변수가 너무 많으면 과적합되기 쉽고 훈련에 적합하지 않습니다.
구글넷
22층
혁신
입력 신호의 더 많은 특징적인 정보를 유지할 수 있는 인셉션 구조를 제안합니다.
병목 레이어 추가 및 컨볼루션 채널 수 변경
완전히 연결된 계층을 제거하고 평균 풀링을 사용하면 AlexNet보다 12배 적은 500만 개의 매개변수만 생성됩니다.
훈련 중 Vanishing Gradient 문제를 극복하기 위해 네트워크 중간에 보조 분류기가 도입되었습니다.
평균 풀링 벡터화와 직접 확장 벡터화의 차이점
특징 응답 맵의 각 위치 값은 이미지의 해당 위치 구조와 컨볼루션 커널에 의해 기록된 의미 구조 간의 유사성을 반영합니다.
평균 풀링은 의미 구조의 공간적 위치 정보를 잃습니다.
의미 구조의 위치 정보를 무시하면 컨볼루셔널 레이어에서 추출한 특징의 변환 불변성을 개선하는 데 도움이 됩니다.
재넷
네트워크 계층 심화
더 깊은 네트워크는 더 얕은 네트워크보다 열등한 것으로 보입니다.
이유
훈련 과정에서 네트워크의 긍정적인 정보와 부정적인 정보가 원활하게 흐르지 않고 네트워크가 완전히 훈련되지 않습니다.
제안된 잔여 모듈
잔여 모듈을 쌓아서 "성능 저하" 없이 임의 깊이의 신경망을 구축할 수 있습니다.
제안된 배치 정규화
네트워크 훈련 중 기울기 소멸을 방지하고 가중치 초기화에 대한 의존도를 줄입니다.
ReLU 활성화 함수의 초기화 방법 제안
잔여 네트워크의 성능이 좋은 이유
통합모델로 볼 수 있다