자극 신호

시냅스/가중치

활성화 값

불연속 함수

연속미분함수

ReLU 기능

요약

선형 가중 합은 활성화 값을 생성합니다. 비선형 활성화 함수는 출력을 생성합니다.

선형 결합 기호 활성화 함수

선형 비분리성은 수렴하지 않습니다.

선형적으로 분리할 수 없는 솔루션

기본 구성 요소로서 뉴런은 병렬 및 캐스케이드 구조를 통해 다층 네트워크로 연결됩니다.

병렬 연결

캐스케이드 모드

입력 레이어

숨겨진 레이어

출력 레이어

입력하다

m번째 레이어에 있는 j번째 뉴런의 출력

산출

메모

회귀 문제

두 가지 카테고리

여러 카테고리

기본 함수 회귀와의 차이점

예

D차원 유클리드 공간에서 K차원 유클리드 공간으로 매핑

입력 특징 벡터 x는 D차원 벡터입니다.

출력 y는 K차원 벡터입니다.

하나의 은닉 유닛 레이어만 필요한 MLP는 유한 간격으로 정의된 연속 함수를 임의의 정확도로 근사화할 수 있습니다.

오차 제곱합

교차 엔트로피

교차 엔트로피

고도로 비선형적인 비볼록 함수

손실 함수를 최소화하는 솔루션은 다음을 충족합니다.

치수

중량계수 공간의 대칭성

전체 그래디언트 알고리즘

확률적 경사 알고리즘

미니배치 확률적 경사 알고리즘

역전파 BP 알고리즘은 기울기 또는 도함수를 계산합니다.

출력 활성화에 대한 손실 함수의 미분은 레이블에 대한 회귀 출력의 오류입니다.

활성화 가중치 계수의 미분은 입력 벡터입니다.

손실 함수 기울기 또는 중량 계수의 미분

은닉층에는 오류가 부족하며, 오류의 영향이 출력층에서 입력 방향으로 전파되어야 합니다.

초기 값

숨겨진 레이어

출력 레이어

출력 레이어 오류

그라데이션 구성요소

히든 레이어 그래디언트 체인 분해

공식 도출

알고리즘적 사고

알고리즘 프로세스 (중량계수의 1단계 반복)

레이어 l의 j번째 뉴런 활성화를 위한 증대된 가중치 계수

l번째 레이어의 중량계수 행렬

가중 합산 및 활성화

출력 레이어 전파 오류 벡터

오류 역전파

l번째 레이어의 가중치 벡터 행렬의 기울기

l번째 레이어의 바이어스 벡터의 기울기

레이어 l에 있는 뉴런의 가중치 계수의 기울기

야코비 행렬 분해

오류 역전파 방정식

회귀 문제

두 가지 분류 문제

다중 분류 문제

입력 및 출력 번호는 각각 m과 n입니다.

자비에르 초기화

활성화 함수가 ReLU 함수일 때 가중치 계수 초기화

통일된 공간으로 표현되는 단위 정규화

샘플 세트의 샘플을 여러 가지 작은 각도로 회전 및 이동하여 새 샘플을 형성합니다.

적대적 훈련을 위해 입력 샘플에 저전력 랜덤 노이즈 추가

검증오차의 전환점을 검출하여 과적합을 방지하기 위해 검증오차가 증가하기 시작하면 반복을 중단한다.