ログイン
サインイン

신경망과 딥러닝의 기초

가장 기본적인 신경망 구조인 다층 퍼셉트론 MLP와 피드포워드 네트워크 FNN을 요약합니다. 이를 기반으로 신경망의 목적 함수와 최적화 기술을 요약하여 네트워크에 대한 목적 함수의 기울기 문제를 계산합니다. , 초기화, 정규화 등 신경망 최적화를 위한 보조 기술.

2023-02-23 17:40:31 に編集されました

슈퍼직장인

신경망과 딥러닝의 기초

슈퍼직장인

おすすめ
アウトライン

딥러닝 이론 지식
- 17
슈퍼직장인
패턴 인식
- 6
슈퍼직장인
기계 학습 알고리즘 엔지니어 스킬 트리
- 6
슈퍼직장인
머신러닝 알고리즘 엔지니어
- 36
슈퍼직장인
이미지 분할 알고리즘
- 8
슈퍼직장인
기계 학습을 위한 기본 회귀 알고리즘
- 6
슈퍼직장인
신경망의 동작과정에 대한 자세한 설명
- 2
슈퍼직장인
CNN(컨벌루션 신경망)
- 4
슈퍼직장인
신경망 모델의 일반적인 유형 및 응용
- 9
슈퍼직장인
신경망 및 딥러닝 순환 신경망
- 5
슈퍼직장인

신경망과 딥러닝 베이스

신경망의 기본 구조

뉴런 구조

가중 합계

자극 신호

시냅스/가중치

활성화 값

활성화 기능

불연속 함수

상징적 기능

퍼셉트론

임계값 함수

맥컬로크-피츠 뉴런

연속미분함수

로지스틱 시그모이드 함수

쌍곡선 탄젠트 함수 tanh()

결점

활성화 값 a가 크면 함수는 포화 영역에 들어가고 해당 도함수는 0에 가까워집니다. 기울기를 통한 학습 알고리즘에서는 수렴이 매우 느려지거나 심지어 정체됩니다. ReLU 함수가 더 빠르게 수렴됩니다.

ReLU 기능

클래식 ReLU

누출된 ReLU

요약

뉴런의 계산 구조

선형 가중 합은 활성화 값을 생성합니다. 비선형 활성화 함수는 출력을 생성합니다.

다층 신경망으로 XOR 문제 해결

퍼셉트론

선형 결합 기호 활성화 함수

선형 비분리성은 수렴하지 않습니다.

XOR 연산과 같은

선형적으로 분리할 수 없는 솔루션

비선형 기저 함수 벡터는 원래 고유 벡터를 대체합니다.

여러 뉴런을 사용하여 다층 신경망 형성

뉴런이 어떻게 연결되어 있는지

기본 구성 요소로서 뉴런은 병렬 및 캐스케이드 구조를 통해 다층 네트워크로 연결됩니다.

병렬 연결

동일한 레이어의 여러 뉴런은 동일한 입력 특징 벡터 x를 수신하고 각각 여러 출력을 생성합니다.

캐스케이드 모드

병렬로 연결된 여러 뉴런은 각각 출력을 생성하고, 이 출력은 다음 계층의 뉴런에 입력으로 전달됩니다.

다층 퍼셉트론 MLP 피드포워드 신경망 FNN

다층 퍼셉트론 구조

입력 레이어

입력 레이어의 단위 수는 입력 특징 벡터의 차원 D입니다.

입력 특징 행렬 N×D

각 행은 샘플에 해당하며 행 수는 샘플 수 N입니다.

열 수는 특징 벡터 차원 D입니다.

숨겨진 레이어

1 단계

입력 행렬 N×D

원래 기능 매트릭스입니다

중량계수행렬 D×K1

각 뉴런의 가중치 계수는 D차원 열 벡터에 해당합니다.

총 K1 뉴런은 D×K1 행렬을 형성합니다.

바이어스 벡터 N×K1

각 행은 샘플 편향에 해당하며 총 N개 행입니다.

열의 수는 뉴런 K1의 수입니다.

출력 행렬 N×K1

Z=Φ(A)=Φ(XW W0)

2단계

입력 행렬 N×K1

상위 레이어 출력 행렬

중량계수행렬 K1×K2

각 뉴런의 가중치 계수는 K1 차원 열 벡터에 해당합니다.

총 K2 뉴런은 K1×K2의 행렬을 형성합니다.

바이어스 벡터 N×K2

각 행은 샘플 편향에 해당하며 총 N개 행입니다.

열의 수는 뉴런 K2의 수입니다.

출력 행렬 N×K2

Z=Φ(A)=Φ(XW W0)

m번째 레이어

입력 행렬 N×K(m-1)

상위 레이어 출력 행렬

중량계수행렬 K(m-1)×Km

각 뉴런의 가중치 계수는 K(m-1)차원 열 벡터에 해당합니다.

총 Km 뉴런은 K(m-1)×Km의 행렬을 형성합니다.

바이어스 벡터 N×Km

각 행은 샘플 편향에 해당하며 총 N개 행입니다.

열의 수는 뉴런의 수 Km입니다.

출력 행렬 N×Km

Z=Φ(A)=Φ(XW W0)

출력 레이어

입력 행렬 N×K(L-1)

상위 레이어 출력 행렬

중량계수행렬 K(L-1)×KL

각 뉴런의 가중치 계수는 K(L-1)차원 열 벡터에 해당합니다.

총 KL 뉴런은 K(L-1)×KL의 행렬을 형성합니다.

바이어스 벡터 N×KL

각 행은 샘플 편향에 해당하며 총 N개 행입니다.

열의 수는 뉴런 KL의 수입니다.

출력 행렬 N×KL

Z=Φ(A)=Φ(XW W0)

다층 퍼셉트론의 작동 관계 프로그램 구조

입력하다

m번째 레이어에 있는 j번째 뉴런의 출력

가중 합계

상위 레이어의 출력이 이 레이어의 입력으로 사용됩니다.

활성화 기능

산출

신경망 출력 표현

메모

출력 레이어의 뉴런 수는 신경망이 동시에 여러 출력 기능을 가질 수 있음을 나타냅니다.

회귀 문제

출력 레이어 뉴런의 출력은 회귀 함수 출력입니다.

두 가지 카테고리

출력층 뉴런은 양성 유형의 사후 확률을 출력하고, 시그모이드 함수는 유형의 사후 확률을 나타냅니다.

여러 카테고리

출력 레이어의 각 뉴런은 각 유형의 사후 확률을 출력하고 Softmax 함수는 각 유형의 확률을 나타냅니다.

신경망 비선형 매핑

기본 함수 회귀와의 차이점

매개변수 결정

기본 함수 회귀를 위한 기본 함수는 미리 결정됩니다.

신경망의 기본 기능 매개변수는 시스템 매개변수의 일부이며 훈련을 통해 결정되어야 합니다.

비선형 관계

기본 함수 회귀는 입력 벡터와 출력 사이에 비선형 관계만 갖습니다.

신경망의 입력 벡터와 가중치 계수는 출력과 비선형 관계를 갖습니다.

예

2계층 신경망

3층 신경망

신경망의 근사정리

신경망 본질

D차원 유클리드 공간에서 K차원 유클리드 공간으로 매핑

입력 특징 벡터 x는 D차원 벡터입니다.

출력 y는 K차원 벡터입니다.

콘텐츠

하나의 은닉 유닛 레이어만 필요한 MLP는 유한 간격으로 정의된 연속 함수를 임의의 정확도로 근사화할 수 있습니다.

신경망의 목적 함수 및 최적화

신경망 목적 함수

일반적으로

다중 회귀 출력 상황

오차 제곱합

다중 이진 분류 출력 상황

교차 엔트로피

단일 K 분류 출력 상황

교차 엔트로피

출력 활성화에 대한 샘플 손실 함수의 미분

신경망 최적화

손실 함수

고도로 비선형적인 비볼록 함수

손실 함수를 최소화하는 솔루션은 다음을 충족합니다.

한센 행렬 H는 양의 명확성을 충족합니다.

신경망 가중치 계수

치수

중량계수 공간의 대칭성

뉴런이 위치를 교환할 때 입출력 관계는 변하지 않고 유지되며, 신경망은 전후가 동일합니다.

중량 계수 최적화

전체 그래디언트 알고리즘

확률적 경사 알고리즘

미니배치 확률적 경사 알고리즘

역전파 BP 알고리즘은 기울기 또는 도함수를 계산합니다.

오류 역전파 BP 알고리즘 손실 함수의 가중치 계수의 기울기를 계산합니다.

생각

파생상품의 연쇄 법칙

출력 활성화에 대한 손실 함수의 미분은 레이블에 대한 회귀 출력의 오류입니다.

활성화 가중치 계수의 미분은 입력 벡터입니다.

손실 함수 기울기 또는 중량 계수의 미분

오류 역전파

은닉층에는 오류가 부족하며, 오류의 영향이 출력층에서 입력 방향으로 전파되어야 합니다.

역전파 알고리즘 도출

순방향 전파

초기 값

숨겨진 레이어

출력 레이어

출력 레이어 그라데이션

출력 레이어 오류

그라데이션 구성요소

숨겨진 레이어 역전파

히든 레이어 그래디언트 체인 분해

공식 도출

알고리즘적 사고

순방향 전파

이전 계층의 뉴런 출력 z에 가중치를 부여하고 합산하여 다음 계층의 뉴런 활성화 a를 얻습니다.

역전파

후자 레이어(출력에 가까운 레이어)의 전파 오차 δ(l 1)를 이전 레이어로 역전파하고, 이전 레이어의 전파 오류 δ(l)를 구하여 이를 다음 레이어로 역전파한다. 첫 번째 은닉층(입력 은닉층에 가장 가까운)

알고리즘 프로세스 (중량계수의 1단계 반복)

초기 값

순방향 전파

숨겨진 레이어

출력 레이어

역전파

출력 레이어

숨겨진 레이어

그라데이션 구성요소

미니배치 확률적 경사 알고리즘

역전파 알고리즘의 벡터 형태

초기 값

순방향 전파

레이어 l의 j번째 뉴런 활성화를 위한 증대된 가중치 계수

l번째 레이어의 중량계수 행렬

가중 합산 및 활성화

출력 레이어 전파 오류 벡터

역전파

오류 역전파

그라데이션 구성요소

l번째 레이어의 가중치 벡터 행렬의 기울기

l번째 레이어의 바이어스 벡터의 기울기

레이어 l에 있는 뉴런의 가중치 계수의 기울기

역전파 알고리즘의 확장

네트워크의 야코비 행렬

야코비 행렬 분해

오류 역전파 방정식

회귀 문제

두 가지 분류 문제

다중 분류 문제

네트워크용 한센 매트릭스

신경망 학습의 몇 가지 문제점

근본적인 문제

목적 함수 및 기울기 계산

초기화

중량계수 초기화

입력 및 출력 번호는 각각 m과 n입니다.

자비에르 초기화

활성화 함수가 ReLU 함수일 때 가중치 계수 초기화

입력 벡터 정규화

통일된 공간으로 표현되는 단위 정규화

정규화

체중 감소를 위한 정규화된 손실 함수

반복적인 업데이트

여러 유형의 등가 정규화 기술

증강 샘플 세트

샘플 세트의 샘플을 여러 가지 작은 각도로 회전 및 이동하여 새 샘플을 형성합니다.

입력 벡터에 노이즈 삽입

적대적 훈련을 위해 입력 샘플에 저전력 랜덤 노이즈 추가

조기 중단 기술

검증오차의 전환점을 검출하여 과적합을 방지하기 위해 검증오차가 증가하기 시작하면 반복을 중단한다.