비교됨

입력 레이어, 출력 레이어 및 여러 숨겨진 레이어

시그모이드

ReLU

탄

누출된 ReLU

출력 결과 정규화

출력 결과를 확률로 변환

실제값과의 차이를 측정하는데 사용(원-핫코드) - KL Divergence

단계

공용 도어 유닛

그라데이션이 사라집니다

그라데이션 폭발

해결책

너무 좋지 않아

가우스 분포 사용

각 계층의 뉴런 활성화 값의 분산은 기본적으로 동일합니다.

좋은 초기화 방법은 순방향 전파 중에 정보가 사라지는 것을 방지할 수 있으며 역방향 전파 중에 기울기가 사라지는 문제도 해결할 수 있습니다.

활성화 함수로 Hyperbolic Tangent 또는 Sigmoid를 선택할 경우 Xaizer 초기화 방법을 사용하는 것이 좋습니다.

활성화 함수로 ReLU 또는 Leakly ReLU를 선택할 경우 He 초기화 방법을 사용하는 것이 좋습니다.

입력과 출력이 동일한 분포를 갖도록 가중치 분포를 조정합니다.

배치 훈련 후 y 출력 조정 - 평균을 빼서 분산 제거

그 중 데이터 분포의 평균과 분산은 분류에 대한 기여도에 따라 독립적으로 결정되어야 합니다.

순방향 패스 중 신호 소멸 및 그래디언트 소멸 문제 해결

훈련 세트에서 모델 능력이 감소하고 검증 세트에서 증가하기 시작하면 과적합이 시작됩니다.

학습 시 선택한 모델에 너무 많은 매개변수가 포함되어 있어 알려진 데이터에 대해서는 좋은 예측을 제공하지만 알 수 없는 데이터에 대해서는 예측이 좋지 않습니다.

일반적으로 학습된 데이터 특징보다는 훈련 데이터가 기억됩니다.

해결책

데이터의 패턴을 잘 학습하기에는 모델 설명 능력이 너무 약합니다.

일반적으로 모델이 너무 단순합니다.

너무 크다

너무 큰

너무 작은

보통의

그리드 검색 방법

무작위 검색 방법

일반적으로 무작위 샘플링은 로그 공간에서 수행됩니다.