동적 정규화를 사용하는 컨볼루셔널 신경망: 1장 문제 배경: 정규화 방법의 두 가지 주요 단점을 처리하기 위해 동적 정규화가 제안되었습니다. 1) 정규화 강도(또는 진폭)는 다양한 네트워크 아키텍처에 대해 유연성이 없습니다. 2) 정규화 강도는 훈련 전체에서 일정합니다. 프로세스.
1) 정규화 강도(또는 진폭)는 다양한 네트워크 아키텍처에 대해 유연성이 없습니다. 2) 정규화 강도는 훈련 프로세스 전반에 걸쳐 일정합니다.
2장 제안 방법
1) Res 구조에 동적 정규화 도입
훈련 손실의 역차를 나타내는 동적 정규화가 포함된 2분기 Res 블록
① 동적 정규화 단위는 Res 블록의 Res 분기에 포함되어 있습니다.
A는 일정한 진폭, si는 i번째 반복에서의 동적 인자, r은 균일한 랜덤 노이즈입니다.
② 정규화 진폭은 r∈ [-R, R],
는 Res 블록의 총 개수입니다.
③ 순방향 패스에서 (l 1)번째 Res 블록의 출력은 다음과 같이 표현될 수 있습니다.
역방향 패스에서 소음은 다음과 관련이 있습니다.
2) 정규화 강도 업데이트
제안된 동적 정규화 강도의 업데이트 솔루션은 훈련 손실의 역학을 통해 달성됩니다. 특히 훈련 손실의 역학은 연속적인 반복에서 훈련 손실 간의 역차로 모델링될 수 있습니다.
i번째 반복에서의 훈련 손실을 나타냅니다.
연속 미니 배치 입력의 변동을 제거하려면 가우스 필터를 적용하여 평활화합니다.
3장 실험 결과
2 가지 구조와 치밀한 구조
조밀한 링크 구조에 대한 실험 결과는 동적 정규화가 안정적이며 Top-1 오류를 1.67% 감소시키는 것으로 나타났습니다.
3가지 구조
표 I과 표 II의 결과는 제안된 동적 정규화가 2-branch 및 3-branch 구조의 최신 정규화 방법인 Shake-Shake, Shake-Drop 및 DropBlok과 비교하여 다양한 네트워크 아키텍처에 적용할 수 있음을 보여줍니다. 본 논문에서 제안하는 방법은 기준선과 비교하여 평균 2% 이상 오류를 줄일 수 있다.