xj는 입력 신호, f는 전달 함수, wi,j는 뉴런 xj에 연결된 가중치, yi는 출력 값, θ는 임계값을 나타냅니다.
2) BP 신경망 구조
각 라운드마다 학습 결과와 예상 결과에 오류가 있는지 분석한 후 가중치와 임계값을 수정하여 단계별로 예상 결과와 일치하는 출력을 갖는 모델을 얻습니다.
3) 모델 훈련 과정: Softmax Regression은 이미지를 예측할 때 각 카테고리에 대한 확률을 추정하고 그 결과로 확률이 가장 높은 숫자를 출력합니다.
작은 샘플을 테스트하여 최적의 컨볼루션 커널 수를 찾습니다.
첫 번째 계층은 활성화를 위해 RELU 함수를 사용하고, 두 번째 계층은 Softmax 함수를 분류자로 사용하여 각 레이블의 확률을 출력합니다.
CNN KNN 기반 알고리즘 개선
Fx는 훈련 가능한 필터입니다. fx를 사용하여 입력 이미지를 컨볼루션하고 Sigmoid 활성화 함수를 통해 바이어스 bx를 추가하여 컨볼루션 레이어 Cx를 얻습니다. Mj는 입력 특성 맵의 값입니다.
1) 경사하강법 알고리즘
계산량이 너무 많기 때문에 next_batch 메소드를 호출하여 모든 훈련 데이터 세트 중 일부를 먼저 필터링하고, 훈련 데이터 세트 중 일부를 무작위로 선택하여 신경망의 입력 계층에 제공한 후 최적화합니다. 역반복법 네트워크를 통한 신경망
2) 손실 함수로 교차 엔트로피를 선택합니다. 교차 엔트로피가 작을수록 좋습니다.
모델의 출력이 올바른 결과에 가까울수록
3) 알고리즘 과정
① 알고리즘 공식, 즉 신경망의 순방향 전파 과정에서의 계산을 정의합니다.
② 손실을 최적화하기 위한 옵티마이저를 지정합니다.
③ 반복적으로 데이터 학습
1) 출력 계산
2) 손실함수 계산
3) 손실 함수를 통해 기울기를 계산합니다.
4) 그라디언트를 통한 가중치 업데이트
④ 훈련 결과를 KNN 분류기로 가져오고
가장 가까운 이웃은 실험적으로 얻어집니다.
⑤ 테스트 세트 또는 검증 세트의 정확도를 평가합니다.
실험 결과의 비교 및 분석
이웃 번호 K의 다양한 값이 알고리즘의 정확도에 미치는 영향, K=5가 가장 좋습니다.
널리 사용되는 여러 필기 숫자 인식 알고리즘의 인식률과 비교
본 논문에서 사용한 KNN CNN 기반의 필기 숫자 인식 알고리즘은 99.7%의 인식률을 보였고, 개선된 컨벌루션 신경망을 기반으로 한 필기 숫자 인식 방법의 인식률은 99.2%, 개선된 VGG-16과 Naive Bayes의 인식률은 99.2%로 인식률은 99.36%이다.