출력 값과 라벨링된 값 사이에 불일치가 있습니다.

모델 출력이 기대값이라고 가정하면 랜덤 변수(레이블이 지정된 값) yi의 확률 함수는 다음과 같습니다.

표본이 독립적이고 동일하게 분포되어 있으므로 레이블이 지정된 모든 값의 결합 확률 밀도 함수는 다음과 같습니다.

로그 우도 함수

오차 제곱합

최대 우도 솔루션

평균 제곱 오차 검정 공식

문제의 규모가 너무 커서 행렬을 풀기가 어렵다.

모든 샘플을 채취하여 평균 기울기를 계산합니다.

평균 기울기

재귀 공식

기울기를 계산하기 위해 무작위 샘플을 취합니다.

확률적 기울기

재귀 공식

작은 배치의 샘플을 채취하여 평균 기울기를 계산합니다.

평균 기울기

재귀 공식

행렬의 조건수가 매우 크고 수치적 안정성이 좋지 않습니다.

문제의 조건수가 큰 성격

해결책

오차 제곱합 J(w) 하이퍼파라미터 λ 제약 매개변수 벡터 w

형태

가중치 계수 벡터 w의 사전 분포는 가우스 분포에 따른 베이지안 "최대 사후 확률 추정" MAP입니다.

출력은 스칼라 y 대신 벡터 y입니다.

솔루션 좌표 중 어느 것도 0이 아니며 솔루션이 희소하지 않습니다.

대부분의 솔루션 좌표는 0이고 솔루션이 희박하며 처리가 비교적 쉽습니다.

대부분의 솔루션 좌표는 0이고 솔루션이 희박하며 처리가 어렵습니다.

제곱합 함수의 오류를 최소화하는 문제에는 ||w||1<t 제약 조건이 적용됩니다.

데이터 행렬 X 열을 0으로 평균하고 이를 Z로 정규화합니다.

올가미 솔루션

순환 좌표 하강법 CCD

잔존 가치 ri(j)의 일부가 yi를 대체합니다.

모수 추정

1-노름 제약 조건 하에서 희소 회귀 문제 해결

λ=0

더 큰 λ

큰 편차, 작은 분산

작은 편차, 큰 변화