로그인
로그인

마인드 맵 갤러리 기계 학습을 위한 기본 회귀 알고리즘

기계 학습을 위한 기본 회귀 알고리즘

기본 선형 회귀, 재귀 회귀, 정규화된 선형 회귀, 희소 선형 회귀 Lasso, 선형 기저 함수 회귀, 특이값 분해, 회귀 학습의 오류 분해 등 기계 학습의 기본 회귀 알고리즘을 요약합니다.

2023-02-15 23:14:30에 편집됨

슈퍼직장인

기계 학습을 위한 기본 회귀 알고리즘

슈퍼직장인

추천 사항
개요

딥러닝 이론 지식
- 17
슈퍼직장인
패턴 인식
- 6
슈퍼직장인
기계 학습 알고리즘 엔지니어 스킬 트리
- 6
슈퍼직장인
인공지능 분야의 상위 10가지 알고리즘
- 11
슈퍼직장인
머신러닝 알고리즘 엔지니어
- 36
슈퍼직장인
이미지 분할 알고리즘
- 8
슈퍼직장인
기계 학습 알고리즘 선형 회귀 결정 트리 노트 자율 학습 마인드 맵
- 25
슈퍼직장인
신경망의 동작과정에 대한 자세한 설명
- 2
슈퍼직장인
CNN(컨벌루션 신경망)
- 4
슈퍼직장인
신경망 모델의 일반적인 유형 및 응용
- 9
슈퍼직장인

기계 학습 기본 회귀 알고리즘

회귀 학습

특징

지도 학습

레이블이 y인 데이터 세트

학습 과정

모델 매개변수를 결정하는 과정

예측하거나 추정하다

새로운 입력을 대체하여 회귀 출력을 계산하는 프로세스

선형 회귀

기본 선형 회귀

목표 선형 함수

오류 가우스 분포 가정

출력 값과 라벨링된 값 사이에 불일치가 있습니다.

모델 출력이 기대값이라고 가정하면 랜덤 변수(레이블이 지정된 값) yi의 확률 함수는 다음과 같습니다.

표본이 독립적이고 동일하게 분포되어 있으므로 레이블이 지정된 모든 값의 결합 확률 밀도 함수는 다음과 같습니다.

최적의 매개변수를 찾기 위한 우도 함수 (최소 제곱 LS 솔루션)

로그 우도 함수

오차 제곱합

최대 우도 솔루션

평균 제곱 오차 검정 공식

선형 회귀를 위한 재귀 학습

타겟 이슈

문제의 규모가 너무 커서 행렬을 풀기가 어렵다.

경사하강법 알고리즘

모든 샘플을 채취하여 평균 기울기를 계산합니다.

평균 기울기

재귀 공식

확률적 경사하강법 SGD 알고리즘(LMS)

기울기를 계산하기 위해 무작위 샘플을 취합니다.

확률적 기울기

재귀 공식

미니 배치 SGD 알고리즘

작은 배치의 샘플을 채취하여 평균 기울기를 계산합니다.

평균 기울기

재귀 공식

정규화된 선형 회귀

타겟 이슈

행렬의 조건수가 매우 크고 수치적 안정성이 좋지 않습니다.

문제의 조건수가 큰 성격

행렬의 일부 열 벡터는 비례하거나 대략적으로 비례합니다.

중복된 가중치 계수가 있어 과적합이 발생합니다.

해결책

"모델 매개변수 수를 줄이거나" "모델 매개변수를 정규화"해야 합니다.

정규화된 목적 함수

오차 제곱합 J(w) 하이퍼파라미터 λ 제약 매개변수 벡터 w

형태

정규화된 최소 제곱 LS 솔루션

정규화된 선형 회귀 확률 해석

가중치 계수 벡터 w의 사전 분포는 가우스 분포에 따른 베이지안 "최대 사후 확률 추정" MAP입니다.

경사 재귀 알고리즘(예: 소규모 배치 확률적 경사 하강법 SGD)

다중 출력(출력 벡터 y) 선형 회귀

타겟 이슈

출력은 스칼라 y 대신 벡터 y입니다.

오차 제곱합 목적 함수 J(W)

최소제곱 LS 솔루션

희소 선형 회귀 올가미

정규화 기간의 규범

규범 p>1

솔루션 좌표 중 어느 것도 0이 아니며 솔루션이 희소하지 않습니다.

규범 p=1

대부분의 솔루션 좌표는 0이고 솔루션이 희박하며 처리가 비교적 쉽습니다.

규범 p<1

대부분의 솔루션 좌표는 0이고 솔루션이 희박하며 처리가 어렵습니다.

올가미 문제

콘텐츠

제곱합 함수의 오류를 최소화하는 문제에는 ||w||1<t 제약 조건이 적용됩니다.

정규화 표현식

Lasso의 순환 좌표 하강 알고리즘

전처리

데이터 행렬 X 열을 0으로 평균하고 이를 Z로 정규화합니다.

단일 변수 케이스의 올가미 솔루션

올가미 솔루션

다변수 사례에서 Lasso 솔루션의 일반화

순환 좌표 하강법 CCD

먼저 매개변수 wj 중 하나를 결정합니다.

제곱 오차의 합을 최소화하는 매개변수 계산

이때 다른 매개변수 w는 최적값이 아니므로 wj의 계산 결과는 추정치일 뿐이다.

루프 계산

매개변수 추정값이 수렴될 때까지 루프에서 다른 매개변수를 계산하는 데에도 동일한 아이디어가 사용됩니다.

잔존 가치 ri(j)의 일부가 yi를 대체합니다.

단변량과 수학적으로 일치함

모수 추정

Lasso의 LAR 알고리즘

해당 가능

1-노름 제약 조건 하에서 희소 회귀 문제 해결

정규화된 회귀 문제에 해당

분류

λ=0

표준 최소제곱 문제

더 큰 λ

모델 매개변수 솔루션 w 벡터가 희박할수록 희소합니다.

선형 기초 함수 회귀

기본 기능

회귀 모델

데이터 매트릭스

회귀계수 솔루션

특이값 분해

의사역

SVD 분해

회귀계수 모델 솔루션

회귀 학습을 위한 오류 분해

오류 기능

오류 예상

모델

이론적 최고의 모델

학습 모델

오류 분해

모델 복잡성 및 오류 분해

모델은 간단하다

큰 편차, 작은 분산

모델이 복잡하다

작은 편차, 큰 변화

적절한 모델 복잡성을 선택해야 합니다.