Há uma discrepância entre o valor de saída e o valor rotulado

Supondo que a saída do modelo seja o valor esperado, a função de probabilidade da variável aleatória (valor rotulado) yi é

Como as amostras são distribuídas de forma independente e idêntica, a função de densidade de probabilidade conjunta de todos os valores rotulados é

função de log de verossimilhança

erro soma dos quadrados

solução de máxima verossimilhança

Fórmula de teste de erro quadrático médio

A escala do problema é muito grande e é difícil resolver a matriz

Pegue todas as amostras para calcular o gradiente médio

gradiente médio

fórmula de recursão

Pegue amostras aleatórias para calcular o gradiente

gradiente estocástico

fórmula de recursão

Pegue um pequeno lote de amostras para calcular o gradiente médio

gradiente médio

fórmula de recursão

O número de condição da matriz é muito grande e a estabilidade numérica não é boa.

A natureza do grande número de condição do problema

Solução

Erro soma dos quadrados J (w) hiperparâmetro λ vetor de parâmetro restritivo w

forma

A distribuição anterior do vetor de coeficiente de peso w é o MAP bayesiano de "estimativa de probabilidade posterior máxima" sob a distribuição gaussiana

A saída é um vetor y em vez de um escalar y

Nenhuma das coordenadas da solução é 0 e a solução não é esparsa.

A maioria das coordenadas da solução é 0, as soluções são esparsas e o processamento é relativamente fácil.

A maioria das coordenadas da solução é 0, as soluções são esparsas e o processamento é difícil.

Para o problema de minimizar o erro da função soma dos quadrados, uma restrição ||w||1<t é imposta

Média zero das colunas X da matriz de dados e normalize-as para Z

Solução laço

Método de descida por coordenadas cíclicas CCD

Parte do valor residual ri(j) substitui yi

estimativas de parâmetros

Resolva o problema de regressão esparsa sob restrições de 1 norma

λ=0

Quanto maior λ

Grande desvio, pequena variação

Pequeno desvio, grande variação