Вход
Войти

Галерея диаграмм связей Базовый алгоритм регрессии для машинного обучения

Базовый алгоритм регрессии для машинного обучения

В нем обобщаются основные алгоритмы регрессии в машинном обучении, такие как базовая линейная регрессия, рекурсивная регрессия, регуляризованная линейная регрессия, разреженная линейная регрессия Лассо, регрессия линейной базисной функции, разложение по сингулярным значениям, разложение ошибок регрессионного обучения и т. д.

Отредактировано в 2023-02-15 23:14:30

WSysQn6v

Недавние работы Смотреть другие работы>>

Базовый алгоритм регрессии для машинного обучения

WSysQn6v

Недавние работы Смотреть другие работы>>

Рекомендовано вам
Структура

Внимание — это все, что вам нужно
- 2
WSrx009v
Топ-10 алгоритмов искусственного интеллекта
- 2
WSysQn6v
Алгоритм сегментации изображения
- 1
WSysQn6v
Алгоритм машинного обучения, дерево решений линейной регрессии, примечания, интеллектуальная карта для самостоятельного изучения
- 2
WSysQn6v
Подробное объяснение процесса работы нейронной сети
- 2
WSysQn6v
Сверточная нейронная сеть (CNN)
- 1
WSysQn6v
Нейронные сети и рекуррентные нейронные сети глубокого обучения
- 1
WSysQn6v
Нейронные сети и сверточные нейронные сети глубокого обучения
- 2
WSysQn6v
Основы нейронных сетей и глубокого обучения
- 1
WSysQn6v
Развитие технологий искусственного интеллекта
- 2
ArteVeloce

машинное обучение Базовый алгоритм регрессии

регрессионное обучение

Функции

контролируемое обучение

Набор данных с меткой y

процесс изучения

Процесс определения параметров модели w

предсказать или экстраполировать

Процесс расчета выходных данных регрессии путем замены новых входных данных.

линейная регрессия

базовая линейная регрессия

целевая линейная функция

Предположение о распределении ошибок по Гауссу

Существует несоответствие между выходным значением и обозначенным значением.

Предполагая, что выходные данные модели являются ожидаемым значением, функция вероятности случайной величины (помеченного значения) yi равна

Поскольку выборки независимо и одинаково распределены, совместная функция плотности вероятности всех помеченных значений равна

Функция правдоподобия для поиска оптимальных параметров (решение LS по методу наименьших квадратов)

логарифмическая функция правдоподобия

ошибка суммы квадратов

решение максимального правдоподобия

Формула теста среднеквадратической ошибки

Рекурсивное обучение для линейной регрессии

Целевые проблемы

Масштаб проблемы слишком велик и решить матрицу сложно

алгоритм градиентного спуска

Возьмите все образцы, чтобы рассчитать средний градиент.

средний градиент

формула рекурсии

Алгоритм стохастического градиентного спуска SGD (LMS)

Возьмите случайные образцы для расчета градиента

стохастический градиент

формула рекурсии

Мини-пакетный алгоритм SGD

Возьмите небольшую партию образцов, чтобы рассчитать средний градиент.

средний градиент

формула рекурсии

регуляризованная линейная регрессия

Целевые проблемы

Число обусловленности матрицы очень велико, а числовая стабильность не очень хорошая.

Природа большого числа обусловленности проблемы

Некоторые векторы-столбцы матрицы пропорциональны или приблизительно пропорциональны.

Имеются избыточные весовые коэффициенты и происходит переобучение.

Решение

Следует «сократить количество параметров модели» или «упорядочить параметры модели»

Регуляризованная целевая функция

Сумма ошибок квадратов J(w) гиперпараметра λ, ограничивающего вектор параметра w

форма

Регуляризованное решение LS по методу наименьших квадратов

Интерпретация вероятности регуляризованной линейной регрессии

Априорное распределение вектора весового коэффициента w представляет собой байесовскую «максимальную апостериорную оценку вероятности» MAP при гауссовском распределении.

Алгоритм градиентной рекурсии (на примере мелкопакетного метода стохастического градиентного спуска SGD)

Линейная регрессия с множественным выходом (выходной вектор y)

Целевые проблемы

Выходные данные представляют собой вектор y вместо скалярного y.

Сумма ошибок целевой функции J(W)

Решение LS по методу наименьших квадратов

Разреженное лассо линейной регрессии

норма члена регуляризации

Норма р>1

Ни одна из координат решения не равна 0, и решение не является разреженным.

Норма р=1

Большинство координат решения равны 0, решения разрежены, а обработка относительно проста.

Норма р<1

Большинство координат решения равны 0, решения разрежены, а обработка затруднена.

Проблема с лассо

содержание

Для задачи минимизации функции суммы квадратов ошибок наложено ограничение ||w||1<t

выражение регуляризации

Алгоритм циклического спуска координат Лассо

предварительная обработка

Оцените нулевое значение столбцов матрицы данных X и нормализуйте их до Z.

Решение Лассо в случае с одной переменной

Решение Лассо

Обобщение решения Лассо в случаях с несколькими переменными

Метод циклического спуска координат CCD

Сначала определим один из параметров wj

Рассчитайте параметры, которые минимизируют сумму квадратов ошибок

В настоящее время другие параметры w не являются оптимальными значениями, поэтому результат расчета wj является лишь оценкой.

Расчет петли

Та же идея используется для вычисления других параметров в цикле до тех пор, пока оценки параметров не сойдутся.

Часть остаточной стоимости ri(j) заменяет yi

Математически согласуется с одномерной

оценки параметров

Алгоритм LAR Лассо

Быть применимым

Решите задачу разреженной регрессии при ограничениях с 1 нормой

Соответствует задаче регуляризованной регрессии

Классификация

λ=0

Стандартная задача наименьших квадратов

Чем больше λ

Чем более разреженным является вектор решения параметра модели w, тем более разреженным оно является.

линейная регрессия базисной функции

базисная функция

регрессионная модель

матрица данных

Решение коэффициента регрессии

разложение по сингулярным значениям

псевдообратный

Разложение СВД

Решение модели коэффициента регрессии

Разложение ошибок для регрессионного обучения

функция ошибки

ожидание ошибки

Модель

теоретическая лучшая модель

Модель обучения

декомпозиция ошибок

Сложность модели и декомпозиция ошибок

Модель проста

Большое отклонение, небольшое отклонение

Модель сложная.

Маленькое отклонение, большое отклонение

Необходимо выбрать соответствующую сложность модели.