Использование компьютеров для реализации способности людей распознавать образы — это технология, которая использует компьютеры для реализации человеческого анализа, описания, суждения и идентификации различных вещей или явлений и распределяет распознаваемые вещи по различным категориям шаблонов.

Распознавание образов можно рассматривать как сопоставление шаблонов с категориями.

Информация о веществе или явлении

Вообще говоря, наблюдаемые объекты, существующие во времени и пространстве, можно назвать шаблонами, если их можно отличить как одинаковые или похожие.

Шаблон — это описание объекта, сформированное посредством сбора информации. Это описание должно быть стандартизированным, понятным и идентифицируемым.

иллюстрировать

Информация с распределением во времени и пространстве, полученная путем наблюдения за конкретными отдельными объектами (называемыми выборками или векторами выборок).

Категория, к которой принадлежит шаблон, или совокупность шаблонов в той же категории (сокращенно категория).

Категория, к которой принадлежит шаблон, или совокупность шаблонов в той же категории (сокращенно категория).

Дизайн (обучение, обучение)

Реализация (принятие решения, классификация, суждение)

Сбор данных (сбор данных)

предварительная обработка

Извлечение и выбор функций

Решение о классификации или сопоставление модели

Эта структура системы подходит для статистического распознавания образов, нечеткого распознавания образов и контролируемых методов в искусственных нейронных сетях.

Для методов распознавания структурных образов вместо извлечения и выбора признаков используется только извлечение примитивов.

Для кластерного анализа разработка классификатора и принятие решений объединены в один этап.

цвет

текстура

форма

Пространственные отношения

Коллекция узоров

Извлечение признаков и выбор признаков

Тип дискриминации

Оценка эффективности

вычислительная сложность

Основа классификации

n-мерный вектор-столбец

x= (x1, x2, …, xn)T

критическая точка (образец)

фирменный набор

сходство

Стандартизация данных

неполный

шумный

Несовместимые типы данных

Корректность: например, правильно ли это, точно или нет и т. д.

Полнота: если какие-либо данные отсутствуют или не могут быть получены.

Согласованность: если некоторые данные были изменены, а другие — нет.

Надежность: описывает степень уверенности в том, что данные верны.

Очистка данных

интеграция данных

Преобразование и дискретизация данных

сжатие данных

Извлечение признаков и выбор признаков

причина

иметь дело с

причина

иметь дело с

❑ Консолидация данных из нескольких источников данных в единое хранилище.

❑ Интеграция метаданных из разных источников данных.

◼ например, A.cust_id = B.customer_no.

❑ Сопоставление реальных объектов из разных источников данных.

◼ например, Билл Клинтон = Уильям Клинтон

❑ Для одной и той же сущности в реальном мире значения атрибутов из разных источников данных могут быть разными.

❑ Возможные причины: другое представление данных, разные измерения и т. д.

◆Сложный анализ данных крупномасштабных баз данных часто занимает много времени, что делает анализ исходных данных нереалистичным и невозможным;

◆Сокращение данных: Сокращение или сокращение данных предназначено для уменьшения размера добытых данных, не влияя на окончательные результаты майнинга.

◆Методы сокращения данных можно использовать для получения сокращенного представления набора данных, которое намного меньше, но все же близко к сохранению целостности исходных данных.

◆Обработка сокращенного набора данных может повысить эффективность добычи и дать такие же (или почти такие же) результаты.

◆Время, затрачиваемое на сокращение данных, не должно превышать или «компенсировать» время, сэкономленное на анализе сокращенного набора данных.

◆Данные, полученные путем редукции, намного меньше исходных данных, но могут дать такие же или почти такие же результаты анализа.

◆Агрегация кубов данных;

◆Уменьшение размеров (уменьшение атрибутов);

◆Сжатие данных;

◆Численное сокращение;

◆Дискретизация и иерархическая генерация понятий.

Классифицируйте каждую классифицированную модель на основе определенной меры сходства.

Группируйте похожие в одну категорию.

Простой метод кластеризации, основанный на пороге сходства и принципе минимального расстояния.

Метод непрерывного объединения двух категорий по принципу минимального расстояния.

Метод динамической кластеризации на основе целевой функции

Кластерный анализ можно использовать как этап предварительной обработки для других алгоритмов.

Может использоваться как независимый инструмент для получения распределения данных.

Кластерный анализ может завершить анализ изолированных точек

тип расстояния

Тип алгоритма

Создайте кластеризованное дерево объектов данных. В зависимости от того, формируется ли иерархическая декомпозиция снизу вверх или сверху вниз, ее можно разделить на агломеративную иерархическую кластеризацию и дивизионную иерархическую кластеризацию.

Как измерить расстояние между двумя кластерами, где каждый кластер обычно представляет собой набор объектов.

Тип расстояния (метод измерения межкластерного расстояния)

Тип алгоритма

Пока плотность точек в области превышает определенное пороговое значение, она добавляется в аналогичный ей кластер.

DBSCAN

ОПТИКА

ДЕНКЛЮ

При наличии нескольких атрибутов объекта

значение

Упрощение

таблица решений

Метод расчета

Определить классификацию точки

Найдите k экземпляров обучения, ближайших к новому экземпляру в наборе обучающих данных, а затем посчитайте класс с наибольшим количеством классов среди последних k экземпляров обучения, который является классом нового экземпляра.

Рассчитайте расстояние между каждой точкой выборки в обучающей выборке и тестовой выборке (обычные меры расстояния включают евклидово расстояние, расстояние Махаланобиса и т. д.).

Отсортируйте все значения расстояния выше

Выберите первые k образцов с наименьшим расстоянием

Проголосуйте на основе меток этих k образцов, чтобы получить окончательную классификационную категорию.

Чем меньше значение k, тем сложнее модель и тем легче ее переобучить. Однако, чем больше значение k, тем проще модель. Если k = N, это означает, что независимо от того, какая точка, это класс. с наибольшим количеством категорий в обучающем наборе. Следовательно, k обычно принимает меньшее значение, а затем использует перекрестную проверку для определения. Так называемая перекрестная проверка здесь заключается в разделении части выборки на выборки прогнозирования, например, 95% обучения и 5% прогнозирования, а затем k принимает 1, 2, 3, 4, 5 и т.п. соответственно для прогнозирования и вычислите окончательную ошибку классификации. Выберите k с наименьшей ошибкой.

Цель состоит в том, чтобы разделить серию наборов точек на k категорий.

K-Means — алгоритм кластеризации.

Обучение без учителя, группировка схожих данных для получения классификации, без внешней классификации.

Набор обучающих данных не имеет меток и является беспорядочным. После кластеризации он становится несколько упорядоченным. Сначала он становится неупорядоченным, а затем упорядоченным.

Цель – определить классификацию точки.

KNN — алгоритм классификации

Контролируемое обучение, цель классификации известна заранее

Набор обучающих данных имеет метки и уже представляет собой полностью правильные данные.

Предмет: например, кола, картофельные чипсы, хлеб, пиво и подгузники называются предметами.

Пусть I={i1, i2,…,im} — множество всех элементов (Item).

Транзакция T представляет собой запись о покупке, и каждая транзакция T имеет уникальный идентификатор, записанный как Tid.

D — множество всех транзакций.

Itemset — это набор, который мы хотим изучить.

Логическое следствие формы A->B, где ни A, ни B не пусты, и A⸦I, B⸦I и (A пересекает B = пусто).

Описать вероятность того, что наборы элементов A и B появятся одновременно во всех транзакциях D.

S(A->B)=P(AB)=|AB|/|D|

Поддержка — это мера важности правил ассоциации.

В вещи T, в которой появляется набор элементов A, вероятность того, что в то же время появится набор элементов B.

C(A->B)=P(B|A)=|AB|/|A|

Доверие — это мера точности ассоциативных правил.

Правила ассоциации, согласно которым D удовлетворяет минимальной поддержке и минимальной достоверности для I, называются правилами сильной ассоциации.

Степень подъема показывает, насколько сильно внешний вид набора элементов A влияет на внешний вид набора элементов B.

L(A->B)=P(AB)/(P(A)*P(B))

Наборы элементов, удовлетворяющие минимальной поддержке, называются частыми наборами элементов. Множество часто встречающихся k-множеств обычно обозначается Lk

Найдите все часто встречающиеся наборы элементов или самые частые наборы элементов, учитывая минимальную поддержку со стороны пользователя.

Найдите правила ассоциации в часто встречающихся наборах элементов, обеспечив минимальное доверие со стороны пользователя.

Первым шагом является получение через итерацию всех часто встречающихся наборов элементов в базе данных транзакций, то есть наборов элементов, поддержка которых не ниже порогового значения, установленного пользователем;

На втором этапе используются часто встречающиеся наборы элементов для создания правил, удовлетворяющих минимальному уровню доверия пользователя.