Usar computadores para realizar a capacidade de reconhecimento de padrões das pessoas é uma tecnologia que usa computadores para realizar a análise, descrição, julgamento e identificação de várias coisas ou fenômenos pelas pessoas, e atribui as coisas a serem reconhecidas a várias categorias de padrões.

O reconhecimento de padrões pode ser visto como o mapeamento de padrões para categorias

Informações sobre uma substância ou fenômeno

Em termos gerais, objetos observáveis ​​que existem no tempo e no espaço podem ser chamados de padrões se puderem ser distinguidos como iguais ou semelhantes.

Um padrão é uma descrição de um objeto formado por meio da coleta de informações. Essa descrição deve ser padronizada, compreensível e identificável.

ilustrar

Informações com distribuição de tempo e espaço obtidas pela observação de coisas individuais específicas (referidas como amostras ou vetores de amostra)

A categoria à qual um padrão pertence ou a população de padrões na mesma categoria (categoria abreviada)

A categoria à qual um padrão pertence ou a população de padrões na mesma categoria (categoria abreviada)

Design (treinamento, aprendizagem)

Realização (tomada de decisão, classificação, julgamento)

Coleta de dados (aquisição de dados)

pré-processando

Extração e seleção de recursos

Decisão de classificação ou correspondência de modelo

Esta estrutura de sistema é adequada para reconhecimento estatístico de padrões, reconhecimento de padrões difusos e métodos supervisionados em redes neurais artificiais.

Para métodos de reconhecimento de padrões estruturais, apenas a extração primitiva é usada para substituir a extração e seleção de recursos.

Para análise de cluster, o projeto do classificador e a tomada de decisão são integrados em uma única etapa.

cor

textura

forma

Relações espaciais

Coleção de padrões

Extração e seleção de recursos

Discriminação de tipo

Avaliação de desempenho

complexidade computacional

Base de classificação

vetor de coluna n-dimensional

x= (x1, x2,…, xn)T

ponto crítico (amostra)

conjunto firme

semelhança

Padronização de dados

incompleto

barulhento

Tipos de dados inconsistentes

Correção: como se está correto, preciso ou não, etc.

Integralidade: se algum dado estiver faltando ou não puder ser obtido

Consistência: se alguns dados foram modificados, mas outros não

Confiabilidade: descreve o grau de confiança de que os dados estão corretos

Limpeza de dados

integração de dados

Transformação e discretização de dados

redução de dados

Extração e seleção de recursos

razão

tratar

razão

tratar

❑ Consolide dados de diversas fontes de dados em um armazenamento consistente

❑ Integre metadados de diferentes fontes de dados

◼ por exemplo, A.cust_id = B.customer_no

❑ Combine entidades do mundo real de diferentes fontes de dados

◼ por exemplo, Bill Clinton = William Clinton

❑ Para a mesma entidade no mundo real, os valores dos atributos de diferentes fontes de dados podem ser diferentes

❑ Possíveis razões: representação de dados diferente, medições diferentes, etc.

◆A análise complexa de dados de conteúdo de banco de dados em grande escala geralmente leva muito tempo, tornando a análise de dados originais irrealista e inviável;

◆Redução de dados: A redução ou redução de dados visa reduzir o tamanho dos dados extraídos sem afetar os resultados finais da mineração.

◆ Técnicas de redução de dados podem ser utilizadas para obter uma representação reduzida do conjunto de dados, que é muito menor, mas ainda próximo de manter a integridade dos dados originais.

◆A mineração do conjunto de dados reduzido pode aumentar a eficiência da mineração e produzir os mesmos (ou quase os mesmos) resultados.

◆O tempo gasto na redução de dados não deve exceder ou “compensar” o tempo economizado na mineração do conjunto de dados reduzido.

◆Os dados obtidos por redução são muito menores que os dados originais, mas podem produzir resultados de análise iguais ou quase iguais.

◆Agregação de cubo de dados;

◆Redução de dimensão (redução de atributos);

◆Compressão de dados;

◆Redução numérica;

◆Discretização e geração hierárquica de conceitos.

Classifique cada modelo classificado com base em uma determinada medida de similaridade.

Agrupe os semelhantes em uma categoria

Método de agrupamento simples baseado no limite de similaridade e no princípio da distância mínima

Um método de fusão contínua de duas categorias de acordo com o princípio da distância mínima

Método de agrupamento dinâmico baseado na função de critério

A análise de cluster pode ser usada como uma etapa de pré-processamento para outros algoritmos

Pode ser usado como uma ferramenta independente para obter a distribuição de dados

A análise de cluster pode completar a mineração de pontos isolados

tipo de distância

Tipo de algoritmo

Crie uma árvore agrupada de objetos de dados. Dependendo se a decomposição hierárquica é formada de baixo para cima ou de cima para baixo, ela pode ser dividida em agrupamento hierárquico aglomerativo e agrupamento hierárquico divisivo.

Como medir a distância entre dois clusters, onde cada cluster geralmente é um conjunto de objetos.

Tipo de distância (método de medição de distância entre clusters)

Tipo de algoritmo

Contanto que a densidade de pontos em uma área seja maior que um determinado valor limite, ela é adicionada a um cluster semelhante a ela.

DBSCAN

ÓPTICA

DENCLUIR

Quando há vários atributos de recursos

significado

Simplificação

tabela de decisão

Método de cálculo

Determinar a classificação de um ponto

Encontre as k instâncias de treinamento mais próximas da nova instância no conjunto de dados de treinamento e, em seguida, conte a classe com o maior número de classes entre as k instâncias de treinamento recentes, que é a classe da nova instância.

Calcule a distância entre cada ponto de amostra na amostra de treinamento e na amostra de teste (medidas de distância comuns incluem distância euclidiana, distância de Mahalanobis, etc.)

Classifique todos os valores de distância acima

Selecione as primeiras k amostras com a menor distância

Vote com base nos rótulos dessas k amostras para obter a categoria de classificação final

Quanto menor o valor de k, mais complexo é o modelo e mais fácil é superajustá-lo. No entanto, quanto maior o valor de k, mais simples é o modelo. Se k = N, significa que não importa o ponto, é a classe. com o maior número de categorias no conjunto de treinamento. Portanto, k geralmente assumirá um valor menor e então usará a validação cruzada para determinar A chamada validação cruzada aqui é dividir uma parte da amostra em amostras de predição, como 95% de treinamento e 5% de predição, e então k leva 1, 2, 3, 4, 5 e similares, respectivamente, para prever e calcule o erro de classificação final. Escolha k com o menor erro.

O objetivo é dividir uma série de conjuntos de pontos em k categorias

K-Means é um algoritmo de agrupamento

Aprendizagem não supervisionada, agrupamento de dados semelhantes para obter classificação, sem classificação externa

O conjunto de dados de treinamento não tem rótulo e é confuso. Após o agrupamento, ele fica um tanto ordenado no início e depois ordenado.

O objetivo é determinar a classificação de um ponto

KNN é um algoritmo de classificação

Aprendizagem supervisionada, a meta de classificação é conhecida antecipadamente

O conjunto de dados de treinamento possui rótulos e já contém dados completamente corretos.

Item: Por exemplo, cola, batata frita, pão, cerveja e fraldas são todos chamados de itens.

Seja I={i1, i2,…,im} o conjunto de todos os itens (Item).

A transação T é um registro de compra, e cada transação T possui um identificador único, registrado como Tid.

D é o conjunto de todas as transações.

Itemset é o conjunto que queremos estudar

Uma implicação lógica da forma A->B, onde nem A nem B estão vazios, e A⸦I, B⸦I e (A cruza B=vazio).

Descreva a probabilidade de que os conjuntos de itens A e B apareçam simultaneamente em todas as transações D

S(A->B)=P(AB)=|AB|/|D|

O apoio é uma medida da importância das regras de associação

Na coisa T em que o conjunto de itens A aparece, a probabilidade de que o conjunto de itens B também apareça ao mesmo tempo.

C(A->B)=P(B|A)=|AB|/|A|

A confiança é uma medida da precisão das regras de associação

As regras de associação segundo as quais D satisfaz o suporte mínimo e a credibilidade mínima em I são chamadas de regras de associação fortes.

O grau de elevação indica quanta influência a aparência do conjunto de itens A tem na aparência do conjunto de itens B.

L(A->B)=P(AB)/(P(A)*P(B))

Conjuntos de itens que satisfazem o suporte mínimo são chamados conjuntos de itens frequentes. O conjunto de k-itemsets frequentes é geralmente denotado Lk

Encontre todos os conjuntos de itens frequentes ou os maiores conjuntos de itens frequentes, considerando o suporte mínimo do usuário

Encontre regras de associação em conjuntos de itens frequentes, dando credibilidade mínima ao usuário

O primeiro passo é recuperar todos os conjuntos de itens frequentes no banco de dados de transações por meio de iteração, ou seja, conjuntos de itens cujo suporte não seja inferior ao limite definido pelo usuário;

A segunda etapa utiliza conjuntos de itens frequentes para construir regras que satisfaçam o nível mínimo de confiança do usuário.