Wondershare EdrawMind
Galería de mapas mentales Inteligencia artificial aprendizaje automático
- 18
Inteligencia artificial aprendizaje automático
Serie de aprendizaje básico de inteligencia artificial, conceptos básicos del aprendizaje automático, los estudiantes interesados pueden recopilar la siguiente imagen.
Editado a las 2020-11-12 23:52:59,
- Recomendados
- Resumen
Zhou Zhihua · Aprendizaje automático
1. introducción
1.1. introducción
1.1.1. terminología básica
muestra
cada registro
tren
Aprende de los modelos
conjunto de datos
recopilación de todos los registros
dimensión
Número de características de la muestra.
Generalización
La capacidad de los modelos de aprendizaje automático para aplicarse a nuevas muestras.
Clasificación
Los valores pronosticados son valores discretos.
devolver
Los valores previstos son valores continuos.
1.2. tipo de aprendizaje
1.2.1. aprendizaje supervisado
Tareas donde los datos de entrenamiento tienen información etiquetada.
1.2.2. aprendizaje sin supervisión
Tareas de aprendizaje sin información etiquetada en los datos de entrenamiento
1.3. espacio de hipótesis
1.3.1. medios de razonamiento
inducción
sentido amplio
Aprendizaje de muestra
sentido estricto
formación de conceptos
concepto booleano
interpretación
1.4. preferencia inductiva
1.4.1. Definición: La preferencia de un algoritmo de aprendizaje automático por ciertos tipos de hipótesis durante el proceso de aprendizaje.
1.4.2. Método: principio de la navaja de Occam
1.5. camino de desarrollo
1.5.1. simbolismo
árbol de decisión
Aprendizaje basado en la lógica
1.5.2. conexionismo
perceptrón
1.5.3. aprendizaje estadístico
Máquinas de vectores de soporte
método del núcleo
1.6. aprendizaje aplicado
1.6.1. análisis de los datos
1.6.2. sin personal
1.6.3. Comprender cómo aprenden los humanos
2. Selección y evaluación del modelo.
1. Error empírico y sobreajuste
1.1. Error: salida real/salida de muestra
Conjunto de entrenamiento: error de entrenamiento
Conjunto de pruebas: error de generalización
1.2. adecuado
Falta de adaptación
Capacidad de aprendizaje demasiado débil.
sobreajuste
Capacidad de aprendizaje demasiado fuerte.
2. método de evaluación
2.1. método de salida
colección mutuamente excluyente
2.2. método de validación cruzada
Validación cruzada K-fold
2.3. método de autoayuda
Muestreo autónomo: conceptos básicos
2.4. Modelo de ajuste de parámetros y autoservicio.
3. Métricas de rendimiento
3.1. Medir la capacidad de generalización del modelo.
3.2. Métricas de rendimiento comunes
Tasa de error y precisión
Ser aplicable
Dos categorias
Múltiples categorías
P: tasa de precisión
R: tasa de recuperación
se contradicen
F1
Media armónica ponderada de P y R
República de China
Característica Operativa del Receptor
AUC
área de la curva ROC
tasa de error sensible al costo
línea de prueba de comparación de curva de costos
4. prueba comparativa
4.1. prueba hipotética
4.2. Prueba T de validación cruzada
4.3. prueba F
4.4. prueba de nemeni
5. Sesgo y variación
5.1. desviación
propia capacidad de ajuste
5.2. diferencia
Impacto de los cambios de datos
conflicto
3. Modelo lineal
3.1. Forma básica
3.1.1. Modelo lineal
3.2. regresión lineal
3.2.1. Atributos de entrada: 1
Típico: método de mínimos cuadrados
Error entre el valor previsto y el valor verdadero y sumado
MSE
Encuentra la derivada parcial y calcula la recta ajustada.
3.2.2. Atributo de entrada>1
Matriz aplicable
3.2.3. Regresión lineal logarítmica
cambio exponencial
3.3. regresión logarítmica de probabilidades
3.3.1. Resultados de la regresión lineal: probabilidad logarítmica aproximada
3.4. análisis discriminante lineal
3.4.1. Teoría bayesiana
3.5. Aprendizaje multicategoría
3.5.1. CEC
codificación
descodificación
3.6. Desequilibrio de categorías
3.6.1. El número de muestras en diferentes categorías varía mucho.
4. árbol de decisión
4.1. Proceso básico
4.1.1. Características: recursividad
4.1.2. Toma de decisiones basada en estructura de árbol
4.1.3. Propósito: Obtener un árbol con una gran capacidad de generalización.
4.2. Dividir selección
4.2.1. ganancia de información
Entropía de información: indicador de pureza de la recolección de muestras
4.2.2. Tasa de ganancia
Atributos de partición óptimos
4.2.3. Coeficiente GINI
Probabilidad de inconsistencia
4.3. Poda
4.3.1. prepoda
Correspondencia: sobreajuste
4.3.2. pospoda
4.4. Valores continuos y perdidos
4.4.1. Procesamiento continuo de valores
dicotomía
4.4.2. Manejo de valores faltantes
4.5. árbol de decisión multivariado
4.5.1. Construya un clasificador lineal adecuado
5. Redes neuronales
5.1. Neuronas
5.1.1. Componentes básicos: neuronas.
5.1.2. Procesamiento: función de activación
5.2. Red multicapa perceptrón
5.2.1. Perceptrón: 2 capas de neuronas.
Capa 1: neuronas funcionales
Insoluble: problemas no lineales
Problema XOR: perceptrón de 2 capas
5.3. Algoritmo de propagación hacia atrás de errores
5.3.1. Algoritmo más potente (BP)
PA estándar
Apunte a 1 conjunto de datos cada vez
Pregunta abierta: Establecer el número de neuronas
prueba y error
PA acumulada
Minimizar el error acumulativo
Aliviar el sobreajuste
Deténgase temprano
Regularización
5.4. Mínimo global y mínimo local
5.4.1. mínimo global
algoritmo genético
Un punto en el espacio de parámetros con gradiente cero, siempre que el valor de su función de error sea menor que la función de error de los puntos vecinos. El valor es el punto mínimo local.
5.5. Otras redes neuronales comunes
5.5.1. FBR
Determinar el centro neuronal
Determine los parámetros utilizando el algoritmo BP, etc.
5.5.2. ARTE
5.5.3. SOM
5.5.4. Redes relacionadas en cascada
5.5.5. ELMAN
5.5.6. máquina de Boltzmann
5.6. aprendizaje profundo
5.6.1. red neuronal multicapa
6. Máquinas de vectores de soporte
6.1. Márgenes y vectores de soporte.
6.1.1. intervalo
La suma de distancias de dos vectores de soporte heterogéneos al hiperplano.
subtema
6.1.2. vector de soporte
Maximizar margen: máquina de vectores de soporte
Definición: el punto más cercano al hiperplano.
6.2. problema dual
6.2.1. Problema de planificación cuadrática
6.2.2. Las muestras no se conservan después del entrenamiento.
6.3. función del núcleo
6.3.1. La matriz del núcleo correspondiente a la función simétrica es semidefinida positiva
6.4. Márgenes suaves y regularización
6.4.1. Error de máquina vectorial: algunas muestras
6.4.2. 3 funciones de pérdida alternativas
pérdida de bisagra
pérdida exponencial
pérdida de tasa
6.4.3. Regularización
Minimizar el riesgo de sobreajuste por error de entrenamiento
6.5. regresión de vectores de soporte
6.6. método del núcleo
7. clasificación bayesiana
7.1. Teoría de la decisión bayesiana
7.1.1. método probabilístico de toma de decisiones
Seleccione la clase óptima según la probabilidad y la pérdida por clasificación errónea
7.2. estimación de máxima verosimilitud
7.2.1. Ventajas: la estimación de probabilidad condicional es simple
7.2.2. Desventajas: Dependencia de probabilidades hipotéticas
7.3. Clasificador ingenuo de Bayes
7.3.1. para estimar la probabilidad previa de clase
7.3.2. Estimar probabilidades condicionales para cada atributo.
7.4. .4 Clasificador Bayes semi-ingenuo
7.4.1. Relajar el supuesto de independencia condicional del atributo hasta cierto punto
7.5. red bayesiana
7.5.1. composición
estructura
parámetro
7.5.2. Características
El gráfico acíclico dirigido representa las dependencias.
Tabla de probabilidad condicional: distribución de probabilidad de atributos
7.5.3. Más información: compresión de datos
7.5.4. inferir
7.5.5. algoritmo EM
8. Aprendizaje conjunto
8.1. Definición: crear múltiples alumnos
8.1.1. Método de generación de alumnos individuales
hay dependencias
No existen dependencias
8.1.2. Cómo: utilizar estrategias
8.2. impulsando
8.2.1. aprendizaje débil → aprendizaje fuerte
adaimpulsando
8.2.2. Propósito: Reducir el sesgo
8.3. harpillera
8.3.1. Método de aprendizaje en conjunto paralelo.
8.3.2. Objetivo: reducir la variación
8.4. bosque aleatorio
8.4.1. Conceptos básicos: árbol de decisiones
8.4.2. Atributos aleatorios
8.5. Combinando estrategias
8.5.1. ventaja
Reducir las capacidades de generalización deficientes.
Reducir el riesgo de quedarse atrapado en malos mínimos locales
obtener una buena aproximación
8.5.2. método
método de promediado
leyes electorales
metodo de aprendizaje
8.6. Diversidad
8.6.1. Descomposición de error-divergencia
8.6.2. Medida de diversidad
8.6.3. Mayor diversidad
disturbio
datos
Atributos
expresar
parámetro
9. agrupamiento
9.1. definición
9.1.1. aprendizaje sin supervisión
9.1.2. Explicar la relación interna de los datos.
9.2. Métricas de rendimiento
9.2.1. indicadores externos
9.2.2. indicadores internos
9.3. calculo de distancia
9.4. agrupación de prototipos
9.4.1. Iterar primero
9.4.2. post-inicialización
9.4.3. método
Algoritmo K-medias
Aprendizaje de la cuantificación de vectores
Agrupación de mezclas gaussianas
agrupamiento de densidad
9.5. agrupamiento de densidad
9.5.1. Según la estanqueidad de la muestra.
9.6. agrupación jerárquica
10. Reducción de dimensionalidad y aprendizaje de métricas.
10.1. aprendizaje k-vecino
10.1.1. Métodos de aprendizaje supervisados.
10.1.2. Problema: no hay un proceso de formación explícito
10.2. incrustación de baja dimensión
10.2.1. Causa: Maldición de la dimensionalidad
10.3. Análisis de componentes principales
10.3.1. reconstrucción reciente
10.3.2. máxima divisibilidad
10.4. Reducción de dimensionalidad lineal kernelizada
10.5. aprendizaje múltiple
10.5.1. mapeo equimétrico
Especificar el número de puntos adyacentes.
10.5.2. incrustación lineal local
Mantener relaciones lineales dentro del área local.
10.6. Aprendizaje métrico
10.6.1. Propósito: espacio de baja dimensión
11. Selección de funciones y aprendizaje escaso
11.1. Busca y califícate
11.1.1. Características: Propiedades
11.1.2. Seleccionar un subconjunto de funciones: selección de funciones
11.1.3. Selección de características
Método de preprocesamiento de datos
11.1.4. Objetivo
Evita la maldición de la dimensionalidad.
Reducir la dificultad de aprendizaje
11.1.5. búsqueda de subconjunto
11.1.6. Evalúate a ti mismo
11.2. Método de selección de características
11.2.1. tipo de filtro
11.2.2. Incorporado
11.2.3. envuelto
11.3. Selección de filtro
11.3.1. Estadísticas relacionadas
11.3.2. Alivio
Determinar estadísticas relevantes
11.4. Diseño envuelto
11.5. Selección y regularización integradas.
11.5.1. Selección de funciones durante el entrenamiento.
11.5.2. Regularización
Aliviar el sobreajuste
11.6. escasa representación
11.6.1. La selección de funciones elimina columnas irrelevantes
11.7. aprendizaje de diccionario
11.7.1. codificación escasa
11.8. detección comprimida
11.8.1. Explotando la escasez de señal
11.8.2. Ejemplo: hobby de leer
12. teoría del aprendizaje computacional
12.1. conocimiento básico
12.1.1. Naturaleza: Dificultad en el análisis.
12.2. espacio de hipótesis finito
12.2.1. concepto basico
La probabilidad es aproximadamente correcta.
12.3. espacio de hipótesis finito
12.3.1. situaciones separables
12.3.2. situación indivisible
12.3.3. dimensión VC
Situación actual: espacio de hipótesis infinito
12.3.4. Varios conceptos básicos
función de crecimiento
dividir por la mitad
disolver
12.3.5. Rademacher
12.4. estabilidad
12.4.1. Según las características del propio algoritmo.
12.4.2. Revisa el error de generalización hermana.
13. aprendizaje semi-supervisado
13.1. Muestra sin etiquetar
13.1.1. La demanda real es fuerte
13.2. tipo
13.2.1. Aprendizaje puro semisupervisado
13.2.2. aprendizaje directo
13.3. método
13.3.1. hipótesis de agrupamiento
13.3.2. hipótesis múltiple
13.4. métodos generativos
13.4.1. Hipótesis: generación de modelos potencialmente idéntica
13.5. SVM semisupervisado
13.5.1. Supuesto: segmentación de baja densidad
13.5.2. Método típico: TVSM
2 métodos de clasificación
13.6. Graficar aprendizaje semi-supervisado
13.6.1. basado en matriz
13.6.2. difusión del color
13.6.3. pregunta
No se puede calcular a gran escala.
Necesita reconstrucción de datos
13.7. enfoque basado en desacuerdos
13.7.1. Menos afectado
13.7.2. múltiples alumnos
13.8. agrupamiento semi-supervisado
13.8.1. Obtener información de supervisión
13.8.2. Tipo de supervisión
Debe conectarse
Pertenecen a la misma raza
Mala conexión
No de la misma raza
14. Modelo gráfico probabilístico
14.1. Modelo de Markov oculto
14.1.1. Redes bayesianas dinámicas
Variables de estado
Variables flexibles
14.1.2. Usar gráficas para expresar relaciones de probabilidad.
14.2. campo aleatorio de Markov
14.2.1. modelo de gráfico no dirigido
local
independiente de otras variables
en parejas
variable de adyacencia
14.3. campo aleatorio condicional
14.3.1. discriminante
14.3.2. modelo de gráfico no dirigido
14.4. aprendizaje y juicio
14.4.1. estimación de máxima verosimilitud
14.4.2. Método de inferencia del gráfico de probabilidad
Inferencia precisa
Inferencia aproximada
14.4.3. El cambio desaparece
Los modelos gráficos reducen el esfuerzo computacional
defecto
cálculos redundantes
14.4.4. difusión de la creencia
14.5. Inferencia aproximada
14.5.1. muestreo MCMC
14.5.2. inferencia variacional
Distribución posterior aproximada
Inferencia de distribución conocida
14.6. modelo de tema
14.6.1. Generativo
14.6.2. gráfico dirigido
14.6.3. Representante típico
LDA
15. Aprendizaje de reglas
15.1. Definición de regla
15.1.1. Semántica clara
15.1.2. leyes objetivas
15.1.3. Naturaleza
búsqueda codiciosa
15.2. cobertura secuencial
15.2.1. Objetivo
Cobertura de datos
15.2.2. método
De arriba hacia abajo
de abajo hacia abajo
15.3. Optimización de poda
15.3.1. Prueba de significancia estadística
15.4. Aprendizaje de reglas de primer orden
15.4.1. Expresión lógica proposicional
15.5. programación lógica inductiva
15.5.1. Características
expresivo
Generalización basada en antecedentes.
15.5.2. generalización mínima
15.5.3. Reducción inversa
Necesita ser reemplazado
16. aprendizaje reforzado
16.1. Tareas y recompensas
16.1.1. aprendizaje reforzado
repetido muchas veces
sigue resumiendo
16.2. Máquina de juego K-rocker
16.2.1. Explora y explota
recompensa por cada acción
La acción con mayor recompensa
16.2.2. e-codicioso
16.2.3. softmax
16.3. Aprendiendo con modelos
16.3.1. Evaluación de estrategia
16.3.2. Mejoras estratégicas
Iteración de estrategia
iteración de valor
16.4. Aprendizaje sin modelos
16.4.1. El problema no se puede evaluar.
16.4.2. Aprendizaje por refuerzo de Montecarlo
No utilizar MDP
16.4.3. aprendizaje de diferencia temporal
16.5. aproximación de la función de valor
16.5.1. función de acción de estado
Obtener estrategia
16.6. aprendizaje por imitación
16.6.1. aprendizaje por imitación directa
16.6.2. aprendizaje por refuerzo inverso
Aplicación: función de recompensa
Ejemplo de función óptima