Galería de mapas mentales Plataforma de inteligencia artificial en la nube de Alibaba PAI
La plataforma de inteligencia artificial PAI (Plataforma de Inteligencia Artificial) proporciona inteligencia artificial nativa de la nube, liviana y rentable para clientes y desarrolladores empresariales, que cubre el modelado interactivo DSW, el modelado visual de arrastrar y soltar del diseñador y la capacitación distribuida de DLC a EAS. Todo el proceso de implementación del modelo en línea.
Editado a las 2024-03-10 09:17:30,Plataforma de Inteligencia Artificial PAI
¿Qué es la Plataforma de Inteligencia Artificial PAI?
¿Qué es el aprendizaje automático?
El aprendizaje automático es una especialización multidisciplinaria que cubre el conocimiento de la teoría de la probabilidad, el conocimiento estadístico, el conocimiento de la teoría de la aproximación y el conocimiento de algoritmos complejos. Utiliza computadoras como herramientas y se compromete a simular métodos de aprendizaje humano en tiempo real y transformar el contenido existente en The. La estructura del conocimiento se divide para mejorar efectivamente la eficiencia del aprendizaje. El aprendizaje automático hace suposiciones de modelos sobre problemas de investigación, utiliza computadoras para aprender los parámetros del modelo a partir de datos de entrenamiento y, finalmente, predice y analiza los datos. Se puede utilizar en algunos de los siguientes escenarios.
Generación de contenido: genere texto, imágenes, videos y contenido de audio relacionados con el tema según sea necesario.
Escenarios de marketing: recomendaciones de productos, retratos de grupos de usuarios o publicidad precisa.
Escenarios financieros: predicción de emisión de préstamos, control de riesgos financieros, predicción de tendencias bursátiles o predicción del precio del oro.
Escenarios de minería de relaciones de servicios de redes sociales: análisis de líderes de fans de Weibo o análisis de cadenas de relaciones sociales.
Escenarios basados en texto: clasificación de noticias, extracción de palabras clave, resumen de artículos o análisis de contenido de texto.
Escenarios de procesamiento de datos no estructurados: clasificación de imágenes o extracción del contenido del texto de la imagen.
Varios otros escenarios de predicción: predicción de lluvia o predicción de resultados de partidos de fútbol.
El aprendizaje automático incluye el aprendizaje automático tradicional y el aprendizaje profundo, y tiene los siguientes tipos:
Aprendizaje supervisado: cada muestra tiene un valor objetivo correspondiente. Al construir un modelo, se logra el mapeo del vector de características de entrada al valor objetivo, como la resolución de problemas de regresión y clasificación.
Aprendizaje no supervisado: todas las muestras no tienen un valor objetivo y se espera descubrir algunos patrones potenciales a partir de los datos en sí, como la resolución de problemas de agrupación.
Aprendizaje por refuerzo: relativamente complejo, el sistema interactúa continuamente con el entorno externo y determina su propio comportamiento en función de la retroalimentación externa para lograr la optimización de objetivos. Por ejemplo, AlphaGo y los coches autónomos.
¿Qué es la Plataforma de Inteligencia Artificial PAI?
La capa subyacente de PAI admite múltiples marcos informáticos:
Marco informático de transmisión Flink.
Basado en versiones de código abierto de los marcos de aprendizaje profundo profundamente optimizados TensorFlow, PyTorch, Megatron y DeepSpeed.
Parameter Server, un marco informático paralelo a gran escala para cientos de miles de millones de muestras de funciones.
Spark, PySpark, MapReduce y otros marcos de código abierto convencionales en la industria.
Servicios proporcionados por PAI:
Diseñador de modelado visual y entrenamiento distribuido.
Notebook interactivo AI R&D DSW (Taller de ciencia de datos)
DLC de formación distribuida (Contenedores de aprendizaje profundo)
Predicción online EAS (Servicio de Algoritmo Elástico)
PAI se basa en años de acumulación de aplicaciones y tecnología de Alibaba Cloud y Alibaba Group, y tiene las siguientes ventajas.
Ciclo de vida completo de I+D de IA y enlace completo:
Admite anotación de datos, desarrollo de modelos, entrenamiento de modelos, optimización de modelos, implementación de modelos y gestión y control de operación y mantenimiento de IA. Es una plataforma de IA integral.
Tiene 140 componentes de algoritmo integrados optimizados.
Admite múltiples marcos de aprendizaje profundo como TensorFlow y PyTorch en la industria.
Proporciona capacidades básicas como modos múltiples, integración profunda de motores de big data, compatibilidad con múltiples cuadros y duplicación personalizada.
Proporciona productos para el desarrollo, la capacitación y la implementación de arquitectura nativa de la nube en IA.
Varios métodos de salida de productos:
La nube pública admite alojamiento completo y semigestión.
Admite clústeres informáticos de alto rendimiento de IA y formas de productos de salida livianos.
Optimización de IA líder en la industria:
El marco de capacitación de alto rendimiento y los escenarios de capacitación dispersos admiten una escala de funciones dispersas de miles de millones a decenas de miles de millones, una escala de muestra de decenas a cientos de miles de millones y capacitación incremental distribuida de miles de trabajadores.
Aceleración del modelo de marco convencional, utilizando PAI Blade para mejorar la relación de aceleración de más de una docena de modelos convencionales, como RestNet50 y Transformer LM.
Este servicio se puede utilizar individualmente o en combinación. Al admitir el aprendizaje automático integral, solo necesita preparar los datos de entrenamiento (almacenarlos en OSS o MaxCompute) y todo el trabajo de modelado (incluida la carga de datos, el preprocesamiento de datos, la ingeniería de funciones, el entrenamiento de modelos, la evaluación de modelos y el lanzamiento de modelos fuera de línea o fuera de línea). entorno en línea) se puede lograr a través de PAI.
Conectado a DataWorks, admite múltiples métodos de procesamiento de datos como SQL, UDF, UDAF y MR, con alta flexibilidad.
El proceso experimental para generar modelos de capacitación admite la programación periódica de DataWorks, y las tareas de programación distinguen entre entornos de producción y entornos de desarrollo, logrando así el aislamiento de seguridad de los datos.
Características
Ricos algoritmos de aprendizaje automático
Los algoritmos de PAI se han acumulado a través del negocio a gran escala de Alibaba Group. No solo admiten algoritmos básicos de agrupación y regresión, sino que también admiten algoritmos complejos como análisis de texto y procesamiento de características.
Admite acoplamiento con otros productos de Alibaba Cloud
Los modelos entrenados por PAI se almacenan directamente en MaxCompute y se pueden utilizar con otros productos de Alibaba Cloud.
Experiencia integral de aprendizaje automático
PAI respalda todo el proceso de aprendizaje automático, desde la carga de datos, el preprocesamiento de datos, la ingeniería de funciones, el entrenamiento de modelos, la evaluación de modelos hasta el lanzamiento del modelo.
Apoyar los principales marcos de aprendizaje profundo
PAI admite marcos de aprendizaje automático convencionales como TensorFlow, Caffe y MXNet.
Método de modelado visual
Encapsula algoritmos clásicos de aprendizaje automático y proporciona modelado visual. Admite arrastrar y soltar para crear experimentos de aprendizaje automático sin programación explícita.
Servicio de implementación de modelos con un solo clic
PAI admite la publicación con un solo clic del modelo de capacitación generado por Designer DSW como una interfaz Restful API para lograr una conexión perfecta entre el modelo y la empresa.
Excelente soporte técnico
Si encuentra algún problema durante el uso, comuníquese con su gerente comercial para solucionarlo o comuníquese con la persona de interfaz correspondiente.
arquitectura del producto
1. Arquitectura de producto de PAI
2. La arquitectura empresarial de PAI se divide en las siguientes cuatro capas:
Capa de recursos básicos (recursos informáticos e infraestructura):
La infraestructura incluye CPU, GPU, red RDMA de alta velocidad, servicio de contenedor ACK, etc.
Los recursos informáticos incluyen recursos nativos de la nube (recursos informáticos Lingjun y recursos informáticos generales) y recursos del motor de big data (MaxCompute y Flink).
Capa de herramientas de plataforma (Lingjun Intelligent Computing Service & Artificial Intelligence Framework):
Marco de inteligencia artificial: incluidos Alink, TensorFlow, PyTorch, Megatron, DeepSpeed y RLHF y otros marcos inteligentes, utilizados para realizar tareas informáticas distribuidas.
Marco de optimización y aceleración: incluida la aceleración del conjunto de datos DatasetAcc, la aceleración del entrenamiento TorchAcc, el marco de entrenamiento paralelo EPL, la aceleración de inferencia Blade, el entrenamiento automático tolerante a fallas AIMaster y las instantáneas de entrenamiento asincrónico de segundo nivel de EasyCkpt, etc.
Siguiendo todo el proceso de aprendizaje automático, PAI proporciona productos para las etapas de preparación de datos, desarrollo y capacitación de modelos e implementación de modelos:
1. Preparación de datos: PAI proporciona servicios de anotación para respaldar la anotación de datos y la gestión de conjuntos de datos en una variedad de escenarios.
2. Desarrollo y capacitación de modelos: PAI proporciona modelado visual (Designer), modelado interactivo (DSW), capacitación distribuida (DLC) y plataforma de funciones (FeatureStore) para satisfacer diferentes necesidades de modelado.
3. Implementación de modelos: PAI proporciona un servicio de modelos en línea (EAS) para ayudarlo a implementar rápidamente modelos como servicios.
Capa de aplicación (servicio de modelo): los servicios de modelo admitidos incluyen ModelScope, PAI-DashScope, plataforma MaaS de terceros y Bailian.
Capa empresarial (soluciones basadas en escenarios): PAI se utiliza en diversos campos, como la conducción autónoma, la investigación científica y la informática inteligente, el control de riesgos financieros y la recomendación inteligente. El sistema de búsqueda interna, el sistema de recomendación y el sistema de servicios financieros del Grupo Alibaba dependen de PAI para la extracción de datos.
3. Módulos de productos PAI
sustantivo describir Etiquetado inteligente (iTAG) Una herramienta de anotación de conjuntos de datos que integra capacidades inteligentes (caja negra) puede reducir eficazmente la carga de trabajo de anotaciones y obtener rápidamente conjuntos de datos de anotaciones de alta calidad. Modelado visual (Diseñador) Una herramienta de diseño de flujo de trabajo para el campo de la IA que encapsula un rico conjunto de componentes de algoritmos de aprendizaje automático. No necesita una base de codificación, puede entrenar el modelo arrastrando y soltando. Modelado interactivo (DSW) Un IDE de desarrollo interactivo de aprendizaje automático basado en la nube para desarrolladores de IA, incluidos Notebook, VSCode y Terminal. Puede iniciar DSW según la imagen especificando el NAS como almacenamiento. Entrenamiento de contenedores (DLC) Envíe rápidamente tareas de capacitación a los recursos informáticos asociados con el espacio de trabajo actual (como los recursos informáticos generales). Los detalles de la tarea enviada se pueden ver en el módulo de gestión de tareas PAI. Servicio modelo en línea (EAS) Admite la implementación con un solo clic de modelos complejos a gran escala, expansión y contracción elástica en tiempo real y proporciona un sistema completo de monitoreo de operación y mantenimiento. Gestión de activos de IA Proporciona capacidades de gestión para activos centrales de IA, incluidos conjuntos de datos, modelos, configuraciones de código, etc. Soluciones basadas en escenarios Una colección de soluciones de campo vertical basadas en las capacidades de la plataforma PAI para su aplicación directa.