Galerie de cartes mentales Plateforme d'intelligence artificielle Alibaba Cloud PAI
La plate-forme d'intelligence artificielle PAI (Platform of Artificial Intelligence) fournit une intelligence artificielle cloud native légère et rentable pour les entreprises clientes et les développeurs, couvrant la modélisation interactive DSW, la modélisation visuelle par glisser-déposer du concepteur, la formation distribuée DLC pour EAS L'ensemble du processus de déploiement en ligne du modèle.
Modifié à 2024-03-10 09:17:30Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Plateforme d'Intelligence Artificielle PAI
Qu'est-ce que la plateforme d'intelligence artificielle PAI
Qu'est-ce que l'apprentissage automatique
L'apprentissage automatique est une spécialisation multidisciplinaire qui couvre les connaissances en théorie des probabilités, les connaissances statistiques, les connaissances en théorie de l'approximation et la connaissance des algorithmes complexes. Il utilise les ordinateurs comme outils et s'engage à simuler les méthodes d'apprentissage humain en temps réel et en temps réel, et à transformer le contenu existant en Le contenu existant. la structure des connaissances est divisée pour améliorer efficacement l'efficacité de l'apprentissage. L'apprentissage automatique formule des hypothèses de modèle sur les problèmes de recherche, utilise des ordinateurs pour apprendre les paramètres du modèle à partir des données de formation, et enfin prédit et analyse les données. Il peut être utilisé dans certains des scénarios suivants.
Génération de contenu : générez du texte, des images, des vidéos et du contenu audio liés au sujet, selon vos besoins.
Scénarios marketing : recommandations de produits, portraits de groupes d'utilisateurs ou publicité précise.
Scénarios financiers : prévision d'émission de prêts, contrôle des risques financiers, prévision de tendance boursière ou prévision du prix de l'or.
Scénarios d'exploration des relations de service sur les réseaux sociaux : analyse des leaders des fans de Weibo ou analyse de la chaîne de relations sociales.
Scénarios basés sur du texte : classification d'actualités, extraction de mots clés, résumé d'article ou analyse de contenu de texte.
Scénarios de traitement de données non structurées : classification d'images ou extraction de contenu de texte d'image.
Divers autres scénarios de prédiction : prédiction des précipitations ou prédiction des résultats d’un match de football.
L’apprentissage automatique comprend l’apprentissage automatique traditionnel et l’apprentissage profond et présente les types suivants :
Apprentissage supervisé : chaque échantillon a une valeur cible correspondante. En créant un modèle, le mappage du vecteur de caractéristiques d'entrée à la valeur cible est obtenu, par exemple en résolvant des problèmes de régression et de classification.
Apprentissage non supervisé : tous les échantillons n'ont pas de valeur cible et il est prévu de découvrir certains modèles potentiels à partir des données elles-mêmes, comme la résolution de problèmes de clustering.
Apprentissage par renforcement : Relativement complexe, le système interagit en permanence avec l'environnement externe et détermine son propre comportement en fonction des commentaires externes pour atteindre l'optimisation des objectifs. Par exemple, AlphaGo et les voitures autonomes.
Qu'est-ce que la plateforme d'intelligence artificielle PAI
La couche sous-jacente de PAI prend en charge plusieurs frameworks informatiques :
Cadre informatique en streaming Flink.
Basé sur des versions open source des frameworks d'apprentissage profond profondément optimisés TensorFlow, PyTorch, Megatron et DeepSpeed.
Parameter Server, un cadre de calcul parallèle à grande échelle pour des centaines de milliards d'échantillons de fonctionnalités.
Spark, PySpark, MapReduce et d'autres frameworks open source grand public du secteur.
Services fournis par PAI :
Concepteur de modélisation visuelle et de formation distribuée
Cahier interactif AI R&D DSW (Data Science Workshop)
Formation distribuée DLC (Deep Learning Containers)
Prédiction en ligne EAS (Elastic Algorithm Service)
PAI s'appuie sur des années d'accumulation d'applications et de technologies d'Alibaba Cloud et du groupe Alibaba et présente les avantages suivants.
Cycle de vie complet de la R&D IA et lien complet :
Il prend en charge l'annotation des données, le développement de modèles, la formation de modèles, l'optimisation de modèles, le déploiement de modèles ainsi que la gestion et le contrôle de l'exploitation et de la maintenance de l'IA.
Dispose de 140 composants d’algorithme intégrés optimisés.
Prend en charge plusieurs frameworks d'apprentissage profond tels que TensorFlow et PyTorch dans l'industrie.
Il offre des fonctionnalités de base telles que plusieurs modes, une intégration approfondie des moteurs Big Data, une compatibilité multi-images et une mise en miroir personnalisée.
Fournit des produits pour le développement, la formation et le déploiement d'une architecture cloud native.
Diverses méthodes de sortie de produits :
Le cloud public prend en charge l'hébergement complet et la semi-gestion.
Prend en charge les clusters de calcul haute performance IA et les formes de produits de sortie légers.
Optimisation de l'IA à la pointe du secteur :
Le cadre de formation hautes performances et les scénarios de formation clairsemés prennent en charge une échelle de fonctionnalités clairsemées allant de milliards à des dizaines de milliards, une échelle d'échantillon allant de dizaines à des centaines de milliards et une formation incrémentielle distribuée de milliers de travailleurs.
Accélération des modèles de framework grand public, en utilisant PAI Blade pour améliorer le taux d'accélération de plus d'une douzaine de modèles grand public tels que RestNet50 et Transformer LM.
Ce service peut être utilisé individuellement ou en combinaison. Prenant en charge l'apprentissage automatique à guichet unique, il vous suffit de préparer les données de formation (les stocker dans OSS ou MaxCompute) et tous les travaux de modélisation (y compris le téléchargement de données, le prétraitement des données, l'ingénierie des fonctionnalités, la formation du modèle, l'évaluation du modèle et la publication du modèle hors ligne ou environnement en ligne) peut être réalisé via PAI.
Connecté à DataWorks, il prend en charge plusieurs méthodes de traitement de données telles que SQL, UDF, UDAF et MR, avec une grande flexibilité.
Le processus expérimental de génération de modèles de formation prend en charge la planification périodique de DataWorks, et les tâches de planification font la distinction entre les environnements de production et les environnements de développement, réalisant ainsi une isolation de la sécurité des données.
Caractéristiques
Algorithmes d'apprentissage automatique riches
Les algorithmes de PAI ont été accumulés grâce aux activités à grande échelle du groupe Alibaba. Ils prennent non seulement en charge les algorithmes de clustering et de régression de base, mais prennent également en charge des algorithmes complexes tels que l'analyse de texte et le traitement des fonctionnalités.
Prise en charge de l'amarrage avec d'autres produits Alibaba Cloud
Les modèles formés par PAI sont directement stockés dans MaxCompute et peuvent être utilisés avec d'autres produits Alibaba Cloud.
Expérience d'apprentissage automatique unique
PAI prend en charge l'ensemble du processus d'apprentissage automatique, depuis le téléchargement des données, le prétraitement des données, l'ingénierie des fonctionnalités, la formation des modèles, l'évaluation du modèle jusqu'à la publication du modèle.
Prise en charge des cadres d'apprentissage profond traditionnels
PAI prend en charge les frameworks d'apprentissage automatique traditionnels tels que TensorFlow, Caffe et MXNet.
Méthode de modélisation visuelle
Il encapsule les algorithmes d'apprentissage automatique classiques et fournit une modélisation visuelle. Il prend en charge le glisser-déposer pour créer des expériences d'apprentissage automatique sans programmation explicite.
Service de déploiement de modèles en un clic
PAI prend en charge la publication en un clic du modèle de formation généré par Designer DSW en tant qu'interface API Restful pour établir une connexion transparente du modèle à l'entreprise.
Excellent support technique
Si vous rencontrez des problèmes lors de l'utilisation, veuillez contacter votre responsable commercial pour y remédier, ou contacter la personne d'interface compétente.
architecture du produit
1. L'architecture des produits PAI
2. L’architecture métier de PAI est divisée en quatre couches suivantes :
Couche de ressources de base (ressources informatiques et infrastructure) :
L'infrastructure comprend le CPU, le GPU, le réseau RDMA haut débit, le service de conteneur ACK, etc.
Les ressources informatiques comprennent les ressources cloud natives (ressources informatiques Lingjun et ressources informatiques générales) et les ressources du moteur Big Data (MaxCompute et Flink).
Couche d'outils de plate-forme (Lingjun Intelligent Computing Service & Artificial Intelligence Framework) :
Framework d'intelligence artificielle : comprenant Alink, TensorFlow, PyTorch, Megatron, DeepSpeed et RLHF et d'autres frameworks intelligents, utilisés pour effectuer des tâches informatiques distribuées.
Cadre d'optimisation et d'accélération : y compris l'accélération des ensembles de données DatasetAcc, l'accélération de la formation TorchAcc, le cadre de formation parallèle EPL, l'accélération de l'inférence Blade, la formation automatique à tolérance de pannes AIMaster et les instantanés de formation asynchrone de deuxième niveau EasyCkpt, etc.
Après l'ensemble du processus d'apprentissage automatique, PAI fournit des produits pour les étapes de préparation des données, de développement et de formation des modèles, ainsi que de déploiement des modèles :
1. Préparation des données : PAI fournit des services d'annotation pour prendre en charge l'annotation des données et la gestion des ensembles de données dans une variété de scénarios.
2. Développement et formation de modèles : PAI propose une modélisation visuelle (Designer), une modélisation interactive (DSW), une formation distribuée (DLC) et une plateforme de fonctionnalités (FeatureStore) pour répondre aux différents besoins de modélisation.
3. Déploiement de modèles : PAI fournit un service de modèles en ligne (EAS) pour vous aider à déployer rapidement des modèles en tant que services.
Couche d'application (service de modèle) : les services de modèle pris en charge incluent ModelScope, PAI-DashScope, la plateforme MaaS tierce et Bailian.
Couche métier (solutions basées sur des scénarios) : le PAI est utilisé dans divers domaines tels que la conduite autonome, la recherche scientifique et l'informatique intelligente, le contrôle des risques financiers et la recommandation intelligente. Le système de recherche interne, le système de recommandation et le système de services financiers du groupe Alibaba s'appuient tous sur PAI pour l'exploration de données.
3. Modules de produits PAI
nom décrire Marquage intelligent (iTAG) Un outil d'annotation d'ensembles de données intégrant des fonctionnalités intelligentes (boîte noire) peut réduire efficacement la charge de travail d'annotation et obtenir rapidement des ensembles de données d'annotation de haute qualité. Modélisation visuelle (Designer) Un outil de conception de flux de travail pour le domaine de l'IA qui encapsule un riche ensemble de composants d'algorithmes d'apprentissage automatique. Vous n'avez pas besoin d'une base de codage, vous pouvez entraîner le modèle par glisser-déposer. Modélisation interactive (DSW) IDE de développement interactif d'apprentissage automatique dans le cloud pour les développeurs d'IA, notamment Notebook, VSCode et Terminal. Vous pouvez démarrer DSW sur la base de l'image en spécifiant le NAS comme stockage. Formation sur conteneurs (DLC) Soumettez rapidement les tâches de formation aux ressources informatiques associées à l'espace de travail actuel (telles que les ressources informatiques générales). Les détails des tâches soumises peuvent être consultés dans le module de gestion des tâches PAI. Modèle de service en ligne (EAS) Il prend en charge le déploiement en un clic de modèles complexes à grande échelle, l'expansion et la contraction élastiques en temps réel, et fournit un système complet de surveillance du fonctionnement et de la maintenance. Gestion des actifs IA Fournit des capacités de gestion pour les principaux actifs d'IA, notamment les ensembles de données, les modèles, les configurations de code, etc. Solutions basées sur des scénarios Une collection de solutions de terrain vertical basées sur les capacités de la plateforme PAI, vous permettant de les appliquer directement.