Wondershare EdrawMind
MindMap Gallery Plataforma de Inteligência Artificial Alibaba Cloud PAI
- 11
Plataforma de Inteligência Artificial Alibaba Cloud PAI
A plataforma de inteligência artificial PAI (Plataforma de Inteligência Artificial) fornece inteligência artificial nativa da nuvem leve e econômica para clientes corporativos e desenvolvedores, cobrindo modelagem interativa DSW, modelagem visual de arrastar e soltar do Designer, treinamento distribuído DLC para EAS Todo o processo de implantação on-line do modelo.
Edited at 2024-03-10 09:17:30
Plataforma de Inteligência Artificial Alibaba Cloud PAI
- Recommended to you
- Outline
Plataforma de Inteligência Artificial PAI
O que é a Plataforma de Inteligência Artificial PAI
O que é aprendizado de máquina
O aprendizado de máquina é uma área multidisciplinar que abrange conhecimento de teoria de probabilidade, conhecimento estatístico, conhecimento de teoria de aproximação e conhecimento de algoritmos complexos. Ele usa computadores como ferramentas e está comprometido em simular métodos de aprendizagem humana em tempo real e em tempo real, e transforma o conteúdo existente em O. a estrutura do conhecimento é dividida para melhorar efetivamente a eficiência do aprendizado. O aprendizado de máquina faz suposições de modelos sobre problemas de pesquisa, usa computadores para aprender parâmetros de modelos a partir de dados de treinamento e, finalmente, prevê e analisa os dados. Ele pode ser usado em alguns dos seguintes cenários.
Geração de conteúdo: gere textos, imagens, vídeos e conteúdo de áudio relacionados ao tópico, conforme necessário.
Cenários de marketing: recomendações de produtos, retratos de grupos de usuários ou publicidade precisa.
Cenários financeiros: previsão de emissão de empréstimos, controle de risco financeiro, previsão de tendências de ações ou previsão do preço do ouro.
Cenários de mineração de relacionamento de serviços de redes sociais: análise de líderes de fãs do Weibo ou análise de cadeia de relacionamento social.
Cenários baseados em texto: classificação de notícias, extração de palavras-chave, resumo de artigos ou análise de conteúdo de texto.
Cenários de processamento de dados não estruturados: classificação de imagens ou extração de conteúdo de texto de imagem.
Vários outros cenários de previsão: previsão de chuva ou previsão de resultado de partida de futebol.
O aprendizado de máquina inclui o aprendizado de máquina tradicional e o aprendizado profundo e tem os seguintes tipos:
Aprendizagem supervisionada: cada amostra tem um valor alvo correspondente. Ao construir um modelo, o mapeamento do vetor de recursos de entrada para o valor alvo é alcançado, como resolver problemas de regressão e classificação.
Aprendizagem não supervisionada: todas as amostras não têm valor alvo e espera-se descobrir alguns padrões potenciais a partir dos próprios dados, como a resolução de problemas de agrupamento.
Aprendizagem por Reforço: Relativamente complexo, o sistema interage continuamente com o ambiente externo e determina seu próprio comportamento com base no feedback externo para atingir a otimização do objetivo. Por exemplo, AlphaGo e carros autônomos.
O que é a Plataforma de Inteligência Artificial PAI
A camada subjacente do PAI oferece suporte a várias estruturas de computação:
Estrutura de computação de streaming Flink.
Baseado em versões de código aberto de estruturas de aprendizagem profunda profundamente otimizadas TensorFlow, PyTorch, Megatron e DeepSpeed.
Parameter Server, uma estrutura de computação paralela em grande escala para centenas de bilhões de amostras de recursos.
Spark, PySpark, MapReduce e outras estruturas de código aberto convencionais do setor.
Serviços prestados pelo PAI:
Modelagem visual e designer de treinamento distribuído
Notebook interativo AI R&D DSW (Workshop de Ciência de Dados)
DLC de treinamento distribuído (Deep Learning Containers)
Previsão on-line EAS (Elastic Algorithm Service)
O PAI depende de anos de aplicação e acúmulo de tecnologia do Alibaba Cloud e do Alibaba Group e tem as seguintes vantagens.
Ciclo de vida completo de P&D de IA e link completo:
Ele suporta anotação de dados, desenvolvimento de modelo, treinamento de modelo, otimização de modelo, implantação de modelo e gerenciamento e controle de operação e manutenção de IA. É uma plataforma de IA completa.
Possui 140 componentes de algoritmo integrados otimizados.
Suporta várias estruturas de aprendizado profundo, como TensorFlow e PyTorch na indústria.
Ele fornece recursos básicos, como vários modos, integração profunda de mecanismos de big data, compatibilidade de vários quadros e espelhamento personalizado.
Fornece produtos para desenvolvimento, treinamento e implantação de IA de arquitetura nativa da nuvem.
Vários métodos de saída do produto:
A nuvem pública suporta hospedagem completa e semigerenciamento.
Suporta clusters de computação de alto desempenho de IA e formulários de produtos de saída leves.
Otimização de IA líder do setor:
A estrutura de treinamento de alto desempenho e os cenários de treinamento esparsos suportam escala de recursos esparsos de bilhões a dezenas de bilhões, escala de amostra de dezenas a centenas de bilhões e treinamento incremental distribuído de milhares de trabalhadores.
Aceleração do modelo de estrutura convencional, usando PAI Blade para melhorar a taxa de aceleração de mais de uma dúzia de modelos convencionais, como RestNet50 e Transformer LM.
Este serviço pode ser utilizado individualmente ou em combinação. Oferecendo suporte ao aprendizado de máquina completo, você só precisa preparar dados de treinamento (armazená-los em OSS ou MaxCompute) e todo o trabalho de modelagem (incluindo upload de dados, pré-processamento de dados, engenharia de recursos, treinamento de modelo, avaliação de modelo e liberação de modelo para offline ou ambiente online) pode ser alcançado através do PAI.
Conectado ao DataWorks, suporta múltiplos métodos de processamento de dados como SQL, UDF, UDAF e MR, com alta flexibilidade.
O processo experimental para gerar modelos de treinamento suporta o agendamento periódico do DataWorks, e as tarefas de agendamento distinguem entre ambientes de produção e ambientes de desenvolvimento, alcançando assim o isolamento da segurança dos dados.
Características
Algoritmos avançados de aprendizado de máquina
Os algoritmos do PAI foram acumulados através dos negócios em grande escala do Grupo Alibaba. Eles não apenas suportam algoritmos básicos de cluster e regressão, mas também suportam algoritmos complexos, como análise de texto e processamento de recursos.
Suporte para acoplamento com outros produtos Alibaba Cloud
Os modelos treinados pelo PAI são armazenados diretamente no MaxCompute e podem ser usados com outros produtos Alibaba Cloud.
Experiência completa de aprendizado de máquina
O PAI oferece suporte a todo o processo de aprendizado de máquina, desde upload de dados, pré-processamento de dados, engenharia de recursos, treinamento de modelo, avaliação de modelo até lançamento de modelo.
Apoie estruturas convencionais de aprendizagem profunda
PAI oferece suporte a estruturas convencionais de aprendizado de máquina, como TensorFlow, Caffe e MXNet.
Método de modelagem visual
Ele encapsula algoritmos clássicos de aprendizado de máquina e fornece modelagem visual. Ele suporta arrastar e soltar para construir experimentos de aprendizado de máquina sem programação explícita.
Serviço de implantação de modelo com um clique
O PAI oferece suporte à publicação com um clique do modelo de treinamento gerado pelo Designer DSW como uma interface Restful API para obter uma conexão perfeita do modelo ao negócio.
Excelente suporte técnico
Se você encontrar algum problema durante o uso, entre em contato com seu gerente de negócios para resolver o problema ou entre em contato com a pessoa de interface relevante
arquitetura do produto
1. Arquitetura de produto do PAI
2. A arquitetura de negócios do PAI é dividida nas seguintes quatro camadas:
Camada de recursos básicos (recursos e infraestrutura de computação):
A infraestrutura inclui CPU, GPU, rede RDMA de alta velocidade, serviço de contêiner ACK, etc.
Os recursos de computação incluem recursos nativos da nuvem (recursos de computação Lingjun e recursos de computação em geral) e recursos de mecanismo de big data (MaxCompute e Flink).
Camada de ferramentas da plataforma (Lingjun Intelligent Computing Service & Artificial Intelligence Framework):
Estrutura de inteligência artificial: incluindo Alink, TensorFlow, PyTorch, Megatron, DeepSpeed e RLHF e outras estruturas inteligentes, usadas para executar tarefas de computação distribuída.
Estrutura de otimização e aceleração: incluindo aceleração de conjunto de dados DatasetAcc, aceleração de treinamento TorchAcc, estrutura de treinamento paralelo EPL, aceleração de inferência Blade, treinamento automático de tolerância a falhas AIMaster e instantâneos de treinamento assíncronos de segundo nível EasyCkpt, etc.
Acompanhando todo o processo de aprendizado de máquina, a PAI fornece produtos para as etapas de preparação de dados, desenvolvimento e treinamento de modelos e implantação de modelos:
1. Preparação de dados: O PAI fornece serviços de anotação para apoiar a anotação de dados e o gerenciamento de conjuntos de dados em diversos cenários.
2. Desenvolvimento e treinamento de modelos: PAI fornece modelagem visual (Designer), modelagem interativa (DSW), treinamento distribuído (DLC) e plataforma de recursos (FeatureStore) para atender a diferentes necessidades de modelagem.
3. Implantação de modelo: o PAI fornece serviço on-line de modelo (EAS) para ajudá-lo a implantar rapidamente modelos como serviços.
Camada de aplicação (serviço de modelo): Os serviços de modelo suportados incluem ModelScope, PAI-DashScope, plataforma MaaS de terceiros e Bailian.
Camada de negócios (soluções baseadas em cenários): O PAI é usado em vários campos, como direção autônoma, pesquisa científica e computação inteligente, controle de risco financeiro e recomendação inteligente. O sistema de pesquisa interna, o sistema de recomendação e o sistema de serviços financeiros do Grupo Alibaba dependem do PAI para mineração de dados.
3. Módulo de produto PAI
substantivo descrever Etiquetagem inteligente (iTAG) Uma ferramenta de anotação de conjunto de dados que integra recursos inteligentes (caixa preta) pode reduzir efetivamente a carga de trabalho de anotação e obter rapidamente conjuntos de dados de anotação de alta qualidade. Modelagem visual (Designer) Uma ferramenta de design de fluxo de trabalho para o campo de IA que encapsula um rico conjunto de componentes de algoritmos de aprendizado de máquina. Você não precisa de uma base de codificação, você pode treinar o modelo arrastando e soltando. Modelagem Interativa (DSW) IDE de desenvolvimento interativo de aprendizado de máquina em nuvem para desenvolvedores de IA, incluindo Notebook, VSCode e Terminal. Você pode iniciar o DSW com base na imagem especificando o NAS como armazenamento. Treinamento em contêineres (DLC) Envie rapidamente tarefas de treinamento para os recursos de computação associados ao espaço de trabalho atual (como recursos de computação gerais). Os detalhes das tarefas enviadas podem ser visualizados no módulo de gerenciamento de tarefas do PAI. Modelo de serviço online (EAS) Ele suporta a implantação de modelos complexos em grande escala com um clique, expansão e contração elástica em tempo real e fornece um sistema completo de monitoramento de operação e manutenção. Gerenciamento de ativos de IA Fornece recursos de gerenciamento para ativos essenciais de IA, incluindo conjuntos de dados, modelos, configurações de código, etc. Soluções baseadas em cenários Uma coleção de soluções de campo verticais baseadas nos recursos da plataforma PAI para sua aplicação direta.