마인드 맵 갤러리 알리바바 클라우드 인공지능 플랫폼 PAI
인공 지능 플랫폼 PAI(Platform of Artificial Intelligence)는 DSW 대화형 모델링, 디자이너 드래그 앤 드롭 시각적 모델링, EAS에 대한 DLC 분산 교육을 포괄하여 기업 고객 및 개발자에게 가볍고 비용 효율적인 클라우드 기반 인공 지능을 제공합니다. 모델 온라인 배포.
2024-03-10 09:17:30에 편집됨인공지능 플랫폼 PAI
인공지능 플랫폼 PAI란?
머신러닝이란?
머신러닝은 확률이론 지식, 통계지식, 근사이론 지식, 복잡한 알고리즘 지식을 포괄하는 다학제적 전공으로, 컴퓨터를 도구로 활용하여 인간의 학습방법을 실시간, 실시간으로 시뮬레이션하고 기존 콘텐츠를 지식 구조를 분할하여 학습 효율성을 효과적으로 향상시킵니다. 기계 학습은 연구 문제에 대한 모델 가정을 만들고, 컴퓨터를 사용하여 훈련 데이터로부터 모델 매개변수를 학습하고, 최종적으로 데이터를 예측하고 분석합니다. 다음 시나리오 중 일부에서 사용할 수 있습니다.
콘텐츠 생성: 필요에 따라 주제 관련 텍스트, 그림, 비디오 및 오디오 콘텐츠를 생성합니다.
마케팅 시나리오: 제품 추천, 사용자 그룹 초상화 또는 정확한 광고.
금융 시나리오: 대출 발행 예측, 금융 위험 제어, 주가 추세 예측 또는 금 가격 예측.
소셜 네트워크 서비스 관계 마이닝 시나리오: 웨이보 팬 리더 분석 또는 소셜 관계 체인 분석.
텍스트 기반 시나리오: 뉴스 분류, 키워드 추출, 기사 요약 또는 텍스트 콘텐츠 분석.
구조화되지 않은 데이터 처리 시나리오: 이미지 분류 또는 이미지 텍스트 콘텐츠 추출.
기타 다양한 예측 시나리오: 강수량 예측 또는 축구 경기 결과 예측.
기계 학습에는 전통적인 기계 학습과 딥 러닝이 포함되며 다음과 같은 유형이 있습니다.
지도 학습: 각 샘플에는 해당 목표 값이 있습니다. 모델을 구축하면 회귀 및 분류 문제 해결과 같이 입력 특징 벡터에서 목표 값으로의 매핑이 달성됩니다.
비지도 학습: 모든 샘플에는 목표 값이 없으며 클러스터링 문제 해결과 같은 데이터 자체에서 몇 가지 잠재적 패턴을 발견할 것으로 예상됩니다.
강화 학습: 상대적으로 복잡한 시스템은 지속적으로 외부 환경과 상호 작용하고 목표 최적화를 달성하기 위해 외부 피드백을 기반으로 자체 동작을 결정합니다. 알파고나 자율주행차 등이 대표적이다.
인공지능 플랫폼 PAI란?
PAI의 기본 계층은 여러 컴퓨팅 프레임워크를 지원합니다.
스트리밍 컴퓨팅 프레임워크 Flink.
심층적으로 최적화된 딥 러닝 프레임워크인 TensorFlow, PyTorch, Megatron 및 DeepSpeed의 오픈 소스 버전을 기반으로 합니다.
수천억 개의 기능 샘플을 위한 대규모 병렬 컴퓨팅 프레임워크인 Parameter Server.
Spark, PySpark, MapReduce 및 업계의 기타 주류 오픈 소스 프레임워크.
PAI가 제공하는 서비스:
시각적 모델링 및 분산 교육 디자이너
노트북 인터랙티브 AI R&D DSW(데이터 사이언스 워크숍)
분산 교육 DLC(Deep Learning Containers)
온라인 예측 EAS(Elastic Algorithm Service)
PAI는 Alibaba Cloud와 Alibaba Group의 다년간의 응용 및 기술 축적에 의존하며 다음과 같은 장점을 가지고 있습니다.
AI R&D 전체 수명 주기 및 전체 링크:
데이터 주석, 모델 개발, 모델 훈련, 모델 최적화, 모델 배포, AI 운영 및 유지 관리 및 제어를 지원하는 원스톱 AI 플랫폼입니다.
140개의 최적화된 내장 알고리즘 구성 요소가 있습니다.
업계의 TensorFlow 및 PyTorch와 같은 다양한 딥 러닝 프레임워크를 지원합니다.
다중 모드, 빅 데이터 엔진의 긴밀한 통합, 다중 프레임 호환성 및 사용자 정의 미러링과 같은 핵심 기능을 제공합니다.
클라우드 네이티브 아키텍처의 AI 개발, 교육 및 배포를 위한 제품을 제공합니다.
다양한 제품 출력 방법:
퍼블릭 클라우드는 전체 호스팅 및 세미 관리를 지원합니다.
AI 고성능 컴퓨팅 클러스터 및 경량 출력 제품 형태를 지원합니다.
업계 최고의 AI 최적화:
고성능 훈련 프레임워크와 희소 훈련 시나리오는 수십억에서 수백억까지의 희소 기능 규모, 수백억에서 수천억까지의 샘플 규모, 수천 명의 작업자에 대한 분산 증분 훈련을 지원합니다.
PAI Blade를 사용하여 RestNet50 및 Transformer LM과 같은 12개 이상의 주류 모델의 가속 비율을 향상시키는 주류 프레임워크 모델 가속.
본 서비스는 개별적으로 또는 조합하여 사용할 수 있습니다. 원스톱 기계 학습을 지원하므로 훈련 데이터 준비(OSS 또는 MaxCompute에 저장)와 모든 모델링 작업(데이터 업로드, 데이터 전처리, 기능 엔지니어링, 모델 훈련, 모델 평가 및 오프라인 또는 오프라인으로의 모델 출시 포함)만 준비하면 됩니다. 온라인 환경)은 PAI를 통해 달성될 수 있습니다.
DataWorks와 연결되어 SQL, UDF, UDAF, MR 등 다양한 데이터 처리 방식을 높은 유연성으로 지원합니다.
학습 모델 생성을 위한 실험 프로세스는 DataWorks의 주기적인 스케줄링을 지원하며, 스케줄링 작업은 생산 환경과 개발 환경을 구별하여 데이터 보안 격리를 달성합니다.
특징
풍부한 기계 학습 알고리즘
PAI의 알고리즘은 알리바바 그룹의 대규모 사업을 통해 축적되어 왔으며, 기본적인 클러스터링 및 회귀 알고리즘을 지원할 뿐만 아니라 텍스트 분석, 특징 처리 등 복잡한 알고리즘도 지원합니다.
다른 Alibaba Cloud 제품과의 도킹 지원
PAI로 훈련된 모델은 MaxCompute에 직접 저장되며 다른 Alibaba Cloud 제품과 함께 사용할 수 있습니다.
원스톱 머신러닝 경험
PAI는 데이터 업로드, 데이터 전처리, 기능 엔지니어링, 모델 교육, 모델 평가부터 모델 출시까지 전체 기계 학습 프로세스를 지원합니다.
주류 딥러닝 프레임워크 지원
PAI는 TensorFlow, Caffe 및 MXNet과 같은 주류 기계 학습 프레임워크를 지원합니다.
시각적 모델링 방법
이는 고전적인 기계 학습 알고리즘을 캡슐화하고 시각적 모델링을 제공하여 명시적인 프로그래밍 없이 기계 학습 실험을 구축할 수 있도록 지원합니다.
원클릭 모델 배포 서비스
PAI는 Designer DSW에서 생성된 훈련 모델을 Restful API 인터페이스로 원클릭 게시하여 모델에서 비즈니스로의 원활한 연결을 지원합니다.
우수한 기술 지원
이용 중 문제가 발생하는 경우, 담당 비즈니스 관리자에게 연락하여 처리하거나 관련 인터페이스 담당자에게 문의하세요.
제품 아키텍처
1. PAI의 제품 아키텍처
2. PAI의 비즈니스 아키텍처는 다음 4개 계층으로 나뉩니다.
기본 리소스 계층(컴퓨팅 리소스 및 인프라):
인프라에는 CPU, GPU, 고속 RDMA 네트워크, 컨테이너 서비스 ACK 등이 포함됩니다.
컴퓨팅 리소스에는 클라우드 네이티브 리소스(Lingjun 컴퓨팅 리소스 및 일반 컴퓨팅 리소스)와 빅 데이터 엔진 리소스(MaxCompute 및 Flink)가 포함됩니다.
플랫폼 도구 계층(Lingjun 지능형 컴퓨팅 서비스 및 인공 지능 프레임워크):
인공 지능 프레임워크: Alink, TensorFlow, PyTorch, Megatron, DeepSpeed 및 RLHF 및 기타 지능형 프레임워크를 포함하여 분산 컴퓨팅 작업을 수행하는 데 사용됩니다.
최적화 및 가속 프레임워크: DatasetAcc 데이터 세트 가속, TorchAcc 훈련 가속, EPL 병렬 훈련 프레임워크, 블레이드 추론 가속, AIMaster 자동 내결함성 훈련 및 EasyCkpt 2단계 비동기 훈련 스냅샷 등을 포함합니다.
전체 기계 학습 프로세스에 따라 PAI는 데이터 준비, 모델 개발 및 교육, 모델 배포 단계를 위한 제품을 제공합니다.
1. 데이터 준비: PAI는 다양한 시나리오에서 데이터 주석 및 데이터 세트 관리를 지원하는 주석 서비스를 제공합니다.
2. 모델 개발 및 교육: PAI는 다양한 모델링 요구 사항을 충족하기 위해 시각적 모델링(디자이너), 대화형 모델링(DSW), 분산 교육(DLC) 및 기능 플랫폼(FeatureStore)을 제공합니다.
3. 모델 배포: PAI는 모델을 서비스로 신속하게 배포하는 데 도움이 되는 모델 온라인 서비스(EAS)를 제공합니다.
애플리케이션 계층(모델 서비스): 지원되는 모델 서비스에는 ModelScope, PAI-DashScope, 타사 MaaS 플랫폼 및 Bailian이 포함됩니다.
비즈니스 레이어(시나리오 기반 솔루션): PAI는 자율주행, 과학 연구 및 지능형 컴퓨팅, 금융 위험 제어, 지능형 추천 등 다양한 분야에서 사용됩니다. Alibaba Group의 내부 검색 시스템, 추천 시스템 및 금융 서비스 시스템은 모두 데이터 마이닝을 위해 PAI를 사용합니다.
3. PAI 제품 모듈
명사 설명하다 지능형 태깅(iTAG) 지능형 기능(블랙박스)을 통합한 데이터 세트 주석 도구는 주석 작업량을 효과적으로 줄이고 고품질 주석 데이터 세트를 빠르게 얻을 수 있습니다. 시각적 모델링(디자이너) 풍부한 기계 학습 알고리즘 구성 요소 세트를 캡슐화하는 AI 분야용 워크플로 설계 도구입니다. 코딩 기술이 필요하지 않으며 드래그 앤 드롭으로 모델을 훈련할 수 있습니다. 대화형 모델링(DSW) Notebook, VSCode, Terminal을 포함한 AI 개발자를 위한 클라우드 기반 기계 학습 대화형 개발 IDE입니다. NAS를 저장소로 지정하여 이미지를 기반으로 DSW를 시작할 수 있습니다. 컨테이너 교육(DLC) 현재 작업 공간과 관련된 컴퓨팅 리소스(예: 일반 컴퓨팅 리소스)에 교육 작업을 빠르게 제출합니다. 제출된 작업 세부 정보는 PAI 작업 관리 모듈에서 볼 수 있습니다. 모델 온라인 서비스(EAS) 대규모 복합 모델의 원클릭 배포, 실시간 탄력적 확장 및 축소를 지원하며 완벽한 운영 및 유지 관리 모니터링 시스템을 제공합니다. AI 자산관리 데이터 세트, 모델, 코드 구성 등을 포함한 핵심 AI 자산에 대한 관리 기능을 제공합니다. 시나리오 기반 솔루션 PAI 플랫폼의 기능을 기반으로 직접 적용할 수 있는 수직 필드 솔루션 모음입니다.