心智圖資源庫 阿里雲人工智慧平台 PAI
人工智慧平台PAI(Platform of Artificial Intelligence)針對企業客戶及開發者,提供輕量化、高性價比的雲端原生人工智慧,涵蓋DSW互動建模、Designer拖曳式視覺化建模、DLC分散式訓練到EAS模型線上部署的全流程。
編輯於2024-03-10 09:17:30This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about bacteria, and its main contents include: overview, morphology, types, structure, reproduction, distribution, application, and expansion. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about plant asexual reproduction, and its main contents include: concept, spore reproduction, vegetative reproduction, tissue culture, and buds. The summary is comprehensive and meticulous, suitable as review materials.
This is a mind map about the reproductive development of animals, and its main contents include: insects, frogs, birds, sexual reproduction, and asexual reproduction. The summary is comprehensive and meticulous, suitable as review materials.
人工智慧平台 PAI
什麼是人工智慧平台PAI
什麼是機器學習
機器學習是一門多學科交叉專業,涵蓋機率論知識、統計學知識、近似理論知識和複雜演算法知識,它使用電腦作為工具並致力於真實、即時地模擬人類學習方式,並將現有內容進行知識結構劃分來有效提升學習效率。機器學習對研究問題進行模型假設,利用電腦從訓練資料中學習得到模型參數,最後對資料進行預測與分析。它可以在以下一些場景中使用。
內容產生:根據需要,產生主題相關的文字、圖片、影片、音訊內容。
行銷類場景:商品推薦、使用者群體畫像或廣告精準投放。
金融類情境:貸款發放預測、金融風險控制、股票走勢預測或黃金價格預測。
社群網路服務關係挖掘場景:微博粉絲領袖分析或社交關係鏈分析。
文本類場景:新聞分類、關鍵字擷取、文章摘要或文字內容分析。
非結構化資料處理場景:圖片分類或圖片文字內容擷取。
其他各類預測場景:降雨預測或足球比賽結果預測。
機器學習包括傳統機器學習和深度學習,有以下幾種類型:
監督學習(Supervised Learning):每個樣本都有對應的目標值,透過建立模型實現從輸入特徵向量到目標值的映射,例如解決迴歸和分類問題。
無監督學習(Unsupervised Learning):所有樣本沒有目標值,期望從資料本身發現一些潛在規律,例如解決聚類問題。
強化學習(Reinforcement Learning):相對較為複雜,系統與外界環境不斷交互,在外界回饋的基礎上決定自身行為,以達到目標最優化。例如阿爾法圍棋和無人駕駛。
什麼是人工智慧平台PAI
PAI底層支援多種計算框架:
流式計算框架Flink。
基於開源版本深度優化的深度學習框架TensorFlow、PyTorch、Megatron和DeepSpeed。
千億級特徵樣本的大規模平行運算框架Parameter Server。
Spark、PySpark、MapReduce等業界主流開源框架。
PAI提供的服務:
視覺化建模和分散式訓練Designer
Notebook互動式AI研發DSW(Data Science Workshop)
分散式訓練DLC(Deep Learning Containers)
線上預測EAS(Elastic Algorithm Service)
PAI依託於阿里雲及阿里巴巴集團多年的應用及技術積累,具備以下多種優勢。
AI 研發全生命週期全連結:
支援資料標註、模型開發、模型訓練、模型最佳化、模型部署以及AI維管控,是一站式AI平台。
擁有140 種最佳化的內建演算法組件。
支援業界TensorFlow、PyTorch等多種深度學習框架。
提供多種模式、大數據引擎深度結合、多框架相容、自訂鏡像等核心能力。
提供雲端原生架構的AI開發、訓練、部署的產品。
多樣化的產品輸出方式:
公有雲支援全託管、半託管。
支援AI 高效能運算叢集和輕量化輸出產品形態。
業界領先的AI優化:
高效能的訓練框架,稀疏訓練場景,支援數十億到數百億的稀疏特徵規模,數百億到數千億的樣本規模,上千worker的分散式增量訓練。
主流框架模型加速,使用PAI Blade提升RestNet50、Transformer LM等十數個主流模式加速比。
本服務支援單獨或組合使用。支援一站式機器學習,您只需準備好訓練資料(存放到OSS或MaxCompute中),所有建模工作(包括資料上傳、資料預處理、特徵工程、模型訓練、模型評估和模型發佈至離線或線上環境)都可以透過PAI實現。
對接DataWorks,支援SQL、UDF、UDAF、MR等多種資料處理方式,彈性高。
產生訓練模型的實驗流程支援DataWorks週期性調度,且調度任務區分生產環境和開發環境,從而實現資料安全隔離。
功能特性
豐富的機器學習演算法
PAI的演算法都經過阿里巴巴集團大規模業務的沉澱,不僅支援基礎的聚類和迴歸類別演算法,同時也支援文字分析和特徵處理等複雜演算法。
支援對接阿里雲其他產品
PAI訓練的模型直接儲存在MaxCompute中,可以配合阿里雲的其他產品使用。
一站式的機器學習體驗
PAI支援從資料上傳、資料預處理、特徵工程、模型訓練、模型評估到模型發布的機器學習全流程。
支援主流深度學習框架
PAI支援TensorFlow、Caffe及MXNet等主流的機器學習架構。
可視化的建模方式
封裝了經典的機器學習演算法,並提供了可視化的建模,其支援使用拖曳的方式來建構機器學習實驗而無需顯式編程。
一鍵式的模型部署服務
PAI支援將Designer DSW 產生的訓練模型一鍵式發佈為Restful API接口,實現模型到業務的無縫銜接。
優質的技術保障
您在使用過程中遇到任何問題,請聯絡您的商務經理來處理,或聯絡相關介面人
產品架構
1. PAI的產品架構
2. PAI的業務架構分為以下四層:
基礎資源層(運算資源&基礎設施):
基礎設施包括CPU、GPU、高速RDMA網路以及容器服務ACK等。
運算資源包括雲端原生資源(靈駿運算資源和通用運算資源)和大數據引擎資源(MaxCompute和Flink)。
平台工具層(靈駿智算服務&人工智慧架構):
人工智慧框架:包括Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等智慧框架,用於執行分散式運算任務。
優化與加速框架:包括DatasetAcc資料集加速、TorchAcc訓練加速、EPL並行訓練框架、Blade推理加速、AIMaster自動容錯訓練以及EasyCkpt秒級非同步訓練快照等。
按照機器學習全流程,PAI分別提供了資料準備、模型開發與訓練、以及模型部署階段的產品:
1. 資料準備:PAI提供了標註服務,支援在多種場景下進行資料標註和資料集管理。
2. 模型開發與訓練:PAI提供了視覺化建模(Designer)、互動建模(DSW)、分散式訓練(DLC)以及特徵平台(FeatureStore),滿足不同的建模需求。
3. 模型部署:PAI提供了模型線上服務(EAS),幫助您快速地將模型部署為服務。
應用層(模型服務):支援模型服務包括ModelScope魔搭社群、PAI-DashScope、第三方MaaS平台和百煉。
業務層(場景化解決方案):PAI應用於自動駕駛、科研智算、金融風控、智慧推薦等各領域。阿里巴巴集團內部的搜尋系統、推薦系統及金融服務系統等,均依賴PAI進行資料探勘。
3. PAI產品模組
名詞 描述 智慧標註(iTAG) 整合智慧能力(黑盒)的資料集標註工具,有效降低標註工作量,快速取得高品質的標註資料集。 視覺化建模(Designer) 面向AI領域的工作流程設計工具,封裝了豐富的機器學習演算法組件。您無需程式碼基礎,透過拖曳即可訓練模型。 互動式建模(DSW) 面向AI開發者的雲端機器學習互動式開發IDE,包含Notebook、VSCode及Terminal。您可以基於鏡像指定NAS作為儲存啟動DSW。 容器訓練(DLC) 快速將訓練任務提交到目前工作空間關聯的運算資源(例如通用運算資源)中,提交後的任務詳情可以在PAI任務管理模組中查看。 模式線上服務(EAS) 支援大規模複雜模型的一鍵部署功能,即時彈性擴縮容,並提供完整的運維監控系統。 AI資產管理 提供包括資料集、模型、程式碼配置等核心AI資產的管理能力。 場景化解決方案 基於PAI平台能力孵化的垂直領域解決方案集合,方便您直接應用。