マインドマップギャラリー アリババクラウド人工知能プラットフォームPAI
人工知能プラットフォーム PAI (Platform of Artificial Intelligence) は、DSW インタラクティブ モデリング、デザイナーのドラッグ アンド ドロップ ビジュアル モデリング、EAS への DLC 分散トレーニングをカバーする、軽量でコスト効率の高いクラウドネイティブ人工知能を企業顧客と開発者に提供します。モデルのオンライン展開。
2024-03-10 09:17:30 に編集されました人工知能プラットフォームPAI
人工知能プラットフォームPAIとは
機械学習とは
機械学習は、確率論の知識、統計的知識、近似理論の知識、複雑なアルゴリズムの知識をカバーする学際的な専攻であり、コンピューターをツールとして使用し、人間の学習方法をリアルタイムでシミュレートすることに注力し、既存のコンテンツを次のようなものに変換します。知識構造を分割して学習効率を効果的に向上させます。機械学習では、研究課題に関するモデルの仮定を作成し、コンピューターを使用してトレーニング データからモデル パラメーターを学習し、最終的にデータを予測して分析します。次のシナリオの一部で使用できます。
コンテンツの生成: 必要に応じて、トピックに関連したテキスト、画像、ビデオ、およびオーディオ コンテンツを生成します。
マーケティング シナリオ: 製品の推奨事項、ユーザー グループのポートレート、または正確な広告。
財務シナリオ: ローン発行予測、財務リスク管理、株価動向予測、または金価格予測。
ソーシャル ネットワーク サービスの関係マイニング シナリオ: Weibo ファン リーダー分析またはソーシャル関係チェーン分析。
テキストベースのシナリオ: ニュースの分類、キーワードの抽出、記事の概要またはテキスト内容の分析。
非構造化データ処理シナリオ: 画像分類または画像テキスト コンテンツ抽出。
その他のさまざまな予測シナリオ: 降雨量の予測やサッカーの試合結果の予測。
機械学習には従来の機械学習と深層学習があり、次の種類があります。
教師あり学習: 各サンプルには対応するターゲット値があり、モデルを構築することで、回帰問題や分類問題の解決など、入力特徴ベクトルからターゲット値へのマッピングが実現されます。
教師なし学習: すべてのサンプルには目標値がなく、クラスタリング問題の解決など、データ自体から潜在的なパターンを発見することが期待されます。
強化学習: 比較的複雑なシステムは、外部環境と継続的に対話し、外部フィードバックに基づいて自身の動作を決定して、目標の最適化を達成します。たとえば、AlphaGo や自動運転車などです。
人工知能プラットフォームPAIとは
PAI の基礎となる層は、複数のコンピューティング フレームワークをサポートしています。
ストリーミング コンピューティング フレームワーク Flink。
深く最適化された深層学習フレームワーク TensorFlow、PyTorch、Megatron、DeepSpeed のオープンソース バージョンに基づいています。
Parameter Server は、数千億の機能サンプルを扱う大規模な並列コンピューティング フレームワークです。
Spark、PySpark、MapReduce、および業界のその他の主流のオープンソース フレームワーク。
PAIが提供するサービス:
ビジュアルモデリングと分散トレーニングデザイナー
ノート型対話型AI研究開発DSW(データサイエンスワークショップ)
分散トレーニングDLC(ディープラーニングコンテナ)
オンライン予測 EAS (Elastic Algorithm Service)
PAI は、Alibaba Cloud および Alibaba Group の長年にわたるアプリケーションと技術の蓄積に依存しており、以下の利点があります。
AI 研究開発の全ライフサイクルと完全なリンク:
データアノテーション、モデル開発、モデルトレーニング、モデル最適化、モデル展開、AI運用保守管理・制御をワンストップでサポートするAIプラットフォームです。
140 の最適化された組み込みアルゴリズム コンポーネントを備えています。
TensorFlow や PyTorch など、業界の複数の深層学習フレームワークをサポートします。
複数のモード、ビッグ データ エンジンの緊密な統合、マルチフレーム互換性、カスタム ミラーリングなどのコア機能を提供します。
AI の開発、トレーニング、クラウドネイティブ アーキテクチャの導入のための製品を提供します。
さまざまな製品出力方法:
パブリック クラウドは、完全なホスティングと半管理をサポートします。
AI 高性能コンピューティング クラスターと軽量の出力製品フォームをサポートします。
業界をリードする AI 最適化:
高性能トレーニング フレームワークとスパース トレーニング シナリオは、数十億から数百億のスパース特徴スケール、数百億から数千億のサンプル スケール、および数千のワーカーの分散増分トレーニングをサポートします。
主流のフレームワーク モデルの高速化。PAI Blade を使用して、RestNet50 や Transformer LM などの十数種類の主流モデルの加速率を向上させます。
このサービスは個別に利用することも、組み合わせて利用することもできます。ワンストップの機械学習をサポートするため、トレーニング データを準備するだけ (OSS または MaxCompute に保存する) と、すべてのモデリング作業 (データのアップロード、データの前処理、特徴量エンジニアリング、モデルのトレーニング、モデルの評価、オフラインまたはモデルへのリリースを含む) を行うだけで済みます。オンライン環境) は PAI を通じて実現できます。
DataWorksと接続し、SQL、UDF、UDAF、MRなどの複数のデータ処理方式を高い柔軟性でサポートします。
トレーニング モデルを生成する実験プロセスは DataWorks の定期的なスケジューリングをサポートしており、タスクのスケジューリングによって運用環境と開発環境が区別されるため、データ セキュリティの分離が実現されます。
特徴
豊富な機械学習アルゴリズム
PAI のアルゴリズムは、アリババ グループの大規模なビジネスを通じて蓄積されており、基本的なクラスタリングや回帰アルゴリズムだけでなく、テキスト分析や特徴処理などの複雑なアルゴリズムもサポートしています。
他の Alibaba Cloud 製品とのドッキングをサポート
PAI によってトレーニングされたモデルは MaxCompute に直接保存され、他の Alibaba Cloud 製品で使用できます。
ワンストップの機械学習エクスペリエンス
PAI は、データのアップロード、データの前処理、特徴量エンジニアリング、モデルのトレーニング、モデルの評価からモデルのリリースまでの機械学習プロセス全体をサポートします。
主流の深層学習フレームワークをサポート
PAI は、TensorFlow、Caffe、MXNet などの主流の機械学習フレームワークをサポートしています。
ビジュアルモデリング手法
従来の機械学習アルゴリズムをカプセル化し、明示的なプログラミングを行わずにドラッグ アンド ドロップで機械学習実験を構築できるようにします。
ワンクリックモデル導入サービス
PAI は、Designer DSW によって生成されたトレーニング モデルを Restful API インターフェイスとしてワンクリックで公開し、モデルからビジネスへのシームレスな接続を実現します。
優れた技術サポート
使用中に問題が発生した場合は、ビジネスマネージャーに連絡して対処してもらうか、関連するインターフェース担当者に連絡してください。
製品アーキテクチャ
1. PAIの製品アーキテクチャ
2. PAI のビジネス アーキテクチャは次の 4 つの層に分かれています。
基本リソース層 (コンピューティング リソースとインフラストラクチャ):
インフラストラクチャには、CPU、GPU、高速 RDMA ネットワーク、コンテナ サービス ACK などが含まれます。
コンピューティング リソースには、クラウド ネイティブ リソース (Lingjun コンピューティング リソースおよび一般的なコンピューティング リソース) とビッグ データ エンジン リソース (MaxCompute および Flink) が含まれます。
プラットフォームツールレイヤー (Lingjun Intelligent Computing Service & Artificial Intelligence Framework):
人工知能フレームワーク: Alink、TensorFlow、PyTorch、Megatron、DeepSpeed、RLHF、および分散コンピューティング タスクの実行に使用されるその他のインテリジェント フレームワークを含みます。
最適化および加速フレームワーク: DatasetAcc データセット アクセラレーション、TorchAcc トレーニング アクセラレーション、EPL 並列トレーニング フレームワーク、ブレード推論アクセラレーション、AIMaster 自動フォールト トレラント トレーニング、EasyCkpt の第 2 レベルの非同期トレーニング スナップショットなどが含まれます。
PAI は、機械学習プロセス全体に続いて、データの準備、モデルの開発とトレーニング、モデルのデプロイメントの各段階に向けた製品を提供します。
1. データの準備: PAI は、さまざまなシナリオでデータの注釈とデータ セットの管理をサポートする注釈サービスを提供します。
2. モデル開発とトレーニング: PAI は、さまざまなモデリング ニーズを満たすために、ビジュアル モデリング (デザイナー)、インタラクティブ モデリング (DSW)、分散トレーニング (DLC)、および機能プラットフォーム (FeatureStore) を提供します。
3. モデルの展開: PAI は、モデルをサービスとして迅速に展開できるよう、モデル オンライン サービス (EAS) を提供します。
アプリケーション層 (モデル サービス): サポートされているモデル サービスには、ModelScope、PAI-DashScope、サードパーティの MaaS プラットフォーム、Bailian が含まれます。
ビジネス層 (シナリオベースのソリューション): PAI は、自動運転、科学研究とインテリジェント コンピューティング、金融リスク管理、インテリジェントな推奨などのさまざまな分野で使用されます。アリババ グループの内部検索システム、推奨システム、金融サービス システムはすべて、データ マイニングに PAI に依存しています。
3. PAI製品モジュール
名詞 説明する インテリジェントなタグ付け (iTAG) インテリジェントな機能 (ブラック ボックス) を統合したデータ セット アノテーション ツールは、アノテーションの作業負荷を効果的に軽減し、高品質のアノテーション データ セットを迅速に取得できます。 ビジュアルモデリング(デザイナー) 豊富な機械学習アルゴリズム コンポーネントをカプセル化した AI 分野向けのワークフロー設計ツール。コーディング基盤は必要なく、ドラッグ アンド ドロップでモデルをトレーニングできます。 インタラクティブ モデリング (DSW) AI 開発者向けのクラウド機械学習インタラクティブ開発 IDE (Notebook、VSCode、ターミナルなど)。ストレージにNASを指定することで、イメージを元にDSWを起動できます。 コンテナトレーニング(DLC) 現在のワークスペースに関連付けられているコンピューティング リソース (一般的なコンピューティング リソースなど) にトレーニング タスクをすばやく送信します。送信されたタスクの詳細は、PAI タスク管理モジュールで表示できます。 モデルオンラインサービス(EAS) 大規模で複雑なモデルのワンクリック展開、リアルタイムの柔軟な拡張および収縮をサポートし、完全な運用および保守監視システムを提供します。 AI資産管理 データセット、モデル、コード構成などを含むコア AI 資産の管理機能を提供します。 シナリオベースのソリューション PAI プラットフォームの機能に基づいた垂直フィールド ソリューションのコレクションで、それらを直接適用できます。