データ計算、データ管理・監視等を提供します。

データサイエンスとビッグデータ産業チェーンは、データ分析プラットフォーム、データサイエンスプラットフォーム、社会分析、機械学習などを含むビッグデータ分析の技術サポートを提供します。

組織は、販売およびマーケティング、顧客サービス、人的資本、その他の特定のサービスを含む、エンタープライズレベルのアプリケーションテクノロジまたはツールを提供します。

業界の一般的な問題を解決し、エンタープライズ アプリケーション向けのテクノロジー プラットフォームを提供します

Microsoft などのクロスプラットフォーム インフラストラクチャとクロスプラットフォーム分析ツールを提供します。

技術設計フレームワーククエリデータフロー、データアクセス調整ストリーム処理統計ツール、人工知能機械学習ディープラーニング検索ログ分析可視化コラボレーションとセキュリティ

健康 モノのインターネット 金融・経済など

データ リソースは、インキュベーター、学校、研究機関など、データを生成する機関を表します。

ユーザー定義のマップ関数は入力データ内のキーと値のペアを受け取り、マップ関数による計算の後、中間のキーと値のペアのセットが取得されます。

ユーザー定義のreduce関数は、中間キー値と関連する一連の値を受け取ります。

マスタースレーブ構造で動作

map関数とreduce関数間のデータ処理

キー値型の入出力

フォールト トレランス メカニズムの複雑さ

データ保管場所の多様性

タスクの粒度の重要性

タスクバックアップ機構の必要性

パーティション関数

コンバイナ関数

破損したレコードをスキップする

ローカル実行

ステータス情報

カウンター

MRv1

展開が悪い

信頼性が低い

リソース使用率が低い

複数のコンピューティング フレームワークをサポートできない

手術

タスク

ジョブトラッカーとタスクトラッカー

入力スライス

データローカリゼーションの最適化

クライアントが MapReduce タスクを送信する

JobTracker はジョブの実行を調整します

TaskTracker は分割されたタスクを実行します

HDFS は、他のエンティティ間でジョブ ファイルを共有するために使用されます

非常に大きなファイルをサポートする

商用ハードウェアに基づく

ストリーミングデータアクセス

高スループット

構造化データ ファイルをデータベース テーブルにマップし、単純な HiveQL クエリ関数を提供し、HiveQL ステートメントを実行用の MapReduce タスクに変換できます。

データ分析用の記述言語であるピッグラテン語

豚の実行環境

スケーラブルな機械学習アルゴリズムとその実装を提供する

構造化データ用のスケーラブルで信頼性の高い、高性能の分散型列指向の動的スキーマ データベース

HBase論理モデル

HBase物理モデル

シンプルさ

自己複製

シーケンシャルアクセス

高速読み取り

高信頼性

スケーラビリティ

便利な管理をサポート

ユーザーのカスタマイズをサポート

高速

多用途性

使いやすさ

資源管理

スパークコア層

サービス層

パーティションのセット

各パーティションを計算する関数

頼る

好きな場所

パーティショナー

変換

アクション

DAGScheduler は実行計画の作成を担当します

TaskScheduler は、タスクの割り当てとワーカーの実行のスケジュールを担当します。

データ型マッピング

セッションプロセスの再定義

複数のAPIを提供

カスタム分散実行機能をサポート

さまざまな R コードの編集および実行環境をサポート

高いデータ一貫性

データ冗長性が低い

強力で複雑なクエリ機能と高い製品成熟度

データの分散ストレージと処理が容易

頻繁なデータ操作のコストは低く、単純なデータ処理は非常に効率的です。

データモデルが絶えず変化するアプリケーションシナリオに適しています

関係の雲

断片化

ビッグテーブル

マスター/スレーブ レプリケーション

ピアツーピアレプリケーション

弱い一貫性

最終的な整合性

一貫性を更新する

読み取りと書き込みの一貫性

セッションの一貫性

応用

分散システムは、一貫性、可用性、およびパーティションのフォールト トレランスの要件を同時に満たすことはできません。これらの特性のうち、同時に満たせるのは最大でも 2 つだけです。

BASEの原則

NoSQL の実際のアプリケーションでは、一貫性と可用性を比較検討する必要があります

マテリアライズドビュー

状態の更新

バージョンスタンプ

ソフトウェア、ハードウェア製品、または情報リソースをユーザーに販売する

ユーザーに代わってソフトウェアおよびハードウェア機器または情報リソースの管理と保守に責任を負います

データ管理の完璧主義者から現実主義者へ

Schema First から Schema First、Schema Later、Schemaless が共存します。

複雑な処理重視から単純な処理重視へ

強整合性の追求からデータ整合性の多様な理解へ

データ冗長性のマイナス効果の強調からデータ冗長性のプラス効果の強調へ

再現率・適合率の追求からクエリ応答速度重視へ

製品としてのデータベース管理システムからサービスとしてのデータベース管理システムへの移行

データ管理技術の標準化からデータ管理技術の多様化へ

単一テクノロジーのみへの依存から、複数のテクノロジーの統合へ

経済

強力な計算

オンデマンドサービス

仮想化