マインドマップギャラリー 2.ビッグデータ処理フレームワークHadoop
これは 2. ビッグ データ処理フレームワーク Hadoop に関するマインド マップです。Hadoop は、Nutch に由来するビッグ データ処理フレームワークであり、主に大規模なデータ ストレージと処理の問題を解決するために使用されます。 。
ソフトウェア開発プロジェクト管理プロセス V5.0
プリセールス技術ソリューション
UNIMESシステム
第 6 章 - ブロック暗号の操作
ソフトウェア システム ライブラリのシステム要件分析
ニニクス
ソフトウェア システム テストの知識ポイントの概要
Photoshop パンツのアイデア
SEO検索エンジン最適化ロジックソート
【学習ノート】データ構造-ツリー
2.ビッグデータ処理フレームワークHadoop
概要
コアテクノロジー
HDFS
MapReduce
簡単な歴史
特性
高信頼性
効率
高い拡張性
高い耐障害性
低コスト
Linuxプラットフォーム上で動作
複数のプログラミング言語をサポート
Hadoopプロジェクトの構造
分散ファイルシステム
データを保存する
分散並列プログラミング モデル
世代: リアルタイム コンピューティング
第二世代:退学バッチ処理
ディスクベース
パフォーマンスが悪い (Spark と比較して)
ディスクからデータを読み取る
データの計算を実行する
糸
リソース管理とスケジューラ
テズ
YARN で実行する
Hadoopクエリ処理フレームワーク
ハイブ
Hadoop 上のデータ ウェアハウス
HBase
Hadoop 上の非リレーショナル分散データベース
豚
Hadoopをベースとした大規模データ分析プラットフォーム
SQL に似た言語 Pig Latin を提供します
スクープ
Hadoop と従来のデータベース間のデータ転送に使用されます。
ウージー
Hadoop 上のワークフロー管理システム
動物園の飼育員
分散型調整サービスの提供
嵐
ストリームコンピューティングフレームワーク
水路
ログ収集・集計・送信システム
アンバリ
Hadoop 迅速導入ツール
カフカ
高スループット
分散型パブリッシュ/サブスクライブ メッセージング システム
スパーク
Hadoop MapReduceに似ている
一般的な並列フレームワーク
メモリベースの
パフォーマンスの向上 (MapReduce と比較して)
Hadoopのインストールと使い方(省略)
Hadoop クラスターの導入と使用
クラスターの基本ノード/コンポーネントのタイプ
名前ノード
クラスター内のデータストレージの調整を担当します。
データノード
分割されたデータブロックを調整する
ジョブトラッカー
データ コンピューティング タスクを調整および分解する
タスクトラッカー
JobTracker によって割り当てられたタスクの実行を担当します
セカンダリ名ノード
バックアップノード
クラスタのハードウェア構成
クラスターサイズ
クラスタネットワークトポロジ
クラスターの確立とインストール
クラスターのベンチマーク
クラウドコンピューティング環境でHadoopを使用する