MindMap Gallery 2. Big-Data-Verarbeitungsframework Hadoop

2. Big-Data-Verarbeitungsframework Hadoop

Dies ist eine Mindmap zu 2. Hadoop ist ein Big-Data-Verarbeitungsframework. Es stammt von Nutch und ist ein Open-Source-Projekt der Apache Software Foundation. Es wird hauptsächlich zur Lösung massiver Datenspeicher- und -verarbeitungsprobleme verwendet .

Edited at 2024-03-10 18:28:13

Deu-Martina

2. Big-Data-Verarbeitungsframework Hadoop

Deu-Martina

Recommended to you
Outline

BFH
- 19
Markus Jahn
[Studiennotizen] Datenstrukturbaum
- 19
tyyii7sc@bccto.c
Systemanalytiker – Software-Anforderungsentwicklung
- 22
tyyii7sc@bccto.c
Analyse der Systemanforderungen für Softwaresysteme und Bibliotheken
- 8
Deu-Martina
Grundlegende Verwendung von Spezialeffekten in Lumion10.0
- 10
Deu-Martina
Latex
- 14
Deu-Martina
Nignx
- 9
Deu-Martina
Zusammenfassung der Wissenspunkte zum Testen von Softwaresystemen
- 13
Deu-Martina
Ideen für Photoshop-Hosen
- 15
Deu-Martina
Sortierung der SEO-Suchmaschinenoptimierungslogik
- 12
Deu-Martina

2. Big-Data-Verarbeitungsframework Hadoop

Überblick

Kerntechnologie

HDFS

Karte verkleinern

Eine kurze Geschichte

charakteristisch

Hohe Zuverlässigkeit

Effizienz

Hohe Skalierbarkeit

Hohe Fehlertoleranz

niedrige Kosten

Läuft auf der Linux-Plattform

Unterstützt mehrere Programmiersprachen

Hadoop-Projektstruktur

HDFS

Verteiltes Dateisystem

Daten speichern

Karte verkleinern

Verteiltes paralleles Programmiermodell

Erzeugung: Echtzeit-Computing

Zweite Generation: Stapelverarbeitung für den Schulabschluss

Festplattenbasiert

Schlechte Leistung (im Vergleich zu Spark)

Daten von der Festplatte lesen

Führen Sie Berechnungen anhand von Daten durch

GARN

Ressourcenverwaltung und Planer

Tez

Läuft auf YARN

Hadoop-Framework zur Abfrageverarbeitung

Bienenstock

Data Warehouse auf Hadoop

HBase

Nicht relationale verteilte Datenbank auf Hadoop

Schwein

Umfangreiche Datenanalyseplattform basierend auf Hadoop

Bietet eine SQL-ähnliche Sprache Pig Latin

Sqoop

Wird für die Datenübertragung zwischen Hadoop und herkömmlichen Datenbanken verwendet

Oozie

Workflow-Management-System auf Hadoop

Tierpfleger

Bereitstellung verteilter Koordinierungsdienste

Sturm

Stream-Computing-Framework

Flume

Protokollsammlung, Aggregation, Übertragungssystem

Ambari

Hadoop-Schnellbereitstellungstool

Kafka

Hoher Durchsatz

Verteiltes Publish-Subscribe-Nachrichtensystem

Funke

Ähnlich wie Hadoop MapReduce

Allgemeines paralleles Framework

speicherbasiert

Bessere Leistung (im Vergleich zu MapReduce)

Installation und Nutzung von Hadoop (weggelassen)

Bereitstellung und Nutzung des Hadoop-Clusters

Basisknoten-/Komponententyp des Clusters

NameNode

Verantwortlich für die Koordinierung der Datenspeicherung im Cluster

Datenknoten

Geteilte Datenblöcke abgleichen

JobTracker

Koordinieren und zerlegen Sie Datenverarbeitungsaufgaben

TaskTracker

Verantwortlich für die Ausführung der von JobTracker zugewiesenen Aufgaben

SecondaryNameNode

Backup-Knoten

Cluster-Hardwarekonfiguration

Clustergröße

Cluster-Netzwerktopologie

Cluster-Einrichtung und -Installation

Cluster-Benchmark

Verwendung von Hadoop in einer Cloud-Computing-Umgebung