Bereitstellung von Datenberechnung, Datenverwaltung und -überwachung usw.

Die Industriekette Data Science und Big Data bietet technische Unterstützung für die Big-Data-Analyse, einschließlich Datenanalyseplattform, Data-Science-Plattform, soziale Analyse, maschinelles Lernen usw.

Organisationen stellen Anwendungstechnologien oder -tools auf Unternehmensebene bereit, darunter Vertrieb und Marketing, Kundenservice, Humankapital und andere spezifische Dienstleistungen

Lösen Sie gängige Branchenprobleme und stellen Sie eine Technologieplattform für Unternehmensanwendungen bereit

Bereitstellung einer plattformübergreifenden Infrastruktur und plattformübergreifender Analysetools wie Microsoft usw.

Technisches Design-Framework, Abfragedatenfluss, Datenzugriffskoordination, Stream-Verarbeitung, statistische Tools, künstliche Intelligenz, maschinelles Lernen, tiefes Lernen, Suchprotokollanalyse, Visualisierung, Zusammenarbeit und Sicherheit

Gesundheit, Internet der Dinge, Finanzen und Wirtschaft usw.

Datenressourcen repräsentieren die Institutionen, die die Daten generieren, einschließlich Gründerzentren, Schulen und Forschungseinrichtungen.

Die benutzerdefinierte Kartenfunktion empfängt die Schlüssel-Wert-Paare in den Eingabedaten und nach der Berechnung durch die Kartenfunktion wird ein Satz zwischenliegender Schlüssel-Wert-Paare erhalten.

Die benutzerdefinierte Reduzierungsfunktion empfängt einen Zwischenschlüsselwert und einen zugehörigen Satz von Wertwerten.

Ausführung in Form einer Master-Slave-Struktur

Datenverarbeitung zwischen Kartenfunktion und Reduzierungsfunktion

Eingabe und Ausgabe des Schlüsselwerttyps

Die Komplexität von Fehlertoleranzmechanismen

Vielfalt an Datenspeicherorten

Die Bedeutung der Aufgabengranularität

Die Notwendigkeit eines Task-Backup-Mechanismus

Partitionsfunktion

Combiner-Funktion

Überspringen Sie beschädigte Datensätze

lokale Ausführung

Statusinformationen

Schalter

MRv1

Schlechte Erweiterung

Schlechte Zuverlässigkeit

Geringe Ressourcenauslastung

Es können nicht mehrere Computer-Frameworks unterstützt werden

Betrieb

Aufgabe

jobTracker und TaskTracker

Eingabe-Slice

Optimierung der Datenlokalisierung

Der Client sendet die MapReduce-Aufgabe

JobTracker koordiniert die Ausführung von Jobs

TaskTracker führt die aufgeteilten Aufgaben aus

HDFS wird verwendet, um Auftragsdateien zwischen anderen Entitäten zu teilen

Unterstützt sehr große Dateien

Basierend auf kommerzieller Hardware

Streaming-Datenzugriff

Hoher Durchsatz

Es kann strukturierte Datendateien einer Datenbanktabelle zuordnen, einfache HiveQL-Abfragefunktionen bereitstellen und HiveQL-Anweisungen zur Ausführung in MapReduce-Aufgaben konvertieren.

Schweinelatein, eine Beschreibungssprache für die Datenanalyse

Pig-Ausführungsumgebung

Bereitstellung skalierbarer Algorithmen für maschinelles Lernen und deren Implementierung

Skalierbare, äußerst zuverlässige, leistungsstarke, verteilte und spaltenorientierte dynamische Schemadatenbank für strukturierte Daten

Logisches HBase-Modell

Physikalisches HBase-Modell

Einfachheit

Selbstreplikation

Sequentieller Zugriff

High-Speed-Lesen

Hohe Zuverlässigkeit

Skalierbarkeit

Unterstützen Sie eine komfortable Verwaltung

Unterstützen Sie die Benutzeranpassung

hohe Geschwindigkeit

Vielseitigkeit

Benutzerfreundlichkeit

Resourcenmanagement

Spark-Kernschicht

Serviceschicht

eine Reihe von Partitionen

Eine Funktion, die jede Partition berechnet

verlassen

Bevorzugter Standort

Partitionierer

Transformation

Aktion

DAGScheduler ist für die Erstellung von Ausführungsplänen verantwortlich

TaskScheduler ist für die Zuweisung von Aufgaben und die Planung der Ausführung von Workern verantwortlich

Datentypzuordnung

Neudefinition des Sitzungsprozesses

Bietet mehrere APIs

Unterstützt benutzerdefinierte verteilte Lauffunktionen

Unterstützt eine Vielzahl von R-Code-Bearbeitungs- und Ausführungsumgebungen

Hohe Datenkonsistenz

Geringe Datenredundanz

Starke komplexe Abfragefähigkeiten und hohe Produktreife

Einfache dezentrale Speicherung und Verarbeitung von Daten

Die Kosten für häufige Datenoperationen sind gering und die einfache Verarbeitung von Daten ist äußerst effizient.

Geeignet für Anwendungsszenarien, in denen sich Datenmodelle ständig ändern

Beziehungswolke

Zersplitterung

Großer Tisch

Master-Slave-Replikation

Peer-to-Peer-Replikation

schwache Konsistenz

letztendliche Konsistenz

Konsistenz aktualisieren

Lese- und Schreibkonsistenz

Sitzungskonsistenz

Anwendung

Ein verteiltes System kann die Anforderungen an Konsistenz, Verfügbarkeit und Partitionsfehlertoleranz nicht gleichzeitig erfüllen. Es kann höchstens zwei dieser Merkmale gleichzeitig erfüllen.

BASE-Prinzip

Bei praktischen Anwendungen von NoSQL müssen Konsistenz und Verfügbarkeit abgewogen werden

materialisierte Sicht

Zustandsaktualisierung

Versionsstempel

Verkauf von Software, Hardwareprodukten oder Informationsressourcen an Benutzer

Verantwortlich für die Verwaltung und Wartung ihrer Software- und Hardwareausrüstung oder Informationsressourcen im Namen der Benutzer

Vom Datenmanagement-Perfektionisten zum Realisten

Von „Schema First“ zu „Schema First“, „Schema Later“ und „Schemaless“ existieren nebeneinander.

Von einem Fokus auf komplexe Verarbeitung hin zu einem Schwerpunkt auf einfacher Verarbeitung

Vom Streben nach starker Konsistenz bis hin zu einem vielfältigen Verständnis der Datenkonsistenz

Von der Betonung der negativen Auswirkungen der Datenredundanz bis hin zur Betonung der positiven Auswirkungen der Datenredundanz

Vom Streben nach Rückrufrate und Präzisionsrate bis hin zur Betonung der Antwortgeschwindigkeit auf Abfragen

Der Übergang von Datenbankmanagementsystemen als Produkt zu Datenbankmanagementsystemen als Dienstleistung

Von der Standardisierung der Datenverwaltungstechnologie bis zur Diversifizierung der Datenverwaltungstechnologie

Von der ausschließlichen Verwendung einer einzigen Technologie bis hin zur Integration mehrerer Technologien

Wirtschaft

Starke Berechnung

On-Demand-Dienste

Virtualisierung