Qu'est-ce que le Big Data

Problèmes résolus par le big data

Caractéristiques du Big Data

(1) L'échelle des données est importante et a dépassé les capacités de traitement d'une seule machine ou même d'un petit cluster informatique. Cependant, les logiciels et outils actuels ne sont pas efficaces et de nouvelles idées doivent être explorées pour résoudre ce problème.

(2) Lors du processus d'acquisition, d'analyse et de traitement des données, des problèmes de qualité des données sont susceptibles de survenir et une attention particulière doit être accordée à l'incertitude des données.

(3) Les données changent rapidement et dynamiquement et existent souvent sous la forme de données en continu. Il est nécessaire de trouver des méthodes d’analyse et de visualisation en temps réel pour diffuser les données.

(4) Face à des données complexes et de grande dimension, le système logiciel actuel se concentre sur les statistiques et l'analyse de base et manque de capacités analytiques.

(5) Les données multi-sources ont différents types et structures, et les méthodes existantes sont difficiles à répondre aux besoins de traitement de données non structurées et hétérogènes.

(1) Intégration étroite de la technologie de visualisation et de la technologie d’exploration de données. (2) Intégration étroite de la technologie de visualisation et de la technologie d'interaction homme-machine. (3) La technologie de visualisation est largement utilisée dans le traitement et l’analyse de données structurées à grande échelle et de grande dimension. (4) Changements élastiques dans les capacités de saut de données de traitement.

Traitement des données internes (points enterrés)

Traitement de données externes (robots d'exploration Web)

Prétraitement des données

exploration de données

diagramme en échelle

graphique en ligne

Courbe ajustée

Nuage de points

Diagramme à colonnes

diagramme à colonnes empilées

diagramme circulaire

graphique en beignet

empiler

Diagramme en arbre rectangulaire

graphique en aires empilées

Nuage de points, matrice de nuages ​​de points, diagramme à bulles

Histogramme, carte de densité, carte thermique

Gestion du personnel, électroménager, services publics, prise de décision gouvernementale, commerce électronique

Nuage de mots, collection de documents, visualisation de texte de séries chronologiques

(1) Facile à comprendre l’idée centrale (2) Facile à classer, comparer et résumer (3) La visualisation de texte améliore la capacité des gens à penser de manière pertinente

concept

Nuage de points, matrice de nuage de points, lentille de table, coordonnées parallèles

Défis rencontrés

Des données hétérogènes

données à grande échelle

données complexes