Les data scientists formulent une hypothèse sur le comportement, c'est-à-dire qu'un comportement spécifique peut être observé dans les données avant l'action spécifique.

Les data scientists analysent ensuite de grandes quantités de données historiques pour déterminer la fréquence à laquelle l'hypothèse s'est réellement produite dans le passé et vérifier statistiquement l'exactitude probable du modèle.

Si une hypothèse est valide à une fréquence suffisamment élevée et que le comportement qu’elle prédit est utile, alors le modèle peut devenir la base d’un processus de renseignement opérationnel visant à prédire le comportement futur, peut-être même en temps réel.

dépend de

Définir la stratégie Big Data et les besoins métiers

Sélectionnez la source de données

Collecter et extraire des données

Définir les hypothèses et les méthodes relatives aux données

Intégrer et aligner les données pour l'analyse

Explorer les données à l'aide de modèles

Déployer et surveiller

Grande quantité de données

Les données sont mises à jour rapidement

Différents types de données

La viscosité des données est élevée

Les données fluctuent considérablement

Faible précision des données

La plus grande différence entre DW/BI et le traitement du Big Data est

Données structurées Données non structurées

Un lac de données est un environnement capable d'extraire, de stocker, d'évaluer et d'analyser des données massives de différents types et structures, et peut fournir une variété d'applications de scénarios.

Par exemple, vous pouvez fournir

Un lac de données peut être implémenté sous la forme d'une configuration composite d'outils de traitement de données tels que Hadoop ou d'autres systèmes de stockage de données, de services de cluster, de transformation de données ou d'intégration de données.

risque

L'architecture basée sur les services devient un moyen de fournir des données immédiatement et d'utiliser la même source de données pour mettre à jour un ensemble de données historiques complet et précis.

L'architecture SBA est quelque peu similaire à l'entrepôt de données

niveau

Les données sont chargées dans des couches de lots et d'accélération

Tous les calculs analytiques sont effectués sur les données de la couche batch et de la couche d'accélération. Cette conception devra peut-être être mise en œuvre dans deux systèmes indépendants.

La couche batch est souvent appelée le composant structurel qui change au fil du temps (ici chaque transaction est un insert), tandis que dans la couche d'accélération (souvent appelée magasin de données opérationnelles dans ODS), toutes les transactions sont des mises à jour.

Cette architecture évite les problèmes de synchronisation en créant simultanément des couches d'état actuel et d'historique.

enseignement supervisé

apprentissage non supervisé

Améliorer l'apprentissage

La surveillance des médias et l'analyse de texte sont des méthodes automatisées permettant de récupérer et d'obtenir des informations à partir de grandes quantités de données non structurées ou semi-structurées afin de déterminer ce que les gens ressentent et pensent à propos d'une marque, d'un produit, d'un service ou d'un autre type de sujet.

Utilisez le traitement du langage naturel (NLP) pour analyser des phrases courtes ou des phrases afin de détecter des émotions et de révéler des changements dans les émotions afin de prédire des scénarios possibles.

L'exploration de données est une méthode d'analyse spéciale qui utilise divers algorithmes pour révéler des modèles dans les données.

C'était à l'origine une branche de l'apprentissage automatique et un sous-domaine de l'intelligence artificielle.

Les outils de requête et de reporting standardisés peuvent identifier des problèmes spécifiques, tandis que les outils d'exploration de données aident à découvrir des relations inconnues en révélant des modèles.

L'exploration de texte utilise la technologie d'analyse de texte et d'exploration de données pour analyser les documents, classer automatiquement le contenu et devenir une ontologie de connaissances orientée workflow et expert du domaine.

Les supports texte électroniques peuvent donc être analysés sans reconstruction ni formatage

technologie

L'analyse prédictive est développée sur la base de modèles probabilistes d'événements et de variables possibles qui déclenchent des réponses organisationnelles lorsqu'elle reçoit des informations supplémentaires.

La forme la plus simple d'un modèle prédictif est une estimation

Allant plus loin que l'analyse prédictive, elle définit les actions qui affecteront les résultats plutôt que de simplement prédire les résultats sur la base d'actions déjà survenues.

L'analyse prescriptive prédit ce qui se passera, quand cela se produira, et suggère pourquoi cela se produira

L’analyse prescriptive pouvant montrer les implications de diverses décisions, elle peut suggérer comment exploiter les opportunités ou éviter les risques.

L'analyse des données non structurées devient de plus en plus importante à mesure que davantage de données non structurées sont générées

Certaines analyses ne peuvent être effectuées sans incorporer des données non structurées dans le modèle analytique

Mais l’analyse de données non structurées peut également s’avérer très difficile sans un moyen d’isoler les éléments intéressants des éléments non pertinents.

L'analyse et le balisage sont une méthode permettant d'ajouter des « hooks » aux données non structurées, permettant un filtrage connecté des données de schéma associées.

Également connu sous le nom de BI opérationnelle ou d'analyse en continu, le concept naît de l'intégration de processus opérationnels avec des analyses en temps réel.

L'analyse opérationnelle comprend le suivi et l'intégration des flux d'informations en temps réel, le tirage de conclusions basées sur des modèles de prédiction comportementale et le déclenchement de réponses et d'alertes automatisées.

Les solutions d'analyse opérationnelle incluent la préparation des données historiques nécessaires pour alimenter les modèles comportementaux

La visualisation est le processus d'explication de concepts, d'idées et de faits à l'aide d'images ou de représentations graphiques.

Compresser et encapsuler les données des fonctionnalités pour faciliter la visualisation

Les visualisations peuvent être dans un format statique (comme un rapport publié) ou nécessiter des moyens créatifs pour adapter la visualisation

Rassemblez les données et les services pour afficher visuellement des informations ou des résultats d'analyse.

Critères d'évaluation stratégique

Remplir le modèle prédictif

Modèle de formation

Modèle d'évaluation

Créer des visualisations de données

Révéler des idées et des découvertes

Itérer en utilisant des sources de données supplémentaires

Métriques d'utilisation technique

Indicateurs de chargement et de numérisation

Scénarios d’apprentissage et d’histoire