Galerie de cartes mentales Processus et méthodes
Le chapitre 3 de la théorie et de la pratique de la science des données comprend le traitement des données, l'audit des données, l'analyse des données, la visualisation des données, la narration des données et la gestion de projets de science des données.
Modifié à 2023-10-15 10:50:07Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
Cent ans de solitude est le chef-d'œuvre de Gabriel Garcia Marquez. La lecture de ce livre commence par l'analyse des relations entre les personnages, qui se concentre sur la famille Buendía et raconte l'histoire de la prospérité et du déclin de la famille, de ses relations internes et de ses luttes politiques, de son métissage et de sa renaissance au cours d'une centaine d'années.
La gestion de projet est le processus qui consiste à appliquer des connaissances, des compétences, des outils et des méthodologies spécialisés aux activités du projet afin que celui-ci puisse atteindre ou dépasser les exigences et les attentes fixées dans le cadre de ressources limitées. Ce diagramme fournit une vue d'ensemble des 8 composantes du processus de gestion de projet et peut être utilisé comme modèle générique.
Processus et méthodes
Processus de base
Numérisation
Processus de capture de la vie, des activités professionnelles ou sociales des personnes et de leur conversion en données
Traitement et régularisation des données
nettoyer les données
Organiser les données
Deux problématiques fondamentales dans le traitement des données
l'analyse exploratoire des données
Méthode EDA
Résistance
résiduel
réexprimer
Analyse des données et informations
analyse descriptive
Analyses prédictives
analyse normative
Les résultats montrent
Fourniture de produits de données
traitement de l'information
Le traitement des données fait référence à une série d'activités de traitement qui auditent, nettoient, transforment, intègrent, désensibilisent, réduisent et étiquetent l'ensemble de données d'origine en fonction des besoins des calculs de données ultérieurs avant que les données ne soient formellement traitées.
Exigences de qualité des données, exigences de calcul des données
Nettoyage des données
Gestion des données manquantes
Traitement de données redondant
Traitement des données bruyant
Selon la stratégie de regroupement de l'ensemble de données d'origine
Méthode de remplacement basée sur les données des membres dans chaque case
transformation des données
Lissage
Construction des fonctionnalités
rassembler
standardisation
discrétisation
intégration de données
Intégration de contenu
intégration structurelle
Intégration de modèles
Redondance des données
Détection et élimination des conflits
Désensibilisation des données
Unidirectionnalité
Aucun résidu
facile à réaliser
Réduction de donnée
Réduction dimensionnelle
réduction de valeur
Annotation des données
Annotation grammaticale
Annotation sémantique
Audit des données
Selon la réglementation générale et les méthodes d'évaluation de la qualité des données, auditer le contenu des données et leurs éléments pour identifier les problèmes.
Valeurs manquantes, valeurs de bruit, valeurs incohérentes, valeurs incomplètes
Audits prédéfinis
Dictionnaire de données
Contraintes d'intégrité définies par l'utilisateur
informations autodescriptives sur les données
valeur de domaine de l'attribut
Informations associées autonomes sur les données
Audit personnalisé
Règles de définition des variables
Règles de définition des fonctions
Techniques courantes d’audit des données
première loi des nombres
principe des petites probabilités
règles linguistiques
théorie de la continuité des données
technologie d'authentification des données
Audit visuel
l'analyse des données
analyse descriptive
Concentrez-vous sur le passé et répondez à ce qui s'est passé
La première étape de l'analyse des données
Méthodes d'analyse statistique descriptive
analyse diagnostique
Concentrez-vous sur le passé et expliquez pourquoi cela s'est produit
Analyse de corrélation et analyse causale
Analyses prédictives
Concentrez-vous sur l'avenir et répondez à ce qui va se passer
Utiliser l'analyse de classification et l'analyse des tendances
est la base de l’analyse normative
analyse normative
Faites attention aux problèmes de simulation et d'optimisation, et comment optimiser les problèmes qui surviendront
Utiliser des techniques de recherche opérationnelle, de simulation et d’émulation
Peut générer directement de la valeur industrielle
visualisation de données
type de base
visualisation scientifique
visualisation d'informations
analyse visuelle
analyse visuelle
visualisation d'informations
exploration de données
Analyses statistiques
raisonnement analytique
interaction homme machine
Modèle d'analyse visuelle
Accent sur le processus de conversion des données en connaissances
Accent mis sur l'interaction entre l'analyse visuelle et la modélisation automatisée
Insister sur l’importance de la cartographie des données et de l’exploration de données
Accent sur la nécessité du traitement des données
Accent sur l'importance de l'interaction homme-machine
Méthodologie
Base méthodologique
méthode de base
méthodes de domaine
Perception visuelle et cognition visuelle
perception visuelle
Le processus par lequel des choses objectives produisent des réactions directes dans le cerveau humain via les organes sensoriels visuels
cognition visuelle
Le traitement ultérieur des informations de perception visuelle par les individus
Types de données d'un point de vue visuel
Données catégorisées
données ordinales
données d'intervalle
Données de ratio
Méthode de sélection de canal visuel
Précision
lisibilité
artefact visuel
Fait référence à une perception visuelle fausse ou inexacte produite par l'utilisateur cible et incompatible avec l'intention du visualiseur de données ou avec la réalité des données elles-mêmes.
Visualiser l'environnement de Yamashita où se trouve l'apôtre peut provoquer des artefacts visuels
Le jugement relatif de l'œil humain sur la luminosité et la couleur peut facilement conduire à des illusions visuelles.
L'expérience et l'expérience de l'utilisateur cible peuvent provoquer des artefacts visuels
Six pratiques célèbres en visualisation de données et leurs codes sources
Calculer l'âge de l'univers
Rendre la lune aux couleurs de la Terre
1,3 milliard de trajets en taxi à New York
Découvrez le monde à travers 17 000 itinéraires
Formatage Eclipse
L'expérience Jimi Hendrix
Narration de données
Définition : Le processus de transformation des données en data stories est appelé data storytelling.
facile à retenir
Facile à reconnaître
Facile à expérimenter
Modèle d'histoire de données
Les besoins de l'entreprise
données
Informations analytiques
modèle d'histoire
Raconter des histoires
comportement du public
Termes associés à la narration de données
Narration basée sur les données
narration visuelle
Narration analytique
Narration interactive
Racontez des histoires avec des données
narration numérique
Le rôle des histoires de données
attirer
expliquer
Inspirer
Comprendre les histoires de données
Perception de l'histoire des données
La narration narrative du narrateur produit une réponse directe dans le cerveau humain à travers les organes des sens visuels.
Comprendre les histoires de données
Le traitement ultérieur par le public des informations sensorielles basées sur l’histoire
Histoires de données en action
Les actions que le public entreprend après avoir écouté des histoires de données
Gestion de projet en science des données
personnage principal
Commanditaire de projet
chef de projet
client
scientifique des données
ingénieur de données
opérateur
Processus de base
Définition des objectifs du projet
Acquisition et gestion de données
modèles, informations issues des modèles
Patrons, validation et optimisation du modèle
Visualisation et documentation des résultats
Patrons, application et maintenance des modèles
Erreurs courantes dans les projets de science des données
Analyser des données sans les vérifier
Analyser les données sans les comprendre
Mettre le modèle en service sans le tester
Le travail d’analyse de la science des données n’a que des objectifs et aucune hypothèse de recherche
Le modèle de données n'est pas mis à jour simultanément avec les données et utilise un modèle obsolète.
Tirer des conclusions avec désinvolture sans discuter des résultats de l’analyse des données
Manque d’implication des experts métiers
Adopter ou entraîner des algorithmes de modèles trop complexes
L’existence d’un biais de données
On n'accorde pas suffisamment d'attention à l'effet de présentation des résultats du projet d'analyse des données.
Insistance insuffisante sur l'expérience utilisateur des produits de science des données
Surestimer ou sous-estimer la capacité de compréhension de l’utilisateur cible