Wondershare EdrawMind
Galerie de cartes mentales Banca dati
- 8
Banca dati
Il data warehouse è una raccolta strategica che fornisce tutti i tipi di supporto dati per il processo decisionale a tutti i livelli dell'azienda. Questa mappa del cervello esamina la progettazione della struttura del sistema del data warehouse, la tecnologia di analisi multidimensionale, la tecnologia di preelaborazione dei dati. e i punti chiave della costruzione del data warehouse bancario. Risolvilo per aiutare a comprendere la connotazione e il significato costruttivo del data warehouse.
Modifié à 2024-01-19 15:42:49
- Recommandé pour vous
- Contour
Banca dati
Preelaborazione dei dati
Criteri di valutazione della qualità dei dati
precisione
integrità
consistenza
Tempestività
Credibilità
Interpretabilità
Tecnologia di preelaborazione dei dati
1. Pulizia dei dati
Scopo:
Risolvere errori e incoerenze dei dati
Standardizzazione del formato, rilevamento ed elaborazione di dati anomali, correzione di errori di dati, rilevamento e rimozione di dati duplicati
Gestione dei valori mancanti
(1) Ignora le tuple
(2) Compila manualmente i valori mancanti
(3) Utilizzare un riempimento costante e uniforme
(4) Compila utilizzando la media degli attributi
(5) Utilizzare il valore medio degli attributi del campione dopo il raggruppamento
(6) Compila con il valore più probabile
Elaborazione dati rumorosa
(1) Imballaggio
(2) Raggruppamento
(3) Combinazione di ispezione computerizzata e manuale
(4) Ritorno
2.Integrazione dei dati
Scopo: integrare dati provenienti da più origini dati
3. Cura dei dati
Scopo: ottenere un'espressione più accurata dei dati
Strategia di cura dei dati
(1) Aggregazione dei cubi di dati
(2) Protocollo dimensionale
Trasformata wavelet
Analisi del componente principale
(3) Compressione dei dati
compressione senza perdite
Compressione con perdita
(4) Compressione numerica
4. Modifiche ai dati
È un'operazione eseguita per standardizzare, discretizzare e stratificare concettualmente i dati.
Metodo di trasformazione dei dati
(1) Aggregazione: riepilogo e aggregazione dei dati
(2) Generalizzazione dei dati: il processo di astrazione da un livello concettuale relativamente basso a un livello concettuale più elevato
(3) Standardizzazione
(4) Costruzione di attributi/derivazione di funzionalità
governance dei dati
La creazione di un sistema completo di governance dei dati richiede il miglioramento delle capacità di gestione delle informazioni sui dati sotto diversi aspetti quali sistemi, standard, monitoraggio e processi per risolvere i seguenti problemi
standard dei dati
Il supporto per le attività legate alle piattaforme dati deve essere standardizzato
Sistema di controllo dei dati
Documento di specifica del processo
Definizione dell'elemento informativo
Gestione dei metadati
Condurre analisi dell'impatto dei dati e del contesto per realizzare analisi dell'impatto e delle relazioni di sangue sul flusso di dati e sulle relazioni di dipendenza
Qualità dei dati
I requisiti di qualità dei dati sono misurabili e la qualità dei dati della piattaforma dati deve essere gestita in modo completo per implementare ispezioni definibili della qualità dei dati e analisi dimensionali, nonché il monitoraggio dei problemi.
servizio dati
Fornire canali di comunicazione di servizio per la piattaforma dati per utenti aziendali e sviluppatori di applicazioni
Tecnologia di analisi multidimensionale del data warehouse
Concetti base di data warehouse
Definizione di base: un data warehouse è una raccolta di dati orientata al soggetto, integrata e relativamente stabile che riflette i cambiamenti storici e viene utilizzata per supportare il processo decisionale nella gestione.
Caratteristiche tecniche del data warehouse
orientato al soggetto
Il tema si riferisce agli obiettivi e ai requisiti dell'analisi e del processo decisionale. Viene proposto dal decisore in base alle esigenze lavorative e alla fine viene implementato per servire il decisore.
Orientato al soggetto si riferisce all'organizzazione richiesta del soggetto in cui dovrebbero trovarsi i dati nel data warehouse.
Gli argomenti applicabili alle banche generalmente includono
festa
organizzazione interna
Prodotto
protocollo
evento
indirizzo
canale
marketing
finanza
patrimonio del cliente
integrato
La costruzione del data warehouse è solitamente la fase più complessa e critica.
L’analisi e il processo decisionale richiedono grandi quantità di dati per l’analisi, il confronto e l’identificazione.
Ci sono molte duplicazioni e incoerenze nei dati tra più fonti di dati. Solo attraverso un'elaborazione e una pulizia sistematiche è possibile eseguire la fase successiva di integrazione.
Relativamente stabile (non volatile)
Dopo che i dati sono entrati nel magazzino, devono essere archiviati in modo relativamente stabile per un lungo periodo, che è la condizione fondamentale per garantire un corretto processo decisionale.
La maggior parte delle operazioni sul database sono query, con poche modifiche ed eliminazioni.
Riflettere i cambiamenti storici (variante temporale)
I minuti del data warehouse memorizzano informazioni sui dati che riflettono lo stato temporale cronologico e devono anche essere archiviati in più fasi in base a determinati ordini di eventi.
Analisi in linea (OLAP)
1. Definizione di base: si riferisce alla tecnologia software che utilizza informazioni multidimensionali per accedere, analizzare e verificare i dati online per problemi specifici
2.Concetti di base
(1) Dimensione
(2) Livello dimensionale
(3) Membri della dimensione
(4) Misurazione
(5) Raccolta di dati multidimensionali
(6) Unità dati
3.Caratteristiche tecniche
(1) Rapidità
(2) Analizzabilità
(3) Multidimensionalità
(4) Informativa
Progettazione della struttura del sistema di data warehouse
Pianificazione e preparazione del data warehouse
1. Analisi delle esigenze dell'utente
2. Analisi di fattibilità
fattibilità tecnica
fattibilità economica
fattibilità operativa
3. Coordinamento costruttivo e analisi della resistenza
4. Formulazione del piano di sviluppo del progetto
(1) "Cosa fare"
Risolvi la divisione dei compiti nella costruzione del data warehouse
(2) "Come farlo"
Descrizione delle attività e pianificazione dello stato di avanzamento della costruzione del data warehouse
(3) "Cosa è necessario"
Chiamata e disposizione delle risorse chiave: personale, hardware, software
Architettura dei dati del data warehouse
1. Direzione del flusso di dati
Livello post-origine: caricamento dei dati del sistema di origine
Livello tematico: attraverso l'elaborazione dei dati, dati storici dettagliati, informazioni sui clienti, informazioni sull'account, dati sulle transazioni, ecc. vengono archiviati in base ai temi.
Livello di riepilogo: riepilogo regolare in base alle informazioni sull'account e alle informazioni sul cliente
Livello applicativo: infine, vengono formati e archiviati i dati necessari per l'analisi dell'applicazione.
2.Modello di dati
Con l'accumulo della costruzione del data warehouse, è necessario formare un modello di dati maturo del data warehouse che soddisfi le caratteristiche.
3. Standard dei dati
mappatura dei dati
applicare le regole
4. Qualità dei dati
(1) Definizione e misurazione iniziale
(2) Analizzare e trovare errori
(3) Trovare la fonte del problema
(4) Risolvere problemi di qualità
(5) Monitorare il processo di miglioramento
5.Gestione e controllo dei dati
Framework del sistema di gestione dei dati unificato
6. Politica e capacità di conservazione dei dati
esigenze di analisi aziendale
Esigenze normative
La necessità di fornire servizi aggiuntivi ai clienti sulla base di dati storici
Struttura organizzativa dei dati del data warehouse multi-granularità
Il fatto che la granularità sia ragionevole o meno influisce direttamente sulla quantità di dati archiviati nel data warehouse e sui tipi di query che il data warehouse può gestire.
La granularità è una misura chiave del grado di integrazione in un data warehouse
Maggiore è la granularità, minore sarà il livello di dettaglio e maggiore il grado di completezza dei dati.
Minore è la granularità, maggiore è il livello di dettaglio dei dati e minore è il livello di completezza.
Architettura del data warehouse
Determinare le funzionalità di base e le capacità di espansione
1. Bottom-up e bottom-up sono architetture
Struttura dall'alto verso il basso:
Vantaggi: centralizzazione, unificazione e standardizzazione
Svantaggi: deve essere completato in una volta, il ciclo è lungo e il costo è elevato si rischia di spingerlo alla ricostruzione;
Struttura dal basso verso l'alto: costruire prima un data mart sviluppato in modo indipendente, quindi costruire un data warehouse basato su questa tecnologia
2. Architettura pura del data warehouse
La struttura è semplice. I dati ottenuti dal sistema di origine dati vengono convertiti e caricati nel data warehouse e quindi forniti direttamente all'applicazione dati front-end tramite il data warehouse.
3. Architettura data mart pura
Non esiste un data warehouse globale. Le applicazioni di elaborazione dati devono connettersi a uno o più data mart per richiamare i dati.
Una forma intermedia di data warehouse
4. Architettura del data warehouse virtuale
L'origine dati unificata connessa all'applicazione di elaborazione dati è solo uno strato intermedio, che contiene le regole e i mezzi per accedere e integrare i dati e fornisce una vista del data warehouse virtuale per gli utenti del data warehouse.
L'integrazione dei dati avviene solo quando un utente richiede dati di query; i requisiti di implementazione sono elevati
Punti chiave della costruzione del data warehouse bancario
(1) Il sistema di data warehouse deve innanzitutto soddisfare i requisiti della sede centrale e delle filiali locali per l'archiviazione dei dati, interrogazioni, statistiche, analisi, ecc.
(2) Durante la costruzione del data warehouse, è necessario costruire un'origine dati unificata e un'architettura unificata.
Prestare attenzione alla gestione e al rilascio unificato dei metadati
Prestare attenzione alla costruzione di indicatori di venditore standardizzati con standard unificati e calibro coerente
Stabilire un meccanismo di ispezione dei dati, migliorare continuamente la qualità dei dati e rafforzare la governance dei dati in tutti gli aspetti
(3) Considerando la continua crescita del business, il piano di costruzione del data warehouse deve essere scalabile
(4) L'attività bancaria ha requisiti di disponibilità estremamente elevati e il sistema informativo aziendale non può essere chiuso facilmente.