Wondershare EdrawMind
Galleria mappe mentale Mappa mentale di base dell'applicazione Big Data
- 10
Mappa mentale di base dell'applicazione Big Data
Una mappa mentale di base sulle applicazioni dei big data, tra cui il cloud computing e i big data, l'elaborazione dei dati in tempo reale da parte di sistemi distribuiti e l'acquisizione di grandi quantità di dati tramite la tecnologia Internet of Things.
Modificato alle 2023-12-04 21:40:18
Mappa mentale di base dell'applicazione Big Data
- Consigliato per te
- Profilo
Nozioni di base sull'applicazione dei Big Data
L’era dei dati inizia con me
A partire dall’ordine delle truppe di Han Xin
Quanto sono grandi i big data?
Le unità di dati dell'edilizia urbana includono
morso
Byte
KB (kilobyte)
MB (megabyte)
GB (gigabyte)
Sopra GB ci sono TB, PB, EB, ZB, YB, DB e NB.
La velocità di avanzamento di queste unità è 1024 (2 alla decima potenza)
1 byte = 8 bit
1KB=1024Byte
1MB=1024KB
1GB=1024MB
1TB=1024GB
1TB=1024GB
1PB=1024TB
Intuitivamente, a quanti byte corrisponde INB?
1EB=1024PB
1ZB=1024EB
1YB=1024ZB
1DB=1024YB
1NB=1024DB
Definizione di big data
Definizione di Wikipedia
I big data, noti anche come dati di massa, si riferiscono alla quantità di dati coinvolti che è così grande da non poter essere intercettata, gestita, elaborata e organizzata in una forma che gli esseri umani possano interpretare da esseri umani o computer entro un tempo ragionevole.
Definizione di istituto di ricerca
I Big Data sono una raccolta di dati che non possono essere acquisiti, gestiti ed elaborati entro un certo intervallo di tempo utilizzando strumenti software convenzionali. Si tratta di un set di dati massiccio, ad alta crescita e ad alto volume che richiede nuovi modelli di elaborazione per avere un processo decisionale più forte capacità di potere, scoperta di insight e ottimizzazione dei processi Diverse risorse informative.
Definizione del McKinsey Global Institute
I Big Data sono una raccolta di dati così grande che la loro acquisizione, archiviazione, gestione e analisi superano di gran lunga le capacità degli strumenti software di database tradizionali. Presentano un'enorme scala di dati, un flusso di dati rapido, diversi tipi di dati e una bassa densità di valore. Grandi funzionalità.
Il processo di generazione dei big data
Hadoop è nato nel 2005
Alla fine del 2008, i big data sono stati riconosciuti da alcuni noti ricercatori informatici negli Stati Uniti.
Nel 2009, il governo indiano ha creato un database biometrico per la gestione dell’identità e il progetto Earth Pulse delle Nazioni Unite ha studiato come utilizzare i dati provenienti da telefoni cellulari e siti di social network per analizzare e prevedere epidemie di malattie treponemiche.
Nel febbraio 2010, Kenneth Cukier ha pubblicato un rapporto speciale di 14 pagine sui big data su The Economist, "Data, Ubiquitous Data"
Nel marzo 2012, l'amministrazione Obama ha pubblicato sul sito web della Casa Bianca la "Big Data Research and Development Initiative". Questa iniziativa ha evidenziato che i big data sono diventati una caratteristica importante dei tempi.
Nell'aprile 2014, il World Economic Forum ha pubblicato un rapporto globale sulla tecnologia dell'informazione con il tema "Rendimenti e rischi dei Big Data"
La quantità totale di dati globali nel 2017 è stata di 21,6 GB. L’attuale tasso di crescita annuo dei dati globali è di circa il 40%. Nel 2018, l’industria globale dei big data si è sviluppata fortemente.
Caratteristiche di base dei big data 4V
Taglia larga
ad alta velocità
diversificazione
Densità di valore basso.
Da dove vengono i big data?
Classificazione delle principali fonti di big data
①Attività umane e vari tipi di dati generati dalle persone che utilizzano Internet (incluso Internet mobile):
(2) I dati generati dai computer e dai vari sistemi informativi informatici sono per lo più sotto forma di file, banche dati, contenuti multimediali, ecc.
(3) Lavora con Li Shi. Dati raccolti da vari dispositivi digitali, come enormi dati meteorologici raccolti dalle apparecchiature di raccolta del sistema meteorologico
Dati, enormi dati video generati da sistemi di videosorveglianza, ecc.
Un simbolo della generazione di big data nella società moderna.
(1) La ricerca scientifica produce big data.
(2) La tecnologia Internet of Things genera big data.
(3) Il networking genera big data.
Cosa possono fare i big data
Il nodo della nuova generazione di applicazioni di integrazione informatica risiede nell'elaborazione e nell'analisi dei big data.
L'Internet delle cose, l'Internet mobile, i social network e l'e-commerce sono le forme di applicazione della nuova generazione dell'informatica. Queste applicazioni formano e generano gradualmente big data durante il loro funzionamento.
I Big Data sono diventati un nuovo modo per il settore dell’informazione di svilupparsi continuamente.
Con il continuo sviluppo dei big data e delle tecnologie correlate, nuovi prodotti, nuove tecnologie, nuovi formati di business e nuovi servizi per il mercato dei big data stanno gradualmente emergendo e sviluppandosi rapidamente.
I Big Data sono diventati un fattore chiave per migliorare la competitività di base.
Con lo sviluppo della tecnologia dell’informazione, sempre più settori sono entrati nel percorso di trasformazione e sviluppo e il processo decisionale aziendale si è gradualmente spostato da quello orientato al business a quello basato sui dati. L’analisi dei Big Data può supportare le aziende nel lanciare un marketing più efficace e standardizzato piani. In grado di sviluppare misure di servizio personalizzate per le imprese più in linea con le esigenze dei consumatori.
Nell’era dei Big Data anche i metodi di ricerca scientifica subiranno cambiamenti corrispondenti.
L’impatto dei big data e delle tecnologie correlate sulla ricerca scientifica è sempre più evidente
I big data di Facebook mantengono gli utenti
Secondo il Global Digital Report 2018, nel 2018 gli utenti di social media a livello globale erano 3,196 miliardi. Un aumento anno su anno del 13%.
Prima introduzione alla piattaforma big data
Raccolta di grandi quantità di dati
Raccolta di grandi quantità di dati
Analisi dei Big Data
elaborazione dei big data
Visualizzazione di grandi quantità di dati
Dati Guizhou, Guizhou colorato
Omissione dell'istituzione dei big data a Guizhou
Da pezzo di carta bianco a progetto, la provincia di Guizhou, punto nevralgico dello sviluppo, ha intrapreso la strada dei big data, trasformandosi silenziosamente da seguace della passata era industriale a compagna di viaggio dell’era dei big data. Anche il capofila.
Nel 2015, la provincia di Guizhou ha proposto l’implementazione di azioni strategiche relative ai big data a livello provinciale.
Durante la China International Big Data Industry Expo del 2018, la provincia di Guizhou ha firmato con successo 199 progetti contrattuali per un importo totale di 35,28 miliardi di yuan.
Stato attuale dello sviluppo dei big data nel Guizhou
La provincia di Guizhou attua pienamente lo spirito del 19° Congresso nazionale del Partito comunista cinese e le importanti istruzioni del segretario generale Xi Jinping alla provincia cinese di Guizhou. Nello spirito delle istruzioni, le azioni strategiche relative ai big data saranno implementate in profondità, la costruzione della zona sperimentale globale dei big data sarà promossa vigorosamente e la costruzione del Guizhou digitale sarà accelerata.
L’integrazione e la condivisione dei dati è in prima linea nel Paese.
L’apertura dei dati è in prima linea nel Paese.
Risultati dello sviluppo dei big data di Guizhou
Creare imprese statali provinciali su larga scala nel campo dello sviluppo dei big data.
Hai creato con successo la "Gang di camion" più "Yunmanman".
Il data center Apple si è stabilito a Guizhou.
Formare un ecosistema del settore dei big data.
Creare un "raccoglitore di informazioni globale".
Coltiva i migliori talenti dei big data.
Promosso l’applicazione dei big data per la riduzione mirata della povertà.
Utilizzare i big data per contribuire alla riduzione della povertà attraverso l’istruzione.
Promossa l’applicazione dei big data medici.
Utilizzare i big data per promuovere la trasformazione e il miglioramento economico.
Effettuare la costruzione di standard per i big data.
Lo sviluppo integrato di “big data plus transportation”.
Cloud computing e big data
Cos'è il cloud computing
Computer tradizionali.
Il cosiddetto computer è in realtà la finestra di lavoro
Virtualizzazione
Per il programma di monitoraggio, questa finestra non si occupa direttamente dell'hardware e tutte le risorse devono essere pianificate dal programma di monitoraggio. Allocazione, quindi questa macchina Windows è una macchina virtuale, denominata VM. Questo processo di separazione della macchina hardware dal sistema operativo tramite il programma di monitoraggio è la virtualizzazione.
Caricamento e bilanciamento.
formazione di nubi
pool di risorse
virtuale secondario
Autogestione degli utenti.
Connettersi alla rete.
Tipo di nuvola.
Nuvola privata
nuvola pubblica
cloud ibrido
Infrastrutture e servizi
Piattaforma e servizi
Software e servizi
altri
Definizione di cloud computing.
Il cloud computing è un modello pay-per-use che fornisce un comodo accesso di rete su richiesta a un pool di risorse informatiche configurabili. È possibile fornire rapidamente queste risorse con uno sforzo amministrativo o un'interazione minima con il fornitore di servizi.
Principali fornitori di servizi di cloud computing.
Nuvola Baidu
Ali Nuvola
Servizio cloud Amazon AWS.
Microsoft Azure Cloud Computing.
Architettura della tecnologia di cloud computing
L'architettura del cloud computing è divisa in 4 livelli, il livello delle risorse fisiche, il livello del pool di risorse, il livello intermedio di gestione e a
Il rapporto tra cloud computing e big data
In poche parole, il cloud computing è la virtualizzazione delle risorse hardware, mentre i big data sono l’elaborazione efficiente di enormi quantità di dati.
L'architettura riassuntiva dei big data comprende tre livelli di archiviazione dei dati, elaborazione dei dati e analisi dei dati.
Si può dire che i big data equivalgono alla cancellazione di enormi quantità di dati dal database. Lo sviluppo del campo dei big data può essere visto che l'attuale sviluppo dei big data si è sviluppato in una direzione simile all'esperienza dei database tradizionali.
Moderna piattaforma agricola basata sul cloud computing e sui big data
Architettura del sistema di piattaforma di monitoraggio agricolo intelligente.
Strato percettivo
strato di trasporto
livello dati
Livello di applicazione
strato terminale
Sistema agroalimentare no-makeup.
Capitolo 9 I sistemi distribuiti elaborano i dati in tempo reale
Cos'è un sistema distribuito
La distribuzione è la caratteristica principale del sistema.
Distribuzione
Le posizioni spaziali di più computer in un sistema distribuito possono essere distribuite in modo casuale e non esiste alcuna distinzione master-slave tra più computer nel sistema.
Trasparenza
Le risorse di sistema sono condivise da tutti i computer.
unità
Diversi computer nel sistema possono cooperare tra loro per completare un'attività comune oppure un programma può essere distribuito su altri computer. Corri in parallelo.
omogeneità
Due computer qualsiasi nel sistema possono scambiare informazioni attraverso la comunicazione.
Sistemi distribuiti comuni.
GFS
HDFS
Cef
Lustro
Soluzioni distribuite di uso comune.
Applicazioni e servizi distribuiti
Le applicazioni e i servizi distribuiti sovrappongono e dividono applicazioni e servizi, quindi distribuiscono moduli di applicazioni e servizi in modo distribuito.
Risorse statiche distribuite
L'implementazione distribuita di risorse statiche del sito Web come js, immagini css, ecc. può ridurre la pressione di carico sul server delle applicazioni e migliorare la velocità di accesso.
Dati distribuiti e archiviazione
I siti Web di grandi dimensioni spesso devono elaborare enormi quantità di dati e un singolo computer spesso non è in grado di fornire spazio di memoria sufficiente per l'archiviazione distribuita di questi dati.
Calcolo distribuito
Con lo sviluppo della tecnologia informatica, alcune applicazioni richiedono una potenza di calcolo molto elevata per essere completate. Se viene utilizzato il calcolo centralizzato, il completamento richiederà molto tempo. Così distribuito suddivide l'applicazione in tante piccole parti e le assegna a più computer per l'elaborazione. Ciò può far risparmiare tempo di elaborazione complessivo e migliorare notevolmente l'efficienza del calcolo.
La relazione tra distribuzione e clustering
distribuito
La distribuzione si riferisce alla distribuzione di diversi moduli di servizio su più server diversi, lavorando insieme attraverso le chiamate del destino e fornendo servizi al mondo esterno.
grappolo
Il clustering si riferisce alla distribuzione della stessa applicazione o modulo di servizio su più server diversi e un cluster viene utilizzato insieme. Le apparecchiature bilanciate forniscono servizi al mondo esterno.
In generale, i sistemi distribuiti funzionano in parallelo e i cluster funzionano in serie.
Ogni nodo in un sistema distribuito può essere raggruppato, ma un cluster non è necessariamente distribuito.
Introduzione alla piattaforma Hadoop
L'origine del nome Hadoop
Dong Cuntsing, il creatore del progetto, spiega come Hadoop ha preso il nome: "Questo nome è stato dato dai miei figli a un elefante marrone ben nutrito".
Eventi Hadoop
La versione iniziale (ora chiamata IDFS I MapRediuce) è stata implementata nel 2004 da Dorug Cutting fu Mike Catiarcla.
1 dicembre 2005: Nutch è stato trapiantato nel nuovo framework e Hadoop funzionava stabilmente su 20 nodi.
Nel febbraio 2006 è stato lanciato ufficialmente il progetto Apache Hadoop per supportare lo sviluppo indipendente di MapRcduce e HDFS.
Nel febbraio 2006, il team di grid computing di Yahoo ha adottato Hadoop.
L'ordinamento standard di aprile 2006 (10 GB per nodo) è stato eseguito in 47,9 ore su 188 nodi.
Nel luglio 2007 il cluster di ricerca ha raggiunto i 900 nodi.
Nell'aprile 2008, il cluster di ricerca ha caricato 10 TB di dati ogni giorno.
Aprile 2009 - Vinci ordinamenti al minuto, ordina 500 GB in 59 secondi (su 1400 nodi) e 173 punti
Introduzione al framework HDFS
Il sistema di gestione file distribuito della piattaforma Hdfshadop è il più importante di ap. Uno dei componenti
Nodo namenode.
Marzo 2009 - 17 cluster per un totale di 24.000 macchine.
Interazione tra il nodo D AA e il namenode.
Natanode è l'esecuzione di compiti specifici.
Interazioni tra Danodenamenoe
Namenode ricostruirà dinamicamente le informazioni sui dati dei componenti del file system ogni volta che il sistema viene avviato. A questo punto, utilizzerà l'heartbeat per interrogare il data node centralizzato del nodo data per rispondere all'ae con un heartbeat. Noe invia periodicamente le informazioni sul blocco dei file che memorizza al naenodo.
Struttura informatica Hadoop
Maprduce è il componente informatico principale di adop e viene utilizzato per l'elaborazione parallela di enormi quantità di dati. I passaggi principali del framework Mapreduce sono principalmente divisi in due parti, Mappa e Riduci
Cosa porta Hadoop all'azienda
I Big Data non sono adatti solo alle grandi imprese, ma anche a imprese di tutte le diverse dimensioni.
Fornisce una base per l'impresa esoterica e una conoscenza privilegiata dei dati esterni per Big Data Hadop.
Hadop è rapidamente cresciuto fino a diventare la soluzione di analisi dei big data preferita per i dati non strutturati.
Google e Hadop sono indissolubilmente legati.
IBM ha annunciato la creazione di una nuova architettura di storage come cluster su AP. Esegue database DB2 o ACL per consentire alle applicazioni di supportare analisi ad alte prestazioni, applicazioni di data warehouse e elaborazione operativa.
Anche il gigante della ricerca su Internet Baidu sta valutando la possibilità di utilizzare AP
In quanto infrastruttura distribuita, Ap consente agli utenti di sviluppare programmi distribuiti senza comprendere i dettagli sottostanti della distribuzione.
Applicazione Hadoop per la ricerca di aziende Baidu
Adattare la strategia di mpreduce.
Migliora l'efficienza e la funzionalità di HD FS.
Modificare la strategia di esecuzione del discorso attivo.
Controllare l'utilizzo delle risorse.
Lianjia utilizza i big data per analizzare le esigenze dei clienti
Disegno di progetto della piattaforma
Moji Weather elabora 2 TB di dati di registro ogni giorno
Analisi della piattaforma
Sfrutta appieno gli enormi dati di registro accumulati sul terminale mobile.
Condurre analisi di big data sull'utilizzo degli utenti e sulle attività pubblicitarie.
Utilizza la tecnologia big data di Alibaba Cloud per supportare il team operativo e quello pubblicitario nell'ottimizzazione del business esistente sulla base dell'analisi dei dati di registro.
Meteo aziendale dei big data
Continueremo a sviluppare il monitoraggio meteorologico basato su una tecnologia big data matura e su risorse di talento dei big data.
Moji continuerà ad espandere la portata dei servizi di monitoraggio meteorologico.
Nella fase iniziale, ha un enorme impatto sul mercato.
L'interattività multipla è stata notevolmente migliorata attraverso Internet mobile.
I servizi meteorologici commerciali costituiranno un’enorme opportunità imprenditoriale in Cina.
La tecnologia IoT cattura enormi quantità di dati
IoT e big data
Cos’è l’Internet delle cose?
L'Internet delle cose si riferisce all'implementazione di vari dispositivi con determinate capacità di rilevamento, capacità di calcolo e capacità di esecuzione in entità nel mondo fisico. Le apparecchiature di rilevamento delle informazioni realizzano la trasmissione, la collaborazione e l'elaborazione delle informazioni attraverso strutture di rete, realizzando così comunicazioni su vasta area o su larga scala tra persone e persone. L'interconnessione delle esigenze di scambio di informazioni tra cose e cose.
Come viene implementato l’Internet delle cose?
raccolta dati
archivio dati
Analisi statistica
La tecnologia principale dell’Internet delle cose.
Tecnologia NB-LoT
Tecnologia RFID
Tecnologia dei sensori
Tecnologia di comunicazione di rete
Tecnologia di sistema integrata
cloud computing
Piattaforma Big Data IoT per la catena del freddo
Terminale di raccolta intelligente wireless della catena del freddo
motore del canale dati
Software client di monitoraggio remoto