Wondershare EdrawMind
Galeria de mapas mentais Mapa mental básico do aplicativo de big data
- 10
Mapa mental básico do aplicativo de big data
Um mapa mental básico sobre aplicações de big data, incluindo computação em nuvem e big data, processamento de dados em tempo real por sistemas distribuídos e aquisição de dados massivos pela tecnologia da Internet das Coisas.
Editado em 2023-12-04 21:40:18
- moléculas que compõem as células
A segunda unidade do Curso Obrigatório de Biologia resumiu e organizou os pontos de conhecimento, abrangendo todos os conteúdos básicos, o que é muito conveniente para todos aprenderem. Adequado para revisão e visualização de exames para melhorar a eficiência do aprendizado. Apresse-se e colete-o para aprender juntos!
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 16 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Extração e corrosão de mim. O conteúdo principal inclui: Corrosão de metais, Extração de metais e a série de reatividade.
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 15 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Reatividade de metais. O conteúdo principal inclui: Reações de deslocamento de metais, A série de reatividade de metais.
Mapa mental básico do aplicativo de big data
- moléculas que compõem as células
A segunda unidade do Curso Obrigatório de Biologia resumiu e organizou os pontos de conhecimento, abrangendo todos os conteúdos básicos, o que é muito conveniente para todos aprenderem. Adequado para revisão e visualização de exames para melhorar a eficiência do aprendizado. Apresse-se e colete-o para aprender juntos!
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 16 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Extração e corrosão de mim. O conteúdo principal inclui: Corrosão de metais, Extração de metais e a série de reatividade.
- Cambridge IGCS Chemistry Coursebook 2023 Capítulo 15 Resumo dos pontos de conhecimento
Este é um mapa mental sobre Reatividade de metais. O conteúdo principal inclui: Reações de deslocamento de metais, A série de reatividade de metais.
- Recomendado para você
- Descrição
Noções básicas de aplicativos de big data
A era dos dados começa comigo
A partir da ordem de tropas de Han Xin
Qual é o tamanho do big data?
As unidades de dados de construção urbana incluem
pedaço
Byte
KB (quilobytes)
MB (megabyte)
GB (gigabyte)
Acima de GB estão TB, PB, EB, ZB, YB, DB e NB.
A taxa de avanço dessas unidades é 1024 (2 elevado à décima potência)
1byte = 8 bits
1 KB = 1024 bytes
1 MB = 1.024 KB
1GB=1024MB
1TB=1024GB
1TB=1024GB
1PB = 1.024 TB
Intuitivamente, a quantos bytes o INB é igual?
1EB=1024PB
1ZB=1024EB
1YB=1024ZB
1DB=1024YB
1NB = 1024 db
Definição de big data
Definição da Wikipédia
Big data, também conhecido como massivo de dados, refere-se à quantidade de dados envolvidos que é tão grande que não pode ser interceptado, gerenciado, processado e organizado em uma forma que os humanos possam interpretar por humanos ou computadores dentro de um tempo razoável.
Definição de instituição de pesquisa
Big data é uma coleção de dados que não pode ser capturada, gerenciada e processada dentro de um determinado intervalo de tempo usando ferramentas de software convencionais. É um conjunto de dados massivo, de alto crescimento e grande volume que requer novos modelos de processamento para uma tomada de decisão mais forte. poder, descoberta de insights e recursos de otimização de processos.
Definição do Instituto Global McKinsey
Big data é uma coleção de dados tão grande que sua aquisição, armazenamento, gerenciamento e análise excedem em muito as capacidades das ferramentas tradicionais de software de banco de dados. Possui escala de dados massiva, fluxo rápido de dados, diversos tipos de dados e baixa densidade de valor. Grandes recursos.
O processo de geração de big data
Hadoop nasceu em 2005
No final de 2008, o big data foi reconhecido por alguns renomados pesquisadores da ciência da computação nos Estados Unidos.
Em 2009, o governo indiano criou uma base de dados biométrica para gestão de identidade, e o projecto Earth Pulse das Nações Unidas estudou como utilizar dados de telemóveis e sites de redes sociais para analisar e prever surtos de doenças treponémicas.
Em fevereiro de 2010, Kenneth Cukier publicou um relatório especial de 14 páginas sobre big data no The Economist, "Data, Ubiquitous Data"
Em março de 2012, a administração Obama lançou a "Iniciativa de Pesquisa e Desenvolvimento de Big Data" no site da Casa Branca. Esta iniciativa marcou que o big data se tornou uma característica importante da época.
Em abril de 2014, o Fórum Econômico Mundial divulgou um relatório global de tecnologia da informação com o tema "Retornos e Riscos do Big Data"
A quantidade total de dados globais em 2017 foi de 21,6 GB. A atual taxa de crescimento anual dos dados globais é de cerca de 40%. Em 2018, a indústria global de big data desenvolveu-se fortemente.
Características básicas de big data 4V
Tamanho grande
alta velocidade
diversificação
Densidade de baixo valor.
De onde vem o big data?
Classificação das principais fontes de big data
①Atividades humanas e vários tipos de dados gerados por pessoas que utilizam a Internet (incluindo Internet móvel):
(2) Os dados gerados por computadores e vários sistemas de informação informática assumem principalmente a forma de ficheiros, bases de dados, multimédia, etc.
(3) Trabalhe com Li Shi. Dados coletados por vários dispositivos digitais, como dados meteorológicos massivos coletados por equipamentos de coleta de sistemas meteorológicos
Dados, dados de vídeo massivos gerados por sistemas de vigilância por vídeo, etc.
Um símbolo da geração de big data na sociedade moderna.
(1) A pesquisa científica produz big data.
(2) A tecnologia da Internet das Coisas gera big data.
(3) A rede gera big data.
O que o big data pode fazer
O nó da nova geração de aplicações de integração de tecnologia da informação está no processamento e análise de big data.
A Internet das Coisas, a Internet móvel, as redes sociais e o comércio eletrônico são as formas de aplicação da nova geração de tecnologia da informação. Esses aplicativos formam e geram gradativamente big data durante sua operação.
O big data tornou-se uma nova forma de desenvolvimento contínuo da indústria da informação.
Com o desenvolvimento contínuo de big data e tecnologias relacionadas, novos produtos, novas tecnologias, novos formatos de negócios e novos serviços para o mercado de big data estão gradualmente emergindo e se desenvolvendo rapidamente.
O big data tornou-se um fator-chave para melhorar a competitividade central.
Com o desenvolvimento da tecnologia da informação, mais e mais indústrias entraram no caminho da transformação e do desenvolvimento, e a tomada de decisões corporativas passou gradualmente de orientada para os negócios para orientada por dados. A análise de big data pode ajudar as empresas a lançar um marketing mais eficaz e padronizado. planos. Capaz de desenvolver medidas de atendimento personalizadas para empresas que estejam mais alinhadas às necessidades dos consumidores.
Na era do big data, os métodos de investigação científica também sofrerão mudanças correspondentes.
O impacto dos big data e das tecnologias relacionadas na investigação científica é cada vez mais evidente
O big data do Facebook retém usuários
De acordo com o Relatório Digital Global de 2018, havia 3,196 mil milhões de utilizadores globais de redes sociais em 2018. Um aumento anual de 13%.
Primeira introdução à plataforma de big data
Coleta de grandes dados
Coleta de grandes dados
análise de grandes dados
processamento de big data
Visualização de big data
Dados Guizhou, Guizhou colorido
Omissão do estabelecimento de big data de Guizhou
De um pedaço de papel em branco a um projeto, a província de Guizhou, um ponto importante para o desenvolvimento, embarcou no caminho do big data e transformou-se silenciosamente de seguidora da era industrial passada em companheira de viagem da era do big data. Até mesmo o líder.
Em 2015, a província de Guizhou propôs a implementação de ações estratégicas de big data a nível provincial.
Durante a Expo Internacional da Indústria de Big Data da China de 2018, a província de Guizhou assinou com sucesso 199 projetos contratuais com um valor total de 35,28 bilhões de yuans.
Situação atual do desenvolvimento de big data em Guizhou
A província de Guizhou implementa minuciosamente o espírito do 19º Congresso Nacional do Partido Comunista da China e as importantes instruções do secretário-geral Xi Jinping à província de Guizhou, China. No espírito das instruções, as ações estratégicas de big data serão implementadas em profundidade, a construção da zona experimental abrangente nacional de big data será vigorosamente promovida e a construção de Guizhou digital será acelerada.
A integração e o compartilhamento de dados estão na vanguarda do país.
A abertura de dados está na vanguarda do país.
Resultados de desenvolvimento de big data de Guizhou
Estabelecer empresas estatais provinciais de grande escala na área de desenvolvimento de big data.
Criou com sucesso a "Truck Gang" mais "Yunmanman".
O data center da Apple foi instalado em Guizhou.
Forme um ecossistema da indústria de big data.
Crie uma “colhedora de inteligência global”.
Cultive os melhores talentos de big data.
Promoveu a aplicação de big data para o alívio específico da pobreza.
Utilizar big data para ajudar na redução da pobreza através da educação.
Promoveu a aplicação de big data médico.
Utilizar big data para promover a transformação e a modernização económica.
Realizar a construção de padrões de big data.
O desenvolvimento integrado de “big data mais transporte”.
Computação em nuvem e big data
O que é computação em nuvem
Computadores tradicionais.
O chamado computador é na verdade as janelas funcionais
Virtualização
Para o programa de monitoramento, esta janela não trata diretamente do hardware, e todos os recursos precisam ser agendados pelo programa de monitoramento. Alocação, portanto esta máquina Windows é uma máquina virtual, conhecida como vm. Este processo de separação da máquina de hardware do sistema operacional por meio do programa de monitoramento é a virtualização.
Carregamento e balanceamento.
formação de nuvens
conjunto de recursos
virtual secundário
Autogestão do usuário.
Conecte-se à rede.
Tipo de nuvem.
Nuvem privada
nuvem pública
nuvem híbrida
Infraestrutura e serviços
Plataforma e serviços
Softwares e serviços
outros
Definição de computação em nuvem.
A computação em nuvem é um modelo de pagamento conforme o uso que fornece acesso de rede conveniente e sob demanda a um conjunto de recursos de computação configuráveis. Esses recursos podem ser provisionados rapidamente com mínimo esforço administrativo ou interação com o provedor de serviços.
Principais provedores de serviços de computação em nuvem.
Nuvem Baidu
Ali Nuvem
Serviço de nuvem Amazon AWS.
Computação em nuvem Microsoft Azure.
Arquitetura de tecnologia de computação em nuvem
A arquitetura de computação em nuvem é dividida em 4 camadas: a camada de recursos físicos, a camada de pool de recursos, a camada intermediária de gerenciamento e uma camada intermediária de gerenciamento.
A relação entre computação em nuvem e big data
Simplificando, a computação em nuvem é a virtualização de recursos de hardware, enquanto o big data é o processamento eficiente de dados massivos.
A arquitetura resumida de big data inclui três camadas de armazenamento de dados, processamento de dados e análise de dados.
Pode-se dizer que o big data é equivalente à liberação de dados massivos no banco de dados. O desenvolvimento do campo do big data pode ser visto que o desenvolvimento atual do big data tem se desenvolvido em uma direção semelhante à experiência tradicional do banco de dados.
Plataforma agrícola moderna baseada em computação em nuvem e big data
Arquitetura de sistema de plataforma de monitoramento agrícola inteligente.
Camada perceptiva
camada de transporte
camada de dados
Camada de aplicação
camada terminal
Sistema agroalimentar sem maquiagem.
Capítulo 9 Sistemas distribuídos processam dados em tempo real
O que é um sistema distribuído
A distribuição é a principal característica do sistema.
Distribuição
As posições espaciais de vários computadores em um sistema distribuído podem ser distribuídas aleatoriamente e não há distinção mestre-escravo entre vários computadores no sistema.
Transparência
Os recursos do sistema são compartilhados por todos os computadores.
unidade
Vários computadores no sistema podem cooperar entre si para completar uma tarefa comum, ou um programa pode ser distribuído em outros computadores. Execute em paralelo.
homogeneidade
Quaisquer dois computadores no sistema podem trocar informações por meio de comunicação.
Sistemas distribuídos comuns.
GFS
HDFS
Ceph
Brilho
Soluções distribuídas comumente usadas.
Aplicativos e serviços distribuídos
Aplicativos e serviços distribuídos colocam em camadas e dividem aplicativos e serviços e, em seguida, implantam módulos de aplicativos e serviços de maneira distribuída.
Recursos estáticos distribuídos
A implantação distribuída de recursos estáticos do site, como imagens js, css, etc. pode reduzir a pressão de carga no servidor de aplicativos e melhorar a velocidade de acesso.
Dados distribuídos e armazenamento
Grandes sites muitas vezes precisam processar grandes quantidades de dados, e um único computador muitas vezes não consegue fornecer espaço de memória suficiente para o armazenamento distribuído desses dados.
Computação distribuída
Com o desenvolvimento da tecnologia informática, algumas aplicações requerem um poder de computação muito grande para serem concluídas. Se a computação centralizada for usada, levará muito tempo para ser concluída. Assim, distribuído divide o aplicativo em muitas partes pequenas e as atribui a vários computadores para processamento. Isso pode economizar tempo geral de computação e melhorar significativamente a eficiência da computação.
A relação entre distribuição e clustering
distribuído
Distribuição refere-se à implantação de diferentes módulos de serviço em vários servidores diferentes, trabalhando juntos por meio de chamadas de destino e fornecendo serviços ao mundo exterior.
conjunto
Clustering refere-se à implantação do mesmo aplicativo ou módulo de serviço em vários servidores diferentes e um cluster é usado em conjunto. Equipamentos balanceados fornecem serviços para o mundo exterior.
Em geral, os sistemas distribuídos funcionam em paralelo e os clusters funcionam em série.
Cada nó em um sistema distribuído pode ser um cluster, mas um cluster não é necessariamente distribuído.
Introdução à plataforma Hadoop
A origem do nome Hadoop
Dong Cunting, o criador do projeto, explica como o Hadoop ganhou esse nome: “Esse nome foi dado pelos meus filhos a um elefante marrom bem alimentado”.
Eventos Hadoop
A versão inicial (agora chamada IDFS I MapRediuce) foi implementada em 2004 por Dorug Cutting fu Mike Catiarcla.
1º de dezembro de 2005 – O Nutch foi transplantado para a nova estrutura e o Hadoop estava rodando de forma estável em 20 nós.
Em fevereiro de 2006, o projeto Apache Hadoop foi lançado oficialmente para apoiar o desenvolvimento independente de MapRcduce e HDFS.
Em fevereiro de 2006, a equipe de computação em grade do Yahoo adotou o Hadoop.
A classificação padrão de abril de 2006 (10 GB por nó) foi executada em 47,9 horas em 188 nós.
Em julho de 2007, o cluster de pesquisa atingiu 900 nós.
Em Abril de 2008, o cluster de investigação carregou 10 TB de dados todos os dias.
Abril de 2009 - Ganhe classificações por minuto, classifique 500 GB em 59 segundos (em 1.400 nós) e 173 pontos
Introdução à estrutura HDFS
O sistema de gerenciamento distribuído de arquivos da plataforma Hdfshadop é o mais importante do ap. Um dos componentes
Nó Namenode.
Março de 2009 – 17 clusters com um total de 24.000 máquinas.
Interação entre o nó D AA e o namenode.
Natanode é a execução de tarefas específicas.
Interações entre Danodenamenoe
Namenode reconstruirá dinamicamente as informações de dados do componente do sistema de arquivos sempre que o sistema for iniciado. Neste momento, ele usará a pulsação para pesquisar o nó de dados do nó ode de dados centralizado para responder ao ae com uma pulsação. Noe envia periodicamente as informações do bloco de arquivo que armazena para o naenode.
Estrutura de computação Hadoop
Maprduce é o principal componente de computação do adop e é usado para computação paralela de dados massivos. As etapas principais da estrutura Mapreduce são divididas principalmente em duas partes, Mapear e reduzir
O que o Hadoop traz para a empresa
O big data não é adequado apenas para grandes empresas, mas também para empresas de todos os tamanhos.
Fornece uma base para a empresa esotérica e conhecimento interno crítico de dados externos para Big Data Hadop.
O Hadop cresceu rapidamente e se tornou a solução preferida de análise de big data para dados não estruturados.
Google e hadop estão inextricavelmente ligados.
A IBM anunciou a criação de uma nova arquitetura de armazenamento como cluster em AP. Executa bancos de dados DB2 ou ACL para permitir que os aplicativos suportem análises de alto desempenho, aplicativos de data warehouse e computação operacional.
O gigante de buscas na Internet Baidu também está considerando usar AP
Como uma infraestrutura distribuída, o Ap permite que os usuários desenvolvam programas distribuídos sem compreender os detalhes subjacentes da distribuição.
Aplicativo Hadoop para pesquisa de empresas Baidu
Ajuste a estratégia de mpreduce.
Melhore a eficiência e a funcionalidade do HD FS.
Modifique a estratégia de execução do discurso ativo.
Controle o uso de recursos.
Lianjia usa big data para analisar as necessidades dos clientes
Desenho de projeto de plataforma
Moji Weather processa 2 TB de dados de registro todos os dias
Análise de plataforma
Aproveite ao máximo os enormes dados de registro acumulados no terminal móvel.
Conduza análises de big data sobre o uso do usuário e negócios de publicidade.
Utilize a tecnologia de big data do Alibaba Cloud para apoiar a equipe de operações e a equipe de publicidade na otimização dos negócios existentes com base na análise de dados de registro.
Clima de negócios de big data
Continuaremos a desenvolver o monitoramento meteorológico com base em tecnologia madura de big data e recursos de talentos de big data.
Moji continuará a expandir a gama de serviços de monitoramento meteorológico.
Na fase inicial, tem um enorme impacto no mercado.
A interatividade múltipla foi bastante melhorada através da Internet móvel.
Os serviços meteorológicos comerciais serão uma enorme oportunidade empresarial na China.
A tecnologia IoT captura grandes quantidades de dados
IoT e big data
O que é a Internet das Coisas?
A Internet das Coisas refere-se à implantação de vários dispositivos com certas capacidades de detecção, capacidade de computação e capacidade de execução em entidades do mundo físico. O equipamento de detecção de informações realiza a transmissão, colaboração e processamento de informações por meio de instalações de rede, realizando assim comunicação em área ampla ou em grande escala entre pessoas e pessoas. A interligação das necessidades de troca de informações entre coisas e coisas.
Como a Internet das Coisas é implementada?
coleção de dados
armazenamento de dados
Análise Estatística
A tecnologia central da Internet das Coisas.
Tecnologia NB-LoT
Tecnologia RFID
Tecnologia de Sensores
Tecnologia de comunicação em rede
Tecnologia de sistema embarcado
computação em nuvem
Plataforma de big data IoT de cadeia fria
Terminal de coleta inteligente sem fio de cadeia fria
mecanismo de canal de dados
Software cliente de monitoramento remoto