Os cientistas de dados formulam uma hipótese sobre o comportamento, ou seja, um comportamento específico pode ser observado nos dados antes da ação específica

Os cientistas de dados então analisam grandes quantidades de dados históricos para determinar com que frequência a hipótese realmente ocorreu no passado e verificam estatisticamente a provável precisão do modelo.

Se uma hipótese for válida com uma frequência suficientemente elevada e o comportamento que ela prevê for útil, então o modelo pode tornar-se a base para um processo de inteligência operacional para prever o comportamento futuro, talvez até em tempo real.

depende de

Definir estratégia de big data e necessidades de negócios

Selecione a fonte de dados

Colete e extraia dados

Definir suposições e métodos de dados

Integre e alinhe dados para análise

Explore dados usando modelos

Implantar e monitorar

Grande quantidade de dados

Atualizações de dados rapidamente

Vários tipos de dados

A viscosidade dos dados é alta

Os dados flutuam muito

Baixa precisão dos dados

A maior diferença entre DW/BI e processamento de big data é

Dados estruturados Dados não estruturados

Um data lake é um ambiente que pode extrair, armazenar, avaliar e analisar dados massivos de diferentes tipos e estruturas, e pode fornecer uma variedade de aplicações de cenários.

Por exemplo, você pode fornecer

Um data lake pode ser implementado como uma configuração composta de ferramentas de processamento de dados, como Hadoop ou outros sistemas de armazenamento de dados, serviços de cluster, transformação de dados ou integração de dados.

risco

A arquitetura baseada em serviços está se tornando uma forma de fornecer dados imediatamente e usar a mesma fonte de dados para atualizar conjuntos de dados históricos completos e precisos

A arquitetura SBA é um pouco semelhante ao data warehouse

nível

Os dados são carregados em camadas de lote e de aceleração

Todos os cálculos analíticos são realizados nos dados da camada de lote e da camada de aceleração. Esse projeto pode precisar ser implementado em dois sistemas independentes.

A camada de lote é frequentemente referida como o componente estrutural que muda ao longo do tempo (aqui cada transação é uma inserção), enquanto na camada de aceleração (frequentemente referida como armazenamento de dados operacionais no ODS) todas as transações são atualizações.

Essa arquitetura evita problemas de sincronização criando camadas de estado atual e de histórico simultaneamente.

aprendizagem supervisionada

aprendizagem não supervisionada

Melhore o aprendizado

O monitoramento de mídia e a análise de texto são métodos automatizados de recuperação e obtenção de insights de grandes quantidades de dados não estruturados ou semiestruturados para perceber como as pessoas se sentem e pensam sobre uma marca, produto, serviço ou outro tipo de tópico.

Use o processamento de linguagem natural (PNL) para analisar frases curtas ou sentenças para detectar emoções e revelar mudanças nas emoções para prever possíveis cenários.

A mineração de dados é um método de análise especial que utiliza vários algoritmos para revelar padrões nos dados.

Era originalmente um ramo do aprendizado de máquina e um subcampo da inteligência artificial

Ferramentas padronizadas de consulta e relatório podem identificar problemas específicos, enquanto ferramentas de mineração de dados ajudam a descobrir relacionamentos desconhecidos, revelando padrões.

A mineração de texto usa análise de texto e tecnologia de mineração de dados para analisar documentos, classificar automaticamente o conteúdo e se tornar uma ontologia de conhecimento orientada para fluxo de trabalho e orientada para especialistas de domínio.

A mídia de texto eletrônico pode, portanto, ser analisada sem reconstrução ou formatação

tecnologia

A análise preditiva é desenvolvida com base em modelos probabilísticos de possíveis eventos e variáveis ​​que desencadeiam respostas organizacionais quando recebe informações adicionais.

A forma mais simples de um modelo preditivo é uma estimativa

Indo um passo além da análise preditiva, ela define ações que afetarão os resultados, em vez de apenas prever resultados com base em ações que já ocorreram.

A análise prescritiva prevê o que vai acontecer, quando vai acontecer e sugere por que vai acontecer

Como a análise prescritiva pode mostrar as implicações de diversas decisões, ela pode sugerir como explorar oportunidades ou evitar riscos.

A análise de dados não estruturados torna-se cada vez mais importante à medida que mais dados não estruturados são gerados

Certas análises não podem ser realizadas sem incorporar dados não estruturados ao modelo analítico

Mas a análise de dados não estruturados também pode ser muito difícil sem alguma forma de isolar os elementos de interesse dos elementos irrelevantes.

A verificação e marcação é um método de adicionar "ganchos" a dados não estruturados, permitindo a filtragem conectada de dados de esquema relacionados.

Também conhecido como BI operacional ou streaming analytics, o conceito surge da integração de processos operacionais com análises em tempo real

A análise operacional inclui o rastreamento e a integração de fluxos de informações em tempo real, tirando conclusões com base em modelos de previsão comportamental e acionando respostas e alertas automatizados

As soluções de análise operacional incluem a preparação de dados históricos necessários para preencher modelos comportamentais

Visualização é o processo de explicar conceitos, ideias e fatos por meio do uso de imagens ou representações gráficas.

Compactar e encapsular dados de recursos para facilitar a visualização

As visualizações podem estar em formato estático (como um relatório publicado) ou exigir meios criativos para adaptar a visualização

Reúna dados e serviços para exibir visualmente insights ou resultados de análises

Critérios de Avaliação Estratégica

Preencher o modelo preditivo

Modelo de treinamento

Modelo de avaliação

Crie visualizações de dados

Revele insights e descobertas

Iterar usando fontes de dados adicionais

Métricas de uso técnico

Indicadores de carregamento e digitalização

Cenários de aprendizagem e histórias