1.1 Definição

1.2 Fila de mensagens

1.3 Infraestrutura Kafka

2.1 Instalação e implantação

2.2 Operação de linha de comando Kafka

3.1 Processo de envio de mensagem do produtor

3.2 API de envio assíncrono

3.3 API de envio síncrono

3.4 Partição do produtor

3.5 Experiência de produção – como os produtores podem melhorar o rendimento

3.6 Experiência de produção – confiabilidade dos dados

3.7 Experiência de produção – desduplicação de dados

3.8 Experiência de produção – dados em ordem

3.9 Experiência de produção – dados fora de ordem

4.1 Fluxo de trabalho do corretor Kafka

4.2 Experiência de produção – manutenção e retirada de nós

4.3 Réplica Kafka

4.4 Armazenamento de arquivos

4.5 Ler e gravar dados com eficiência

5.1 Método de consumo Kafka

5.2 Fluxo de trabalho do consumidor Kafka

5.3 API do consumidor

5.4 Experiência de produção – alocação e rebalanceamento de partições

5,5 deslocamento de deslocamento

5.6 Experiência de Produção – Defesa do Consumidor

5.7 Experiência de produção – backlog de dados (como os consumidores podem melhorar o rendimento)

6.1 Preparação do ambiente MySQL

6.2 Preparação do ambiente Kafka

6.3 Instalação do Kafka-Eagle

6.4 Operação da página Kafka-Eagle

7.1 Arquitetura Kafka-Kraft

7.2 Implantação de cluster Kafka-Kraft

7.3 Script de início e parada do cluster Kafka-Kraft

1.1 Produtor de calha

1.2 Consumidor de calha

2.1 Produtor de Flink

2.2 Consumidor Flink

3.1 Produtor SpringBoot

3.2 Consumidor SpringBoot

4.1 Produtor de faíscas

4.2 Consumidor de faísca

1.1 Descrição da cena

1.2 Seleção do número de servidores

1.3 Seleção de disco

1.4 Seleção de memória

1.5 Seleção de CPU

1.6 Seleção de rede

2.1 Configuração dos parâmetros principais do produtor Kafka

2.2 Como os produtores melhoram o rendimento

2.3 Confiabilidade dos dados

2.4 Desduplicação de dados

2.5 Ordem dos dados

2.6 Dados fora de ordem

3.1 Configuração dos parâmetros principais do corretor

3.2 Servindo novos nós/desativando nós antigos

3.3 Adicionar partição

3.4 Aumente o fator de cópia

3.5 Ajustar manualmente o armazenamento de cópias de partição

3.6 Balanceamento de carga da partição líder

3.7 Criar temas automaticamente

4.1 Configuração dos parâmetros principais do consumidor Kafka

4.2 Reequilíbrio do consumidor

4.3 Especifique o consumo de compensação

4.4 Consumo em horário designado

4.5 Assuntos do Consumidor

4.6 Como os consumidores podem melhorar o rendimento

5.1 Como melhorar o rendimento

5.2 Os dados são precisos uma vez

5.3 Defina o número de partições adequadamente

5.4 Um único tronco é maior que 1m

5.5 O servidor está inativo

5.6 Teste de estresse de cluster

1.1 Endereço de download do código-fonte

1.2 Instalar JDK e Scala

1.3 Carregar código fonte

1.4 Instale o gradle

2.1 Inicialização

2.2 Enviar dados para buffer

2.3 O thread do remetente envia dados

3.1 Inicialização

3.2 Consumidores assinam tópicos

3.3 Os consumidores extraem e processam dados

3.4 Envio de compensação do consumidor

4.1 Entrada no programa

1.2.1 Cenários de aplicação de filas de mensagens tradicionais

1.2.2 Dois modos de fila de mensagens

2.1.1 Planejamento de cluster

2.1.2 Implantação de cluster

2.1.3 Scripts de inicialização e desligamento do cluster

2.2.1 Operação da linha de comando do tema

2.2.2 Operação da linha de comando do produtor

2.2.3 Operações de linha de comando do consumidor

3.1.1 Princípio de envio

3.1.2 Lista de parâmetros importantes do produtor

3.2.1 Envio assíncrono comum

3.2.2 Envio assíncrono com função de retorno de chamada

3.4.1 Benefícios do Particionamento

3.4.2 Estratégia de particionamento para produtores enviarem mensagens

3.4.3 Particionador personalizado

3.7.1 Semântica de transferência de dados

3.7.2 Idempotência

3.7.3 Transações do produtor

4.1.1 Informações Kafka armazenadas pelo Zookeeper

4.1.2 Fluxo de trabalho geral do Kafka Broker

4.1.3 Parâmetros importantes do corretor

4.2.1 Servindo novos nós

4.2.2 Descontinuar nós antigos

4.3.1 Informações básicas sobre a cópia

4.3.2 Processo de eleição de líderes

4.3.3 Detalhes de tratamento de falhas do Líder e Seguidor

4.3.4 Alocação de cópias de partição

4.3.5 Experiência de produção - ajuste manualmente o armazenamento de cópias de partição

4.3.6 Experiência de produção - Balanceamento de carga da partição líder

4.3.7 Experiência de produção – aumentando o fator de cópia

4.4.1 Mecanismo de armazenamento de arquivos

4.4.2 Estratégia de limpeza de arquivos

5.2.1 Fluxo de trabalho geral do consumidor

5.2.2 Princípio do grupo de consumidores

5.2.3 Parâmetros importantes dos consumidores

5.3.1 Caso de consumidor independente (tópico de assinatura)

5.3.2 Caso de consumidor independente (partição de assinatura)

5.3.3 Caso do grupo de consumidores

5.4.1 Alcance e rebalanceamento

5.4.2 RoundRobin e rebalanceamento

5.4.3 Fixo e reequilíbrio

5.5.1 Posição de manutenção padrão do deslocamento

5.5.2 Enviar compensação automaticamente

5.5.3 Enviar deslocamento manualmente

5.5.4 Especifique o consumo de compensação

5.5.5 Consumo de tempo especificado

5.5.6 Consumo faltante e consumo repetido

2.1.1 Entrada no programa

2.1.2 Inicialização do thread principal do produtor

2.1.3 Inicialização do thread do remetente do produtor

2.2.1 Processo geral de envio

2.2.2 Seleção de partição

2.2.3 Envio de verificação de tamanho de mensagem

2.2.4 Conjunto de memória

3.1.1 Entrada no programa

3.1.2 Inicialização do consumidor

3.3.1 Inicialização de consumidor/grupo de consumidores

3.3.2 Extrair dados

3.3.3 Interceptador processando dados

3.4.1 Enviar Offset manualmente e de forma síncrona

3.4.2 Envio assíncrono manual de Offset