Galeria de mapas mentais O mapa mental Kafka3.x mais poderoso, da entrada ao domínio
O mapa mental Kafka3.x mais poderoso, da entrada ao domínio, a estrutura total do kafka, incluindo entrada, integração de sistema externo, ajuste de produção, análise de código-fonte, etc.
Editado em 2023-11-06 21:19:48Il s'agit d'une carte mentale sur les anévrismes intracrâniens, avec le contenu principal, notamment: le congé, l'évaluation d'admission, les mesures infirmières, les mesures de traitement, les examens auxiliaires, les manifestations cliniques et les définitions.
Il s'agit d'une carte mentale sur l'entretien de comptabilité des coûts, le principal contenu comprend: 5. Liste des questions d'entrevue recommandées, 4. Compétences de base pour améliorer le taux de réussite, 3. Questions professionnelles, 2. Questions et réponses de simulation de scénarios, 1. Questions et réponses de capacité professionnelle.
Il s'agit d'une carte mentale sur les méthodes de recherche de la littérature, et son contenu principal comprend: 5. Méthode complète, 4. Méthode de traçabilité, 3. Méthode de vérification des points, 2. Méthode de recherche inversée, 1. Méthode de recherche durable.
Il s'agit d'une carte mentale sur les anévrismes intracrâniens, avec le contenu principal, notamment: le congé, l'évaluation d'admission, les mesures infirmières, les mesures de traitement, les examens auxiliaires, les manifestations cliniques et les définitions.
Il s'agit d'une carte mentale sur l'entretien de comptabilité des coûts, le principal contenu comprend: 5. Liste des questions d'entrevue recommandées, 4. Compétences de base pour améliorer le taux de réussite, 3. Questions professionnelles, 2. Questions et réponses de simulation de scénarios, 1. Questions et réponses de capacité professionnelle.
Il s'agit d'une carte mentale sur les méthodes de recherche de la littérature, et son contenu principal comprend: 5. Méthode complète, 4. Méthode de traçabilité, 3. Méthode de vérification des points, 2. Méthode de recherche inversée, 1. Méthode de recherche durable.
Kafka3.x da entrada à proficiência
Capítulo 1 Primeiros passos
Capítulo 1 Visão geral do Kafka
1.1 Definição
1.2 Fila de mensagens
1.2.1 Cenários de aplicação de filas de mensagens tradicionais
1.2.2 Dois modos de fila de mensagens
1.3 Infraestrutura Kafka
Capítulo 2 Início rápido com Kafka
2.1 Instalação e implantação
2.1.1 Planejamento de cluster
2.1.2 Implantação de cluster
2.1.3 Scripts de inicialização e desligamento do cluster
2.2 Operação de linha de comando Kafka
2.2.1 Operação da linha de comando do tema
2.2.2 Operação da linha de comando do produtor
2.2.3 Operações de linha de comando do consumidor
Capítulo 3 Produtor Kafka
3.1 Processo de envio de mensagem do produtor
3.1.1 Princípio de envio
3.1.2 Lista de parâmetros importantes do produtor
3.2 API de envio assíncrono
3.2.1 Envio assíncrono comum
3.2.2 Envio assíncrono com função de retorno de chamada
3.3 API de envio síncrono
3.4 Partição do produtor
3.4.1 Benefícios do Particionamento
3.4.2 Estratégia de particionamento para produtores enviarem mensagens
3.4.3 Particionador personalizado
3.5 Experiência de produção – como os produtores podem melhorar o rendimento
3.6 Experiência de produção – confiabilidade dos dados
3.7 Experiência de produção – desduplicação de dados
3.7.1 Semântica de transferência de dados
3.7.2 Idempotência
3.7.3 Transações do produtor
3.8 Experiência de produção – dados em ordem
3.9 Experiência de produção – dados fora de ordem
Capítulo 4 Corretor Kafka
4.1 Fluxo de trabalho do corretor Kafka
4.1.1 Informações Kafka armazenadas pelo Zookeeper
4.1.2 Fluxo de trabalho geral do Kafka Broker
4.1.3 Parâmetros importantes do corretor
4.2 Experiência de produção – manutenção e retirada de nós
4.2.1 Servindo novos nós
4.2.2 Descontinuar nós antigos
4.3 Réplica Kafka
4.3.1 Informações básicas sobre a cópia
4.3.2 Processo de eleição de líderes
4.3.3 Detalhes de tratamento de falhas do Líder e Seguidor
4.3.4 Alocação de cópias de partição
4.3.5 Experiência de produção - ajuste manualmente o armazenamento de cópias de partição
4.3.6 Experiência de produção - Balanceamento de carga da partição líder
4.3.7 Experiência de produção – aumentando o fator de cópia
4.4 Armazenamento de arquivos
4.4.1 Mecanismo de armazenamento de arquivos
4.4.2 Estratégia de limpeza de arquivos
4.5 Ler e gravar dados com eficiência
Capítulo 5 Consumidor Kafka
5.1 Método de consumo Kafka
5.2 Fluxo de trabalho do consumidor Kafka
5.2.1 Fluxo de trabalho geral do consumidor
5.2.2 Princípio do grupo de consumidores
5.2.3 Parâmetros importantes dos consumidores
5.3 API do consumidor
5.3.1 Caso de consumidor independente (tópico de assinatura)
5.3.2 Caso de consumidor independente (partição de assinatura)
5.3.3 Caso do grupo de consumidores
5.4 Experiência de produção – alocação e rebalanceamento de partições
5.4.1 Alcance e rebalanceamento
5.4.2 RoundRobin e rebalanceamento
5.4.3 Fixo e reequilíbrio
5,5 deslocamento de deslocamento
5.5.1 Posição de manutenção padrão do deslocamento
5.5.2 Enviar compensação automaticamente
5.5.3 Enviar deslocamento manualmente
5.5.4 Especifique o consumo de compensação
5.5.5 Consumo de tempo especificado
5.5.6 Consumo faltante e consumo repetido
5.6 Experiência de Produção – Defesa do Consumidor
5.7 Experiência de produção – backlog de dados (como os consumidores podem melhorar o rendimento)
Capítulo 6 Monitoramento Kafka-Eagle
6.1 Preparação do ambiente MySQL
6.2 Preparação do ambiente Kafka
6.3 Instalação do Kafka-Eagle
6.4 Operação da página Kafka-Eagle
Capítulo 7 Padrão Kafka-Kraft
7.1 Arquitetura Kafka-Kraft
7.2 Implantação de cluster Kafka-Kraft
7.3 Script de início e parada do cluster Kafka-Kraft
Parte 2 Integração de Sistema Externo
Capítulo 1 Integrando Flume
1.1 Produtor de calha
1.2 Consumidor de calha
Capítulo 2 Integrando o Flink
2.1 Produtor de Flink
2.2 Consumidor Flink
Capítulo 3 Integrando SpringBoot
3.1 Produtor SpringBoot
3.2 Consumidor SpringBoot
Capítulo 4 Integrando o Spark
4.1 Produtor de faíscas
4.2 Consumidor de faísca
Parte 3 Manual de ajuste de produção
Capítulo 1 Seleção de configuração de hardware Kafka
1.1 Descrição da cena
1.2 Seleção do número de servidores
1.3 Seleção de disco
1.4 Seleção de memória
1.5 Seleção de CPU
1.6 Seleção de rede
Capítulo 2 Produtor Kafka
2.1 Configuração dos parâmetros principais do produtor Kafka
2.2 Como os produtores melhoram o rendimento
2.3 Confiabilidade dos dados
2.4 Desduplicação de dados
2.5 Ordem dos dados
2.6 Dados fora de ordem
Capítulo 3 Corretor Kafka
3.1 Configuração dos parâmetros principais do corretor
3.2 Servindo novos nós/desativando nós antigos
3.3 Adicionar partição
3.4 Aumente o fator de cópia
3.5 Ajustar manualmente o armazenamento de cópias de partição
3.6 Balanceamento de carga da partição líder
3.7 Criar temas automaticamente
Capítulo 4 Consumidor Kafka
4.1 Configuração dos parâmetros principais do consumidor Kafka
4.2 Reequilíbrio do consumidor
4.3 Especifique o consumo de compensação
4.4 Consumo em horário designado
4.5 Assuntos do Consumidor
4.6 Como os consumidores podem melhorar o rendimento
Capítulo 5 Kafka em geral
5.1 Como melhorar o rendimento
5.2 Os dados são precisos uma vez
5.3 Defina o número de partições adequadamente
5.4 Um único tronco é maior que 1m
5.5 O servidor está inativo
5.6 Teste de estresse de cluster
Parte 4 Análise do código-fonte
Capítulo 1 Preparação do ambiente de código-fonte
1.1 Endereço de download do código-fonte
1.2 Instalar JDK e Scala
1.3 Carregar código fonte
1.4 Instale o gradle
Capítulo 2 Código Fonte do Produtor
2.1 Inicialização
2.1.1 Entrada no programa
2.1.2 Inicialização do thread principal do produtor
2.1.3 Inicialização do thread do remetente do produtor
2.2 Enviar dados para buffer
2.2.1 Processo geral de envio
2.2.2 Seleção de partição
2.2.3 Envio de verificação de tamanho de mensagem
2.2.4 Conjunto de memória
2.3 O thread do remetente envia dados
Capítulo 3 Código Fonte do Consumidor
3.1 Inicialização
3.1.1 Entrada no programa
3.1.2 Inicialização do consumidor
3.2 Consumidores assinam tópicos
3.3 Os consumidores extraem e processam dados
3.3.1 Inicialização de consumidor/grupo de consumidores
3.3.2 Extrair dados
3.3.3 Interceptador processando dados
3.4 Envio de compensação do consumidor
3.4.1 Enviar Offset manualmente e de forma síncrona
3.4.2 Envio assíncrono manual de Offset
Capítulo 4 Código Fonte do Servidor
4.1 Entrada no programa
tema flutuante
Primeiros passos com Kafka3.x
Capítulo 1 Visão geral do Kafka
1.1 Definição
1.2 Fila de mensagens
1.2.1 Cenários de aplicação de filas de mensagens tradicionais
1.2.2 Dois modos de fila de mensagens
1.3 Infraestrutura Kafka
Capítulo 2 Início rápido com Kafka
2.1 Instalação e implantação
2.1.1 Planejamento de cluster
2.1.2 Implantação de cluster
2.1.3 Scripts de inicialização e desligamento do cluster
2.2 Operação de linha de comando Kafka
2.2.1 Operação da linha de comando do tema
2.2.2 Operação da linha de comando do produtor
2.2.3 Operações de linha de comando do consumidor
Capítulo 3 Produtor Kafka
3.1 Processo de envio de mensagem do produtor
3.1.1 Princípio de envio
3.1.2 Lista de parâmetros importantes do produtor
3.2 API de envio assíncrono
3.2.1 Envio assíncrono comum
3.2.2 Envio assíncrono com função de retorno de chamada
3.3 API de envio síncrono
3.4 Partição do produtor
3.4.1 Benefícios do Particionamento
3.4.2 Estratégia de particionamento para produtores enviarem mensagens
3.4.3 Particionador personalizado
3.5 Experiência de produção – como os produtores podem melhorar o rendimento
3.6 Experiência de produção – confiabilidade dos dados
3.7 Experiência de produção – desduplicação de dados
3.7.1 Semântica de transferência de dados
3.7.2 Idempotência
3.7.3 Transações do produtor
3.8 Experiência de produção – dados em ordem
3.9 Experiência de produção – dados fora de ordem
Capítulo 4 Corretor Kafka
4.1 Fluxo de trabalho do corretor Kafka
4.1.1 Informações Kafka armazenadas pelo Zookeeper
4.1.2 Fluxo de trabalho geral do Kafka Broker
4.1.3 Parâmetros importantes do corretor
4.2 Experiência de produção – manutenção e retirada de nós
4.2.1 Servindo novos nós
4.2.2 Descontinuar nós antigos
4.3 Réplica Kafka
4.3.1 Informações básicas sobre a cópia
4.3.2 Processo de eleição de líderes
4.3.3 Detalhes de tratamento de falhas do Líder e Seguidor
4.3.4 Alocação de cópias de partição
4.3.5 Experiência de produção - ajuste manualmente o armazenamento de cópias de partição
4.3.6 Experiência de produção - Balanceamento de carga da partição líder
4.3.7 Experiência de produção – aumentando o fator de cópia
4.4 Armazenamento de arquivos
4.4.1 Mecanismo de armazenamento de arquivos
4.4.2 Estratégia de limpeza de arquivos
4.5 Ler e gravar dados com eficiência
Capítulo 5 Consumidor Kafka
5.1 Método de consumo Kafka
5.2 Fluxo de trabalho do consumidor Kafka
5.2.1 Fluxo de trabalho geral do consumidor
5.2.2 Princípio do grupo de consumidores
5.2.3 Parâmetros importantes dos consumidores
5.3 API do consumidor
5.3.1 Caso de consumidor independente (tópico de assinatura)
5.3.2 Caso de consumidor independente (partição de assinatura)
5.3.3 Caso do grupo de consumidores
5.4 Experiência de produção – alocação e rebalanceamento de partições
5.4.1 Alcance e rebalanceamento
5.4.2 RoundRobin e rebalanceamento
5.4.3 Fixo e reequilíbrio
5,5 deslocamento de deslocamento
5.5.1 Posição de manutenção padrão do deslocamento
5.5.2 Enviar compensação automaticamente
5.5.3 Enviar deslocamento manualmente
5.5.4 Especifique o consumo de compensação
5.5.5 Consumo de tempo especificado
5.5.6 Consumo faltante e consumo repetido
5.6 Experiência de Produção – Defesa do Consumidor
5.7 Experiência de produção – backlog de dados (como os consumidores podem melhorar o rendimento)
Capítulo 6 Monitoramento Kafka-Eagle
6.1 Preparação do ambiente MySQL
6.2 Preparação do ambiente Kafka
6.3 Instalação do Kafka-Eagle
6.4 Operação da página Kafka-Eagle
Capítulo 7 Padrão Kafka-Kraft
7.1 Arquitetura Kafka-Kraft
7.2 Implantação de cluster Kafka-Kraft
7.3 Script de início e parada do cluster Kafka-Kraft
Integração de sistema externo Kafka3.x
Capítulo 1 Integrando Flume
1.1 Produtor de calha
1.2 Consumidor de calha
Capítulo 2 Integrando o Flink
2.1 Produtor de Flink
2.2 Consumidor Flink
Capítulo 3 Integrando SpringBoot
3.1 Produtor SpringBoot
3.2 Consumidor SpringBoot
Capítulo 4 Integrando o Spark
4.1 Produtor de faíscas
4.2 Consumidor de faísca
Manual de ajuste de produção Kafka3.x
Capítulo 1 Seleção de configuração de hardware Kafka
1.1 Descrição da cena
1.2 Seleção do número de servidores
1.3 Seleção de disco
1.4 Seleção de memória
1.5 Seleção de CPU
1.6 Seleção de rede
Capítulo 2 Produtor Kafka
2.1 Configuração dos parâmetros principais do produtor Kafka
2.2 Como os produtores melhoram o rendimento
2.3 Confiabilidade dos dados
2.4 Desduplicação de dados
2.5 Ordem dos dados
2.6 Dados fora de ordem
Capítulo 3 Corretor Kafka
3.1 Configuração dos parâmetros principais do corretor
3.2 Servindo novos nós/desativando nós antigos
3.3 Adicionar partição
3.4 Aumente o fator de cópia
3.5 Ajustar manualmente o armazenamento de cópias de partição
3.6 Balanceamento de carga da partição líder
3.7 Criar temas automaticamente
Capítulo 4 Consumidor Kafka
4.1 Configuração dos parâmetros principais do consumidor Kafka
4.2 Reequilíbrio do consumidor
4.3 Especifique o consumo de compensação
4.4 Consumo em horário designado
4.5 Assuntos do Consumidor
4.6 Como os consumidores podem melhorar o rendimento
Capítulo 5 Kafka em geral
5.1 Como melhorar o rendimento
5.2 Os dados são precisos uma vez
5.3 Defina o número de partições adequadamente
5.4 Um único tronco é maior que 1m
5.5 O servidor está inativo
5.6 Teste de estresse de cluster
Análise de código-fonte Kafka3.x
Capítulo 1 Preparação do ambiente de código-fonte
1.1 Endereço de download do código-fonte
1.2 Instalar JDK e Scala
1.3 Carregar código fonte
1.4 Instale o gradle
Capítulo 2 Código Fonte do Produtor
2.1 Inicialização
2.1.1 Entrada no programa
2.1.2 Inicialização do thread principal do produtor
2.1.3 Inicialização do thread do remetente do produtor
2.2 Enviar dados para buffer
2.2.1 Processo geral de envio
2.2.2 Seleção de partição
2.2.3 Envio de verificação de tamanho de mensagem
2.2.4 Conjunto de memória
2.3 O thread do remetente envia dados
Capítulo 3 Código Fonte do Consumidor
3.1 Inicialização
3.1.1 Entrada no programa
3.1.2 Inicialização do consumidor
3.2 Consumidores assinam tópicos
3.3 Os consumidores extraem e processam dados
3.3.1 Inicialização de consumidor/grupo de consumidores
3.3.2 Extrair dados
3.3.3 Interceptador processando dados
3.4 Envio de compensação do consumidor
3.4.1 Enviar Offset manualmente e de forma síncrona
3.4.2 Envio assíncrono manual de Offset
Capítulo 4 Código Fonte do Servidor
4.1 Entrada no programa