Produtor é uma entidade em execução usada para gerar mensagens na versão Cloud Message Queue RocketMQ. Geralmente é integrado a montante do link de chamada comercial. Os produtores são leves, anônimos e sem identidade.

Tópico: Um contêiner de agrupamento para transmissão e armazenamento de mensagens no Cloud Message Queue RocketMQ O tópico é composto internamente por várias filas. O armazenamento e a expansão horizontal de mensagens são realmente implementados por meio de filas dentro do tópico.

Fila (MessageQueue): O contêiner de unidade real para transmissão e armazenamento de mensagens no RocketMQ Cloud Message Queue, que é análogo às partições no Kafka. Cloud Message Queue RocketMQ usa uma estrutura de fila infinita com características de streaming para armazenar mensagens, e as mensagens possuem características de armazenamento sequencial na fila.

Mensagem: A menor unidade de transmissão da versão RocketMQ do Cloud Message Queue. As mensagens são imutáveis ​​e tornam-se imutáveis ​​após o envio inicial e a conclusão do armazenamento.

ConsumerGroup: um grupo de identidade de consumidor independente definido no modelo de publicação-assinatura do Cloud Message Queue RocketMQ, usado para gerenciar uniformemente vários consumidores (Consumidores) em execução na parte inferior. Vários consumidores do mesmo grupo de consumidores devem manter sua lógica e configuração de consumo consistentes e compartilhar conjuntamente as mensagens assinadas pelo grupo de consumidores para alcançar a expansão horizontal das capacidades de consumo.

Consumidor: a entidade em execução da versão RocketMQ do Cloud Message Queue que consome mensagens. Geralmente é integrada a jusante do link de chamada comercial. Os consumidores devem ser atribuídos a um grupo de consumidores.

Assinatura: configuração de regras para filtragem de mensagens, novas tentativas e progresso de consumo no modelo de publicação e assinatura do Cloud Message Queue RocketMQ. Os relacionamentos de assinatura são gerenciados na granularidade dos grupos de consumidores. Ao definir os relacionamentos de assinatura, os grupos de consumidores controlam como os consumidores no grupo de consumidores especificado implementam a filtragem de mensagens, novas tentativas de consumo, recuperação do progresso do consumo, etc.

No modelo de chamada RPC síncrona, a comunicação da chamada é conduzida diretamente entre diferentes sistemas. Cada solicitação é enviada diretamente do chamador para o chamador e, em seguida, o chamador é obrigado a retornar imediatamente o resultado da resposta ao chamador para determinar se o resultado da chamada é. bem-sucedido.

No modo de comunicação de mensagem assíncrona, os subsistemas são conectados diretamente sem acoplamento forte. O chamador só precisa converter a solicitação em um evento assíncrono (mensagem) e enviá-la ao agente intermediário. Se a transmissão for bem-sucedida, a chamada do link assíncrono será realizada. considerado concluído, e o restante O agente intermediário de trabalho será responsável por notificar de forma confiável o evento ao sistema de chamada downstream para garantir que a execução da tarefa seja concluída. O agente intermediário geralmente é um middleware de mensagem.

As vantagens da comunicação assíncrona são as seguintes:

O modelo ponto a ponto também é chamado de modelo de fila e possui as seguintes características:

O modelo publicar-assinar possui as seguintes características:

O modelo ponto a ponto e o modelo publicar-assinar têm suas próprias vantagens. O modelo ponto a ponto é mais simples, enquanto o modelo publicar-assinar é mais escalonável.

O modelo de transmissão usado pelo Cloud Message Queue RocketMQ é um modelo de publicação-assinatura, portanto também possui as características de um modelo de publicação-assinatura.

Campo de big data: análise de comportamento de sites, agregação de logs, monitoramento de aplicativos, processamento de dados de streaming, análise de dados online e offline e outros campos.

Integração de dados: importe mensagens para data warehouses off-line, como MaxCompute, OSS, RDS, Hadoop e HBase.

Integração de processamento de dados: Integre com StreamCompute, E-MapReduce, Spark, Storm e outros mecanismos.

estrutura do sistema

Produtor

Corretor Kafka

Grupo

Funcionário do zoológico

O modelo de publicação/assinatura da versão Cloud Message Queue Kafka

A relação correspondente entre Grupo e Tópico é N:N, ou seja, um Grupo pode assinar vários Tópicos ao mesmo tempo, e um Tópico também pode ser inscrito por vários Grupos ao mesmo tempo.

Embora um Tópico possa ser inscrito por vários Grupos ao mesmo tempo, as mensagens do Tópico só podem ser consumidas por qualquer Consumidor do mesmo Grupo.

Compatível com código aberto:

Migração perfeita:

HouseKeeping (componente de inspeção de integridade): usado para inspeção em tempo de execução dos links principais da versão Cloud Message Queue Kafka. Ele realizará uma verificação abrangente e diagnóstico do cluster a cada minuto e pode emitir alarmes de status não íntegro. Ao mesmo tempo, um relatório geral de inspeção será emitido diariamente para o pessoal de operação e manutenção do Alibaba Cloud para facilitar o monitoramento do status de integridade do sistema da versão Cloud Message Queue Kafka.

Monitoramento e alarmes de negócios: Cada Grupo de Consumidores pode definir monitoramento e alarmes para o acúmulo de mensagens para ajudá-lo a encontrar problemas a tempo.

OpenAPI: a versão Cloud Message Queue Kafka fornece um conjunto completo de gerenciamento e controle OpenAPI para implementar uma série de funções de gerenciamento de recursos e operação e manutenção.

Fornece componentes de processamento de dados totalmente gerenciados e sem operação, suporta programação de funções flexível e processa dados de maneira fácil e flexível.

Conector de suporte para conectar produtos de nuvem massivos e produtos ecológicos de big data autoconstruídos para realizar facilmente integração e cálculo de dados.

Otimize profundamente o kernel para resolver o gargalo de desempenho das partições de mil níveis da versão de código aberto e suportar o desempenho de dez partições de mil níveis sem perdas.

Suporta expansão de segundo nível.

Suporta gravação de tráfego de até 2 GB.

A equipe de pesquisa e desenvolvimento de produtos de mensagens e otimização de desempenho do Alibaba Cloud otimizou ainda mais os pontos problemáticos dos produtos de código aberto para fornecer melhores serviços.

Persistência de dados: Uma equipe profissional garante maior disponibilidade e a persistência de mensagens é colocada na fila de mensagens. A confiabilidade dos dados é alta e a disponibilidade do serviço é alta.

Capacidade de alto rendimento: mesmo quando mensagens massivas se acumulam, ele sempre pode manter

Capacidades de alto rendimento do cluster da versão Cloud Message Queue Kafka.

Dezenas de milhares de tópicos: suporta alta leitura e escrita simultânea de dezenas de milhares de tópicos, sempre mantendo

Suporta garantias de otimização de gravação em cenários extremos, como atualização em escala de cinza, atualização/dados frios, etc.

O sistema de inspeção e operação e manutenção totalmente automático garante uma disponibilidade de serviço de 99,9% e confiabilidade dos dados de 99,999999%.

Fornece funções como mecanismos de autenticação e autorização, descentralização de usuários e proteção de segurança em nível empresarial.

Gerenciamento de permissões: oferece suporte total a contas do Alibaba Cloud e usuários de RAM, listas negras e brancas, STS e outras funções, e realiza serviços de autorização para contas do Alibaba Cloud e usuários de RAM, bem como contas cruzadas entre empresas.

Segurança de acesso: Baseado no sistema de contas Alibaba Cloud, o mecanismo SASL é usado para autenticar identidades de usuários, e SSL é usado para criptografar o canal de transmissão para garantir que os dados não sejam roubados ou adulterados durante o processo de transmissão, garantindo a segurança de seus dados.

Alibaba Cloud VPC: Além do acesso à rede pública, a versão Cloud Message Queue Kafka também oferece suporte a VPC de rede privada. Você pode controlar totalmente sua própria rede privada, como selecionar intervalos de endereços IP, configurar tabelas de roteamento e gateways, etc. Você pode usar recursos do Alibaba Cloud, como servidores em nuvem, versões RDS de banco de dados em nuvem e balanceamento de carga em sua própria rede privada definida.

Comparado com o Apache Kafka de código aberto, o poderoso mecanismo de processamento suporta dezenas de milhares de tópicos com alta leitura e gravação simultânea, escalonamento de segundo nível e armazenamento em nuvem confiável, fornecendo uma escolha muito econômica e também fornece componentes de inspeção de saúde, negócios; funções de monitoramento e alarme, ajudando você a descobrir e lidar com problemas de maneira oportuna e eficaz.

A versão Cloud Message Queue Kafka do modelo de publicação/assinatura permite coletar dados de atividade do site (como registro, login, recarga, pagamento, compra) em tempo real, publicar mensagens para diferentes tópicos de acordo com os tipos de dados de negócios e, em seguida, usar mensagens reais entrega em tempo real de mensagens de assinatura, use fluxo de mensagens para processamento em tempo real, monitoramento em tempo real ou carregue-o em sistemas de data warehouse offline, como Hadoop e MaxCompute para processamento offline.

A versão Cloud Message Queue Kafka tem as seguintes vantagens para rastreamento de atividades do site:

A versão Cloud Message Queue Kafka pode obter maior persistência de dados e menor tempo de resposta ponta a ponta, ao mesmo tempo que apresenta alto desempenho. Essa característica do Cloud Message Queue Kafka o torna adequado como centro de coleta de logs. Cloud Message Queue Kafka Edition ignora os detalhes dos arquivos e pode abstrair os dados de log de vários hosts ou aplicativos em fluxos de mensagens de logs ou eventos e enviá-los de forma assíncrona para o cluster Cloud Message Queue Kafka Edition, alcançando assim um RT muito baixo. O cliente da versão Cloud Message Queue Kafka pode enviar mensagens em lotes e compactar mensagens, quase sem sobrecarga de desempenho para os produtores. Os consumidores podem usar armazenamento offline, como Hadoop e MaxCompute, e sistemas de análise online em tempo real, como Strom e Spark, para realizar análises estatísticas em logs.

A versão Cloud Message Queue Kafka tem as seguintes vantagens para agregação de dados:

Em muitos campos, como análise de tendências do mercado de ações, medição e controle de dados meteorológicos e análise do comportamento do usuário de sites, devido à geração rápida, em tempo real e ao grande volume de dados, é difícil coletar esses dados de maneira unificada e armazená-los em um banco de dados para processamento. Como resultado, a arquitetura tradicional de processamento de dados não pode atender às necessidades. Ao contrário da arquitetura tradicional,

O surgimento da versão Kafka da fila de mensagens em nuvem e de mecanismos de processamento de dados como Storm, Samza e Spark visa resolver melhor os problemas encontrados no processamento desse tipo de dados. O modelo de processamento de dados pode realizar o processamento de dados durante o fluxo de dados. processe e processe em tempo real, execute cálculos e análises de acordo com os requisitos do negócio e, por fim, salve ou distribua os resultados nos componentes necessários.

A versão Cloud Message Queue Kafka tem as seguintes vantagens para processamento de dados:

Nos últimos 10 anos, surgiram sistemas especiais como armazenamento KV (HBase), pesquisa (Elasticsearch), processamento de streaming (Storm, Spark, Samza) e bancos de dados de séries temporais (OpenTSDB). Esses sistemas foram criados com um único objetivo em mente e sua simplicidade torna mais fácil e econômico construir sistemas distribuídos em hardware comum. Freqüentemente, o mesmo conjunto de dados precisa ser injetado em vários sistemas especializados. Por exemplo, quando os logs do aplicativo são usados ​​para análise de log offline, a pesquisa de registros de log individuais também é indispensável. Obviamente, é impraticável construir fluxos de trabalho independentes para coletar cada tipo de dados e depois importá-los para seus próprios sistemas dedicados. A versão fila Kafka serve como um hub de transferência de dados, e os mesmos dados podem ser importados para diferentes sistemas dedicados.

A versão Cloud Message Queue Kafka tem as seguintes vantagens como hub de transferência de dados:

Pronto para usar

Serviço totalmente gerenciado

Forneça um SLA claro para garantir alta disponibilidade em diversas zonas de disponibilidade. Mesmo que toda a sala de computadores esteja indisponível, os serviços de mensagens ainda poderão ser fornecidos normalmente.

Implantação distribuída em cluster, os nós de serviço são sem estado e não possuem um ponto único. Mesmo que um único nó esteja indisponível, solicite Failover para outros nós para garantir o fornecimento normal de serviços de mensagens.

Mensagem atrasada

nova tentativa de mensagem

Troca de cartas mortas

Limite superior de desempenho da plataforma

Expansão de fila única

Escala elástica

Acumulação massiva

Granularidade de permissão

Mestre e subcontas

Transmissão criptografada

Ele pode ser usado para comunicação entre diferentes microsserviços após um único aplicativo ser desmontado em microsserviços. O benefício do desacoplamento de aplicativos é que as iterações de diferentes aplicativos não dependem mais umas das outras, enquanto o benefício da comunicação assíncrona é que os dados não precisam mais ser processados ​​imediatamente. O desacoplamento assíncrono pode efetivamente reduzir o comprimento do link de dados e melhorar a eficiência do processamento de dados.

Quando eventos em grande escala trazem altos pulsos de tráfego, a falha na proteção adequada pode facilmente levar à sobrecarga do sistema ou até mesmo a falhas. Restrições excessivas podem levar a um grande número de solicitações malsucedidas, afetando a experiência do usuário.

A versão Cloud Message Queue RabbitMQ pode cortar picos e preencher vales. Seus recursos de processamento de mensagens de alto desempenho podem lidar com pulsos de tráfego sem ficar sobrecarregados, garantindo a disponibilidade do sistema e melhorando a experiência do usuário por meio de uma tecnologia de resposta a solicitações rápida e eficaz. Sua enorme capacidade de acumulação de mensagens garante que os negócios downstream funcionem de maneira suave e estável dentro de um nível seguro e evita o impacto de picos de tráfego.

Um grande número de acessos simultâneos ao banco de dados pode resultar em longos tempos de resposta da página. Um cache distribuído é construído por meio da versão Cloud Message Queue RabbitMQ para oferecer suporte à notificação em tempo real de alterações de dados, reduzindo efetivamente o tempo de resposta da página e atendendo a um grande número de requisitos de acesso para alterações.

: tópico da mensagem, tipo de mensagem de primeiro nível, para o qual o produtor envia mensagens.

: Também conhecido como editor de mensagens, responsável por produzir e enviar mensagens ao Tópico.

: Também chamado de assinante de mensagem, responsável por receber e consumir mensagens do Tópico.

: Os dados enviados pelo produtor ao Tópico e finalmente transmitidos ao consumidor.

A versão Cloud Message Queue MQTT é um recurso que permite a interoperabilidade de dados com outros produtos Alibaba Cloud.

A versão Cloud Message Queue MQTT conecta o terminal e a nuvem para obter comunicação bidirecional entre o dispositivo e a nuvem. O dispositivo pode se comunicar diretamente com aplicativos de negócios em nuvem por meio da versão Cloud Message Queue MQTT e também pode obter interoperabilidade entre produtos de dados de mensagens com outros produtos Alibaba Cloud.

Cenários de aplicação típicos deste modelo são relatórios de dados de status de dispositivos inteligentes ou emissão de instruções para aplicações de controle em nuvem.

Este modelo é adequado para comunicação de dados entre aplicativos ou dispositivos móveis. Os cenários típicos são dois usuários conversando diretamente por mensagens no cenário de comunicação IM e o aplicativo controlando dispositivos inteligentes no cenário de dispositivo inteligente. Neste modelo, os produtores e consumidores de mensagens são distribuídos em dispositivos terminais e conectados ao produto da versão MQTT da fila de mensagens em nuvem por meio do protocolo MQTT.

Compatível com qualquer SDK que suporte o protocolo MQTT 3.1.1, suporte ao protocolo WebSocket e cubra a maioria das plataformas e linguagens de desenvolvimento móvel.

Ele suporta conexões on-line de dezenas de milhões de dispositivos, milhões de mensagens simultâneas, trilhões de transferências e design de arquitetura distribuída em nível de milissegundos, sem gargalos de ponto único e expansão horizontal ilimitada entre componentes;

Suporta controle de permissão em nível de dispositivo, serviço de token temporário e protocolo de transmissão segura versão TLS 1.2 para garantir que os dados do usuário sejam seguros e confiáveis.

A troca de mensagens entre a versão Cloud Message Queue MQTT e a versão Cloud Message Queue RocketMQ permite a comunicação bidirecional entre o dispositivo e a nuvem, tornando-a mais eficiente e confiável.

Nenhuma operação e manutenção são necessárias, não há necessidade de criar você mesmo um serviço de mensagens.

Fácil acesso, interface HTTP RESTful padrão.

Suporte a vários idiomas SDK, incluindo C, Java, C#, Python, PHP, Go, etc., e continua a ser enriquecido.

Três cópias da mensagem, alta confiabilidade.

Alta disponibilidade de serviço.

Mecanismo exclusivo garante sempre gravável.

Proteção de segurança multinível e prevenção de ataques DDoS.

Mecanismo de isolamento multiusuário, cada usuário é equipado com um namespace independente.

Suporta a concessão de diferentes permissões de acesso a diferentes usuários de RAM.

Suporta acesso HTTPS e VPC.

O número de filas e a capacidade de armazenamento de filas são altamente escalonáveis.

A escala de serviço é automaticamente ampliada e transparente para os usuários.

Fornece serviços em várias regiões ao redor do mundo.

Rápido e direto, leva apenas 3 segundos para se conectar aos usuários.

Canal exclusivo Triple Play.

A sala de informática de linha dedicada suporta grande capacidade e alta simultaneidade.

A taxa de chegada é elevada e está conectado à plataforma de portabilidade numérica do Ministério da Indústria e Tecnologia da Informação em tempo real.

Garantia de operação e manutenção de nível de operadora, monitoramento em tempo real e comutação automática.

Enriquecer continuamente a partilha de casos de melhores práticas.

Suporte para ordens de serviço 24 horas por dia, 7 dias por semana.

Suporte personalizável no local disponível.