(1) O cache acabou de expirar (2) Solicite A para consultar o banco de dados e obter um valor antigo (3) Solicitação B para gravar o novo valor no banco de dados (4) Solicitação B para excluir cache (5) Solicite A para gravar o valor antigo encontrado no cache

Mas somente se 3 entre 2 e 3 for mais rápido que 2, B excluirá o cache primeiro e A gravará o cache com o valor antigo.

Na verdade, escrever no banco de dados é muito mais lento que ler, portanto evite SQL lento.

(1) Elimine o cache primeiro (2) Escreva o banco de dados novamente (essas duas etapas são iguais às anteriores) (3) Durma por 1 segundo e elimine o cache novamente

Use exclusão dupla assíncrona

Verifique o número e o comprimento

Se existe, contém, acrescenta, aumenta ou diminui a chave ou um determinado campo sob a chave

Excluir, excluir o local especificado, excluir e obter

tema grátis

Chave

Definir

Lista

coleção ordenada

Transação

Cerquilha

tema grátis

Quando o tamanho da string precisar ser expandido, se for menor que 1M, será duplicado. Se for maior que 1M, será expandido apenas em 1M de cada vez.

Se o valor do autoincremento exceder o valor máximo, um erro será relatado.

Para estruturas de dados do tipo contêiner, se o contêiner não existir, crie-o; se o elemento não existir mais, exclua o contêiner.

Obter bloqueio

Desbloquear

a) Depois que ocorre uma troca mestre-escravo no redis, alguns bloqueios podem ser perdidos.

O bloqueio distribuído implementado pelo Zookeeper na verdade tem uma desvantagem, ou seja, o desempenho pode não ser tão alto quanto o serviço de cache. Porque sempre durante o processo de criação e liberação de um bloqueio, nós transitórios devem ser criados e destruídos dinamicamente para implementar a função de bloqueio. A criação e exclusão de nós no ZK só podem ser realizadas através do servidor Líder, e então os dados não são compartilhados com todas as máquinas Seguidoras. Problemas de simultaneidade podem incluir instabilidade de rede e a conexão da sessão entre o cliente e o cluster ZK é interrompida. O cluster ZK pensa que o cliente está inativo e excluirá o nó temporário. Neste momento, outros clientes podem obter o bloqueio distribuído.

Redis é difícil de alcançar justiça

Na versão distribuída do algoritmo, assumimos que temos N hosts Redis. Os nós são completamente independentes, portanto não utilizamos replicação ou qualquer outro sistema de coordenação implícito. Descrevemos como adquirir e liberar bloqueios com segurança em uma única instância. Assumimos que o algoritmo usará esse método para adquirir e liberar bloqueios em uma única instância. Em nosso exemplo, definimos N = 5, que é um valor razoável, portanto, precisamos executar 5 servidores mestres Redis em diferentes computadores ou máquinas virtuais para garantir que eles falhem de maneira independente. Para adquirir o bloqueio, o cliente realiza as seguintes operações: 1. Obtém a hora atual em milissegundos. 2. Ele tenta adquirir o bloqueio em todas as N instâncias em ordem, usando o mesmo nome de chave e valor aleatório em todas as instâncias. Durante a etapa 2, quando o bloqueio é definido em cada instância, o cliente usa um pequeno tempo limite comparado ao tempo total de liberação automática do bloqueio para adquiri-lo. Por exemplo, se o tempo de liberação automática for de 10 segundos, o tempo limite poderá estar na faixa de aproximadamente 5 a 50 ms. Isso evita que os clientes permaneçam bloqueados por longos períodos de tempo, tentando e não conseguindo se comunicar com um nó Redis: se uma instância estiver indisponível, devemos tentar se comunicar com a próxima instância o mais rápido possível. 3. O cliente calcula o tempo necessário para adquirir o bloqueio subtraindo o carimbo de data/hora obtido na etapa 1 do horário atual. Um bloqueio é considerado adquirido se e somente se o cliente for capaz de adquiri-lo na maioria das instâncias (pelo menos 3) e o tempo total decorrido para adquirir o bloqueio for menor que o tempo de validade do bloqueio. 4. Se um bloqueio for adquirido, o seu tempo de validade é considerado o tempo de validade inicial menos o tempo decorrido, conforme calculado no passo 3. 5. Se o cliente não conseguir adquirir o bloqueio por algum motivo (incapaz de bloquear N/2 1 instâncias ou tempo de validade negativo), ele tentará desbloquear todas as instâncias (mesmo que pense que não é capaz de bloquear).

Quando um nó é desligado, não há risco de o bloqueio ser interrompido.

Defina um valor aleatório para o tempo de falha para evitar falha coletiva

Registre a lista de IDs de postagem do usuário.

Registre a lista de IDs de postagens da lista de favoritos, lista de favoritos de categoria.

Usado para gravar um para muitos, e a festa com muitos não pode ser repetida estritamente.

Registre uma determinada coleção, que pode estar relacionada ao usuário ou ao sistema como um todo.

Registre o número de curtidas, comentários e cliques em uma postagem.

Registre o título da postagem, resumo, autor, informações da capa, etc.

Armazene em cache o conteúdo recente da postagem (o conteúdo da postagem é muito grande e não é adequado para busca no banco de dados)

Registre a lista de artigos relacionados da postagem. Recomende postagens relacionadas com base no conteúdo.

Usado como uma matriz bool ou uma matriz de bits personalizada, principalmente para economizar memória

Usado para calcular aproximadamente valores estatísticos após a desduplicação.

Você só pode somar e obter o número total, mas não pode saber se existe um determinado valor ou todos os elementos.

Usado para remover duplicatas.

Se o projeto não for grande e o custo de manutenção não for alto, você poderá usar o redsi-cell diretamente. Caso contrário, você poderá considerar o controle refinado para cada nó de serviço para limitar o fluxo e implementá-lo com a estratégia de balanceamento de carga correspondente.

Use zset e pontuação para circular a janela de tempo e contar o número de vezes que o mesmo comportamento ocorre para o mesmo usuário dentro da janela de tempo. Se o número de limites atuais for muito grande, pode não ser aplicável, como 1.000 vezes por segundo. .

Teste CL.THROTTLE 100 400 60 3

1: Se foi bem-sucedido, 0: Sucesso, 1: Rejeitado 2: A capacidade do token bucket, o tamanho é o valor inicial 1 3: Tokens disponíveis no token bucket atual 4: Se a solicitação for rejeitada, este valor indica quanto tempo levará até que o token seja adicionado novamente ao bucket do funil. Unidade: segundos, que pode ser usado como tempo de nova tentativa. 5: Indica quanto tempo levará para que os tokens no token bucket fiquem cheios.

algoritmo de funil

É composto de listas vinculadas ou matrizes compactadas, a fim de evitar a sobrecarga adicional de memória das listas vinculadas comuns.

Uma lista duplamente encadeada projetada para economizar memória tanto quanto possível

Armazenar string ou inteiro

Economize memória em detalhes, usando codificação de comprimento variável para armazenamento de valor

Implementação de estruturas de dados subjacentes de hash, lista e zset

Características

1) Ao usar ziplist para cenários com requisitos de alto desempenho, é recomendado que o comprimento não exceda 1000 e o tamanho de cada elemento seja controlado dentro de 512 bytes.

A lista de pulos suporta pesquisa média O(logN) e pesquisa de complexidade O(N) de pior caso.

Por que não usar árvores ou árvores equilibradas em vez de mesas de salto?

A lista vinculada compactada é vinculada usando ponteiros para se tornar uma lista vinculada

O valor padrão de cada ziplist é 8k (configurável).

2) Use o comando info Commandstats para obter o tempo médio de comando, incluindo o número de chamadas para cada comando. , o tempo total gasto, o tempo médio gasto, em microssegundos.

A função de replicação do Redis é dividida em duas operações: sincronização (sincronização) e propagação de comando (propagação de comando):

A separação de leitura e gravação é adequada para acesso grande (tão grande que uma única máquina Redis parece muito lenta), e a operação de gravação é muito menor do que a operação de leitura.

Se o número de solicitações de leitura exceder em muito as solicitações de gravação, o custo da cópia de dados do cluster será muito menor que o custo da solicitação de leitura. Ao mesmo tempo, se pudermos aceitar a inconsistência de dados até certo ponto, podemos separar a leitura e a escrita.

1. Todos os nós redis estão interconectados entre si (mecanismo PING-PONG) e um protocolo binário é usado internamente para otimizar a velocidade de transmissão e a largura de banda.

2. A falha de um nó entra em vigor somente quando mais da metade dos nós do cluster detectam falhas.

3. O cliente está conectado diretamente ao nó redis, sem a necessidade de uma camada de proxy intermediária. O cliente não precisa se conectar a todos os nós do cluster, basta conectar-se a qualquer nó disponível no cluster.

4. O redis-cluster mapeia todos os nós físicos para o slot [0-16383] (não necessariamente distribuído uniformemente), e o cluster é responsável por manter o valor do nó<->slot<->.

5. O cluster Redis é pré-dividido em 16384 buckets. Quando um valor-chave precisa ser colocado no cluster Redis, é decidido de acordo com o valor de CRC16(key) mod 16384 em qual bucket uma chave deve ser colocada.

Cada instância do Redis está ciente da existência de outros nós

1. Seu cliente grava no nó B do servidor principal 2. O nó do servidor principal B responde ao seu cliente para confirmar. 3. O nó servidor mestre B propaga a gravação para seus servidores escravos B1, B2 e B3.

Se após a etapa 2 nenhum dado for enviado do servidor escravo e B desligar, a chave será perdida (a chave será definitivamente perdida durante a falha)

O processo de eleição envolve a participação de todos os mestres no cluster. Se mais da metade dos nós mestres se comunicarem com o nó com falha por mais de (cluster-node-timeout), o nó será considerado com defeito e a operação de failover será automática. provocado.

(2): Quando todo o cluster fica indisponível (cluster_state:fail)? a: Se algum mestre no cluster morrer e o mestre atual não tiver nenhum escravo, o cluster entra no estado de falha, que também pode ser entendido como entrar no estado de falha quando o mapeamento de slot do cluster [0-16383] não é concluído. b: Se mais da metade dos mestres no cluster morrerem, não importa se há um cluster escravo entrando no estado de falha.

Quando o cluster está indisponível, todas as operações no cluster ficam indisponíveis e um erro ((error) CLUSTERDOWN The cluster is down) é recebido.

1. Todos os nós escravos do nó mestre offline serão eleitos para eleger um novo nó mestre. 2. O nó escravo selecionado executará o comando slave no one e se tornará o novo nó mestre. 3. O novo nó mestre revogará todas as atribuições de slots ao nó mestre offline e atribuirá esses slots a si mesmo. 4. O novo nó mestre transmite uma mensagem pong para o cluster. Essa mensagem pong permite que outros nós no cluster saibam imediatamente que o nó mudou de nó escravo para nó mestre e que o nó mestre assumiu o controle do servidor. que estava originalmente offline O slot que o nó manipula. 5. O novo nó mestre começa a aceitar solicitações de comando relacionadas ao slot que é responsável pelo processamento e a operação de failover é concluída.

1. Quando o nó escravo descobre que o nó mestre que ele replica ficou offline, o nó escravo (pode haver vários nós escravos fazendo solicitações aqui) transmitirá uma mensagem cluster_type_failover_auth_request para o cluster, exigindo direitos de voto (responsável pelo processamento de slots). o nó mestre vota para este nó. 2. O nó mestre que recebe a mensagem cluster_type_failover_auth_request julgará se concorda com o nó escravo em se tornar o novo nó mestre com base em suas próprias condições (a época atual do nó votante inicial não é inferior à época atual do nó votante ). Se concordar, retornará uma mensagem cluster_type_failover_auth_ack. 3. Quando a mensagem cluster_type_failover_auth_ack for recebida do nó, o número de votos será aumentado em 1. 4. Se os votos de um nó escravo forem maiores ou iguais à metade dos nós mestres do cluster (maiores ou iguais a N/2 1), esse nó se tornará o novo nó mestre. Se nenhum nó escravo receber votos suficientes durante um ciclo de configuração, o cluster entrará em um novo ciclo de configuração, e as eleições serão realizadas aqui até que um novo nó mestre seja eleito.

Todos os nós escravos podem buscar opiniões sobre se podem se tornar mestres (aqueles que votam votarão apenas em seus próprios nós maiores), e mais da metade deles pode ser (n 1)/2

Talvez eu não possa escolher

1. Atualmente apenas são suportadas operações em lote de chaves no mesmo slot; 2. Atualmente, apenas são suportadas transações principais no mesmo slot; 3. Somente o banco de dados 0 pode ser usado (cada instância do redis possui 16 bancos de dados, que podem ser alternados através do comando select {index}); 4. Uma chave grande (como hash, lista) não pode ser mapeada para nós diferentes; 5. Atualmente, a replicação mestre-escravo de cluster oferece suporte apenas a um nível e não oferece suporte a estrutura de árvore aninhada;

etapa

Cada nó conhece o nó do cluster correspondente a cada slot.

Quando o nó recebe a solicitação de comando, ele pergunta se pode tratá-lo sozinho. Em caso afirmativo, ele o processa. Caso contrário, ele retorna um erro de movimentação, transporta o IP do nó e o número da porta corretos. cliente para orientá-lo na execução. E cada operação subsequente do cliente. Assim que a chave for executada, ela irá para o nó fornecido pelo erro movido.

Quando o Codis Dashbord do Codis altera as informações do slot, outros nós do Codis monitorarão as alterações do slot do ZooKeeper e as sincronizarão a tempo. Como mostrado na imagem:

zk é responsável por sincronizar as informações do slot.

Use várias filas para implementar filas prioritárias. Diferentes tarefas prioritárias entram em filas diferentes.

Ao mesmo tempo, quando os consumidores buscam dados na fila, eles suportam a busca de dados em múltiplas filas, com ordem de prioridade.

Iniciar vários consumidores significa iniciar vários clientes para recuperar dados.

usar

risco

1. Quando não há nenhum elemento na lista fornecida para ser exibido, a conexão será bloqueada pelo comando BRPOP até que o tempo de espera expire ou um elemento popável seja encontrado. 2. Quando vários parâmetros-chave são fornecidos, cada lista é verificada em sequência de acordo com a chave do parâmetro e o elemento final da primeira lista não vazia aparece. Além disso, o BRPOP se comporta da mesma forma que o BLPOP, exceto pela posição do elemento pop-up.

Se não houver tarefas na lista, a conexão será bloqueada Há um tempo limite para bloqueio de conexão. Quando o tempo limite é definido como 0, você pode esperar sem fio até que uma mensagem seja exibida.

É adequado para assinatura e publicação entre duas empresas entre A e B. É mais difícil quando múltiplas linhas de negócios significam consumidores diferentes.

implementação de confirmação