(1) Срок действия кэша только что истек. (2) Запрос A на запрос к базе данных и получение старого значения. (3) Запрос B на запись нового значения в базу данных. (4) Запрос B на удаление кэша (5) Запрос A на запись найденного старого значения в кеш.

Но только если 3 среди 2 и 3 быстрее 2, B первым удалит кеш, а A запишет в кеш старое значение.

На самом деле запись в базу данных происходит намного медленнее, чем чтение, поэтому избегайте медленного SQL.

(1) Сначала удалите кеш (2) Снова запишите базу данных (эти два шага такие же, как и раньше) (3) Спите на 1 секунду и снова удалите кеш.

Использовать асинхронное двойное удаление

Проверьте количество и длину

Существует ли он, содержит ли он, добавляет, увеличивает или уменьшает ключ или определенное поле под ключом

Удалить, удалить указанное местоположение, удалить и получить

бесплатная тема

Ключ

Набор

Список

заказанная коллекция

Сделка

Хэш

бесплатная тема

Когда размер строки необходимо увеличить, если он меньше 1 М, он будет удвоен. Если он больше 1 М, каждый раз он будет увеличиваться только на 1 М. Максимальная длина — 512 М.

Если значение самоприращения превышает максимальное значение, будет сообщено об ошибке.

Для структур данных типа контейнера: если контейнер не существует, создайте его, если элемент больше не существует, удалите контейнер;

Получить блокировку

Разблокировать

а) Как только в Redis произойдет переключение между главным и подчиненным устройствами, некоторые блокировки могут быть потеряны.

Распределенная блокировка, реализованная Zookeeper, на самом деле имеет недостаток: производительность может быть не такой высокой, как у службы кэширования. Потому что каждый раз в процессе создания и снятия блокировки временные узлы должны динамически создаваться и уничтожаться для реализации функции блокировки. Создание и удаление узлов в ZK может осуществляться только через сервер Leader, и тогда данные не передаются всем машинам Follower. Проблемы параллелизма могут включать в себя дрожание сети и разрыв сеансового соединения между клиентом и кластером ZK. Кластер ZK считает, что клиент не работает, и удалит временный узел. В это время другие клиенты могут получить распределенную блокировку.

Redis сложно добиться справедливости

В распределенной версии алгоритма мы предполагаем, что у нас есть N хостов Redis. Узлы полностью независимы, поэтому мы не используем репликацию или любую другую неявную систему координации. Мы описали, как безопасно получать и снимать блокировки в одном экземпляре. Мы считаем само собой разумеющимся, что алгоритм будет использовать этот метод для установки и снятия блокировок в одном экземпляре. В нашем примере мы установили N = 5, что является разумным значением, поэтому нам нужно запустить 5 главных серверов Redis на разных компьютерах или виртуальных машинах, чтобы гарантировать, что они выходят из строя практически независимо. Для получения блокировки клиент выполняет следующие операции: 1. Получает текущее время в миллисекундах. 2. Он пытается получить блокировку во всех N экземплярах по порядку, используя одно и то же имя ключа и случайное значение во всех экземплярах. На этапе 2, когда блокировка устанавливается в каждом экземпляре, клиент использует небольшой тайм-аут по сравнению с общим временем автоматического снятия блокировки для ее получения. Например, если время автоматического отпускания составляет 10 секунд, время ожидания может находиться в диапазоне ~5–50 мс. Это предотвращает блокировку клиентов в течение длительного периода времени, когда они пытаются и не могут связаться с узлом Redis: если экземпляр недоступен, мы должны попытаться связаться со следующим экземпляром как можно быстрее. 3. Клиент вычисляет время, необходимое для получения блокировки, вычитая временную метку, полученную на шаге 1, из текущего времени. Блокировка считается полученной тогда и только тогда, когда клиент может получить блокировку в большинстве случаев (не менее 3) и общее время, затраченное на получение блокировки, меньше времени действия блокировки. 4. Если блокировка получена, ее временем действия считается начальное время действия минус истекшее время, рассчитанное на шаге 3. 5. Если клиенту по какой-либо причине не удается получить блокировку (невозможно заблокировать N/2 1 экземпляров или отрицательное время действия), он попытается разблокировать все экземпляры (даже если он думает, что не может заблокировать).

Когда узел зависает, риск вытеснения блокировки отсутствует.

Установите случайное значение времени отказа, чтобы избежать коллективного отказа.

Запишите список идентификаторов сообщений пользователей. Быстрый просмотр.

Записать список идентификаторов сообщений в горячий список. Общий горячий список, горячий список категорий.

Используется для записи один-ко-многим, а партия со многими не может быть строго повторена.

Запишите определенную коллекцию, которая может быть связана с пользователем или всей системой.

Записывайте количество лайков, комментариев и кликов на публикацию.

Запишите название публикации, аннотацию, автора, информацию на обложке и т. д.

Кэшируйте содержимое последних горячих сообщений (содержимое сообщения очень велико и не подходит для извлечения из базы данных).

Запишите список связанных статей поста. Порекомендуйте похожие посты на основе содержания.

Используется как массив bool или собственный битовый массив, в основном для экономии памяти.

Используется для грубого расчета статистических значений после дедупликации.

Вы можете только сложить и получить общее число, но не можете узнать, существует ли определенное значение или все элементы.

Используется для удаления дубликатов. Узнайте, существует ли элемент в списке.

Если проект невелик и стоимость обслуживания невелика, вы можете использовать redsi-cell напрямую. В противном случае вы можете рассмотреть возможность детального контроля каждого узла обслуживания, чтобы ограничить поток, и реализовать его с помощью соответствующей стратегии балансировки нагрузки.

Используйте zset и Score, чтобы обвести временное окно и подсчитать, сколько раз одно и то же поведение происходит для одного и того же пользователя в пределах временного окна. Если количество текущих ограничений слишком велико, оно может быть неприменимо, например 1000 раз в секунду. .

Тест КЛ.ДРОССЕЛЬ 100 400 60 3

1: успешно ли, 0: успешно, 1: отклонить 2: Емкость корзины токенов, размер — начальное значение 1. 3: Токены, доступные в текущем сегменте токенов. 4: Если запрос отклонен, это значение указывает, сколько времени пройдет, прежде чем токен будет повторно добавлен в сегмент воронки. Единица измерения: секунды, которые можно использовать в качестве времени повтора. 5: Указывает, сколько времени потребуется, чтобы токены в корзине токенов были заполнены.

алгоритм воронки

Он состоит из сжатых связанных списков или массивов, чтобы избежать дополнительных затрат памяти по сравнению с обычными связанными списками.

Двусвязный список, созданный для максимальной экономии памяти.

Хранить строку или целое число

Экономьте память в деталях, используя кодировку переменной длины для хранения значений.

Реализация базовых структур данных хеша, списка и zset.

Функции

1) При использовании ziplist для сценариев с высокими требованиями к производительности рекомендуется длина не должна превышать 1000, а размер каждого элемента контролировать в пределах 512 байт.

Список пропуска поддерживает поиск по среднему значению O(logN) и поиск по сложности O(N) в худшем случае.

Почему бы не использовать деревья или сбалансированные деревья вместо таблиц прыжков?

Сжатый связанный список связывается с помощью указателей и становится связанным списком.

Значение по умолчанию для каждого ziplist — 8 КБ (настраиваемое).

2) Используйте команду info Commandstats, чтобы получить среднее время выполнения команды, включая количество вызовов каждой команды. , общее затраченное время, среднее затраченное время, в микросекундах.

Функция репликации Redis разделена на две операции: синхронизацию (sync) и распространение команды (command propagate):

Разделение чтения и записи подходит для больших объемов доступа (настолько больших, что одна машина Redis кажется очень медленной), а операция записи намного меньше операции чтения.

Если количество запросов на чтение намного превышает количество запросов на запись, стоимость копирования данных кластера будет намного меньше стоимости запроса на чтение. В то же время, если мы сможем до некоторой степени принять несогласованность данных, мы сможем разделить чтение и запись.

1. Все узлы Redis взаимосвязаны между собой (механизм ПИНГ-ПОНГ), а внутри используется бинарный протокол для оптимизации скорости передачи и пропускной способности.

2. Сбой узла вступает в силу только тогда, когда более половины узлов кластера обнаруживают сбои.

3. Клиент напрямую подключается к узлу Redis без необходимости использования промежуточного прокси-уровня. Клиенту не нужно подключаться ко всем узлам кластера, достаточно подключиться к любому доступному узлу в кластере.

4. redis-cluster сопоставляет все физические узлы со слотом [0-16383] (не обязательно равномерно распределенным), а кластер отвечает за поддержание значения node<->slot<->.

5. Кластер Redis предварительно разделен на 16384 сегмента. Когда в кластер Redis необходимо поместить ключ-значение, в зависимости от значения CRC16(key) mod 16384 решается, в какой сегмент следует поместить ключ.

Каждый экземпляр Redis знает о существовании других узлов.

1. Ваш клиент пишет на главный серверный узел B. 2. Главный серверный узел B отвечает вашему клиенту для подтверждения. 3. Узел главного сервера B передает запись на свои подчиненные серверы B1, B2 и B3.

Если после шага 2 данные с подчиненного сервера не отправляются и B зависает, ключ будет утерян (ключ обязательно будет утерян при сбое)

В процессе выбора участвуют все мастера кластера. Если более половины мастер-узлов взаимодействуют с вышедшим из строя узлом более (cluster-node-timeout), узел считается неисправным и операция аварийного переключения выполняется автоматически. сработало.

(2): Когда весь кластер становится недоступным (cluster_state:fail)? a: Если какой-либо мастер в кластере умирает, а у текущего мастера нет подчиненного устройства, кластер переходит в состояние сбоя, что также можно понимать как вход в состояние сбоя, когда сопоставление слотов кластера [0-16383] не завершено. б: Если более половины мастеров в кластере умирают, независимо от того, находится ли подчиненный кластер в состоянии сбоя.

Когда кластер недоступен, все операции в кластере недоступны и возникает ошибка ((ошибка) CLUSTERDOWN Кластер не работает).

1. Все подчиненные узлы автономного главного узла будут выбраны для выбора нового главного узла. 2. Выбранный подчиненный узел выполнит команду «Slave no one» и станет новым главным узлом. 3. Новый главный узел отменит все назначения слотов автономному главному узлу и назначит эти слоты себе. 4. Новый главный узел передает сообщение Pong в кластер. Это сообщение Pong позволяет другим узлам в кластере немедленно узнать, что узел превратился из подчиненного узла в главный узел и что главный узел взял на себя управление сервером. который изначально был отключен. Слот, который обрабатывает узел. 5. Новый главный узел начинает принимать запросы команд, относящиеся к слоту, за обработку которого он отвечает, и операция переключения при сбое завершается.

1. Когда ведомый узел обнаруживает, что главный узел, который он реплицирует, отключился от сети, ведомый узел (здесь может быть несколько ведомых узлов, делающих запросы) отправит сообщение кластера_type_failover_auth_request в кластер, требуя права голоса (отвечает за обработку слотов). главный узел голосует за этот узел. 2. Главный узел, получивший сообщение кластера_type_failover_auth_request, будет оценивать, согласен ли он с подчиненным узлом стать новым главным узлом, исходя из своих собственных условий (текущая эпоха инициирующего узла голосования не ниже текущей эпохи голосующего узла ). Если он согласен, он вернет сообщениеuster_type_failover_auth_ack. 3. Когда от узла будет получено сообщение Cluster_type_failover_auth_ack, количество голосов будет увеличено на 1. 4. Если голоса подчиненного узла больше или равны половине голосов главных узлов в кластере (больше или равны N/2 1), этот узел станет новым главным узлом. Если ни один подчиненный узел не получит достаточного количества голосов в течение цикла настройки, кластер войдет в новый цикл настройки, и здесь будут проводиться выборы до тех пор, пока не будет выбран новый главный узел.

Все подчиненные узлы могут запрашивать мнение о том, могут ли они стать главными (те, кто голосует, будут голосовать только за свои более крупные узлы), и более половины из них могут быть (n 1)/2.

Может быть, я не могу выбрать

1. На данный момент поддерживаются только пакетные операции с ключами в одном слоте; 2. На данный момент поддерживаются только ключевые транзакции в одном слоте; 3. Можно использовать только базу данных 0 (каждый экземпляр redis имеет 16 баз данных, переключаться между которыми можно с помощью команды select {index}); 4. Большой ключ (например, хэш, список) не может быть сопоставлен с разными узлами; 5. В настоящее время репликация «главный-подчиненный» кластера поддерживает только один уровень и не поддерживает вложенную древовидную структуру;

шаг

Каждый узел знает узел кластера, соответствующий каждому слоту.

Когда узел получает запрос команды, он запрашивает, может ли он обработать его самостоятельно. Если да, он обрабатывает его. Если нет, он возвращает ошибку перемещения. Ошибка перемещения содержит правильный IP-адрес узла и номер порта и возвращает его. клиент, чтобы направлять его на выполнение. И каждая последующая операция клиента. После выполнения ключа он перейдет к узлу, указанному в перемещенной ошибке.

Когда панель управления Codis Codis меняет информацию о слоте, другие узлы Codis будут отслеживать изменения слота ZooKeeper и синхронизировать их во времени. Как показано на рисунке:

zk отвечает за синхронизацию информации о слотах.

Используйте несколько очередей для реализации приоритетных очередей. Задачи с разными приоритетами помещаются в разные очереди.

В то же время, когда потребители извлекают данные из очереди, они поддерживают выборку данных из нескольких очередей в порядке приоритета.

Запуск нескольких потребителей означает запуск нескольких клиентов для получения данных.

использовать

риск

1. Если в данном списке нет элемента для извлечения, соединение будет заблокировано командой BRPOP до тех пор, пока не истечет время ожидания или не будет найден извлекаемый элемент. 2. При задании нескольких ключевых параметров каждый список проверяется последовательно в соответствии с ключом параметра, и всплывает хвостовой элемент первого непустого списка. Кроме того, BRPOP ведет себя так же, как BLPOP, за исключением положения всплывающего элемента.

Если в списке нет задач, соединение будет заблокировано Существует тайм-аут для блокировки соединения. Если тайм-аут установлен на 0, вы можете подождать по беспроводной сети, пока не появится сообщение.

Он подходит для подписки и публикации между двумя предприятиями между A и B. Это сложнее, когда несколько направлений бизнеса означают разных потребителей.

реализация подтверждения