(1) Der Cache ist gerade abgelaufen (2) Fordern Sie A auf, die Datenbank abzufragen und einen alten Wert abzurufen (3) Fordern Sie B auf, den neuen Wert in die Datenbank zu schreiben (4) Fordern Sie B auf, den Cache zu löschen (5) Fordern Sie A auf, den gefundenen alten Wert in den Cache zu schreiben

Aber nur wenn 3 von 2 und 3 schneller als 2 ist, löscht B zuerst den Cache und A schreibt den Cache mit dem alten Wert.

Tatsächlich ist das Schreiben in die Datenbank viel langsamer als das Lesen. Vermeiden Sie daher langsames SQL.

(1) Zuerst den Cache löschen (2) Schreiben Sie die Datenbank erneut (diese beiden Schritte sind die gleichen wie zuvor) (3) 1 Sekunde lang in den Ruhezustand versetzen und den Cache erneut löschen

Verwenden Sie asynchrones Doppellöschen

Überprüfen Sie die Anzahl und Länge

Ob es den Schlüssel oder ein bestimmtes Feld unter dem Schlüssel existiert, enthält, anhängt, erhöht oder verringert

Löschen, angegebenen Speicherort löschen, löschen und abrufen

kostenloses Thema

Schlüssel

Satz

Aufführen

bestellte Abholung

Transaktion

Hash

kostenloses Thema

Wenn die Zeichenfolge erweitert werden muss und sie kleiner als 1 MB ist, wird sie verdoppelt. Wenn sie größer als 1 MB ist, wird sie jedes Mal nur um 1 MB erweitert

Wenn der Selbstinkrementwert den Maximalwert überschreitet, wird ein Fehler gemeldet.

Bei Datenstrukturen vom Typ Container gilt: Wenn der Container nicht vorhanden ist, erstellen Sie ihn. Wenn das Element nicht mehr vorhanden ist, löschen Sie den Container.

Holen Sie sich die Sperre

Freischalten

a) Sobald in Redis ein Master-Slave-Wechsel stattfindet, können einige Sperren verloren gehen.

Die von Zookeeper implementierte verteilte Sperre hat tatsächlich einen Nachteil: Die Leistung ist möglicherweise nicht so hoch wie die des Cache-Dienstes. Denn jedes Mal, wenn eine Sperre erstellt und freigegeben wird, müssen vorübergehende Knoten dynamisch erstellt und zerstört werden, um die Sperrfunktion zu implementieren. Das Erstellen und Löschen von Knoten in ZK kann nur über den Leader-Server erfolgen, und dann werden die Daten nicht auf allen Follower-Maschinen geteilt. Parallelitätsprobleme, möglicherweise Netzwerkjitter, die Sitzungsverbindung zwischen dem Client und dem ZK-Cluster ist unterbrochen, der ZK-Cluster geht davon aus, dass der Client ausgefallen ist, und löscht den temporären Knoten. Zu diesem Zeitpunkt können andere Clients die verteilte Sperre erhalten .

Redis ist schwierig, Gerechtigkeit zu erreichen

In der verteilten Version des Algorithmus gehen wir davon aus, dass wir N Redis-Hosts haben. Die Knoten sind völlig unabhängig, daher verwenden wir keine Replikation oder ein anderes implizites Koordinationssystem. Wir haben beschrieben, wie Sie Sperren innerhalb einer einzelnen Instanz sicher erwerben und freigeben. Wir gehen davon aus, dass der Algorithmus diese Methode zum Erlangen und Freigeben von Sperren in einer einzigen Instanz verwendet. In unserem Beispiel setzen wir N = 5, was ein sinnvoller Wert ist. Wir müssen also 5 Redis-Masterserver auf verschiedenen Computern oder virtuellen Maschinen ausführen, um sicherzustellen, dass sie weitgehend unabhängig voneinander ausfallen. Um die Sperre zu erhalten, führt der Client die folgenden Vorgänge aus: 1. Es wird die aktuelle Zeit in Millisekunden abgerufen. 2. Es wird versucht, die Sperre in allen N Instanzen der Reihe nach zu erhalten, wobei in allen Instanzen derselbe Schlüsselname und Zufallswert verwendet wird. Während Schritt 2, wenn die Sperre in jeder Instanz festgelegt wird, benötigt der Client eine kleine Zeitüberschreitung im Vergleich zur Gesamtzeit für die automatische Freigabe der Sperre, um sie zu erhalten. Wenn die Autorelease-Zeit beispielsweise 10 Sekunden beträgt, kann das Timeout im Bereich von ~5–50 ms liegen. Dies verhindert, dass Clients über längere Zeiträume blockiert bleiben und versuchen, mit einem Redis-Knoten zu kommunizieren, was aber scheitert: Wenn eine Instanz nicht verfügbar ist, sollten wir versuchen, so schnell wie möglich mit der nächsten Instanz zu kommunizieren. 3. Der Client berechnet die zum Erwerb der Sperre erforderliche Zeit, indem er den in Schritt 1 erhaltenen Zeitstempel von der aktuellen Zeit abzieht. Eine Sperre gilt nur dann als erworben, wenn der Client die Sperre in den meisten Fällen (mindestens 3) erwerben kann und die Gesamtzeit, die zum Erwerb der Sperre verstrichen ist, kürzer als die Sperrgültigkeitszeit ist. 4. Wenn eine Sperre erworben wird, wird ihre Gültigkeitszeit als die anfängliche Gültigkeitszeit abzüglich der verstrichenen Zeit betrachtet, wie in Schritt 3 berechnet. 5. Wenn der Client die Sperre aus irgendeinem Grund nicht erhalten kann (N/2 1 Instanzen können nicht gesperrt werden oder negative Gültigkeitszeit), versucht er, alle Instanzen zu entsperren (auch wenn er denkt, dass er nicht sperren kann).

Wenn ein Knoten hängt, besteht kein Risiko, dass die Sperre aufgehoben wird.

Legen Sie einen zufälligen Wert für die Ausfallzeit fest, um einen kollektiven Ausfall zu vermeiden

Liste der Benutzerbeitrags-IDs aufzeichnen. Schnellanzeige

Hotlist-Beitrags-ID-Liste aufzeichnen. Gesamt-Hotlist, Kategorie-Hotlist

Wird zum Aufzeichnen von Eins-zu-Viele verwendet, und die Party mit Vielen kann nicht unbedingt wiederholt werden.

Zeichnen Sie eine bestimmte Sammlung auf, die sich auf den Benutzer oder das Gesamtsystem beziehen kann.

Erfassen Sie die Anzahl der Likes, Kommentare und Klicks auf einen Beitrag.

Notieren Sie den Titel, die Zusammenfassung, den Autor, das Cover usw. des Beitrags.

Aktuellen Hot-Post-Inhalt zwischenspeichern (Der Post-Inhalt ist sehr umfangreich und nicht zum Abrufen aus der Datenbank geeignet.)

Notieren Sie die Liste der verwandten Artikel des Beitrags. Empfehlen Sie verwandte Beiträge basierend auf dem Inhalt.

Wird als Bool-Array oder benutzerdefiniertes Bit-Array verwendet, hauptsächlich um Speicherplatz zu sparen

Wird zur groben Berechnung statistischer Werte nach der Deduplizierung verwendet.

Sie können nur die Gesamtzahl addieren und erhalten, aber Sie können nicht ermitteln, ob ein bestimmter Wert oder alle Elemente vorhanden sind.

Wird verwendet, um Duplikate zu entfernen. Ermitteln Sie, ob ein Element in der Liste vorhanden ist

Wenn das Projekt nicht groß ist und die Wartungskosten nicht hoch sind, können Sie redsi-cell direkt verwenden. Andernfalls können Sie eine differenzierte Steuerung jedes Serviceknotens in Betracht ziehen, um den Fluss zu begrenzen, und diese mit der entsprechenden Lastausgleichsstrategie implementieren.

Verwenden Sie „zset“ und „score“, um das Zeitfenster zu umkreisen und zu zählen, wie oft dasselbe Verhalten für denselben Benutzer innerhalb des Zeitfensters auftritt. Wenn die Anzahl der aktuellen Grenzwerte zu groß ist, ist sie möglicherweise nicht anwendbar, z. B. 1.000 Mal pro Sekunde .

CL.DHROTTLE-Test 100 400 60 3

1: Ob erfolgreich, 0: Erfolg, 1: Ablehnen 2: Die Kapazität des Token-Buckets, die Größe ist der Anfangswert 1 3: Im aktuellen Token-Bucket verfügbare Token 4: Wenn die Anfrage abgelehnt wird, gibt dieser Wert an, wie lange es dauern wird, bis das Token erneut zum Funnel-Bucket hinzugefügt wird. Einheit: Sekunden, die als Wiederholungszeit verwendet werden kann. 5: Gibt an, wie lange es dauern wird, bis die Token im Token-Bucket voll sind.

Trichteralgorithmus

Es besteht aus komprimierten verknüpften Listen oder Arrays, um den zusätzlichen Speicheraufwand gewöhnlicher verknüpfter Listen zu vermeiden.

Eine doppelt verknüpfte Liste, die so viel Speicherplatz wie möglich spart

Speichern Sie eine Zeichenfolge oder Ganzzahl

Sparen Sie Speicherplatz im Detail, indem Sie die Codierung mit variabler Länge für die Wertespeicherung verwenden

Implementierung der zugrunde liegenden Datenstrukturen von Hash, Liste und Zset

Merkmale

1) Bei der Verwendung von Ziplist für Szenarien mit hohen Leistungsanforderungen wird empfohlen, dass die Länge 1000 nicht überschreitet und die Größe jedes Elements innerhalb von 512 Bytes kontrolliert wird.

Die Sprungliste unterstützt die O(logN)-Durchschnittssuche und die Worst-Case-O(N)-Komplexitätssuche.

Warum nicht Bäume oder ausgeglichene Bäume anstelle von Sprungtischen verwenden?

Die komprimierte verknüpfte Liste wird mithilfe von Zeigern zu einer verknüpften Liste verknüpft

Der Standardwert jeder Ziplist beträgt 8 KB (konfigurierbar).

2) Verwenden Sie den Befehl info Commandstats, um die durchschnittliche Befehlszeit zu ermitteln, einschließlich der Anzahl der Aufrufe für jeden Befehl. , die insgesamt benötigte Zeit, die durchschnittlich benötigte Zeit, in Mikrosekunden.

Die Replikationsfunktion von Redis ist in zwei Vorgänge unterteilt: Synchronisierung (Sync) und Befehlsweitergabe (Befehlsweitergabe):

Die Trennung von Lesen und Schreiben eignet sich für große Zugriffe (so groß, dass sich eine einzelne Redis-Maschine sehr langsam anfühlt), und der Schreibvorgang ist viel kleiner als der Lesevorgang.

Wenn die Anzahl der Leseanforderungen die der Schreibanforderungen bei weitem übersteigt, sind die Kosten für das Kopieren der Clusterdaten deutlich geringer als die Kosten für die Leseanforderungen. Wenn wir gleichzeitig Dateninkonsistenzen bis zu einem gewissen Grad akzeptieren können, können wir Lesen und Schreiben trennen.

1. Alle Redis-Knoten sind miteinander verbunden (PING-PONG-Mechanismus) und intern wird ein Binärprotokoll verwendet, um Übertragungsgeschwindigkeit und Bandbreite zu optimieren.

2. Der Ausfall eines Knotens wird erst dann wirksam, wenn mehr als die Hälfte der Knoten im Cluster Ausfälle erkennen.

3. Der Client ist direkt mit dem Redis-Knoten verbunden, ohne dass eine Zwischen-Proxy-Schicht erforderlich ist. Der Client muss sich nicht mit allen Knoten im Cluster verbinden, sondern nur mit jedem verfügbaren Knoten im Cluster.

4. Redis-Cluster ordnet alle physischen Knoten dem Steckplatz [0-16383] zu (nicht unbedingt gleichmäßig verteilt), und der Cluster ist für die Aufrechterhaltung des Knotenwerts <->Steckplatz<-> verantwortlich.

5. Der Redis-Cluster ist vorab in 16384 Buckets unterteilt. Wenn ein Schlüsselwert im Redis-Cluster platziert werden muss, wird anhand des Werts von CRC16 (Schlüssel) Mod 16384 entschieden, in welchem ​​Bucket ein Schlüssel platziert werden soll.

Jede Redis-Instanz ist sich der Existenz anderer Knoten bewusst

1. Ihr Client schreibt auf den Hauptserverknoten B 2. Der Hauptserverknoten B antwortet Ihrem Client zur Bestätigung. 3. Master-Serverknoten B gibt den Schreibvorgang an seine Slave-Server B1, B2 und B3 weiter.

Wenn nach Schritt 2 keine Daten vom Slave-Server gesendet werden und B auflegt, geht der Schlüssel verloren (der Schlüssel geht während des Fehlers definitiv verloren).

Der Wahlprozess umfasst die Teilnahme aller Master im Cluster. Wenn mehr als die Hälfte der Masterknoten länger als (Clusterknoten-Timeout) mit dem ausgefallenen Knoten kommunizieren, gilt der Knoten als fehlerhaft und der Failover-Vorgang wird automatisch ausgeführt Ausgelöst.

(2): Wann ist der gesamte Cluster nicht mehr verfügbar (cluster_state:fail)? a: Wenn ein Master im Cluster ausfällt und der aktuelle Master keinen Slave hat, tritt der Cluster in den Fehlerzustand ein. Dies kann auch als Eintritt in den Fehlerzustand verstanden werden, wenn die Steckplatzzuordnung des Clusters [0-16383] nicht abgeschlossen ist. b: Wenn mehr als die Hälfte der Master im Cluster ausfällt, unabhängig davon, ob ein Slave-Cluster in den Ausfallzustand eintritt.

Wenn der Cluster nicht verfügbar ist, sind alle Vorgänge auf dem Cluster nicht verfügbar und es wird der Fehler ((error) CLUSTERDOWN Der Cluster ist ausgefallen) empfangen.

1. Alle Slave-Knoten des Offline-Masterknotens werden ausgewählt, um einen neuen Masterknoten auszuwählen. 2. Der ausgewählte Slave-Knoten führt den Befehl „Slave No One“ aus und wird zum neuen Master-Knoten. 3. Der neue Master-Knoten widerruft alle Slot-Zuweisungen zum Offline-Master-Knoten und weist diese Slots sich selbst zu. 4. Der neue Master-Knoten sendet eine Pong-Nachricht an den Cluster. Diese Pong-Nachricht ermöglicht es anderen Knoten im Cluster, sofort zu erfahren, dass der Knoten von einem Slave-Knoten zu einem Master-Knoten gewechselt ist und dass der Master-Knoten den Server übernommen hat der ursprünglich offline war. Der Slot, den der Knoten verwaltet. 5. Der neue Master-Knoten beginnt, Befehlsanfragen zu akzeptieren, die sich auf den Steckplatz beziehen, für dessen Verarbeitung er verantwortlich ist, und der Failover-Vorgang ist abgeschlossen.

1. Wenn der Slave-Knoten feststellt, dass der Master-Knoten, den er repliziert, offline gegangen ist, sendet der Slave-Knoten (hier können mehrere Slave-Knoten Anfragen stellen) eine Cluster_Type_Failover_auth_request-Nachricht an den Cluster und erfordert Stimmrechte (verantwortlich für die Verarbeitung von Slots). Der Masterknoten stimmt für diesen Knoten. 2. Der Master-Knoten, der die Nachricht „cluster_type_failover_auth_request“ empfängt, beurteilt anhand seiner eigenen Bedingungen, ob er mit dem Slave-Knoten einverstanden ist, der neue Master-Knoten zu werden (die aktuelle Epoche des initiierenden Abstimmungsknotens ist nicht niedriger als die aktuelle Epoche des Abstimmungsknotens). ). Wenn es zustimmt, wird eine Cluster_type_failover_auth_ack-Nachricht zurückgegeben. 3. Wenn die Nachricht „cluster_type_failover_auth_ack“ vom Knoten empfangen wird, wird die Anzahl der Stimmen um 1 erhöht. 4. Wenn die Stimmen eines Slave-Knotens größer oder gleich der Hälfte der Master-Knoten im Cluster sind (größer oder gleich N/2 1), wird dieser Knoten zum neuen Master-Knoten. Wenn während eines Konfigurationszyklus kein Slave-Knoten genügend Stimmen erhält, tritt der Cluster in einen neuen Konfigurationszyklus ein und die Wahlen werden hier abgehalten, bis ein neuer Master-Knoten gewählt wird.

Alle Slave-Knoten können Meinungen darüber einholen, ob sie Master werden können (diejenigen, die abstimmen, stimmen nur für ihre eigenen größeren Knoten), und mehr als die Hälfte von ihnen kann (n 1)/2 sein

Vielleicht kann ich mich nicht entscheiden

1. Derzeit werden nur Stapeloperationen von Schlüsseln auf demselben Steckplatz unterstützt. 2. Derzeit werden nur Schlüsseltransaktionen auf demselben Slot unterstützt; 3. Es kann nur Datenbank 0 verwendet werden (jede Redis-Instanz verfügt über 16 Datenbanken, die über den Befehl select {index} umgeschaltet werden können). 4. Ein großer Schlüssel (z. B. Hash, Liste) kann nicht verschiedenen Knoten zugeordnet werden. 5. Derzeit unterstützt die Cluster-Master-Slave-Replikation nur eine Ebene und keine verschachtelte Baumarchitektur.

Schritt

Jeder Knoten kennt den Clusterknoten, der jedem Steckplatz entspricht.

Wenn der Knoten die Befehlsanforderung empfängt, fragt er, ob er sie selbst verarbeiten kann. Wenn nicht, gibt er einen Verschiebungsfehler zurück und gibt ihn an den Knoten zurück Der Client leitet ihn zur Ausführung an. Sobald der Schlüssel ausgeführt wird, wird er an den vom verschobenen Fehler bereitgestellten Knoten weitergeleitet.

Wenn das Codis-Dashboard von Codis die Slot-Informationen ändert, überwachen andere Codis-Knoten die ZooKeeper-Slot-Änderungen und synchronisieren sie rechtzeitig. Wie im Bild gezeigt:

zk ist für die Synchronisierung der Slot-Informationen verantwortlich.

Verwenden Sie mehrere Warteschlangen, um Prioritätswarteschlangen zu implementieren. Aufgaben mit unterschiedlicher Priorität werden in unterschiedliche Warteschlangen eingegeben

Wenn Verbraucher Daten aus der Warteschlange abrufen, unterstützen sie gleichzeitig das Abrufen von Daten aus mehreren Warteschlangen mit Prioritätsreihenfolge.

Das Starten mehrerer Verbraucher bedeutet, dass mehrere Clients gestartet werden, um Daten abzurufen.

verwenden

Risiko

1. Wenn in der angegebenen Liste kein zu entfernendes Element vorhanden ist, wird die Verbindung durch den BRPOP-Befehl blockiert, bis die Wartezeit abgelaufen ist oder ein entfernbares Element gefunden wird. 2. Wenn mehrere Schlüsselparameter angegeben werden, wird jede Liste der Reihe nach entsprechend dem Parameterschlüssel überprüft und das Endelement der ersten nicht leeren Liste wird angezeigt. Darüber hinaus verhält sich BRPOP bis auf die Position des Popup-Elements genauso wie BLPOP.

Wenn keine Aufgaben in der Liste vorhanden sind, wird die Verbindung blockiert Es gibt eine Zeitüberschreitung für die Verbindungsblockierung. Wenn die Zeitüberschreitung auf 0 eingestellt ist, können Sie drahtlos warten, bis eine Meldung angezeigt wird.

Es eignet sich für Abonnements und Veröffentlichungen zwischen zwei Unternehmen zwischen A und B. Schwieriger wird es, wenn mehrere Geschäftsbereiche unterschiedliche Verbraucher bedeuten.

ACK-Implementierung