プロデューサーは、Cloud Message Queue RocketMQ バージョンでメッセージを生成するために使用される実行エンティティであり、通常はビジネス コール リンクの上流に統合されます。プロデューサーは軽量で、匿名で、アイデンティティがありません。

トピック: Cloud Message Queue RocketMQ でのメッセージの送信と保存のためのグループ化コンテナー トピックは内部的に複数のキューで構成されており、メッセージの保存と水平展開はトピック内のキューを通じて実装されます。

キュー (MessageQueue): RocketMQ クラウド メッセージ キューでのメッセージの送信と保存のための実際のユニット コンテナーであり、Kafka のパーティションに似ています。クラウド メッセージ キュー RocketMQ は、ストリーミング特性を備えた無限キュー構造を使用してメッセージを保存し、メッセージはキュー内で順次保存特性を持ちます。

メッセージ: RocketMQ バージョンの Cloud Message Queue の最小送信単位。メッセージは不変であり、最初の送信と保存の完了後も不変になります。

ConsumerGroup: Cloud Message Queue RocketMQ のパブリッシュ/サブスクライブ モデルで定義された独立したコンシューマ ID グループ。最下位で実行される複数のコンシューマ (Consumer) を均一に管理するために使用されます。同じコンシューマ グループの複数のコンシューマは、消費ロジックと構成の一貫性を維持し、コンシューマ グループがサブスクライブしたメッセージを共同で共有して、消費機能の水平拡張を実現する必要があります。

Consumer: メッセージを消費する、RocketMQ バージョンの Cloud Message Queue の実行エンティティ。通常、ビジネス コール リンクの下流に統合されます。コンシューマはコンシューマ グループに割り当てる必要があります。

サブスクリプション: Cloud Message Queue RocketMQ のパブリッシュおよびサブスクライブ モデルにおけるメッセージ フィルタリング、再試行、消費の進行状況のルール構成。サブスクリプション関係はコンシューマ グループの粒度で管理され、サブスクリプション関係を定義することで、コンシューマ グループは、指定されたコンシューマ グループの下のコンシューマがメッセージ フィルタリング、消費の再試行、消費の進行状況の回復などを実装する方法を制御します。

同期 RPC 呼び出しモデルでは、異なるシステム間で直接呼び出し通信が行われます。各リクエストは呼び出し元から呼び出し先に直接送信され、呼び出し先は呼び出し結果が正しいかどうかを即座に呼び出し元に返す必要があります。成功。

非同期メッセージ通信モードでは、サブシステムは強い結合を行わずに直接接続されます。呼び出し側は、要求を非同期イベント (メッセージ) に変換し、送信が成功すると、それを中間エージェントに送信するだけで済みます。残りの作業中の中間エージェントは、タスクの実行が確実に完了するように、下流の呼び出し側システムにイベントを確実に通知する責任を負います。中間エージェントは通常、メッセージ ミドルウェアです。

非同期通信の利点は次のとおりです。

ポイントツーポイント モデルはキュー モデルとも呼ばれ、次の特徴があります。

パブリッシュ/サブスクライブ モデルには次の特徴があります。

ポイントツーポイント モデルとパブリッシュ/サブスクライブ モデルにはそれぞれ独自の利点があります。ポイントツーポイント モデルはよりシンプルですが、パブリッシュ/サブスクライブ モデルはよりスケーラブルです。

Cloud Message Queue RocketMQ で使用される送信モデルはパブリッシュ/サブスクライブ モデルであるため、パブリッシュ/サブスクライブ モデルの特性も備えています。

ビッグデータ分野：Webサイトの動作分析、ログ集計、アプリケーション監視、ストリーミングデータ処理、オンラインおよびオフラインのデータ分析などの分野。

データ統合: MaxCompute、OSS、RDS、Hadoop、HBase などのオフライン データ ウェアハウスにメッセージをインポートします。

データ処理の統合: StreamCompute、E-MapReduce、Spark、Storm、その他のエンジンと統合します。

システム構造

プロデューサー

カフカブローカー

グループ

動物園の飼育員

Cloud Message Queue Kafka バージョンのパブリッシュ/サブスクライブ モデル

グループとトピックの対応関係は N:N です。つまり、グループは同時に複数のトピックをサブスクライブでき、トピックは複数のグループによって同時にサブスクライブすることもできます。

トピックは複数のグループによって同時にサブスクライブできますが、トピックのメッセージを使用できるのは同じグループ内のコンシューマのみです。

オープンソースとの互換性:

シームレスな移行:

HouseKeeping (健全性検査コンポーネント): Cloud Message Queue Kafka バージョンのコア リンクの実行時検査に使用され、クラスターの包括的なスキャンと診断を毎分実行し、異常なステータスに対してアラームを発行できます。同時に、Cloud Message Queue Kafka バージョン システムの健全性状態の監視を容易にするために、全体的な検査レポートが Alibaba Cloud の運用および保守担当者に毎日発行されます。

ビジネスの監視と警報: 各消費者グループは、メッセージの蓄積に対する監視と警報を設定して、問題を時間内に発見できるようにすることができます。

OpenAPI: Cloud Message Queue Kafka バージョンでは、一連のリソース管理、運用および保守機能を実装するための管理および制御 OpenAPI の完全なセットが提供されます。

フルマネージドで操作不要のデータ処理コンポーネントを提供し、柔軟な関数プログラミングをサポートし、データを簡単かつ柔軟に処理します。

大規模なクラウド製品と自社構築のビッグデータエコロジー製品を接続し、データの統合と計算を簡単に実現するコネクタをサポートします。

カーネルを徹底的に最適化して、オープン ソース バージョンの千レベル パーティションのパフォーマンス ボトルネックを解決し、損失なく 1 万レベル パーティションのパフォーマンスをサポートします。

第 2 レベルの拡張をサポートします。

最大 2 GB のトラフィックの書き込みをサポートします。

Alibaba Cloud のメッセージング製品の研究開発およびパフォーマンス最適化チームは、より良いサービスを提供するために、オープンソース製品の問題点をさらに最適化しました。

データの永続性: 専門チームが高い可用性を確保し、メッセージの永続性がメッセージ キューに配置されます。データの信頼性が高く、サービスの可用性も高くなります。

高スループット機能: 大量のメッセージが蓄積されても、常にスループットを維持できます。

Cloud Message Queue Kafka バージョン クラスターの高スループット機能。

数万のトピック: 数万のトピックの同時読み取りと書き込みをサポートし、常に維持されます。

グレースケール アップグレード、アップグレード/コールド データなどの極端なシナリオでの書き込み最適化保証をサポートします。

全自動の検査と運用保守システムにより、99.9%のサービス可用性と99.999999%のデータ信頼性が保証されます。

認証および認可メカニズム、ユーザーの分散化、エンタープライズレベルのセキュリティ保護などの機能を提供します。

権限管理: Alibaba Cloud アカウントと RAM ユーザー、ブラック/ホワイト リスト、STS などの機能を完全にサポートし、Alibaba Cloud アカウントと RAM ユーザーの認証サービス、および企業間のクロスアカウントを実現します。

アクセスセキュリティ: Alibaba Cloud アカウントシステムに基づいて、SASL メカニズムを使用してユーザー ID を認証し、SSL を使用して送信チャネルを暗号化し、送信プロセス中にデータが盗まれたり改ざんされたりしないようにし、セキュリティを確保します。あなたのデータ。

Alibaba Cloud VPC: パブリック ネットワーク アクセスに加えて、Cloud Message Queue Kafka バージョンはプライベート ネットワーク VPC もサポートします。 IP アドレス範囲の選択、ルーティング テーブルやゲートウェイの構成など、独自のプライベート ネットワークを完全に制御できます。クラウド サーバー、クラウド データベース RDS バージョン、負荷分散などの Alibaba Cloud リソースを独自に定義したプライベート ネットワークで使用できます。

オープン ソースの Apache Kafka と比較して、強力な処理エンジンは、高い同時読み取りと書き込み、第 2 レベルのスケーリング、信頼性の高いクラウド ストレージを備えた数万のトピックをサポートし、非常にコスト効率の高い選択肢を提供します。また、健全性検査コンポーネント、ビジネス機能も提供します。監視機能とアラーム機能により、タイムリーかつ効果的な方法で問題を発見して対処できます。

パブリッシュ/サブスクライブ モデルの Cloud Message Queue Kafka バージョンを使用すると、Web サイトのアクティビティ データ (登録、ログイン、リチャージ、支払い、購入など) をリアルタイムで収集し、ビジネス データの種類に応じてさまざまなトピックにメッセージをパブリッシュし、実際の- サブスクリプション メッセージのタイム配信、リアルタイム処理、リアルタイム監視にメッセージ フローを使用するか、オフライン処理のために Hadoop や MaxCompute などのオフライン データ ウェアハウス システムにメッセージをロードします。

Cloud Message Queue Kafka バージョンには、Web サイトのアクティビティ追跡に関して次の利点があります。

Cloud Message Queue Kafka バージョンは、高いパフォーマンスを備えながら、より強力なデータ永続性とエンドツーエンドの応答時間の短縮を実現できます。 Cloud Message Queue Kafka のこの特性により、Cloud Message Queue Kafka はログ収集センターとして適しています。 Cloud Message Queue Kafka Edition はファイルの詳細を無視し、複数のホストまたはアプリケーションのログ データをログまたはイベントのメッセージ ストリームに抽象化し、それらを Cloud Message Queue Kafka Edition クラスターに非同期で送信することで、非常に低い RT を実現します。 Cloud Message Queue Kafka バージョン クライアントは、プロデューサーにパフォーマンスのオーバーヘッドをほとんど与えることなく、メッセージをバッチで送信し、メッセージを圧縮できます。消費者は、Hadoop や MaxCompute などのオフライン ウェアハウス ストレージや、Strom や Spark などのリアルタイム オンライン分析システムを使用して、ログの統計分析を実行できます。

Cloud Message Queue Kafka バージョンには、データ集約に関して次の利点があります。

株式市場の動向分析、気象データの計測と管理、ウェブサイトのユーザー行動分析などの多くの分野では、急速、リアルタイム、大量のデータが生成されるため、これらのデータを統一的に収集することが困難であり、その結果、従来のデータ処理アーキテクチャではニーズを満たすことができなくなります。従来の建築とは異なり、

クラウド メッセージ キュー Kafka バージョンと、Storm、Samza、Spark などのデータ処理エンジンの登場により、この種のデータの処理で発生する問題がより適切に解決されます。データ処理モデルは、データ フロー中のデータ処理を実現できます。プロセスをリアルタイムで取得して処理し、ビジネス要件に従って計算と分析を実行し、最終的に結果を必要なコンポーネントに保存または配布します。

Cloud Message Queue Kafka バージョンには、データ処理に関して次の利点があります。

過去 10 年ほどで、KV ストレージ (HBase)、検索 (Elasticsearch)、ストリーミング処理 (Storm、Spark、Samza)、時系列データベース (OpenTSDB) などの特殊なシステムが登場しました。これらのシステムは単一の目標を念頭に置いて作成されており、そのシンプルさにより、汎用ハードウェア上に分散システムを構築することがより簡単かつコスト効率よくなります。多くの場合、同じデータセットを複数の特殊なシステムに注入する必要があります。たとえば、アプリケーション ログをオフライン ログ分析に使用する場合、個々のログ レコードを検索することも不可欠ですが、クラウド メッセージングを使用して各種類のデータを収集し、それらを独自の専用システムにインポートするための独立したワークフローを構築することは明らかに非現実的です。 queue Kafka バージョンはデータ転送ハブとして機能し、同じデータを異なる専用システムにインポートできます。

Cloud Message Queue Kafka バージョンには、データ転送ハブとして次の利点があります。

箱から出してすぐに使えます

フルマネージドサービス

明確な SLA を提供して、複数の可用性ゾーンで高可用性を確保します。コンピューター室全体が利用できない場合でも、メッセージング サービスは通常通り提供されます。

クラスター分散展開では、サービス ノードはステートレスであり、単一ポイントを持ちません。 1 つのノードが利用できない場合でも、他のノードへのフェールオーバーを要求して、メッセージ サービスが正常に提供されるようにします。

遅延メッセージ

メッセージの再試行

Dead LetterExchange

プラットフォームのパフォーマンスの上限

単一キューの拡張

柔軟なスケーリング

大量の蓄積

許可の粒度

マスターアカウントとサブアカウント

暗号化された送信

単一のアプリケーションをマイクロサービスに分解した後、異なるマイクロサービス間の通信に使用できます。アプリケーションの分離の利点は、異なるアプリケーションの反復が相互に依存しなくなることですが、非同期通信の利点は、データをすぐに処理する必要がなくなることです。非同期デカップリングにより、データリンク長が効果的に短縮され、データ処理効率が向上します。

大規模なイベントによって大量のトラフィックが発生する場合、それに応じた保護を怠ると、システムの過負荷が発生したり、過剰な制限によってリクエストが大量に失敗したりして、ユーザー エクスペリエンスに影響を与える可能性があります。

Cloud Message Queue RabbitMQ バージョンでは、山を切り詰めて谷を埋めることができます。その高性能メッセージ処理機能は、トラフィック パルスに圧倒されることなく処理でき、高速かつ効果的な要求応答テクノロジを通じてユーザー エクスペリエンスを向上させながら、システムの可用性を確保します。その大規模なメッセージ蓄積機能により、下流のビジネスが安全なレベル内でスムーズかつ安定して実行され、トラフィックのピークの影響が回避されます。

データベースへの同時アクセスが多数あると、ページの応答時間が長くなる可能性があります。 Cloud Message Queue RabbitMQ バージョンを介して分散キャッシュを構築し、データ変更のリアルタイム通知をサポートし、ページの応答時間を効果的に短縮し、変更に対する大規模なアクセス要件を満たします。

: プロデューサがメッセージを送信するメッセージ トピック、第 1 レベルのメッセージ タイプ。

: メッセージ発行者としても知られ、メッセージを作成してトピックに送信する責任を負います。

: メッセージ サブスクライバとも呼ばれ、トピックからのメッセージを受信して​​消費する責任があります。

: プロデューサによってトピックに送信され、最終的にコンシューマに送信されるデータ。

Cloud Message Queue MQTT バージョンは、他の Alibaba Cloud 製品とのデータの相互運用性を可能にするリソースです。

Cloud Message Queue MQTT版は端末とクラウドを接続し、デバイスとクラウド間の双方向通信を実現します。このデバイスは、Cloud Message Queue MQTT バージョンを介してクラウド ビジネス アプリケーションと直接通信でき、他の Alibaba Cloud 製品とのメッセージ データの製品間相互運用性も実現できます。

このモデルの一般的なアプリケーション シナリオは、スマート デバイスのステータス データを報告したり、クラウド コントロール アプリケーションに指示を発行したりすることです。

このモデルは、モバイル アプリまたはデバイス間のデータ通信に適しています。一般的なシナリオは、IM 通信シナリオでは 2 人のユーザーがメッセージを直接チャットし、スマート デバイス シナリオではアプリがスマート デバイスを制御します。このモデルでは、メッセージ プロデューサとコンシューマが端末デバイス上に分散され、MQTT プロトコルを介してクラウド メッセージ キュー MQTT バージョン製品に接続されます。

MQTT 3.1.1 プロトコルをサポートし、WebSocket プロトコルをサポートし、ほとんどのモバイル開発プラットフォームと言語をカバーするあらゆる SDK と互換性があります。

数千万のデバイスのオンライン接続、数百万の同時メッセージ、数兆の転送、ミリ秒レベルのプッシュをサポートし、単一点のボトルネックがなく、コンポーネント間の無制限の水平拡張をサポートします。

デバイスレベルの権限制御、一時トークンサービス、TLS 1.2バージョンの安全な伝送プロトコルをサポートし、ユーザーデータの安全性と信頼性を確保します。

Cloud Message Queue MQTT バージョンと Cloud Message Queue RocketMQ バージョン間のメッセージ交換により、デバイスとクラウド間の双方向通信が可能になり、効率性と信頼性が向上します。

運用やメンテナンスは不要で、メッセージングサービスを自分で構築する必要もありません。

簡単にアクセスできる、標準の HTTP RESTful インターフェイス。

C、Java、C#、Python、PHP、Go などを含む複数言語 SDK のサポートは引き続き強化されています。

メッセージのコピーが 3 つあり、信頼性が高い。

高いサービス可用性。

独自のメカニズムで常に書き込み可能を保証します。

マルチレベルのセキュリティ保護と DDoS 攻撃の防止。

マルチユーザー分離メカニズム。各ユーザーには独立した名前空間が備わっています。

異なる RAM ユーザーへの異なるアクセス許可の付与をサポートします。

HTTPS および VPC アクセスをサポートします。

キューの数とキューのストレージ容量は拡張性が高くなります。

サービスの規模は自動的に拡大され、ユーザーにとっては透過的です。

世界中の複数の地域でサービスを提供します。

高速かつ直接的なので、ユーザーとの接続にかかる時間はわずか 3 秒です。

トリプルプレイ専用チャンネル。

専用線コンピュータ室は大容量と高同時実行をサポートします。

到達率が高く、工業情報化部の番号ポータビリティプラットフォームにリアルタイムで接続されている。

キャリアグレードの運用保守保証、リアルタイム監視、自動切り替え。

ベスト プラクティス ケースの共有を継続的に強化します。

24時間年中無休の作業指示サポート。

カスタマイズ可能なオンサイトサポートが利用可能。