생산자는 Cloud 메시지 대기열 RocketMQ 버전에서 메시지를 생성하는 데 사용되는 실행 개체입니다. 일반적으로 비즈니스 호출 링크의 업스트림에 통합됩니다. 생산자는 가볍고 익명이며 신원이 없습니다.

주제: Cloud 메시지 대기열 RocketMQ의 메시지 전송 및 저장을 위한 그룹화 컨테이너입니다. 주제는 내부적으로 여러 대기열로 구성됩니다. 메시지의 저장 및 수평 확장은 실제로 주제 내의 대기열을 통해 구현됩니다.

큐(MessageQueue): RocketMQ Cloud 메시지 큐의 메시지 전송 및 저장을 위한 실제 단위 컨테이너로, Kafka의 파티션과 유사합니다. 클라우드 메시지 큐 RocketMQ는 스트리밍 특성을 지닌 무한 큐 구조를 사용하여 메시지를 저장하며, 메시지는 큐에 순차적으로 저장되는 특성을 갖습니다.

메시지: Cloud Message Queue RocketMQ 버전의 최소 전송 단위입니다. 메시지는 변경할 수 없으며 최초 전송 및 저장 완료 후에는 변경이 불가능해집니다.

ConsumerGroup: Cloud Message Queue RocketMQ의 게시-구독 모델에 정의된 독립적인 소비자 ID 그룹으로, 하단에서 실행되는 여러 소비자(Consumers)를 균일하게 관리하는 데 사용됩니다. 동일한 Consumer Group의 여러 Consumer는 소비 로직과 구성을 일관되게 유지해야 하며, Consumer Group이 구독하는 메시지를 공동으로 공유하여 소비 역량의 수평적 확장을 달성해야 합니다.

소비자: 메시지를 소비하는 RocketMQ 버전 Cloud 메시지 대기열의 실행 개체입니다. 일반적으로 비즈니스 호출 링크의 다운스트림에 통합됩니다. 소비자는 소비자 그룹에 할당되어야 합니다.

구독: Cloud 메시지 큐 RocketMQ의 게시 및 구독 모델에서 메시지 필터링, 재시도, 소비 진행에 대한 규칙 구성입니다. 구독 관계는 소비자 그룹의 세분성에서 관리됩니다. 구독 관계를 정의함으로써 소비자 그룹은 지정된 소비자 그룹에 속한 소비자가 메시지 필터링, 소비 재시도, 소비 진행 복구 등을 구현하는 방법을 제어합니다.

동기 RPC 호출 모델에서는 호출 통신이 서로 다른 시스템 간에 직접 수행됩니다. 각 요청은 호출자에서 호출 수신자에게 직접 전송되며 호출 결과가 호출자에게 즉시 응답 결과를 반환해야 합니다. 성공적인.

비동기 메시지 통신 모드에서는 강한 결합 없이 하위 시스템이 직접 연결됩니다. 호출자는 요청을 비동기 이벤트(메시지)로 변환하여 전송이 성공하면 비동기 링크 호출이 됩니다. 완료된 것으로 간주되며 나머지 작업 중개 에이전트는 작업 실행이 완료되었는지 확인하기 위해 다운스트림 호출 시스템에 이벤트를 안정적으로 알리는 역할을 담당합니다. 중간 에이전트는 일반적으로 메시지 미들웨어입니다.

비동기 통신의 장점은 다음과 같습니다.

Point-to-Point 모델은 큐 모델이라고도 하며 다음과 같은 특징을 가지고 있습니다.

게시-구독 모델에는 다음과 같은 특징이 있습니다.

지점 간 모델과 게시-구독 모델은 각각 고유한 장점을 가지고 있습니다. 지점 간 모델은 더 간단하고 게시-구독 모델은 확장성이 더 뛰어납니다.

Cloud Message Queue RocketMQ에서 사용하는 전송 모델은 게시-구독 모델이므로 게시-구독 모델의 특성도 가지고 있습니다.

빅 데이터 분야: 웹 사이트 행동 분석, 로그 집계, 애플리케이션 모니터링, 스트리밍 데이터 처리, 온라인 및 오프라인 데이터 분석 및 기타 분야.

데이터 통합: MaxCompute, OSS, RDS, Hadoop 및 HBase와 같은 오프라인 데이터 웨어하우스로 메시지를 가져옵니다.

데이터 처리 통합: StreamCompute, E-MapReduce, Spark, Storm 및 기타 엔진과 통합됩니다.

시스템 구조

생산자

카프카 브로커

그룹

사육사

Cloud Message Queue Kafka 버전의 게시/구독 모델

그룹과 주제 간의 해당 관계는 N:N입니다. 즉, 그룹은 동시에 여러 주제를 구독할 수 있고 주제는 동시에 여러 그룹에서 구독할 수도 있습니다.

주제는 동시에 여러 그룹에서 구독할 수 있지만 주제의 메시지는 동일한 그룹의 소비자만 사용할 수 있습니다.

오픈 소스와 호환 가능:

원활한 마이그레이션:

HouseKeeping(상태 검사 구성요소): Cloud Message Queue Kafka 버전의 핵심 링크에 대한 런타임 검사에 사용됩니다. 매분 클러스터에 대한 포괄적인 검사 및 진단을 수행하고 비정상 상태에 대한 경보를 실행할 수 있습니다. 동시에 전체 검사 보고서는 Alibaba Cloud 운영 및 유지 관리 담당자에게 매일 발행되어 Cloud Message Queue Kafka 버전 시스템의 상태 모니터링을 용이하게 합니다.

비즈니스 모니터링 및 알람: 각 소비자 그룹은 메시지 누적에 대한 모니터링 및 알람을 설정하여 적시에 문제를 찾는 데 도움을 줄 수 있습니다.

OpenAPI: Cloud Message Queue Kafka 버전은 일련의 리소스 관리와 운영 및 유지 관리 기능을 구현하기 위한 완전한 관리 및 제어 OpenAPI 세트를 제공합니다.

완전히 관리되고 작동이 필요 없는 데이터 처리 구성 요소를 제공하고 유연한 함수 프로그래밍을 지원하며 데이터를 쉽고 유연하게 처리합니다.

대규모 클라우드 제품과 자체 구축한 빅데이터 생태 제품을 연결하는 커넥터를 지원하여 데이터 통합 ​​및 계산을 쉽게 구현합니다.

오픈 소스 버전의 천 레벨 파티션의 성능 병목 현상을 해결하고 손실 없이 만 레벨 파티션의 성능을 지원하기 위해 커널을 심층적으로 최적화합니다.

두 번째 수준 확장을 지원합니다.

최대 2GB 트래픽 쓰기를 지원합니다.

Alibaba Cloud의 메시징 제품 R&D 및 성능 최적화 팀은 더 나은 서비스를 제공하기 위해 오픈 소스 제품의 문제점을 더욱 최적화했습니다.

데이터 지속성: 전문팀이 더 높은 가용성을 보장하며, 메시지 지속성은 메시지 큐에 배치됩니다. 데이터 신뢰성이 높고 서비스 가용성이 높습니다.

높은 처리량 능력: 대용량 메시지가 누적되더라도 항상 유지 관리 가능

Cloud Message Queue Kafka 버전 클러스터의 높은 처리량 기능.

수만 개의 주제: 수만 개의 주제에 대한 높은 동시 읽기 및 쓰기를 지원하며 항상 유지됩니다.

그레이스케일 업그레이드, 업그레이드/콜드 데이터 등과 같은 극단적인 시나리오에서 쓰기 최적화 보장을 지원합니다.

전자동 점검 및 운영 유지보수 시스템으로 서비스 가용성 99.9%, 데이터 신뢰성 99.999999%를 보장합니다.

인증 및 권한 부여 메커니즘, 사용자 분산화, 기업 수준의 보안 보호 등의 기능을 제공합니다.

권한 관리: Alibaba Cloud 계정 및 RAM 사용자, 블랙 및 화이트 목록, STS 및 기타 기능을 완벽하게 지원하고 Alibaba Cloud 계정 및 RAM 사용자에 대한 인증 서비스는 물론 기업 간 교차 계정을 실현합니다.

액세스 보안: Alibaba Cloud 계정 시스템을 기반으로 SASL 메커니즘을 사용하여 사용자 신원을 인증하고 SSL을 사용하여 전송 채널을 암호화하여 전송 프로세스 중에 데이터가 도난당하거나 변조되지 않도록 하여 보안을 보장합니다. 귀하의 데이터.

Alibaba Cloud VPC: Cloud Message Queue Kafka 버전은 공용 네트워크 액세스 외에도 개인 네트워크 VPC도 지원합니다. IP 주소 범위 선택, 라우팅 테이블 및 게이트웨이 구성 등 자체 개인 네트워크를 완전히 제어할 수 있습니다. 자체 정의된 개인 네트워크에서 클라우드 서버, 클라우드 데이터베이스 RDS 버전, 로드 밸런싱과 같은 Alibaba Cloud 리소스를 사용할 수 있습니다.

오픈 소스 Apache Kafka와 비교할 때 강력한 처리 엔진은 높은 동시 읽기 및 쓰기, 2단계 확장 및 안정적인 클라우드 스토리지를 통해 수만 개의 항목을 지원하며 매우 비용 효율적인 선택을 제공합니다. 건강 검사 구성 요소, 비즈니스도 제공합니다. 모니터링 및 경보 기능을 통해 시기적절하고 효과적인 방식으로 문제를 발견하고 처리할 수 있습니다.

게시/구독 모델의 Cloud Message Queue Kafka 버전을 사용하면 웹사이트 활동 데이터(예: 등록, 로그인, 충전, 결제, 구매)를 실시간으로 수집하고 비즈니스 데이터 유형에 따라 다양한 주제에 메시지를 게시한 다음 실제 사용이 가능합니다. 구독 메시지의 시간 전달, 실시간 처리, 실시간 모니터링을 위해 메시지 흐름을 사용하거나 오프라인 처리를 위해 Hadoop 및 MaxCompute와 같은 오프라인 데이터 웨어하우스 시스템에 로드합니다.

Cloud Message Queue Kafka 버전은 웹사이트 활동 추적에 다음과 같은 이점이 있습니다.

Cloud Message Queue Kafka 버전은 고성능을 유지하면서 더 강력한 데이터 지속성과 더 짧은 엔드 투 엔드 응답 시간을 달성할 수 있습니다. Cloud Message Queue Kafka의 이러한 특성은 로그 수집 센터로 적합합니다. Cloud Message Queue Kafka Edition은 파일의 세부정보를 무시하고 여러 호스트 또는 애플리케이션의 로그 데이터를 로그 또는 이벤트의 메시지 스트림으로 추상화하여 Cloud Message Queue Kafka Edition 클러스터에 비동기식으로 전송할 수 있으므로 RT가 매우 낮습니다. Cloud Message Queue Kafka 버전 클라이언트는 생성자에 대한 성능 오버헤드가 거의 없이 메시지를 일괄 제출하고 메시지를 압축할 수 있습니다. 소비자는 Hadoop, MaxCompute 등의 오프라인 웨어하우스 스토리지와 Strom, Spark 등의 실시간 온라인 분석 시스템을 사용하여 로그에 대한 통계 분석을 수행할 수 있습니다.

Cloud Message Queue Kafka 버전은 데이터 집계에 다음과 같은 이점이 있습니다.

주식시장 동향분석, 기상자료 측정 및 제어, 웹사이트 이용자 행태분석 등 많은 분야에서는 데이터 생성이 빠르고 실시간이며 대용량으로 인해 이러한 데이터를 통일적으로 수집하기 어렵고, 따라서 처리를 위해 데이터베이스에 저장하므로 기존 데이터 처리 아키텍처는 이러한 요구 사항을 충족할 수 없습니다. 전통적인 건축과는 달리,

클라우드 메시지 대기열 Kafka 버전과 Storm, Samza, Spark와 같은 데이터 처리 엔진의 출현은 이러한 유형의 데이터 처리에서 발생하는 문제를 더 잘 해결하기 위한 것입니다. 데이터 처리 모델은 데이터 흐름 중에 데이터 처리를 실현할 수 있습니다. 프로세스를 실시간으로 캡처 및 처리하고 비즈니스 요구 사항에 따라 계산 및 분석을 수행하고 최종적으로 결과를 필요한 구성 요소에 저장하거나 배포합니다.

Cloud Message Queue Kafka 버전은 데이터 처리에 다음과 같은 이점이 있습니다.

지난 10여년 사이에 KV 스토리지(HBase), 검색(Elasticsearch), 스트리밍 처리(Storm, Spark, Samza), 시계열 데이터베이스(OpenTSDB) 등 특수 시스템이 등장했습니다. 이러한 시스템은 단일 목표를 염두에 두고 만들어졌으며 단순성을 통해 상용 하드웨어에 분산 시스템을 구축하는 것이 더 쉽고 비용 효율적입니다. 동일한 데이터 세트를 여러 특수 시스템에 주입해야 하는 경우가 많습니다. 예를 들어 애플리케이션 로그를 오프라인 로그 분석에 사용하는 경우 개별 로그 기록을 검색하는 것도 필수적입니다. 클라우드 메시징을 사용하여 각 유형의 데이터를 수집한 다음 이를 자체 전용 시스템으로 가져오는 독립적인 워크플로를 구축하는 것은 분명히 비현실적입니다. 대기열 Kafka 버전은 데이터 전송 허브 역할을 하며 동일한 데이터를 다른 전용 시스템으로 가져올 수 있습니다.

Cloud Message Queue Kafka 버전은 데이터 전송 허브로서 다음과 같은 장점이 있습니다.

즉시 사용 가능

완전관리형 서비스

여러 가용 영역에서 고가용성을 보장하기 위해 명확한 SLA를 제공합니다. 전산실 전체를 사용할 수 없는 경우에도 메시징 서비스는 정상적으로 제공될 수 있습니다.

클러스터 분산 배포, 서비스 노드는 상태 비저장이며 단일 지점이 없습니다. 단일 노드를 사용할 수 없는 경우에도 다른 노드로 Failover를 요청하여 메시지 서비스가 정상적으로 제공될 수 있도록 합니다.

지연된 메시지

메시지 재시도

죽은 편지교환

플랫폼 성능 상한

단일 대기열 확장

탄력적 확장

대규모 축적

권한 세분성

마스터 및 하위 계정

암호화된 전송

단일 애플리케이션이 마이크로서비스로 분해된 후 서로 다른 마이크로서비스 간의 통신에 사용될 수 있습니다. 애플리케이션 분리의 이점은 서로 다른 애플리케이션의 반복이 더 이상 서로 의존하지 않는다는 점이며, 비동기 통신의 이점은 데이터를 더 이상 즉시 처리할 필요가 없다는 것입니다. 비동기식 분리는 데이터 링크 길이를 효과적으로 단축하고 데이터 처리 효율성을 향상시킬 수 있습니다.

대규모 이벤트로 인해 높은 트래픽 펄스가 발생하는 경우 그에 따른 보호에 실패하면 쉽게 시스템 과부하가 발생하거나 심지어 충돌이 발생할 수 있으며 이로 인해 요청이 많이 실패하여 사용자 경험에 영향을 줄 수 있습니다.

Cloud Message Queue RabbitMQ 버전은 최고점을 자르고 최저점을 채울 수 있습니다. 고성능 메시지 처리 기능은 트래픽 펄스를 과부하 없이 처리할 수 있어 빠르고 효과적인 요청 응답 기술을 통해 사용자 경험을 향상시키는 동시에 시스템 가용성을 보장합니다. 대규모 메시지 축적 기능을 통해 다운스트림 비즈니스가 안전한 수준 내에서 원활하고 안정적으로 운영되고 트래픽 피크의 영향을 피할 수 있습니다.

데이터베이스에 대한 동시 액세스 수가 많으면 페이지 응답 시간이 길어질 수 있습니다. Cloud 메시지 큐 RabbitMQ 버전을 통해 분산 캐시를 구축하여 데이터 변경 사항에 대한 실시간 알림을 지원하고 페이지 응답 시간을 효과적으로 줄이며 변경 사항에 대한 대규모 액세스 요구 사항을 충족합니다.

: 생산자가 메시지를 보내는 메시지 주제, 첫 번째 수준 메시지 유형입니다.

: 메시지 게시자라고도 하며 메시지를 생성하고 주제에 보내는 일을 담당합니다.

: Topic에서 메시지를 수신하고 소비하는 일을 담당하는 메시지 구독자라고도 합니다.

: 생산자가 Topic으로 전송하고 최종적으로 Consumer에게 전달되는 데이터입니다.

Cloud Message Queue MQTT 버전은 다른 Alibaba Cloud 제품과의 데이터 상호 운용성을 지원하는 리소스입니다.

Cloud Message Queue MQTT 버전은 터미널과 클라우드를 연결하여 기기와 클라우드 간의 양방향 통신을 구현합니다. 이 장치는 Cloud Message Queue MQTT 버전을 통해 클라우드 비즈니스 애플리케이션과 직접 통신할 수 있으며 다른 Alibaba Cloud 제품과 메시지 데이터의 제품 간 상호 운용성을 달성할 수도 있습니다.

이 모델의 일반적인 애플리케이션 시나리오는 스마트 장치의 상태 데이터를 보고하거나 클라우드 제어 애플리케이션에 대한 지침을 발행하는 것입니다.

이 모델은 모바일 앱이나 장치 간의 데이터 통신에 적합합니다. 일반적인 시나리오는 IM 통신 시나리오에서 두 명의 사용자가 직접 채팅하는 시나리오와 스마트 장치 시나리오에서 앱이 스마트 장치를 제어하는 ​​경우입니다. 이 모델에서는 메시지 생산자와 소비자가 단말 장치에 분산되어 MQTT 프로토콜을 통해 클라우드 메시지 대기열 MQTT 버전 제품에 연결됩니다.

MQTT 3.1.1 프로토콜을 지원하고 WebSocket 프로토콜을 지원하며 대부분의 모바일 개발 플랫폼 및 언어를 지원하는 모든 SDK와 호환됩니다.

수천만 개의 장치, 수백만 개의 동시 메시지, 수조 개의 전송 및 밀리초 수준의 분산 아키텍처 설계, 단일 지점 병목 현상 없음 및 구성 요소 간 무제한 수평 확장의 온라인 연결을 지원합니다.

사용자 데이터의 안전과 신뢰성을 보장하기 위해 장치 수준 권한 제어, 임시 토큰 서비스 및 TLS 1.2 버전 보안 전송 프로토콜을 지원합니다.

Cloud Message Queue MQTT 버전과 Cloud Message Queue RocketMQ 버전 간의 메시지 교환은 기기와 클라우드 간의 양방향 통신을 가능하게 하여 더욱 효율적이고 안정적입니다.

운영 및 유지 관리가 필요하지 않으며 직접 메시징 서비스를 구축할 필요도 없습니다.

쉬운 액세스, 표준 HTTP RESTful 인터페이스.

C, Java, C#, Python, PHP, Go 등을 포함한 다중 언어 SDK 지원이 계속해서 강화되고 있습니다.

메시지 사본이 3개 있으며 신뢰성이 높습니다.

높은 서비스 가용성.

독특한 메커니즘으로 항상 쓰기가 가능합니다.

다단계 보안 보호 및 DDoS 공격 방지.

다중 사용자 격리 메커니즘으로 각 사용자는 독립적인 네임스페이스를 갖습니다.

다양한 RAM 사용자에게 다양한 액세스 권한 부여를 지원합니다.

HTTPS 및 VPC 액세스를 지원합니다.

대기열 수와 대기열 저장 용량은 확장성이 뛰어납니다.

서비스 규모는 자동으로 확장되고 사용자에게 투명해집니다.

전 세계 여러 지역에서 서비스를 제공합니다.

빠르고 직접적이며 사용자에게 연결하는 데 단 3초밖에 걸리지 않습니다.

트리플 플레이 독점 채널.

전용회선 전산실은 대용량, 높은 동시성을 지원합니다.

도착율이 높고 산업정보부의 번호이동성 플랫폼과 실시간으로 연결됩니다.

캐리어급 작동 및 유지 관리 보장, 실시간 모니터링 및 자동 전환.

우수사례 공유를 지속적으로 강화합니다.

연중무휴 작업 주문 지원.

맞춤형 현장 지원이 가능합니다.