System Design: Message Deduplication System

https://medium.com/@aditimishra_541/system-design-message-deduplication-system-afb4679c3c00

System Design: Message Deduplication System

 

 

1. Overview

이 아티클은 수신 메시지를 처리하고 10초 이내에 도착한 반복되는 메시지를 필터링하는 시스템 디자인에 대해 설명합니다.

주요 목표는 지난 10초간 고유 메시지가 처리되지 않은 경우에만 처리되도록 하는 것입니다. 이 디자인은 중복 처리나 로그를 방지하기 위해 메시지 중복 제거가 중요한 실시간 시스템에 적합합니다.

 

2. Requirements

기능적 요구사항

• 시스템은 도착한 순서대로 수신 메시지를 처리해야 합니다.
• 메시지가 10초 이내에 반복되는 경우, 처리되어서는 안 됩니다.
• 10초 후 도착하는 메시지는 새로운 메시지로 취급되어 처리되어야 합니다.

비기능적 요구사항

• 확장성: 시스템은 여러 프류도서의 대량 메시지를 처리해야 합니다.
• 짧은 지연시간: 시스템은 메시지 수신과 처리 사이에 최소한의 지연을 보장해야 합니다.
• 내결함성: 시스템은 장애에 탄력적으로 대응하여 메시지가 손실되거나 잘못 처리되지 않도록 해야합니다.
• 동시성: 시스템은 경쟁 조건 없이 동시성의 메시지를 처리할 수 있어야 합니다.

 

3. High-Level Architecture

 컴포넌트:

• Message Producers: 시스템에 메시지를 생성하고 전송합니다.
• Message Queue: 수신 메시지를 버퍼링하여 순차 처리가 되도록 보장합니다.
• Message Processing Service: 메시지를 처리하고, 중복 여부를 확인하고, 처리할 지 결정합니다.
• Deduplication Store (In-Memory Cache): 각 메시지의 마지막에 발생한 타임스탬프를 저장합니다.
• Logging/Printing Service: 중복 제거 검사를 통과한 메시지의 출력을 처리합니다.

 

4. Detailed Design

4.1 Message Producers

• Role: 메시지 큐에 메시지를 생성하고 전송합니다.
• Considerations: 메시지에 타임스탬프를 통해 순차 처리를 유지합니다. Producers는 메시지 큐를 일시적으로 사용할 수 없는 경우, 네트워크 장애나 재시도 처리를 할 수 있어야 합니다.

4.2 Message Queue

• Role: 메시지가 도착한 순서대로 처리되도록 보장하고, 처리 서비스가 느린 경우 버퍼링합니다.

Technology Choices:

• Apache Kafka: 분산형 고처리량 메시지 처리용
• RabbitMQ: 다양한 라우팅 옵션을 지원하여 안정적인 메시지 전달을 제공
• AWS SQS: 확장성을 제공하는 완전 관리형 큐 서비스

• Considerations: FIFO 처리는 메시지의 순서를 유지하는 데 매우 중요

4.3 Message Processing Service

• Role: 각 메시지를 처리하고, 중복 제거 저장소를 사용하여 중복 여부를 확인하고, 메시지 처리
• Worker Pool: 메시지를 동시에 처리할 작업자 노드 집합
• Deduplication Logic:
  • 각 메시지에 대해 중복 저장소에서 마지막에 발생한 내용을 확인
  • 메시지가 10초 이내에 처리 되었다면 폐기
  • 메시지가 새 메시지이거나 10초가 지난 경우 처리하고 저장소 업데이트
• Concurrency Control: 경쟁 조건을 피하기 위해 캐시의 분산 락이나 원자(Atomic) 연산 사용
• Fault Tolerance: 메시지 처리 실패를 처리하기 위해 재시도 로직을 구현

4.4 Deduplication Store (In-Memory Cache)

• Role: 각 메시지가 마지막으로 처리된 시점의 타임스탬프 저장
• Technology Choices:
  • Redis: 빠른 조회 및 자동 만료에 이상적인 TTL(Time-To-Live)을 지원하는 인메모리의 key-value 저장소
  • Memcached: Redis보다 기능이 풍부하지는 않지만 고속 캐싱을 위한 간단한 대안
• Workflow:
  • Key: 메시지의 내용 혹은 해시
  • Value: 메시지가 마지막으로 처리된 시점의 타임스탬프
  • TTL: 이전 메시지의 자동 만료를 보장하기 위해 10초로 설정
• Considerations:
  • 메시지 처리 속도가 느려지지 않도록 지연 시간이 짧은 작업을 보장
  • 캐시는 대량의 고유 메시지를 처리할 수 있도록 분산되거나 확장 가능해야 합니다.

4.5 Logging / Printing Service

• Role: 중복 제거 검사를 통과한 메시지를 처리하거나 기록하는 역할을 합니다.
• Idempotency: 메시지가 중복 처리되지 않도록 보장해야 합니다.
• Reliability: 메시지는 내구성있고 신뢰할 수 있는 방식으로 기록해야 합니다.

 

5. Sequence Diagram

1. Message Arrival: 프로듀서로부터 메시지가 도착합니다.
2. Queueing: 메시지는 메시지 큐에 배치됩니다.
3. Processing:
   • 메시지 처리 서비스는 메시지를 소비(dequeue)합니다.
   • 이 메시지가 언제 마지막으로 처리되었는지 중복 저장소에서 확인합니다.
   • 메시지가 10초 이내에 처리되었다면, 폐기합니다.
   • 메시지가 새 메시지이거나 10초 이후 처리되었다면, 이 메시지는 처리하고 저장소의 타임스탬프를 업데이트합니다.
4. Logging: 메시지는 처리되거나 기록됩니다.

 

6. Performance Considerations

• Throughput: 시스템이 특히 피크 시간대에 대량의 메시지를 처리할 수 있는지 확인합니다.
• Latency: 시스템이 각 메시지를 수신하고 처리하는 데 걸리는 지연을 최소화해야 합니다.
• Scalability: 시스템은 더 많은 작업자 노드를 추가하고, 메시지 큐와 중복 저장소를 분할(partitioning)하여 수평으로 확장할 수 있어야 합니다.
• Fault Tolerance: 시스템은 어떠한 메시지도 손실되거나 잘못 처리되지 않도록 보장하여 장애로부터 우아하게 복구해야 합니다.

 

7. Example Implementation

아래는 중복 저장소로 레디스를 활용하여 메시지 처리 로직이 구현된 간단한 예시입니다.