Redis String vs Set vs Bitmap 메모리 비교

최근 Redis를 활용하여 유저별 알림 발송 이력을 관리하고, 동일한 유저에게 같은 게시글이 중복 발송되는 것을 방지해야 하는 요구사항이 있었다. 처리해야 할 요청 수는 약 300만 건,,

이 데이터를 효율적으로 관리하기 위해 Redis의 String, Set, Bitmap 중 어떤 자료구조를 사용하는 것이 적합할까?

각 타입의 특징과 메모리 사용량 등에 대해 살펴보자.

(게시글 ID는 15개, 유저 ID는 1~300만, 하나의 게시글이 여러 유저에게 발송이 가능하다고 가정한다.)

아래에서 사용되는 INFO memory 명령어의 Redis 메모리 필드에 대한 설명은 다음과 같다.

메모리 필드	설명
used_memory	현재 Redis에서 사용중인 메모리의 바이트 수
used_memory_human	used_memory에 대해 사람이 읽기 쉬운 형식으로 표시한 값
used_memory_peak	Redis에서 사용된 최고치 메모리
used_memory_peak_perc	피크 사용량 중 현재 메모리 사용량의 비율
used_memory_overhead	Redis 오버헤드 메모리 사용량 (실제 데이터 외 key, metadata 등을 관리하기 위해 사용되는 메모리)
used_memory_dataset	실제 데이터가 차지하는 메모리 양 (used_memory - used_memory_overhead)
used_memory_dataset_perc	전체 메모리 사용 중 실제 데이터가 차지하는 비율

String

String 타입은 텍스트, 직렬화된 객체, 이진 배열, 바이트 시퀀스 등을 저장하는 Redis의 가장 기본적인 자료구조이다.

주로 캐싱에 사용되지만, 카운터 구현이나 비트 연산 등의 추가 기능도 지원한다.

String 타입에는 GET, SET, MGET, MSET, SETNX, INCR 등의 명령어를 사용할 수 있다.

게시글 별로 유저를 관리하는 케이스

key: community:post:{post_id}
value: {user_id}

300만의 데이터를 String 타입으로 넣은 결과

used_memory_human: 201.16MB
used_memory_peak_perc: 4.14%
used_memory_dataset: 63,423,592 bytes(60.48MB)
used_memory_overhead: 147,512,176 bytes(140.71MB)
used_memory_dataset_perc: 30.21%

유저 별 게시글을 관리하는 케이스

key: community:post:{user_id}
value: {post_id}

300만의 데이터를 String 타입으로 넣은 결과

used_memory_human: 192.87MB
used_memory_peak_perc: 3.97%
used_memory_dataset: 54,743,408 bytes(52.20MB)
used_memory_overhead: 147,493,744 bytes(140.66MB)
used_memory_dataset_perc: 27.20%

분석

게시글 ID와 유저 ID 중 어떠한 데이터를 key로 사용하더라도 메모리 사용량은 유사하다.

따라서 String 타입을 사용하는 경우, 요구사항에 따라 적절한 key의 구조를 설계해서 사용하는 것이 좋을 듯 하다.

Set

Set은 언어에서 사용되는 자료구조와 동일하게 중복을 허용하지 않는 고유한 값들을 저장하는 데이터 타입이다.

Set 타입에서는 SADD, SCARD, SMEMBERS, SREM 등의 명령어를 사용할 수 있다.

Redis에 저장되는 key-value 구조

key: community:post:{post_id}
value: {user_ids}

used_memory_human: 100.69MB
used_memory_peak_perc: 2.07%
used_memory_dataset: 103,127,040 bytes(98.35MB)
used_memory_overhead: 2,459,176 bytes(2.34MB)
used_memory_dataset_perc: 98.61%

Bitmap

Bitmap은 실제 데이터 타입이 아닌, 비트 연산이 가능한 String 타입을 활용한 형식이다.

String의 최대 길이가 512MB이므로 최대 2^32개의 비트까지 저장할 수 있다.

동일한 key에 대해 많은 비트를 저장하는 경우 메모리를 효율적으로 사용할 수 있다.

Redis에 저장되는 key-value 구조

key: community:post:{post_id}
value: bit(0 or 1, user_id에 bit 1 값으로 설정)

예를 들어서, post_id가 100인 게시글에 대해 user_id가 1000, 2000인 유저가 알림 발송을 받았다면

SETBIT community:post:100 1000 1  # user_id 1000번 위치에 1 설정
SETBIT community:post:100 2000 1  # user_id 2000번 위치에 1 설정
GETBIT community:post:100 1001    # user_id 1001번 위치는 0 (미발송)