Spring Batch (1) 개요

회사에서 Spring Batch 프로젝트를 사용하고 있습니다. 다만, 대용량의 데이터 처리가 아닌, 단순 1회성 서비스를 실행하기 위해 레거시 프로젝트를 Spring Batch 프로젝트로 조금씩 이관하고 있는데요, 기존에 작성된 코드를 참고하여 필요한 부분만 파악한 후 코드를 작성하다보니 Spring Batch의 사상이나 개념, 유용한 기능(skip, retry, chunk, listener 등등)들에 대해 자세히 알지 못한채 개발하고 있는 것 같습니다.

 

따라서 Spring Batch 프로젝트의 배경부터 개념, 용어, 다양한 기능 등등에 대해 정리하여 학습하고자 합니다.

 

해당 포스팅의 목표

• Spring Batch 소개
• Spring Batch 배경
• Spring Batch 아키텍처
• Spring Batch 구성도

 

 

Spring Batch 소개

• Spring Batch는 엔터프라이즈 시스템의 일상적인 운영에 필수적인 강력한 Batch Application의 개발을 가능하게 하도록 설계된 경량급 포괄적인 배치 프레임워크
• Spring Batch는 로깅/추적, 트랜잭션 관리, Job 처리 전략, Job Restart, Skip, Retry, 리소스 관리 등 대용량 데이터 처리에 필수적인 재사용 가능한 기능을 제공

엔터프라이즈 도메인에서 비즈니스 운영을 수행하기 위한 대량 처리는 다음과 같은 사항들이 있습니다.

• 사용자의 상호 작용 없이 가장 효율적으로 처리되는 대량 정보의 자동화된 복잡한 처리 - 시간 기반의 이벤트(월말 계산, 통지 등)
• 매우 많은 데이터 셋에서 반복적으로 처리되는 복잡한 비즈니스 규칙의 주기적인 어플리케이션
• Batch 처리는 엔터프라이즈 환경에서 매일 수십억 건의 트랜잭션을 처리하는 데 사용

 

 

배경

• 다른 기술에 비해 Java 기반 표준 배치 기술의 부재
• Batch 처리에서 요구하는 재사용 가능한 자바 기반의 배치 아키텍처 표준이 필요함
• SpringSource(현재 Pivotal)와 Accenture(경영 컨설팅 기업)의 합작품으로 Spring Batch가 개발됨
  • Accenture : 배치 아키텍처를 구현하며 쌓은 기술적인 경험과 노하우
  • SpringSource : 깊이 있는 기술 경험 및 스프링 기반 프로그래밍 모델 제공
• 두 회사는 Spring 기반 Batch 아키텍처 솔루션을 개발하여 유사한 문제를 해결하는 많은 클라이언트와 협업함
• Accenture는 이전에 소유한 배치 처리 아키텍처 프레임워크를 Spring Batch 프로젝트에 기여함

 

 

Batch Usage Scenarios

배치 핵심 패턴

• Read : 데이터베이스, 파일, 큐 등에서 다량의 데이터를 조회
• Process : 특정 방식으로 데이터를 처리(가공)
• Write : 데이터를 수정된 형식으로 저장(Write)

Spring Batch는 위와 같은 기본 배치 반복을 자동화하여 사용자의 상호 작용 없이 오프라인 환경에서 유사한 트랜잭션을 처리할 수 있는 기능을 제공

 

비즈니스 시나리오

• 배치 프로세스를 주기적으로 일괄 커밋
• 동시 일괄 처리: Job의 병렬 처리
• 대규모 병렬 배치 처리
• 실패 후 수동 또는 스케줄링에 의한 재시작
• 의존 관계가 있는 Step 여러 개를 순차적으로 처리
• Repeat, Retry, Skip 등의 처리

 

Spring Batch Architecture

Application 

• 스프링 배치 프레임워크를 통해 개발자가 만든 모든 Batch Job, 커스텀 코드를 포함
• 개발자는 비즈니스 로직의 구현에만 집중하고, 공통적인 기술은 프레임워크가 담당

Batch Core

• Job의 실행, 모니터링, 관리 API로 구성
• JobLauncher, Job, Step, Flow 등
• Job의 명세서

Batch Infrastructure

• Application, Core 모두 공통 Infrastructure 위에서 빌드됨
• Job 실행의 흐름과 처리를 위한 틀 제공
• Reader, Processor, Writer, Skip, Retry 등이 속함

 

Spring Batch 구성도

• JobLauncher : Job을 실행시키는 컴포넌트
• JobRepository : Job의 실행 및 Job, Step 등을 저장
• Job : Batch Processing
• Step : Batch Job의 여러 단계 (Job과 1 : N)
• Item-Reader, Processor, Writer : 데이터를 읽고, 처리하고, 쓰는 구성 (Step과 1:1)

 

Job

• Job은 전체 배치 프로세스를 캡슐화한 도메인
• Step의 순서 정의
• Batch 작업을 실행할 때 필요한 데이터를 파라미터로 받아(JobParameters) 수행이 됨 (Optional)

 

Step

• Step은 배치 작업의 독립적이고 순차적인 단계를 캡슐화하고, 실제 배치 처리에 대한 정의 및 제어하는 데 필요한 모든 정보를 포함하는 도메인 객체
• Chunk-oriented 처리 및 Tasklet 처리 방법이 존재함

 

Chunk Step 

• Chunk란, 데이터를 덩어리로 작업할 때 각 커밋 사이에 처리되는 row 수를 의미함
• Chunk Size는 한 번에 처리될 트랜잭션의 단위
• Reader-Processor-Writer 가 하나의 Chunk의 트랜잭션 단위에서 실행됨
• 일반적으로 Spring Batch는 Chunk 지향 처리를 사용함

Tasklet Step

• 하나의 트랜잭션에서 데이터를 처리
• 단순한 처리를 할 때 사용

 

 

참고 문서

• https://docs.spring.io/spring-batch/docs/4.3.x/reference/html/spring-batch-intro.html#spring-batch-intro
• https://www.inflearn.com/course/%EC%8A%A4%ED%94%84%EB%A7%81-%EB%B0%B0%EC%B9%98/dashboard
• https://docs.spring.io/spring-batch/docs/current/reference/html/index-single.html