Spring Batch (5) Step, StepExecution

📎 Step, StepExecution

지난 시간에는 Job, JobInstance, JobParameter, JobExecution의 개념에 대해 살펴보았습니다.

 

이번 시간에는 Job을 구성하는 작업의 단위인 Step, StepExecution 객체에 대해 살펴보겠습니다.

(예제 코드는 GitHub에서 확인할 수 있습니다. 😃)

 

 

📌 해당 포스팅의 목표

• Spring Batch Step
• Spring Batch StepExecution

 

 

 

📌 Step

https://docs.spring.io/spring-batch/docs/current/reference/html/index-single.html#step

기본 개념

• Step은 독립적이고 순차적인 Batch Job을 캡슐화하는 도메인 객체
• Step에는 실제 Batch 처리를 진행하는데 필요한 모든 정보들을 포함하고 있음
• Step은 개발자가 원하는 만큼 간단하거나 복잡할 수 있음
• 모든 Job은 하나 이상의 Step으로 구성됨

 

기본 구현체

• TaskletStep : 가장 기본이 되는 클래스로 Tasklet 타입의 구현체들을 제어
• PartitionStep : 멀티 스레드 방식으로 Step을 여러 개로 분리해서 실행
• JobStep : Step 내에서 Job을 실행하도록 함
• FlowStep : Step 내에서 Flow를 실행하도록 함

 

구현체에 따른 각 Step 생성

// Tasklet - 직접 생성한 Tasklet 실행
@Bean
public Step step1() {
    return this.stepBuilderFactory.get("step")
            .tasklet(myTasklet())
            .build();


// Tasklet - ChunkOrientedTasklet 실행
@Bean
public Step step1() {
    return this.stepBuilderFactory.get("step")
            .<Member,Member>chunk(100)
            .reader(reader())
            .writer(writer())
            .build();
            

// JobStep - Step에서 Job을 실행
@Bean
public Step step1() {
    public Step jobStep () {
        return this.stepBuilderFactory.get("step")
                .job(job())
                .launcher(jobLauncher)
                .parametersExtractor(jobParametersExtractor())
                .build();
                

// FlowStep - Step에서 Flow를 실행
@Bean
public Step step1() {
    public Step flowStep () {
        return this.stepBuilderFactory.get("step")
                .flow(myFlow())
                .build();

각 Step은 위 코드처럼 다양한 방법으로 구성을 할 수 있습니다.

 

Spring Batch를 많이 접해보진 않았지만 보통 간단한 작업은 첫 번째의 Tasklet을 직접 생성하는 방식을, 대용량 데이터 처리가 필요할 경우 Chunk 기반의 두 번째 방식을 주로 사용하는 것 같습니다.

세 번째와 네 번째는 언제 주로 사용하는 게 좋은 방법인지는 추후 학습을 하면서 자세히 살펴보겠습니다. ^^;

 

 

 

📌 StepExecution

아래 StepExecution의 필드들에 대한 설명은 공식 문서를 참고해주세요 :)

기본 개념

• StepExecution은 Step에 대해 한 번의 시도를 의미하는 객체로 Step 실행에 대한 정보를 저장함
• JobExecution와 유사하게 Step이 실행될 때마다 새로운 StepExecution이 생성됨 
• 이전 단계의 Step이 실패해 현재 Step을 실행하지 않았다면, StepExecution을 생성하지 않음
• JobExecution와의 관계
  • Step의 StepExecution이 모두 정상적으로 완료되어야 JobExecution이 정상적으로 완료됨
  • 여러 Step 중 하나라도 실패하면 JobExecution은 실패함
  • JobExecution와 StepExecution은 1 : M의 관계
• BATCH_STEP_EXECUTION 테이블과 매핑

https://docs.spring.io/spring-batch/docs/current/reference/html/index-single.html

 

예제 코드

@RequiredArgsConstructor
@Configuration
public class StepExecutionConfiguration {

    private final JobBuilderFactory jobBuilderFactory;
    private final StepBuilderFactory stepBuilderFactory;

    @Primary
    @Bean
    public Job stepExecutionJob() {
        return this.jobBuilderFactory.get("StepExecutionJob")
                .start(step1())
                .next(step2())
                .next(step3())
                .build();
    }

    @Bean
    public Step step1() {
        return stepBuilderFactory.get("step1")
                .tasklet(new Tasklet() {
                    @Override
                    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) {
                        System.out.println("step1 has executed");
                        return RepeatStatus.FINISHED;
                    }
                })
                .build();
    }

    @Bean
    public Step step2() {
        return stepBuilderFactory.get("step2")
                .tasklet((contribution, chunkContext) -> {
                    System.out.println("step2 has executed");
                    return RepeatStatus.FINISHED;
                })
                .build();
    }

    @Bean
    public Step step3() {
        return stepBuilderFactory.get("step3")
                .tasklet((contribution, chunkContext) -> {
                    System.out.println("step3 has executed");
                    return RepeatStatus.FINISHED;
                })
                .build();
    }
}

이전 코드들과 대부분 비슷한 형식이기 때문에 코드에 대한 설명은 생략하겠습니다.

 

위 코드를 실행한 후 데이터베이스를 확인해 보면 아래와 같이 모든 Step이 정상적으로 실행되어 COMPLETED 상태가 되었고, JOB_EXECUTION 또한 COMPLETED 상태인 걸 확인할 수 있습니다.

BATCH_STEP_EXECUTION

BATCH_JOB_EXECUTION

 

이번에는 위와는 다르게 step2에서 예외를 발생시킨 후 테스트를 해보겠습니다.

(데이터 확인을 쉽게 구분하기 위해 기존 테이블 및 데이터는 Drop 한 후 새로 생성했습니다.)

...

    @Bean
    public Step step2() {
        return stepBuilderFactory.get("step2")
                .tasklet((contribution, chunkContext) -> {
                    throw new RuntimeException("step2 Exception"); // 강제 예외 발생
                })
                .build();
    }

...

BATCH_STEP_EXECUTION

BATCH_JOB_EXECUTION

step2는 실행은 되었으나 예외가 발생하여 실패했기 때문에 StepExecution은 생성이 되어 BATCH_STEP_EXECUTION 테이블에 저장은 되지만, 상태는 FAILED인 걸 확인할 수 있고, 결론적으로 JOB_EXECUTION의 상태 또한 FAILED인 걸 확인할 수 있습니다.

(step2가 실패했기 때문에 step3은 실행조차 되지 않습니다.)

 

 

이제 step2에서 강제로 발생시켰던 예외를 제거한 후 다시 Job을 실행해 보겠습니다.

    @Bean
    public Step step2() {
        return stepBuilderFactory.get("step2")
                .tasklet((contribution, chunkContext) -> {
                    System.out.println("step2 has executed");
                    return RepeatStatus.FINISHED;
                })
                .build();
    }

BATCH_STEP_EXECUTION

BATCH_JOB_EXECUTION

BATCH_JOB_INSTANCE

데이터베이스를 확인해 보면 이전에 정상적으로 수행된 step1은 재실행이 안되고, 실패했던 step2와 실행되지 않은 step3만 재처리가 되어 수행되고 상태가 COMPLETED인 걸 확인할 수 있습니다.

 

BATCH_JOB_EXECUTION 테이블에도 새로운 데이터가 저장되었고, 상태가 COMPLETED인 걸 확인할 수 있습니다.

 

만약 위 상태에서 에러가 없는 Job & Step을 한 번 더 실행하면 어떻게 될까요?

BATCH_JOB_EXECUTION

위 사진의 문구처럼 모든 Step이 실행되었거나, Job에 아무런 Step이 구성되지 않았다고 나오며 COMPLETED로 저장이 됩니다.

(BATCH_STEP_EXECUTION 테이블에는 아무런 데이터가 남아있지 않습니다.)

 

BATCH_JOB_INSTANCE

JobInstance의 경우 새로 생성되지 않고 단 하나의 데이터만 존재하는 걸 확인할 수 있는데요, JobInstance와 JobExecution, StepExecution의 관계를 다시 정리해보면 다음과 같습니다.

JobInstance

• Job이 실행되는 시점에 생성되는 Job의 논리적 작업 실행 개념
• Job의 실행 구분
• JobExecution와의 관계는 1 : N

JobExecution

• Job에 대한 한 번의 시도를 의미하며 Job 실행 중 발생한 정보들을 저장
• StepExecution와의 관계는 1 : N

StepExecution

• Step에 대한 한 번의 시도를 의미하며 Step 실행 중 발생한 정보들을 저장
• Step이 실행될 때마다 새로운 StepExecution이 생성

 

 

참고 문서

• https://docs.spring.io/spring-batch/docs/current/reference/html/index-single.html
• https://www.inflearn.com/course/%EC%8A%A4%ED%94%84%EB%A7%81-%EB%B0%B0%EC%B9%98/dashboard