Spring Batch (3) DB 스키마

📌 해당 포스팅의 목표

• Spring Batch DB 스키마 분석

 

 

📌 Spring Batch DB 스키마

지난 시간에는 Spring Batch의 개요 및 프로젝트 구성, 세팅 및 간단한 Job 실행에 대해 살펴보았습니다.

이번 시간에는 Spring Batch의 Meta Data Schema에 대해 살펴보겠습니다.

 

Meta Data Schema

• 스프링 배치의 실행 및 관리를 위한 목적으로 여러 도메인들(Job, Step, JobParameters 등)에 대한 정보를 저장, 업데이트, 조회 등의 작업을 할 수 있는 스키마 제공
• 과거 및 현재의 Batch 실행에 대한 정보(성공, 실패 여부)를 관리함으로서 배치운영 및 장애와 관련된 대처 가능
• DB와 연동할 경우 필수적으로 메타 테이블이 생성되어야 함

 

DB 스키마 정보

spring-batch-core 라이브러리의 내부에 schema-*.sql 파일의 데이터베이스 별 메타 데이터 스키마가 존재합니다.

 

대표적으로 schema-mysql.sql 파일에 작성되어 있는 테이블에 대한 정보는 다음과 같습니다.

(데이터베이스에 따라 쿼리는 일부 다릅니다.)

-- Autogenerated: do not edit this file

CREATE TABLE BATCH_JOB_INSTANCE  (
	JOB_INSTANCE_ID BIGINT  NOT NULL PRIMARY KEY ,
	VERSION BIGINT ,
	JOB_NAME VARCHAR(100) NOT NULL,
	JOB_KEY VARCHAR(32) NOT NULL,
	constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY)
) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION  (
	JOB_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,
	VERSION BIGINT  ,
	JOB_INSTANCE_ID BIGINT NOT NULL,
	CREATE_TIME DATETIME(6) NOT NULL,
	START_TIME DATETIME(6) DEFAULT NULL ,
	END_TIME DATETIME(6) DEFAULT NULL ,
	STATUS VARCHAR(10) ,
	EXIT_CODE VARCHAR(2500) ,
	EXIT_MESSAGE VARCHAR(2500) ,
	LAST_UPDATED DATETIME(6),
	JOB_CONFIGURATION_LOCATION VARCHAR(2500) NULL,
	constraint JOB_INST_EXEC_FK foreign key (JOB_INSTANCE_ID)
	references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)
) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_PARAMS  (
	JOB_EXECUTION_ID BIGINT NOT NULL ,
	TYPE_CD VARCHAR(6) NOT NULL ,
	KEY_NAME VARCHAR(100) NOT NULL ,
	STRING_VAL VARCHAR(250) ,
	DATE_VAL DATETIME(6) DEFAULT NULL ,
	LONG_VAL BIGINT ,
	DOUBLE_VAL DOUBLE PRECISION ,
	IDENTIFYING CHAR(1) NOT NULL ,
	constraint JOB_EXEC_PARAMS_FK foreign key (JOB_EXECUTION_ID)
	references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)
) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION  (
	STEP_EXECUTION_ID BIGINT  NOT NULL PRIMARY KEY ,
	VERSION BIGINT NOT NULL,
	STEP_NAME VARCHAR(100) NOT NULL,
	JOB_EXECUTION_ID BIGINT NOT NULL,
	START_TIME DATETIME(6) NOT NULL ,
	END_TIME DATETIME(6) DEFAULT NULL ,
	STATUS VARCHAR(10) ,
	COMMIT_COUNT BIGINT ,
	READ_COUNT BIGINT ,
	FILTER_COUNT BIGINT ,
	WRITE_COUNT BIGINT ,
	READ_SKIP_COUNT BIGINT ,
	WRITE_SKIP_COUNT BIGINT ,
	PROCESS_SKIP_COUNT BIGINT ,
	ROLLBACK_COUNT BIGINT ,
	EXIT_CODE VARCHAR(2500) ,
	EXIT_MESSAGE VARCHAR(2500) ,
	LAST_UPDATED DATETIME(6),
	constraint JOB_EXEC_STEP_FK foreign key (JOB_EXECUTION_ID)
	references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)
) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_CONTEXT  (
	STEP_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,
	SHORT_CONTEXT VARCHAR(2500) NOT NULL,
	SERIALIZED_CONTEXT TEXT ,
	constraint STEP_EXEC_CTX_FK foreign key (STEP_EXECUTION_ID)
	references BATCH_STEP_EXECUTION(STEP_EXECUTION_ID)
) ENGINE=InnoDB;

CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT  (
	JOB_EXECUTION_ID BIGINT NOT NULL PRIMARY KEY,
	SHORT_CONTEXT VARCHAR(2500) NOT NULL,
	SERIALIZED_CONTEXT TEXT ,
	constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID)
	references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)
) ENGINE=InnoDB;

CREATE TABLE BATCH_STEP_EXECUTION_SEQ (
	ID BIGINT NOT NULL,
	UNIQUE_KEY CHAR(1) NOT NULL,
	constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)
) ENGINE=InnoDB;

INSERT INTO BATCH_STEP_EXECUTION_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_STEP_EXECUTION_SEQ);

CREATE TABLE BATCH_JOB_EXECUTION_SEQ (
	ID BIGINT NOT NULL,
	UNIQUE_KEY CHAR(1) NOT NULL,
	constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)
) ENGINE=InnoDB;

INSERT INTO BATCH_JOB_EXECUTION_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_JOB_EXECUTION_SEQ);

CREATE TABLE BATCH_JOB_SEQ (
	ID BIGINT NOT NULL,
	UNIQUE_KEY CHAR(1) NOT NULL,
	constraint UNIQUE_KEY_UN unique (UNIQUE_KEY)
) ENGINE=InnoDB;

INSERT INTO BATCH_JOB_SEQ (ID, UNIQUE_KEY) select * from (select 0 as ID, '0' as UNIQUE_KEY) as tmp where not exists(select * from BATCH_JOB_SEQ);

MySQL의 경우 Job, Step 관련 6개의 테이블과 3개의 시퀀스에 대한 테이블을 생성합니다.

• Job: BATCH_JOB_INSTANCE, BATCH_JOB_EXECUTION, BATCH_JOB_EXECUTION_PARAMS, BATCH_JOB_EXECUTION_CONTEXT
• Step: BATCH_STEP_EXECUTION, BATCH_STEP_EXECUTION_CONTEXT
• Seq: BATCH_JOB_SEQ, BATCH_JOB_EXECUTION_SEQ, BATCH_STEP_EXECUTION_SEQ

 

스키마 생성 설정

데이터베이스 스키마는 수동 및 자동으로 생성할 수 있습니다.

(운영에서는 수동으로 스크립트를 생성하여 설정하는 것을 권장합니다.)

• 수동 생성: 위 schema-*.sql 파일에 작성된 쿼리를 복사하여 직접 실행
• 자동 생성: spring.batch.jdbc.initialize-schema 설정
  • ALWAYS: 스크립트를 항상 실행
  • EMBEDDED: 내장 DB일 때만 실행되며 스키마가 자동 생성(default)
  • NEVER: 스크립트 실행 X

 

MetaData Schema

https://docs.spring.io/spring-batch/docs/current/reference/html/schema-appendix.html

BATCH_JOB_INSTANCE

• Job이 실행될 때 JobInstance 정보가 저장
• 실행되는 Job의 Name, Key에 대한 데이터를 저장

 

BATCH_JOB_EXECUTION

• Job의 실행 정보가 저장되며 Job의 생성, 시작, 종료 시각, 실행상태, 메시지 등을 관리

 

BATCH_JOB_EXECUTION_PARAMS

• Job과 함께 실행되는 JobParameters 정보를 저장

 

BATCH_JOB_EXECUTION_CONTEXT

• Job의 실행동안 여러 상태정보, 공유 데이터를 직렬화(JSON)해서 저장
• Step 간 데이터 공유가 가능함

 

BATCH_STEP_EXECUTION

• Step의 실행 정보가 저장되며 Step의 생성, 시작, 종료 시각, 실행상태, 메시지 등을 관리

 

BATCH_STEP_EXECUTION_CONTEXT

• Step의 실행동안 여러 상태정보, 공유 데이터를 직렬화(JSON)해서 저장
• Step별로 저장되며 Step간 데이터를 공유할 수 없음

 

각 테이블에 대한 컬럼은 PK, Name, 실행 및 종료 시각, 상태, 종료 코드, VERSION(Optimistic Locking 전략), 실패 메시지 등에 대한 데이터를 저장하는데요, 컬럼에 대한 설명은 공식문서에 자세히 나와있습니다.

 

 

📃 참고 문서

• https://docs.spring.io/spring-batch/docs/current/reference/html/schema-appendix.html
• https://www.inflearn.com/course/%EC%8A%A4%ED%94%84%EB%A7%81-%EB%B0%B0%EC%B9%98/dashboard