[Spring Batch] 2. 스프링 배치 시작

[Spring Batch] 2. 스프링 배치 시작

 

1. 프로젝트 구성 및 의존성 설정

1) 스프링부트기반 프로젝트 생성

- maven 프로젝트 생성

- docker를 통해 mysql

- spring batch 의존성 추가

docker run --name mysql-container -e MYSQL_ROOT_PASSWORD=test1234 -d -p 3306:3306 mysql:latest

 

자료 : https://github.com/onjsdnjs/spring-batch-lecture

 

 

2) 스프링 배치 활성화

- @EnableBatchProcessing

@SpringBootApplication
@EnableBatchProcessing
public class SpringbatchApplication {

    public static void main(String[] args) {
        SpringApplication.run(SpringbatchApplication.class, args);
    }

}

- 총 4개의 설정 클래스 실행 (스프링 배치 모든 초기화 및 실행 구성 실행)

- 빈으로 등록된 모든 Job을 등록 (모든 Job 검색 및 실행 시킴)

 

* 스프링 배치 초기화 설정 클래스

1) BatchAutoConfiguration

- 스프링 배치가 초기화 될 때 자동으로 실행되는 설정 클래스

- Job을 수행하는 JobLauncherApplicationRunner 빈을 생성 (자동으로 Job 실행되는 빈)

 

2) SimpleBatchConfiguration

- JobBuilderFactory와 StepBuilderFactory 생성 (두 개의 클래스를 가지고 Job과 Step 생성)

- 스프링 배치의 주요 구성 요소 생성 - 프록시 객체로 생성됨

 

3) BatchConfigurerConfiguration

    a) BasicBatchConfigurer

         - SimpleBatchConfiguration에서 생성한 프록시 객체의 실제 대상 객체를 생성하는 설정 클래스

         - 빈으로 의존성 주입 받아서 주요 객체들을 참조해서 사용할 수 있다.

    b) JpaBatchConfigurer

         - JPA 관련 객체들 생성하는 설정 클래스  

 

-> 두개의 클래스는 사용자 정의 BatchConfigurer 인터페이스를 구현하여 사용할 수 있음

 

순서

 

 

---

2. Hello Spring Batch 시작하기

- 기본환경 (프로젝트 생성 / 의존성 / 어노테이션) 준비됨

- 용어

1) @Configuration 선언

- 하나의 배치 Job을 정의하고 빈 설정

- Job 정의 : Job 실행 단위/내용 설정하고 구성한다는 의미

 

------------------------

스프링 배치가 제공하는 Job 구성할 수 있는 유틸성 클래스 제공 (의존성 주입 받아서 선언)

2) JobBuilderFactory

- Job을 생성하는 빌더 팩토리

3) StepBuilderFactory

- Step을 생성하는 빌더 팩토리

------------------------

4) Job

- helloJob 이름으로 Job 생성 (Step 객체를 인자로 넘겨줌)

 

5) Step

- helloStep 이름으로 Step 생성

 

6) Tasklet

- Step 안에서 단일 테스크로 수행되는 로직 구현

 

순서

[ Job 구동 ->  Step 실행 ->  Tasklet 실행 ]

Job이 구동되면 Step을 실행하고 Step이 구동되면 Tasklet을 실행하도록 설정

(비즈니스 로직이 Tasklet에 저장돼있음)

 

구현

@RequiredArgsConstructor

- 생성자로 객체 선언하면 스프링이 의존성 주입해주도록 해줌

- 생성자 직접 안만들어도 의존성 주입 돼도록 하는 Annotation

 

* 지금 강의에서 사용된 BuilderFactory 가 jobReposirtory를 명시하지 않아 발생할 수 있는 문제로 Deprecated가 됨 

해결) Builder에서 JobRepository가 생성되고 설정된다

 

spring batch v5

package io.springbatch.springbatch;

import lombok.RequiredArgsConstructor;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.job.builder.JobBuilder;
import org.springframework.batch.core.repository.JobRepository;
import org.springframework.batch.core.step.builder.StepBuilder;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.transaction.PlatformTransactionManager;

@RequiredArgsConstructor
@Configuration
public class HelloJobConfiguration {

    @Bean
    public Job helloJob(JobRepository jobRepository, Step step){
        return new JobBuilder("helloJob", jobRepository)
                .start(step)
                .build();
    }

    @Bean
    public Tasklet helloTasklet(){
        return ((contribution, chunkContext) -> {
            return RepeatStatus.FINISHED;
        });
    }

    @Bean
    public Step helloStep(JobRepository jobRepository, Tasklet helloTasklet, PlatformTransactionManager transactionManager) {
        return new StepBuilder("helloStep", jobRepository)
                .tasklet(helloTasklet, transactionManager)
                .build();
    }

}

---

3. DB 스키마 생성 및 이해

1) 스프링 배치 메타 데이터

- 스프링 배치의 실행 및 관리를 위한 목적으로 여러 도메인들(Job, Step, JobParameters...)의 정보들을 저장/업데이트/조회 할 수 있는 스키마 제공

- 과거, 현재의 실행에 대한 세세한 정보, 실행에 대한 성공과 실패 여부 등을 관리함으로써 배치 운용에 있어 리스크 발생 시 빠른 대처 가능

- DB와 연동할 경우 필수적으로 메타 테이블이 생성 되어야함

 

2) DB 스키마 제공

- 파일 위치 : /org/springframework/batch/core/schema-*.sql

- DB 유형별로 제공

 

3) 스키마 생성 설정

- 수동 생성 : 쿼리 복사 후 직접 실행

- 자동 생성 : spring.batch.jdbc.initialize-schema 설정 (properties 파일에 설정)

ALWAYS : 스크립트 항상 실행 / RDBMS 설정이 되어있을 경우 내장 DB보다 우선적으로 실행 EMBEDDED : 내장 DB일 때만 실행되며 스키마가 자동 생성됨 (기본값) NEVER : 스크립트 항상 실행 안함 / 내장 DB일 경우 스크립트가 생성이 안되기 때문에 오류 발생              : 내장 DB일 경우 스크립트가 생성이 안되기 때문에 오류 발생              : 운영에서 수동으로 스크립트 생성 후 설정하는 것을 권장

 

- batch core library -> db 별로 sql 설정 가능하도록 제공

- 인텔리제이 db 관리 툴 사용해서 관리

- 비밀번호 강의 그대로

- schema 탭 체크 

- 쿼리창 열고 라이브러리 복사한 sql 복붙해서 실행

- db 생성

 

mysql 의존성 추가

 

application.properties

spring.datasource.driver-class-name = com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/springbatch
spring.datasource.username=root
spring.datasource.password=

spring.profiles.active=dev
spring.batch.jdbc.initialize-schema=never
spring.batch.job.enabled=true

- initialize-schema 에서 테이블 생성 자동 설정

 

DBJobConfiguration

package io.springbatch.springbatch;

import lombok.RequiredArgsConstructor;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.job.builder.JobBuilder;
import org.springframework.batch.core.repository.JobRepository;
import org.springframework.batch.core.step.builder.StepBuilder;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;
import org.springframework.transaction.PlatformTransactionManager;

@Configuration
@RequiredArgsConstructor
public class DBJobConfiguration {

    @Bean
    public Job newJob(JobRepository jobRepository, Step step1, Step step2){
        return new JobBuilder("newJob", jobRepository)
                .start(step1)
                .next(step2)
                .build();
    }

    @Bean
    public Step step1(JobRepository jobRepository, Tasklet tasklet1, PlatformTransactionManager transactionManager) {
        return new StepBuilder("step1", jobRepository)
                .tasklet(tasklet1, transactionManager)
                .allowStartIfComplete(true)
                .build();
    }

    @Bean
    public Step step2(JobRepository jobRepository, Tasklet tasklet2, PlatformTransactionManager transactionManager) {
        return new StepBuilder("step2", jobRepository)
                .tasklet(tasklet2, transactionManager)
                .allowStartIfComplete(true)
                .build();
    }

    @Bean
    public Tasklet tasklet1(){
        return ((contribution, chunkContext) -> {
            System.out.println("step1 was executed");
            return RepeatStatus.FINISHED;
        });
    }

    @Bean
    public Tasklet tasklet2(){
        return ((contribution, chunkContext) -> {
            System.out.println("step2 was executed");
            return RepeatStatus.FINISHED;
        });
    }
}

* spring5 에서는 @EnableBatchProcessing 하면 안되는 것 같다... (디폴트 설정이 돼있는듯)

* annotation 방식으로 배치 profile 설정할 수도 있나봄

 

5) Job 관련 테이블

 

[Job 관련 테이블]

1. BATCH_JOB_INSTANCE ㄴ Job이 실행될 때 JobInstance 정보가 저장되며 job_name과 job_key를 키로하여 하나의 데이터가 저장 ㄴ 동일한 job_name과 job_key로 중복 X 2. BATCH_JOB_EXECUTION ㄴ Job의 실행정보가 저장 ㄴ 생성,시작,종료 시간 / 실행 상태 / 메시지 등을 관리 3. BATCH_JOB_EXECUTION_PARAMS ㄴ Job과 함께 실행되는 JobParameter 정보 저장 4. BATCH_JOB_EXECUTION_CONTEXT ㄴ Job의 실행동안 여러가지 상태정보, 공유 데이터를 직렬화 (JSON 형식) 해서 저장 ㄴ Step 간 서로 공유 가능

 

[Step 관련 테이블]

1. BATCH_STEP_EXECUTION ㄴ Step의 실행정보가 저장 ㄴ 생성,시작,종료 시간 / 실행상태 / 메시지 등을 관리 2. BATCH_STEP_EXECUTION_CONTEXT ㄴ Step의 실행동안 여러가지 상태정보, 공유 데이터를 직렬화(JSON형식)에서 저장 ㄴ Step 별로 저장되며 Step 간 서로 공유할 수 없음

 

 

[Job 관련 테이블 상세]

1. BATCH_JOB_INSTANCE - JOB_INSTANCE_ID     : 고유하게 식별할 수 있는 기본키 - VERSION                      : 업데이트 될 때마다 1씩 증가 - JOB_NAME                  : Job을 구성할 때 부여하는 Job의 이름 - JOB_KEY                      : job_name과 jobParameter를 합쳐 해싱한 값을 저장 2. BATCH_JOB_EXECUTION - JOB_EXECUTION_ID   : JobExecution을 고유하게 식별할 수 있는 기본 키, JOB_INSTANCE와 일대다 관계 - VERSION                       : 업데이트 될 때마다 1씩 증가 - JOB_INSTANCE_ID      : JOB_INSTANCE의 키 저장 - CREATE_TIME               : 실행이 생성된 시점을 TimeStamp 형식으로 기록 - START_TIME                  : 실행이 시작된 시점을 TimeStamp 형식으로 기록 - END_TIME                      : 실행이 종료된 시점을 TimeStamp 형식으로 기록                                              -실행 도중 오류 발생해서 Job이 중단된 경우 값이 저장되지 않을 수 있음 (NULL) - STATUS                          : 실행 상태(BatchStatus)를 저장 [COMPLETED / FAILED / STOPPED...] - EXIT_CODE                    : 실행 종료코드(ExitStatus)를 저장[COMPLETED / FAILED...] - EXIT_MESSAGE             : Status가 실패일 경우 실패 원인 등의 내용을 저장 - LAST_UPDATED             : 마지막 실행시점을 TimeStamp 형식으로 기록 3. BATCH_JOB_EXECUTION_PARAMS - JOB_EXECUTION_ID   : JobExecution을 고유하게 식별할 수 있는 기본 키, JOB_INSTANCE와 일대다 관계 - TYPE_CD                       : STRING, LONG, DATE, DOUBLE 타입정보 - KEY_NAME                    : 파라미터 키 값 - STRING_VAL                 : 파라미터 문자 값 - DATE_VAL                      : 파라미터 날짜 값 - LONG_VAL                     : 파라미터 LONG 값 - DOUBLE_VAL                 : 파라미터 DOUBLE 값 - IDENTIFYING                  : 식별여부 (TRUE, FALSE) 4. BATCH_JOB_EXECUTION_CONTEXT - JOB_EXECUTION_ID   : JobExecution을 고유하게 식별할 수 있는 기본 키, JOB_EXECUTION 마다 생성 - SHORT_CONTEXT        : Job의 실행 상태정보, 공유데이터 등의 정보를 문자열로 저장 - SERIALIZED_CONTEXT: 직렬화(serialized)된 전체 컨텍스트

 

[Step 관련 테이블 상세]

1. BATCH_STEP_EXECUTION - STEP_EXECUTION_ID   : Step의 실행정보를 고유하게 식별할 수 있는 기본 키 - VERSION                         : 업데이트 될 때마다 1씩 증가 - STEP_NAME                    : Step을 구성할 때 부여하는 Step 이름 - JOB_EXECUTION_ID     : JobExecution 기본키, JobExecution과는 일대 다 관계 - START_TIME                   : 실행이 시작된 시점을 TimeStamp 형식으로 기록 - END_TIME                       : 실행이 종료된 시점을 TimeStamp 형식으로 기록                                               - Job 실행 도중 오류가 발생해서 Job이 중단된 경우 값이 지정되지 않을 수 있음 - STATUS                            : 실행 상태(BatchStatus)를 저장 [COMLETED / FAILED / STOPPED] - COMMIT_COUNT            : 트랜잭션 당 커밋되는 수를 기록 - READ_COUNT                  : 실행시점에 Read한 Item 수를 기록 - FILTER_COUNT                : 실행도중 필터링된 Item 수를 기록 - WRITE_COUNT                : 실행도중 저장되고 커밋된 Item 수를 기록 - PROCESS_SKIP_COUNT : 실행도중 Process가 Skip된 Item 수를 기록 - ROLLBACK_COUNT         : 실행도중 rollback이 일어난 수를 기록 - EXIT_CODE                        : 실행 종료코드(ExitStatus)를 저장 [COMPLETED / FAILED] - EXIT_MESSAGE                 : Status가 실패일 경우 실패 원인 등의 내용을 저장 - LAST_UPDATED                : 마지막 실행(Execution) 시점을 TimeStamp 형식으로 기록 2. BATCH_STEP_EXECUTION_CONTEXT - STEP_EXECUTION_ID   : StepExecution 식별키, STEP_EXECUTION마다 생성 - SHORT_CONTEXT         : STEP의 실행 상태정보, 공유데이터등의 정보를 문자열로 저장 - SERIALIZED_CONTEXT : 직렬화(serialized)된 전체 컨텍스트