[Spring Batch] 3. 스프링 배치 도메인 이해

[Spring Batch] 3. 스프링 배치 도메인 이해

 

1. Job

1) 기본 개념

- 배치 계층 구조에서 가장 상위에 있는 개념으로서 하나의 배치작업 자체를 의미 

  (ex. API 서버의 접속 로그 데이터를 통계 서버로 옮기는 배치 = Job 자체)

- Job Configuration을 통해 생성되는 객체 단위로서 배치작업을 어떻게 구성하고 실행할 것인지 전체적으로 설정하고 명세해 놓은 객체

- 배치 Job을 구성하기 위한 최상위 인터페이스이며, 스프링 배치가 기본 구현체를 제공

- 여러 Step을 포함하고 있는 컨테이너로서 반드시 한 개 이상의 Step으로 구성해야함

 

2) 기본 구현체 

[ 1. SimpleJob ]

- 순차적으로 Step을 실행시키는 Job

- 모든 Job에서 유용하게 사용할 수 있는 표준 기능을 갖고있음

 

[ 2. FlowJob ]

- 특정한 조건과 흐름에 따라 Step을 구성하여 실행시키는 Job

- Flow 객체를 실행시켜서 작업을 진행

 

- JobLauncher (Job 실행) 이 job 객체와 parameters 객체로 Job 실행

- Job은 하나의 도메인 객체 (인터페이스로 제공) 

- Steps라는 List 변수 가지고있음

- 하나의 명세서/설계서고 Step을 포함하는 컨테이너 역할을 함

 

- Job 최상위 Interface

- void execute 메서드 (JobeExecution) 도메인 객체 인자로 받아서 실행

- 이 Interface를 상속한 추상클래스 AbstractJob (필드 가짐)

- 이 추상클래스를 상속받는 두 개의 Job

 

* Job 설정 -> Step 설정 -> Joblauncher가 Job 실행 -> Job 구동 -> Job이 Step 실행 -> Tasklet 실행

---

2. JobInstance

1) 기본 개념

- Job이 실행될 때 생성되는 Job의 논리적 실행 단위 객체로서 고유하게 식별 가능한 작업 실행을 나타냄

- Job의 설정과 구성은 동일하지만 Job이 실행되는 시점에 처리하는 내용은 다르기 때문에 Job의 실행을 구분해야함

   ex) 하루에 한 번씩 배치 Job이 실행된다면 매일 실행되는 각각의 Job을 JobInstance로 표현

- JobInstance 생성 및 실행

   > 처음 시작하는 Job + JobParameter일 경우 새로운 JobInstance 생성

   > 이전과 동일한 Job + JobParameter으로 실행할 경우 이미 존재하는 JobInstance 리턴

   > 내부적으로 JobName + JobKey (JobParameter의 해시값)를 가지고 JobInstance 객체를 얻음

- Job과 1:M 관계

 

2) BATCH_JOB_INSTANC 테이블과 맵핑

- JOB_NAME(Job) 과 JOB_KEY(JobParameter 해시값)가 동일한 데이터는 중복해서 저장할 수 없음

 

- Job / JobParameters 키 값으로 기존 존재하는지 여부에 따라 새로운 JobInstance 생성하거나 기존 JobInstance 리턴

 

JobRunner

package io.springbatch.springbatch;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.JobParametersBuilder;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;

@Component
public class JobRunner implements ApplicationRunner {

    @Autowired
    private JobLauncher jobLauncher;

    @Autowired
    private Job job;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        JobParameters jobParameters = new JobParametersBuilder()
                .addString("name", "user1")
                        .toJobParameters();

        jobLauncher.run(job, jobParameters);
    }
}

-> 실행 시키면 JobInstance 테이블에 저장됨

-> 동일한 파라미터로 실행시키면 아래와 같은 에러 출력되면서 배치 실패

Caused by: org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException: A job instance already exists and is complete for identifying parameters={'name':'{value=user1, type=class java.lang.String, identifying=true}'}.   If you want to run this job again, change the parameters.

 

---

3. JobParameter

1) 기본 개념

- Job을 실행할 때 함께 포함되어 사용되는 파라미터를 가진 도메인 객체

- 하나의 Job에 존재할 수 있는 여러개의 JobInstance를 구분하기 위한 용도

- JobParameter의 JobInstance는 1:1 관계

 

2) 생성 및 바인딩

- 어플리케이션 실행 시 주입 (Java -jar LogBatch.jar / requestDate = 20210101) 내부적으로 인수로

- 코드로 생성 (JobParameterBuilder >= DefaultJobParametersConverter)

- SpEL이용 (@Value("#{JobParamter[requestDate]}"), @JobScope, @StepScope) 선언 필수) 

 

3) BATCH_JOB_EXECUTION_PARAM 테이블과 맵핑

- JOB_EXECUTION과 1:M 관계

 

- JobParameter  Wrapper (내부적으로 LinkedHashMap)

- 파라미터 값 저장 (Object 타입 / ParameterType)

- 파라미터 타입 구분 (STRING / DATE  / LONG / DOUBLE)

 

package io.springbatch.springbatch;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.JobParametersBuilder;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;

import java.util.Date;

@Component
public class JobParameterTest implements ApplicationRunner {
    @Autowired
    private JobLauncher jobLauncher;

    @Autowired
    private Job job;

    @Override
    public void run(ApplicationArguments args) throws Exception {
        JobParameters jobParameters = new JobParametersBuilder()
                .addString("name", "user4")
                .addLong("seq", 2L)
                .addDate("date", new Date())
                .addDouble("age", 15.5)
                .toJobParameters();

        jobLauncher.run(job, jobParameters);
    }
}

---

4. JobExecution

1) 기본 개념

- JobInstance에 대한 한번의 시도를 의미하는 객체로서 Job 실행 중에 발생한 정보 저장 객체

(시작시간 / 종료시간 / 상태 속성 가짐)

- JobInstance와의 관계

> JobExecution은 FAILED 또는 COMPLICATED 등의 Job의 실행 결과 상태를 가지고있음

> JobExecution의 실행 상태 결과가 COMPLICATED면 JobInstance 실행이 완료된 것으로 간주해 재실행 불가

> JobExecution의 실행 상태 결과가 FAILED면 JobInstance 실행이 완료되지 않은 것으로 각ㄴ주해 재실행 가능

   JobParameter가 동일한 값으로 Job을 실행할지라도 JobInstance를 계속 실행 가능

> JobExecution의 실행 상태 결과가 COMPLICATED 될 때까지 하나의 JobInstance 내에서 여러 번의 시도 생길 수 있음

 

 

정리) Job + JobParameter -> JobInstance 1개 -> JobExecution 여러개

 

2) BATCH_JOB_EXECUTION 테이블과 맵핑

- JobInstance와 JobExecution은 1:M의 관계로서 JobInstance에 대한 성공/실패 내역 가짐

 

---

5. Step

1) 기본 개념

- Batch Job을 구성하는 독립적인 하나의 단계로서 실제 배치 처리를 정의하고 컨트롤하는 데 필요한 모든 정보를 가지고 있는 도메인 객체

- 단순한 단일 테스크 뿐 아니라 입력과 처리 그리고 출력과 관련된 복잡한 비즈니스 로직을 포함하는 모든 설정들을 담고있음

- 배치작업을 어떻게 구성하고 실행할 것인지 Job의 세부 작업을 Task 기반으로 설정하고 명세해 놓은 객체

- 모든 Job은 하나 이상의 step으로 구성됨

 

2) 기본 구현체

- TaskletStep : 가장 기본이 되는 클래스로서 Tasklet 타입의 구현체들을 제어

- PartitionStep : 멀티 스레드 방식으로 Step을 여러 개로 분리해서 실행

- JobStep : Step 내에서 Job을 실행하도록 함 (Job -> Step -> Job -> Step)

- FlowStep : Step 내에서 Flow를 실행하도록 함 (Flow = 스텝과 같은 단위)

 

Job = 명세서  Step = 비즈니스 로직 (tasklet 기반 작업)

 

 

Job 도메인 빈 생성 -> 여러개 스텝 포함 (리스트에 담아둠) 각각 스텝을 execute해서 실행

-> Step은 내부적으로 tasklet 인터페이스 객체 포함 -> Step이 Tasklet execute

-> Tasklet 안에 Chunk 기반 (reader writer) or customized  된 단위 task

 

3) API 설정에 따른 각 Step 설정

 

tasklet -> step -> Job 순으로 만들어짐