[Spring Batch] 0. 서론 & 1. 스프링 배치 소개

[Spring Batch] 0. 서론

 

1. 목차

1) 스프링 배치 소개

2) 스프링 배치 시작

3) 스프링 배치 도메인 이해 

4) 스프링 배치 실행

5) 청크 프로세스 (1)

6) 청크 프로세스 (2)

7) 스프링 배치 반복 및 오류 제어

8) 스프링 배치 멀티 스레드 프로세싱

9) 스프링 배치 리스너

10) 스프링 배치 테스트 및 운영

11) 번외편 (스케줄러 - 스프링배치 연동)

 

2. 개발환경 및 선수지식

1) 개발환경

- JDK 1.8

- Spring Boot 2.5.1

- DB - H2, Mysql

- IDE - Intellij

- Maven

 

2) 선수지식

- Spring Boot

- Spring Data JPA

- Spring JDBC
- Mysql

- Lombok

 

---

[Spring Batch] 1. 스프링 배치 소개

1. 개요 및 아키텍처

1) 스프링 배치 탄생 배경

- 자바 기반 표준 배치 기술 부재

- 배치 처리에서 요구하는 재사용 가능한 자바 기반 배치 아키텍처 표준의 필요성 대두

 

2) 배치 핵심 패턴

- Read - 데이터베이스, 파일, 큐에서 다량의 데이터 조회

- Process - 특정 방법으로 데이터 가공

- Write - 데이터를 수정된 양식으로 다시 저장

 

= E T L (extract / transform / load)

 

3) 배치 시나리오

- 배치 프로세스를 주기적으로 커밋

- 동시 다발적인 Job의 배치 처리, 대용량 병렬 처리

- 실패 후 수동 또는 스케줄링에 의한 재시작

- 의존관계가 있는 step 여러 개를 순차적으로 처리

- 조건적 Flow 구성을 통한 체계적이고 유연한 배치 모델 구성

- 반복, 재시도, skip 처리 

   * 반복 : 반복적으로 실행

      재시도 : 잠깐동안의 네트워크 장애 때문에 전체 잡이 실패하는 것보다 몇분 후 복구되면 잡이 재시도 될 수 있는 기능

      skip : 예외 오류 발생 시 중요하지 않은 예외는 스킵함으로 해서 잡이 계속 실행될수있도록

 

 

4) 아키텍처 (3 Layers)

a) Application

- 스프링 배치 프레임워크를 통해 개발자가 만든 모든 배치 Job과 커스텀 코드 포함

- 개발자는 업무로직의 구현에만 집중하고 공통적인 기반기술은 프레임워크가 담당

 

b) Batch Core

- Job을 실행 / 모니터링 / 관리하는 API로 구성

- JobLauncher, Job, Step, Flow 

- Job의 명세서 (구성과 설정을 위한 클래스가 속함)

 

c) Batch Infrastructure

- Application, Core 모두 공통 Infrastructure 위에서 빌드

- Job 실행의 흐름과 처리를 위한 틀을 제공

- Reader, Processor, Writer, Skip, Retry