ETL
Extract, Transform, Load
데이터를 추출하고, 목적에 맞게 변환한 뒤, 대상 저장소에 적재하는 과정이에요.
쉽게 비유하면
여러 곳의 식재료를 가져와 손질한 뒤 사용할 주방에 넣어 두는 것과 같아요.
조금 더 자세히
Extract는 원천에서 가져오기, Transform은 정리·형식 변환·통합, Load는 대상에 저장하기를 뜻해요. 웨어하우스에 분석 자료를 공급할 때 많이 쓰여요.
먼저 적재한 다음 대상 시스템에서 변환하면 ELT라고 해요. ETL은 데이터 파이프라인의 한 방식이며, 모든 파이프라인이 이 순서를 따르지는 않아요.
왜 생겼나요
시스템마다 다른 형식과 기준의 데이터를 분석용으로 맞춰 옮기는 반복 작업을 체계화하려고 사용해요.
어떻게 작동하나요
- 1. 추출 변경된 주문 등 필요한 원천 데이터를 가져와요.
- 2. 변환 중복을 처리하고 날짜·코드와 집계 기준을 맞춰요.
- 3. 적재 대상에 저장하고 건수와 오류를 확인해요.
활용 예시
- 일별 주문 데이터 통합
- 고객 코드 표준화 후 적재
- 월별 분석 테이블 생성
ETL vs 데이터 파이프라인
| ETL | 데이터 파이프라인 | |
|---|---|---|
| 범위 | 추출·변환·적재 순서의 데이터 처리 | 데이터 수집·처리·전달을 잇는 전체 흐름 |
| 관계 | 파이프라인의 한 방식으로 구현 가능 | ETL 외에 복사, 스트리밍 등도 포함 가능 |
흔한 오해
데이터를 옮기면 모두 ETL인가요?
단순 복사나 실시간 전달도 있어요. ETL은 추출·변환·적재의 흐름을 뜻하고, 적재 후 변환하는 ELT와도 구분해요.
이렇게 쓰여요
야간 데이터 갱신
“ETL이 중간에 실패해도 다시 실행할 때 같은 주문이 두 번 쌓이지 않게 하자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트