데이터 레이크Data Lake
Data Lake
다양한 형식의 데이터를 원형에 가깝게 넓게 보관하고 필요에 맞춰 처리하는 저장 기반이에요.
쉽게 비유하면
완성된 보고서뿐 아니라 사진, 녹음과 원본 기록도 함께 모아 두는 큰 자료 보관소와 같아요.
조금 더 자세히
정형 테이블, 로그, 문서, 이미지 등을 함께 보관할 수 있어요. 원본뿐 아니라 정제하거나 가공한 영역을 나눠 관리하기도 해요.
저장했다고 바로 분석할 수 있는 것은 아니에요. 찾는 방법, 품질, 접근 권한과 처리 도구가 필요하며, 웨어하우스 기능과 결합한 구성도 있어요.
왜 생겼나요
분석 목적이 아직 정해지지 않은 대량의 다양한 데이터를 보관하고 나중에 여러 방식으로 활용하려고 발전했어요.
어떻게 작동하나요
- 1. 원천 수집 다양한 데이터와 수집 정보를 함께 저장해요.
- 2. 분류와 통제 영역을 나누고 메타데이터와 권한을 관리해요.
- 3. 가공과 활용 목적에 맞게 데이터를 정리해 분석이나 학습에 사용해요.
활용 예시
- 서비스 로그 원본 보관
- 이미지·음성 학습 자료 저장
- 여러 분석을 위한 원천 자료 축적
흔한 오해
아무 데이터나 넣기만 하면 되나요?
정리와 관리가 없으면 무엇이 있는지 찾거나 신뢰하기 어려워요. 카탈로그, 품질 기준과 보존 규칙이 필요해요.
이렇게 쓰여요
로그 저장 설계
“원본은 레이크에 보관하되 수집 날짜와 출처를 기록하고, 분석용 데이터는 따로 정제하자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트