데이터 전처리Data Preprocessing
Data Preprocessing
분석이나 모델 학습에 쓰기 전에 데이터를 목적에 맞게 정리하고 변환하는 과정이에요.
쉽게 비유하면
요리 전에 재료를 살피고 씻고 필요한 모양으로 손질하는 것과 같아요.
조금 더 자세히
중복과 누락 처리, 날짜·단위 통일, 범주 변환과 숫자 스케일 조정 등이 있어요. 원본을 보존하고 왜 바꿨는지 기록하는 것이 좋아요.
모든 이상값을 지우거나 누락을 무조건 0으로 채우면 의미가 왜곡될 수 있어요. 학습에서는 전체 자료로 변환 기준을 계산하면 평가 정보가 새어 들어갈 수 있어요.
왜 생겼나요
실제 데이터는 같은 형식과 품질로 모이지 않아, 그대로 사용하면 잘못된 분석이나 학습 결과를 만들 수 있어요.
어떻게 작동하나요
- 1. 상태 확인 누락, 중복, 분포와 형식을 살펴요.
- 2. 규칙 적용 업무 의미에 맞게 정리하고 변환해요.
- 3. 검증과 재현 변경 전후를 확인하고 같은 처리를 다시 적용할 수 있게 기록해요.
활용 예시
- 날짜와 시간대 통일
- 중복 고객 기록 처리
- 학습용 수치 스케일 조정
흔한 오해
튀는 값은 모두 오류인가요?
희귀하지만 중요한 실제 사례일 수 있어요. 원천과 업무 맥락을 확인한 뒤 제외나 수정 여부를 정해야 해요.
이렇게 쓰여요
모델 학습 준비
“전처리 기준은 학습 데이터에서만 구하고, 검증과 실제 입력에는 같은 기준을 적용하자”라고 이야기해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트