온디바이스 AIOn-device AI
On-device AI
휴대폰이나 PC 같은 사용자 기기 안에서 AI 모델의 추론을 실행하는 방식이에요.
쉽게 비유하면
질문을 멀리 있는 본사로 보내는 대신 현장 담당자가 바로 처리하는 것과 같아요.
조금 더 자세히
기기에서 처리하면 네트워크 없이 동작하거나 서버로 보내는 데이터를 줄일 수 있어요. 다만 모델 다운로드나 일부 기능에는 인터넷이 필요할 수도 있어요.
기기의 메모리, 연산 능력, 배터리와 발열에 제약을 받아요. 서버에서 학습한 모델을 기기에 배포하는 경우가 많으며, 일부 작업만 서버로 보내는 혼합 구성도 가능해요.
왜 생겼나요
응답 지연과 네트워크 의존을 줄이고 개인 정보를 기기 안에서 처리하려는 요구가 커지며 발전했어요.
어떻게 작동하나요
- 1. 모델 준비 기기에 맞는 모델을 고르고 필요하면 크기를 줄여요.
- 2. 기기 실행 CPU, GPU나 전용 AI 칩으로 추론해요.
- 3. 환경 확인 속도와 전력 사용량을 측정하고 서버 연결 범위를 확인해요.
활용 예시
- 기기 내 음성 명령 인식
- 오프라인 사진 분류
- PC에서 문서 요약
흔한 오해
온디바이스면 데이터가 절대 밖으로 안 나가나요?
추론이 기기에서 실행된다는 뜻이에요. 로그 전송, 동기화, 서버 보조 기능의 데이터 흐름은 별도로 확인해야 해요.
이렇게 쓰여요
현장 앱 설계
“통신이 불안정한 현장에서는 온디바이스로 처리하고, 실제 기기에서 배터리 사용량도 보자”라고 말해요.
관련 용어
함께 보면 좋은 용어
최종 업데이트