유튜브는 어떻게 영상을 자동으로 자막으로 바꿀까?

서현이는 도서관에서 이어폰 없이 유튜브 요리 영상을 봤습니다.

그런데 자막을 켜자 요리사가 말할 때마다 글자가 따라 나왔습니다. 잘 읽히다가도, “한 꼬집”이라는 말이 엉뚱한 단어로 바뀌는 순간이 눈에 들어옵니다.

유튜브는 화면 속 요리사의 말을 어떻게 알아듣고, 어떤 순간에 글자를 띄울까요?

---

1. 영상에 담긴 소리에서 말의 단서를 찾습니다

영상에는 움직이는 화면과 시간에 따라 흐르는 소리가 들어 있습니다. 유튜브가 자동 자막을 만드는 데 사용하는 기술은 자동 음성 인식입니다. 녹음에 담긴 말소리를 분석해 글로 옮기는 기술이에요. 요리사가 화면 밖에 있어도 목소리가 녹음돼 있다면, 그 소리에서 말을 찾을 수 있습니다. 유튜브 자동 자막 안내

이어폰을 빼면 서현의 자리에서는 아무 소리도 들리지 않습니다. 영상 파일에 들어 있는 소리는 그대로입니다. 자막이 있는 영상이라면 기기의 스피커를 켜지 않고도 화면에서 대사를 읽을 수 있는 이유죠.

2. 소리의 패턴과 앞뒤 말을 함께 살핍니다

음성 인식의 일반적인 원리를 떠올려 봅시다. 사람은 “설탕을 한 꼬집 넣어요”를 들을 때 발음 하나하나만 받아 적지 않습니다. 앞에 설탕이 나왔고 뒤에 넣는다는 말이 나오면, 조금 흐릿하게 들린 표현도 문맥으로 짐작하죠. 머신러닝을 이용하는 음성 인식 모델도 녹음의 패턴과 앞뒤 표현 등을 활용해 가능한 글을 계산합니다.

싱크대 물소리가 말에 겹치거나 여러 사람이 동시에 말하면 단서가 부족해집니다. 같은 발음으로 들리는 후보도 여러 개일 수 있죠. 유튜브는 억양, 방언, 발음과 배경 소음 때문에 자동 자막이 실제 발언과 달라질 수 있다고 안내합니다. 유튜브 자동 자막 안내

3. 글자와 함께 나타나고 사라질 시간을 맞춥니다

요리사의 말을 전부 받아 적어도, 글을 한꺼번에 보여 주면 영상을 따라가기 어렵습니다. 자막에는 문구와 함께 영상의 어느 시점에 표시할지를 나타내는 타임코드가 필요합니다. 예를 들어 영상 시작 12초쯤에 “불을 줄여 주세요”가 나오면, 재생 위치가 그 구간에 들어설 때 해당 문구를 보여 주는 식입니다.

영상에 연결된 이런 시간표를 자막 트랙이라고 합니다. 재생 앱은 시청자가 선택한 트랙을 현재 재생 위치에 맞춰 표시할 수 있습니다. 같은 영상에 제작자가 만든 자막과 음성 인식으로 생성된 자막이 각각 붙을 수도 있습니다. 유튜브 자막 트랙 문서

4. 자동으로 받아 쓰는 일과 다른 언어로 옮기는 일은 별개입니다

한국어로 말한 요리사의 목소리를 한국어 글로 옮기는 것이 음성 인식이라면, 그 글을 영어 등 다른 언어로 옮기는 일은 번역입니다. 자동 번역이 만들어진 자막을 바탕으로 작동하는 경우, 처음에 잘못 받아 적은 재료 이름이 번역에도 이어질 수 있습니다. 그래서 자막이 매끄럽게 읽혀도 원래 발언과 어긋날 때가 있습니다.

자동 자막은 처리에 시간이 걸리거나 영상에 따라 제공되지 않을 수 있습니다. 유튜브는 자동으로 만들어진 자막을 제작자가 검토하고 틀린 부분을 고치도록 권합니다. 서현이 본 “한 꼬집”도 화면에 뜬 글만 봤을 때는 확신하기 어렵지만, 소리와 장면을 함께 보면 어떤 말이었는지 판단할 단서가 더 많아집니다. 유튜브 자동 자막 안내