환각Hallucination

Hallucination

AI가 사실과 다르거나 근거 없는 내용을 그럴듯하게 만들어 내는 현상이에요.

쉽게 비유하면

빈칸이 있는 지도에 실제로 확인하지 않은 길을 자연스럽게 이어 그려 넣는 것과 비슷해요.

존재하지 않는 논문이나 링크를 제시하거나, 문서에 없는 내용을 요약에 넣는 경우가 있어요. 사실과 다른 답뿐 아니라 주어진 자료로 뒷받침되지 않는 주장도 문제가 돼요.

모델은 문맥에 맞는 출력을 만들지만 모든 문장을 사실과 대조하는 것은 아니에요. 학습 정보의 한계, 모호한 질문, 잘못된 검색 결과나 자료 해석 등 여러 요인이 영향을 줄 수 있어요.

생성형 AI는 정해진 데이터베이스의 항목을 그대로 꺼내는 것과 달리 새로운 문장을 만들어요. 문장이 자연스러운 정도와 내용이 사실인 정도가 달라질 수 있어 이 현상을 구분해 다뤄요.

1. 입력과 맥락 질문과 함께 주어진 자료를 바탕으로 응답을 시작해요.
2. 근거 없는 생성 충분한 근거가 없거나 자료를 잘못 연결해도 그럴듯한 내용을 생성할 수 있어요.
3. 검증에서 발견 원문, 실제 데이터나 실행 결과와 대조하면 잘못된 부분을 발견할 수 있어요. 모든 환각이 쉽게 드러나는 것은 아니에요.

AI가 일부러 거짓말하는 건가요?

환각이라는 말은 출력의 오류를 가리켜요. 사람처럼 사실을 알면서 속이려는 의도가 있다고 단정하는 표현은 아니에요.

출처 링크가 있으면 믿어도 되나요?

링크 자체가 없거나 연결된 자료가 주장을 뒷받침하지 않을 수 있어요. 출처의 존재와 내용의 일치 여부를 함께 확인해야 해요.

RAG나 추론 모델을 쓰면 완전히 없어지나요?

도움이 될 수 있지만 보장하지는 않아요. 검색 실패, 잘못된 해석과 계산 오류 등을 작업에 맞는 방식으로 검증해야 해요.

근거가 필요한 답변

사내 규정 답변이 틀릴 때 “RAG를 넣는 데서 끝내지 말고, 답의 주장이 실제 조항에 있는지 평가하자”라고 이야기해요.

최종 업데이트 2026-11-01