AI가 그럴듯하게 틀릴 때: 환각을 줄이고 잡아내는 법

환각은 거짓말이 아니라 ‘그럴듯한 빈칸 채우기’입니다

생성형 AI는 질문에 대해 가장 그럴듯한 다음 문장을 만들어 내는 방식으로 답합니다. 정확한 정보가 없을 때도 문장은 매끄럽게 이어지기 때문에, 존재하지 않는 논문 제목이나 틀린 날짜를 사실처럼 말하는 일이 생깁니다. 이를 흔히 환각이라고 부릅니다.

중요한 점은 환각이 문장의 자신감과 상관이 없다는 것입니다. 말투가 단정적이라고 해서 맞는 답이라는 보장은 없습니다.

잘 틀리는 영역을 알아 두세요

경험상 다음 영역에서 오류가 자주 납니다. 구체적인 숫자(통계, 가격, 날짜), 고유명사(사람 이름, 법 조항 번호, 논문·책 제목), 최근에 바뀐 정보(요금제, 정책, 버전), 그리고 잘 알려지지 않은 주제입니다.

반대로 일반적인 개념 설명, 글의 구조 잡기, 문장 다듬기처럼 정답이 하나로 정해지지 않은 작업에서는 환각의 피해가 상대적으로 작습니다. 그래서 AI에게 ‘사실을 찾아오는 일’과 ‘생각을 정리하는 일’을 구분해 맡기는 것이 첫 번째 대책입니다.

프롬프트로 줄이는 방법

자료를 직접 주세요. 내가 가진 원문을 붙여 넣고 ‘이 자료 안에서만 답해 줘’라고 하면 지어낼 여지가 크게 줄어듭니다.

모르면 모른다고 말하게 하세요. ‘확실하지 않은 내용은 확인 필요라고 표시해 줘’ 한 줄을 넣으면 AI가 빈칸을 억지로 채우는 경향이 약해집니다.

출처를 요구하되 출처도 확인하세요. 출처 링크를 달아 달라고 하면 검증이 쉬워지지만, 링크 자체가 없는 주소이거나 내용과 무관한 경우도 있습니다. 링크는 반드시 직접 열어 보세요.

결과를 검증하는 순서

첫째, 답변에서 숫자와 고유명사에 밑줄을 긋듯 따로 뽑습니다. 둘째, 그중 결론에 영향을 주는 것부터 공식 자료(정부 사이트, 서비스 공식 안내, 원 논문)에서 확인합니다. 셋째, 날짜를 확인합니다. 맞는 정보였더라도 1년 전 기준이라면 지금은 다를 수 있습니다.

모든 문장을 확인할 필요는 없습니다. ‘이게 틀리면 무슨 일이 생기나’를 기준으로 확인할 범위를 정하면 시간이 크게 들지 않습니다. 사내 공지, 고객 안내, 계약 관련 문서처럼 틀렸을 때 비용이 큰 글은 전부 확인하는 편이 안전합니다.

다른 AI에게 물어보는 건 검증이 아닙니다

두 AI가 같은 답을 했다고 맞는 답이 되지는 않습니다. 비슷한 자료로 학습했다면 같은 실수를 반복할 수 있습니다. 교차 확인은 사람이 쓴 1차 자료로 해야 의미가 있습니다. 검색형 AI를 쓸 때도 요약만 읽지 말고 연결된 원문을 열어 보세요. 자세한 방법은 AI 리서치 결과 검증하는 법에 정리해 두었습니다.

실제로 겪기 쉬운 사례

업무 메일에 AI가 정리한 ‘관련 법 조항’을 그대로 붙였다가 조항 번호가 틀린 경우, 블로그 글에 AI가 추천한 책을 소개했는데 그런 책이 없던 경우, 엑셀 함수 사용법을 물었더니 해당 프로그램에 없는 함수를 알려 준 경우가 대표적입니다. 세 경우 모두 결과를 쓰기 전에 한 번만 검색해 봤으면 막을 수 있었습니다.

정리

환각을 완전히 없애는 방법은 아직 없습니다. 대신 자료를 주고, 모르면 표시하게 하고, 중요한 숫자와 이름은 원문에서 확인하는 세 가지 습관이면 실무에서 문제가 되는 오류 대부분을 걸러낼 수 있습니다. AI는 초안을 빠르게 만드는 도구이고, 최종 책임은 결과를 쓰는 사람에게 있다는 점을 기억하세요.

참고

서비스의 요금, 기능, 약관은 바뀔 수 있으니 중요한 결정 전에는 각 서비스의 공식 안내를 다시 확인하세요. 내용에 오류가 있으면 문의·오류 제보로 알려 주세요. 다른 가이드 보기