긴 문서일수록 AI가 더 지어낸다: 172억 토큰으로 본 환각 연구

컨텍스트가 길수록 AI의 환각이 가파르게 늘어난다. 2026년 3월 공개된 논문 'How Much Do LLMs Hallucinate in Document Q&A'는 35개 오픈웨이트 모델을 172억 토큰으로 평가했다. 32K 토큰에서 최상위 모델도 5~7%를 지어냈고, 200K 토큰에서는 모든 모델이 10%를 넘겼다. 잘 찾는 능력과 지어내지 않는 능력은 별개라는 게 핵심이다. ASAP은 이 결과를 1차 출처 기준으로 정리한다.

32K에서 200K로, 환각 곡선의 기울기

논문은 컨텍스트가 길수록 환각이 가파르게 는다고 밝혔다. 32K 토큰에서 최상위 모델의 조작률은 5~7%였지만, 128K에서 거의 3배로, 200K에서는 35개 모델 전부 10%를 넘겼다. 172억 토큰 규모의 실측이다.

숫자를 읽는 방식이 중요하다. 32K에서 200K로 컨텍스트를 6배가량 늘리는 동안 조작률이 계단식이 아니라 곡선을 그리며 벌어졌다는 점에 주목할 만하다. 최상위 모델의 5~7%조차 안심할 수치가 아니다. 100개 답변 중 대여섯 개가 문서에 없는 사실을 담는다면, 검토자가 그 대여섯 개를 골라내는 비용이 나머지를 신뢰하는 이득을 잠식하기 때문이다. 그리고 200K에서 예외 없이 전 모델이 10%를 넘겼다는 사실은, 이것이 특정 아키텍처의 결함이 아니라 긴 컨텍스트라는 조건 자체에서 오는 구조적 현상임을 시사한다.

검색을 잘한다고 정직한 것은 아니다

논문의 핵심 발견은 근거를 찾는 능력과 지어내지 않는 능력이 별개라는 점이다. 사실을 잘 찾는 모델도 거짓을 만들어낼 수 있다. 두 능력을 따로 평가해야 한다는 뜻이다.

이 분리는 실무자가 벤치마크를 읽는 관점을 바꾼다. 흔히 리더보드 상위 모델을 '정확한 모델'로 뭉뚱그리지만, 검색 정확도가 높다고 조작이 적다는 보장은 없다. 답을 찾아오는 능력과 모르는 것을 모른다고 말하는 능력은 서로 다른 근육에 가깝다. 국내에서 사내 문서나 규정을 다루는 RAG를 도입할 때, 검색 적중률만 보고 모델을 고르면 정작 위험한 조작 성향을 놓칠 수 있다는 뜻이다.

온도를 낮추면 더 안전하다는 착각

온도 설정에도 역설이 있다. 온도 0.0이 약 60% 경우에서 정확도가 가장 높았지만, 일관성 붕괴는 온도 1.0보다 48배 자주 일어났다. 대부분의 모델에서는 높은 온도가 오히려 조작을 줄였다.

하드웨어는 변명이 되지 않는다

결과는 세 가지 하드웨어에서 일관됐다. 엔비디아 H200, AMD MI300X, 인텔 가우디 3에서 환각률이 비슷하게 나왔다. 환각을 줄이려고 특정 하드웨어를 고를 필요는 없다는 의미이다.

그래서 무엇을 넣지 말아야 하는가

논문은 긴 문서 질의응답을 무조건 믿으면 안 된다는 점을 수치로 보여준다. 컨텍스트를 길게 넣을수록 AI가 더 지어내므로, 핵심 근거만 짧게 넣는 편이 안전한다. 검색 증강(RAG)에서 많이 넣기가 답이 아니다.

다만 이 논문의 결론을 '무조건 짧게'로 단순화하면 곤란하다. 조작률이 오르는 원인이 컨텍스트 길이 자체인지, 아니면 긴 문서에 흔한 노이즈와 상충 정보 때문인지까지 이 실측만으로 가르기는 어렵다. 실무에서 쓸 만한 원칙은, 넣는 양이 아니라 근거의 밀도를 관리하는 것이다. 관련 없는 문단을 덜어내 신호 대비 잡음을 높이고, 답변마다 인용 근거를 강제해 조작 여부를 사후에 검증 가능하게 만드는 편이 낫다.

출처: 'How Much Do LLMs Hallucinate in Document Q&A Scenarios?'(arXiv 2603.08274, 2026년 3월 9일; JV Roig, 35개 오픈웨이트 모델, 172억 토큰, 32K에서 최상위 5~7% 조작, 200K에서 전 모델 10% 초과, 온도 0.0 정확도 최고이나 일관성 붕괴 48배, H200과 MI300X와 가우디3 일관) 기반 ASAP 정리.