작업별 AI 모델 고르는 법: 능력이 '울퉁불퉁'한 이유

AI 모델은 만능이 아니라 학습 데이터가 두터운 영역에서만 뾰족하게 강한다. 2026년 모델들은 수학·코딩처럼 검증 가능한 데이터가 폭증한 영역에서 인간 기준선을 넘지만, 데이터가 얇은 영역에선 그럴듯하지만 틀린다. 드워케시 파텔은 이를 'AI의 중심에 있는 데이터 블랙홀'이라 불렀다. ASAP은 이 울퉁불퉁함을 기준으로 작업별 모델 선택법을 정리한다.

능력이 울퉁불퉁한 이유

모델 능력이 영역마다 다른 것은 학습된 데이터가 영역마다 다르기 때문이다. 모델은 검증 가능한 환경(수학·코딩)에서 강화학습으로 능력이 뾰족하게 솟고, 그런 데이터가 얇은 영역에선 가장자리가 거칠어진다. 즉 모델의 강점 지도는 곧 데이터가 쌓인 지도다.

벤치마크가 실무를 배신하는 지점

여기서 실무자가 헷갈리는 이유가 드러난다. 리더보드 상단 점수는 대체로 검증 가능한 영역에서 나온다. 수학·코딩처럼 정답을 기계로 채점할 수 있는 과제가 강화학습으로 집중 훈련된 결과이기 때문이다. 그래서 벤치마크 1위 모델이 내 브랜드 톤의 카피나 미묘한 상담 응답에서 기대만큼 못 하는 일이 자주 생긴다. 점수는 능력의 '가장 뾰족한 봉우리'를 재지만, 실무는 능력의 '가장 낮은 골짜기'에서 무너지기 쉽다. 데이터 블랙홀 관점이 유용한 이유는, 벤치마크를 능력의 평균이 아니라 편향된 표본으로 다시 읽게 해주기 때문이다.

작업으로 고르는 기준

모델 선택은 작업의 성격에 데이터가 두터운 모델을 맞추는 일이다. 기준은 다음과 같다.

작업이 검증 가능하고 정밀할수록 최상위 모델, 단순·대량일수록 싸고 빠른 모델이 합리적이다.

비싼 모델이 항상 답은 아니다

가장 비싼 모델을 모든 작업에 쓰는 것은 낭비다. 분류·추출·요약 같은 대량 단순 작업은 작은 모델로도 충분하며, 비용은 수배에서 수십 배까지 갈린다. 반대로 한 번의 정밀 추론이 중요한 작업에 싼 모델을 쓰면 틀린 답을 빠르게 얻을 뿐이다.

한국 실무에 옮길 때

국내 팀이 이 원칙을 적용할 때 걸림돌은 한국어가 대체로 '데이터가 얇은 영역'에 가깝다는 점이다. 검증 가능성으로 판단하는 태도가 그래서 더 값지다. 한국어 요약이나 톤 작업은 겉보기에 그럴듯해도 검증이 어려운 영역이라, 무작정 최상위 모델을 붙이기보다 사람이 표본을 눈으로 검수하는 절차를 함께 두는 편이 안전하다. 작업을 잘게 쪼개 검증 가능한 조각(추출·분류)과 그렇지 않은 조각(표현·판단)으로 나누고, 앞은 싼 모델과 자동 채점에, 뒤는 대형 모델과 사람 검수에 배분하는 방식이 현실적이다.

검증 가능성으로 되짚기

모델을 고른 뒤에는 '이 작업의 답을 내가 검증할 수 있는가'를 물어야 한다. 검증 가능한 작업은 모델이 강하고 실수도 잡힌다. 검증이 어려운 작업은 어떤 모델을 써도 위험하므로, 사람의 판단을 함께 둬야 한다. 데이터가 얇은 영역일수록 더 그렇다.

출처: Dwarkesh Patel, "The data black hole at the center of AI"(2026; 모델 능력의 jagged 특성·검증 가능 영역 편중) 기반 ASAP 분석.