하이브리드 모델은 어떤 토큰을 더 잘 맞히나: 평균 손실로는 안 보이는 트랜스포머와의 차이

Ai2(Allen Institute for AI)가 2026년 6월 공개한 분석은 하이브리드 언어모델이 의미를 담은 내용어를 트랜스포머보다 잘 예측하지만, 앞 구절을 그대로 반복하는 토큰과 닫는 괄호에서는 그 우위가 거의 사라진다는 것을 토큰별 손실 격차로 보여준다. 7B 규모의 Olmo 3(트랜스포머)와 Olmo Hybrid를 나란히 놓고 비교한 이 연구는, 모든 토큰을 평균 낸 단일 손실 하나로는 두 아키텍처의 차이를 제대로 가를 수 없다고 결론짓다.

종합 점수가 같아도 능력이 같은 것은 아니다

Ai2의 핵심 주장은 모델의 전체 평균 손실, 즉 모든 토큰에 걸친 평균 오차가 트랜스포머와 하이브리드를 비교하기에는 너무 뭉툭하다는 것이다. 두 모델의 종합 점수가 비슷해 보여도, 어떤 토큰에서 이기고 어떤 토큰에서 지는지를 합쳐 버리면 실제로 어떤 능력이 다른지가 가려진다.

분석 방법은 토큰을 종류별로 쪼개 손실 격차를 재는 것이다. 연구진은 품사, 괄호 종류, n그램 반복 같은 범주로 토큰을 나눈 뒤, 두 모델의 예측 손실 차이를 범주별로 측정했다.

하이브리드가 앞서는 내용어, 좁혀지는 기능어

Olmo Hybrid는 의미를 담은 내용어에서 트랜스포머보다 앞서며, 보고된 손실 격차는 약 0.04다. 같은 비교에서 관사·전치사 같은 기능어의 격차는 약 0.02로, 내용어에서의 우위가 기능어보다 두드러진다.

이 패턴이 가리키는 방향은 분명하다. 하이브리드는 다음에 올 의미 단어를 맞히는 데 강점을 보이며, 이는 순환 레이어가 문맥의 상태를 추적하는 능력과 맞닿아 있다.

반복과 닫는 괄호에서 이점이 증발한다

하이브리드의 이점은 앞 구절을 글자 그대로 반복하는 토큰에서 거의 0으로 줄어든다. 토큰이 이전 본문을 그대로 베껴야 할수록 하이브리드의 우위는 작아지고, 닫는 중괄호나 괄호에서는 그 이점이 아예 사라진다.

원인은 정확한 복사가 다른 종류의 능력이라는 데 있다. 멀리 떨어진 특정 토큰을 그대로 끌어와 베끼는 작업은 트랜스포머의 어텐션이 보존하는 강점이며, 고정 크기 상태로 압축하는 순환 구조에는 불리하다.

두 강점이 한 아키텍처 안에서 갈라지는 이유

Olmo Hybrid의 강점과 약점은 하이브리드가 순환 레이어의 상태 추적 능력과 어텐션을 함께 쓰는 구조에서 나온다. 내용 예측에서는 순환 레이어의 상태 추적이 이득을 주고, 정확한 토큰 검색과 복사에서는 트랜스포머의 어텐션이 우위를 유지한다.

같은 결론은 1B 규모 비교에서도 점검됐다. 연구진은 7B Olmo 3·Olmo Hybrid 외에 트랜스포머·하이브리드·순수 순환의 1B 모델 세 종을 함께 분석해, 아키텍처별 강약점이 규모를 가로질러 나타나는지 확인했다.

이 숫자를 어떻게 읽어야 하나

약 0.04와 약 0.02라는 격차는 절댓값만 보면 작아 보이지만, 이 분석의 요점은 크기가 아니라 방향의 일관성에 있다. 내용어에서는 하이브리드가 꾸준히 앞서고 복사·닫는 괄호에서는 꾸준히 밀린다는 부호의 대비가, 평균을 내는 순간 서로를 지워 버린다. 즉 단일 손실이 0에 가깝게 수렴한다는 사실 자체가 두 모델이 같다는 뜻이 아니라, 반대 방향의 강약점이 겹쳐 상쇄됐다는 신호로 읽어야 한다. 아키텍처 벤치마크에서 종합 점수 하나만 비교하는 관행이 왜 위험한지를 보여주는 사례다.

한국 실무자에게 주는 함의

모델을 고를 때 이 결과는 작업의 성격을 먼저 분해하라는 신호다. 문서 요약·의미 생성처럼 다음 의미 단어를 예측하는 비중이 큰 작업이라면 하이브리드의 순환 상태 추적이 유리하게 작용할 여지가 있다. 반대로 코드 생성이나 인용문 그대로 옮기기, 긴 식별자·괄호 짝 맞추기처럼 멀리 있는 토큰을 정확히 복사해야 하는 작업이라면 트랜스포머 어텐션의 강점이 더 중요하다. 다만 이 분석은 7B와 1B의 Olmo 계열에 한정된 손실 격차 관찰이며, 실제 하위 과제 성능이나 다른 모델 계열로의 일반화까지 증명한 것은 아니라는 점은 함께 봐야 한다.

---

참고: Which tokens does a hybrid model predict better? (Ai2, 2026)