VibeThinker-3B: 30억 파라미터로 AIME 2026에서 94.3점을 낸 웨이보의 소형 추론 모델

VibeThinker-3B는 웨이보(Sina Weibo) 연구진이 공개한 30억(3B) 파라미터 추론 모델로, AIME 2026 수학 벤치마크에서 94.3점을 기록했다. 2026년 6월 arXiv 2606.16140으로 발표된 이 기술 보고서는, 'Spectrum-to-Signal' 사후학습 방식으로 작은 모델에서 큰 모델급 검증가능 추론을 끌어냈다고 주장한다. 저자들은 같은 모델이 수백 배 큰 DeepSeek V3.2, GLM-5, Gemini 3 Pro와 수학·코딩 추론에서 대등하거나 앞선다고 보고했다.

다양성을 먼저 펼치고 정답으로 좁힌다: Spectrum-to-Signal의 순서

VibeThinker-3B의 설계 축은 학습 순서다. 'Spectrum-to-Signal' 파이프라인은 세 단계로 돌아간다. 첫 단계인 커리큘럼 기반 지도학습(SFT)은 난이도를 점진적으로 올리면서 풀이 다양성부터 넓게 확보한다. 이어 수학·코딩 등 여러 도메인의 멀티도메인 강화학습(RL)이 펼쳐 둔 후보 풀이 중 검증가능한 정답 신호를 강화한다. 마지막 오프라인 자기증류(self-distillation)는 강화된 능력을 다시 모델 안으로 압축한다.

저자들은 이 배경 가설을 'Parametric Compression-Coverage Hypothesis'로 정리한다. 핵심은 작은 모델일수록 정답으로 바로 좁히지 말고 다양성(coverage)부터 넓힌 뒤 신호로 수렴시키는 순서가 유리하다는 것이다. 파라미터 예산이 빠듯한 소형 모델의 한계를 학습 순서로 우회하려는 시도로 읽힌다.

AIME 94.3에서 LeetCode 96.1%까지, 숫자를 어떻게 읽을까

VibeThinker-3B의 성적은 채점 가능한 영역에 몰려 있다. 보고된 주요 점수는 다음과 같다.

1. AIME 2026 수학 94.3점(클레임 단위 테스트타임 스케일링 적용 시 97.1점).
2. AIME 2025 91.4점, HMMT 2025 89.3점.
3. LiveCodeBench v6에서 80.2 Pass@1.
4. 2026년 4월 말부터 5월 말까지의 미공개 LeetCode 주간·격주 콘테스트에서 96.1% 정답 채택률.

지시 따르기 능력을 측정하는 IFEval에서는 93.4점을 기록했다. 여기서 눈여겨볼 지점은 4번이다. 학습 시점 이후에 열린 '미공개' 콘테스트에서 96.1%를 낸 값은, 벤치마크 데이터 오염 우려를 비껴간 근거로 해석할 수 있다. 수학·경시 점수보다 이 미공개 코딩 성적이 실전 일반화의 방증으로 더 무겁게 읽힌다.

"거대 모델과 동급" 주장은 어디까지 사실인가

논문 초록은 이 모델이 "수백 배 큰 플래그십 모델, 예컨대 DeepSeek V3.2, GLM-5, Gemini 3 Pro와 대등하거나 이를 능가한다"고 밝힌다. 일부 2차 매체는 여기에 Claude Opus 4.5까지 비교 대상으로 끌어와 'Opus를 이긴 3B 모델'이라는 제목을 달았다.

이 비교를 두고 벤치마크 논쟁이 다시 불거졌다. VentureBeat는 작은 모델의 벤치마크 우위가 AIME·LiveCodeBench 같은 좁은 수학·코딩 과제에 한정된다는 점, 그리고 같은 과제를 사후학습으로 집중 최적화하면 일반 능력과의 간극이 벌어질 수 있다는 비판을 전했다. 정리하면 "거대 모델을 이겼다"는 표현은 전 영역 동급이 아니라 특정 추론 벤치마크 한정으로 읽는 것이 정확하다.

파라미터-성능 곡선에 생긴 균열

VibeThinker-3B의 의의는 단일 최고 점수가 아니라 방향성에 있다. 2026년 현재 추론 성능은 대체로 파라미터 규모와 학습 비용에 비례한다고 여겨졌는데, 30억 파라미터가 AIME 94.3점을 내면 그 가정에 균열이 생긴다. 검증가능 보상에 기댄 사후학습이 작은 모델의 추론을 크게 끌어올린다는 점이 실용적 함의다.

다만 인과를 뒤집어 읽어야 한다. 이 결과는 "3B면 충분하다"가 아니라 "정답을 채점할 수 있는 좁은 과제라면 3B로도 밀어붙일 수 있다"는 조건부 명제에 가깝다. 보고된 강점이 수학·코딩에 집중된 것도 이 조건 때문이다.

한국 실무자가 이 결과를 쓰는 법

작은 오픈웨이트 모델이 검증가능 영역에서 큰 모델급으로 붙는다는 사실은 온프레미스·엣지 배포에 곧바로 쓸모가 있다. 사내 수학·코드 채점, 자동 채점 파이프라인, 정답 검증이 가능한 도구 호출 등 보상을 명확히 정의할 수 있는 작업이라면 30억급 모델로 비용을 크게 줄일 여지가 있다.

반대로 일반 대화·지식·안전성 전반으로의 일반화는 추가 검증이 필요하다. 실무 도입 판단은 "우리 과제의 정답을 자동 채점할 수 있는가"를 먼저 묻는 데서 시작하는 것이 안전하다. 채점 기준이 모호한 업무일수록 이 벤치마크 성적은 그대로 이식되지 않는다.

---

참고: VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models (Sen Xu et al., Weibo, 2026)