롱컨텍스트 vs 사실 기반 메모리: 지속형 AI 에이전트의 설계 갈림길

지속형 AI 에이전트를 만들 때 대화 기록을 통째로 컨텍스트에 넣을지, 아니면 사실만 뽑아 메모리에 저장할지가 첫 번째 갈림길이 된다. 2026년 3월 논문 Beyond the Context Window는 이 선택을 감이 아니라 숫자로 따진다. 100k 토큰 기준 약 10턴이 지나면 메모리 방식이 더 저렴해진다는 손익분기점이 핵심이다. ASAP은 이 논문을 원문 기준으로 정리한다.

지금 이 논문이 중요한 이유

컨텍스트 창이 수십만 토큰으로 늘어나면서, 한동안 업계의 기본 답은 "그냥 다 넣어라"였다. 대화가 길어져도 전체 기록을 매 턴 다시 밀어넣으면 되니 별도의 메모리 설계가 불필요해 보였다. 하지만 이 전제는 정확도와 비용을 한 덩어리로 뭉뚱그린다. 이 논문의 기여는 두 축을 분리해, 롱컨텍스트 GPT-5-mini와 Mem0 메모리 시스템을 동일 조건에서 정량 비교했다는 데 있다. "무엇이 더 좋은가"가 아니라 "언제 무엇이 유리한가"로 질문을 바꾼 셈이다.

정확도와 비용은 서로 다른 곡선을 그린다

정확도부터 보면 롱컨텍스트가 앞선다. 롱컨텍스트 GPT-5-mini는 LongMemEval과 LoCoMo 벤치마크의 사실 회상에서 메모리 방식을 앞선다. 반면 Mem0 메모리 시스템은 PersonaMemv2에서 경쟁력을 보였는데, 안정적인 사실 속성에 기반한 페르소나 일관성에서 강했다. 즉 롱컨텍스트는 원문을 통째로 쥐고 있으니 세부 회상에 유리하고, 메모리는 추출된 핵심 사실을 오래 유지하니 페르소나 유지에 유리하다.

비용 곡선은 방향 자체가 다르다. 롱컨텍스트 추론은 캐싱을 켜도 컨텍스트가 길어질수록 턴당 비용이 늘어나는 증가형이다. 메모리 시스템은 초기 쓰기 단계를 지나면 턴당 읽기 비용이 거의 고정되는 고정형이다. 정확도 곡선과 비용 곡선이 반대로 움직인다는 점이 이 논문을 읽는 핵심 관점이다.

손익분기 숫자를 읽는 법

두 곡선이 교차하는 지점이 손익분기다. 100k 토큰 기준으로 약 10번의 상호작용을 넘기면 메모리 시스템이 더 저렴해진다. 그리고 컨텍스트가 길수록 이 손익분기점은 더 빨리 찾아온다. 여기서 주의할 점은 "10턴"이 절대 상수가 아니라 100k 토큰이라는 조건에 묶인 값이라는 것이다. 컨텍스트가 200k라면 교차점은 더 앞당겨지고, 아주 짧은 대화라면 손익분기 자체가 오지 않는다. 숫자를 규칙이 아니라 함수로 봐야 한다.

한국 실무자에게 주는 함의

국내 서비스는 대체로 토큰 단가에 민감하고, 상담 봇이나 반복 업무 에이전트처럼 같은 사용자와 오래 이어지는 워크로드가 많다. 이 논문의 기준을 대입하면, 세션이 길고 반복적일수록 사실 기반 메모리 쪽 이득이 커진다. 반대로 정확한 세부 회상이 승부처인 짧은 QA형 기능이라면 롱컨텍스트가 여전히 합리적이다. 실무에서는 하나만 고르기보다, 초반 몇 턴은 롱컨텍스트로 정확도를 확보하고 대화가 임계 턴을 넘기면 메모리로 전환하는 혼합 설계를 검토할 만하다.

한계와 남는 질문 (ASAP의 관점)

이 결과는 특정 모델(GPT-5-mini)과 특정 메모리 구현(Mem0), 그리고 100k 토큰이라는 조건에서 얻은 값이다. 모델이나 메모리 시스템이 바뀌면 손익분기 위치도 달라질 수 있다. 또한 벤치마크 점수가 실제 서비스 품질과 항상 일치하지는 않으며, 메모리 추출 과정에서 어떤 사실이 버려지는지에 대한 통제가 별도로 필요하다. 그럼에도 "정확도와 비용을 분리해 언제 무엇을 쓸지 정량 기준을 세웠다"는 틀은 앞으로의 에이전트 설계 논의에 오래 남을 것으로 본다.

출처: Beyond the Context Window: A Cost-Performance Analysis of Fact-Based Memory vs. Long-Context LLMs for Persistent Agents (arXiv:2603.04814, 2026년 3월 5일; Natchanon Pollertlam, Witchayut Kornsuwannawit) 기반 ASAP 정리.