미 라이스대 개발 라우터아레나서 정확도·비용 종합 2위…토큰팩토리 연계
KT가 자체 개발한 AI 모델 라우팅 기술 '오토모델라우터'가 27일 글로벌 대형언어모델(LLM) 라우터 전문 벤치마크에서 정확도·비용 종합 2위에 올랐다.
해당 벤치마크 '라우터아레나'는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼으로, 관련 연구는 머신러닝 분야 국제학회 'ICLR 2026'의 정식 논문으로도 채택됐다. 약 8,400개의 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스 운영에 필요한 성능을 종합적으로 평가한다.
KT의 오토모델라우터는 라우터아레나 공개 리더보드에서 'KT-ModelRouter'라는 이름으로 등재됐으며, 정확도와 비용을 함께 평가하는 'Acc-Cost Arena' 기준 2위에 올랐다.
AI 모델 라우팅은 기업이 여러 AI 모델을 동시에 활용하는 멀티모델 환경이 확산되면서 중요성이 커지고 있다. AI 모델마다 번역과 요약, 코딩, 추론 등 잘하는 영역이 다르고 성능과 이용 비용에도 차이가 있기 때문이다.
오토모델라우터는 여러 AI 모델 가운데 이용자의 요청에 가장 적합한 모델을 자동으로 선택하는 기술이다. 요청의 업무 유형, 난이도, 지식 분야를 분석하고 모델별 응답 품질과 이용 비용을 고려한 라우팅 정책에 따라 해당 요청을 처리할 모델을 연결한다.
KT는 단순히 가장 성능이 높은 모델이나 가장 저렴한 모델을 일률적으로 선택하는 대신, 기업이 요구하는 목표 품질을 충족하면서 비용 효율도 높이도록 모델 선택 정책을 적용했다. 예를 들어 상대적으로 간단한 번역이나 정보 확인에는 비용 효율적인 모델을 활용하고, 전문적인 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 방식이다.
KT는 오토모델라우터를 자사가 추진 중인 AI 서비스 플랫폼 '토큰팩토리'의 모델 라우팅 기능에도 적용해 서비스 품질과 토큰 사용 비용을 함께 최적화할 계획이다.
KT 에이전틱 AI 랩의 김준석 상무는 "오토모델라우터는 AI 오케스트레이션 역량을 구현한 기술로, 토큰팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것"이라며 "경쟁력 있는 AI 플랫폼 기술을 바탕으로 기업 고객의 AX 전환을 선도해 나가겠다"고 밝혔다.
다만 라우터아레나 리더보드는 참여 기관이 자체 제출하는 공개 평가 방식으로 운영된다. 평가 시점에 따라 순위가 달라질 수 있어, 현재 순위가 지속되리라는 보장은 없다.
