“수많은 AI 모델 알아서 골라준다”…KT, 라우팅 기술 글로벌 2위

나만의 AI 비서

테크·과학 > 테크

업무 유형 분석해 AI 모델 자동 선택
정확도·비용 종합 평가서 2위 올라
토큰 팩토리의 모델 라우팅에 활용

KT가 이용자의 질문과 업무 난이도에 따라 여러 인공지능(AI) 가운데 적합한 모델을 자동으로 골라주는 기술을 개발했다. 간단한 업무에는 비용이 낮은 모델을 쓰고 복잡한 분석에는 고성능 모델을 연결해 AI 서비스의 품질과 운영 비용을 함께 관리하는 방식이다.

27일 KT는 자체 개발한 AI 모델 라우팅 기술 ‘오토모델라우터(AutoModelRouter)’가 거대언어모델(LLM) 라우터 공개 평가 플랫폼 ‘라우터 아레나(RouterArena)’에서 종합 2위를 기록했다고 밝혔다.

LLM 라우터는 사용자의 요청인 쿼리(Query)를 분석해 가장 적합한 AI 모델을 찾아 전달해 주는 장치다. 라우터 아레나는 미국 라이스대 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 약 8400개 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등을 평가한다. 관련 연구는 머신러닝 분야 국제학회인 ICLR 2026 정식 논문으로 채택됐다.

KT의 오토모델라우터는 정확도와 비용을 함께 평가하는 ‘Acc-Cost Arena’ 기준 2위에 올랐다. 공개 리더보드에는 ‘KT-ModelRouter’라는 이름으로 등재됐다. 해당 리더보드에는 학계에서 개발한 기술과 마이크로소프트의 ‘애저 모델 라우터’ 등 상용 기술도 올라와 있다.

모델 라우팅은 하나의 AI가 모든 업무를 처리하는 대신 요청에 따라 적합한 AI를 골라 연결하는 기술이다. AI 모델마다 번역과 요약, 코딩, 추론 등 강점을 보이는 영역이 다르고 이용 비용에도 차이가 있기 때문이다.

오토모델라우터는 이용자의 요청이 들어오면 업무 유형과 난이도, 지식 분야를 분석한다. 이후 각 AI 모델의 응답 품질과 이용 비용을 비교해 해당 업무를 처리할 모델을 자동으로 선택한다.

기업 입장에서는 업무마다 어떤 AI 모델을 써야 하는지 일일이 비교할 필요가 줄어든다. 필요한 품질 수준과 예산에 맞춰 여러 AI 모델을 함께 운영하는 멀티모델 환경을 구축할 수 있다는 설명이다.

KT는 해당 기술을 자체 AI 인프라 플랫폼 ‘토큰 팩토리’의 모델 라우팅 기능에도 활용한다. 토큰 팩토리가 여러 AI 모델과 토큰 이용 환경을 통합 관리하는 과정에서 오토모델라우터가 요청에 맞는 모델을 선택해 서비스 품질과 토큰 사용 비용을 함께 최적화하는 구조다.

앞으로 KT는 오토모델라우터의 성능을 고도화하고 새로운 AI 모델을 추가할 수 있는 멀티모델 운영 환경을 구축할 계획이다.

김준석 KT 에이전틱 AI랩장(상무)은 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”며 “오토모델라우터는 이러한 AI 오케스트레이션 역량을 구현한 기술”이라고 설명했다.

KT

030200 KOSPI

52,700 ▼ 0.75%

KT가 개발한 오토모델라우터가 LLM 라우터 공개 평가 플랫폼에서 글로벌 종합 2위를 기록했습니다.
자체 AI 인프라 플랫폼에 이 기술을 적용해 응답 품질과 토큰 사용 비용을 함께 최적화하고 있습니다.
업계에서는 멀티모델 운영 환경에서의 지능적인 활용 역량이 향후 AI 서비스 경쟁력의 핵심이 될 것으로 보고 있습니다.

주의사항 : 본 서비스는 AI의 구조적 한계로 인해 오류가 발생할 수 있습니다. 모든 내용은 투자 권유 또는 주식거래를 목적으로 하지 않습니다.

신고하기

신고 사유 선택

• 잘못된 정보 또는 사실과 다른 내용
• 오해의 소지가 있거나 과장된 분석
• 기사와 종목이 일치하지 않거나 연관성 부족
• 분석 정보가 오래되어 현재 상황과 맞지 않음

추천질문

Powered by

perplexity

• Q. AI 모델 라우팅 확산의 배경은?
• Q. 멀티모델 운영의 비용 절감 효과는?

에디터 픽 추천기사

• 추석 부모님 용돈 고민에 … 연금 얼마나 받나 봤더니

• 조사 착수하고서야 담합사실 실토? … 과징금 25% 부과한다

• 고향 출발전 기름넣지 마세요 … 고속道서 최대 5000원 아껴

• 원자로·터빈 K기술 총출동 … 美서 '에너지 르네상스' 기대

• “28일부터 돈 빠져나갑니다” … 연휴 미뤄진 금융거래 한꺼번에

핵심요약 쏙

AI 요약은 OpenAI의 최신 기술을 활용해 핵심 내용을 빠르고 정확하게 제공합니다.
전체 맥락을 이해하려면 기사 본문을 함께 확인하는 것이 좋습니다

KT는 이용자의 질문과 업무 난이도에 따라 적합한 인공지능 모델을 자동으로 선택하는 기술인 '오토모델라우터'를 개발했다.

이 기술은 8400개 질의를 기반으로 평가된 '라우터 아레나'에서 종합 2위를 기록하였으며, 비용과 정확도를 함께 고려하여 여러 AI 모델을 연결하는 방식이다.