자체 AI 모델 활용해 코딩 비용 90% 절감… 모델 라우팅으로 업무 처리 효율 개선
AI 모델 크기 3분의 1로 경량화·토큰 생성 속도 2배↑… 뉴립스 논문 2편 채택
‘익시오’·AICC 등 상용 서비스 운영 경험 기반… 2027년 AI 토큰 최적화 사업 본격화

이상엽 LG유플러스 CTO 전무가 11월 12일 ‘AI 토큰 최적화 스터디’ 현장에서 발표하고 있다. <사진=LG유플러스>

LG유플러스가 인공지능(AI) 에이전트 운영 비용을 최대 90% 절감할 수 있는 기술을 확보하고, 내년부터 기업간거래(B2B) 시장 공략에 나선다. AI 모델의 크기를 줄이고 작업별로 적합한 모델과 반도체를 활용하는 최적화 기술을 통해 기업들의 AI 도입 및 운영 부담을 낮춘다는 전략이다.

LG유플러스는 지난 12일 ‘AI 토큰 최적화 기자 스터디’를 열고 AI 운영 비용 절감을 위한 핵심 기술과 연구 성과, 향후 사업 추진 계획을 공개했다고 13일 밝혔다.

이번에 공개한 기술은 AI 모델의 사용 단가뿐 아니라 실제 업무를 완료하는 데 필요한 전체 비용을 줄이는 데 초점을 맞췄다. AI 에이전트가 복잡한 업무를 수행하는 과정에서 불필요한 검색과 분석, 검증을 반복하며 발생하는 토큰 사용량을 최소화하는 방식이다.

LG유플러스는 자체 기술 검증 결과, 코딩 작업에서 통상적으로 사용하는 AI 모델 대신 자체 모델을 활용할 경우 운영 비용을 약 90% 줄일 수 있는 사례를 확인했다. AI 모델의 연산 처리 방식을 개선해 동일한 인프라에서 처리 효율을 약 4배 높이는 성과도 거뒀다.

작업의 난이도에 따라 적합한 AI 모델을 선택하는 ‘모델 라우팅’ 기술도 적용했다. 내부 테스트에서는 일반적인 질문 처리 비용을 25% 이상, 코딩 에이전트 운영 비용을 30% 이상 절감하는 효과를 확인했다. 고성능 모델이 필요한 작업과 상대적으로 가벼운 작업을 구분해 불필요한 연산 비용을 줄인 결과다.

이같은 기술은 실제 서비스 운영 과정에서 축적한 경험을 바탕으로 개발됐다. LG유플러스는 AI 통화 에이전트 ‘익시오(ixi-O)’와 인공지능 컨택센터(AICC), 사내 AI 전환(AX) 업무 등에 자체 AI 모델과 외부 모델을 조합하는 최적화 기술을 적용해 왔다.

특히 익시오는 출시 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이를 병행 활용했으나, 이후 자체 모델과 엑사원(EXAONE) 등의 활용 비중을 조정하며 서비스 품질과 비용 효율을 개선했다. 카카오와 협력하는 ‘모두의 AI’에서도 AI 모델 운영을 담당하며 대규모 서비스 최적화 역량을 강화할 계획이다.

AI 모델 경량화와 추론 속도 개선에서도 성과를 확보했다. LG유플러스는 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서도 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다고 설명했다.

(왼쪽부터) 권기덕 LG유플러스 AX엔지니어링Lab장, 이상엽 CTO 전무, 이혜진 기술전략담당, 김현민 소버린클라우드사업팀장이 11월 12일 ‘AI 토큰 최적화 스터디’ 현장에서 답변하고 있다. <사진=LG유플러스>

아울러 작은 모델이 답변을 생성하고 큰 모델이 이를 검증하는 추론 기술을 고도화해 토큰 생성 속도를 2배 이상 높였다. 관련 연구 성과는 글로벌 AI 학술대회 ‘뉴립스(NeurIPS)’에 논문 2편이 채택됐다.

AI 인프라 운영 비용을 줄이기 위한 반도체 다변화 전략도 추진한다. 엔비디아와 AMD의 그래픽처리장치(GPU)뿐 아니라 국산 AI 반도체 기업 퓨리오사AI의 신경망처리장치(NPU)를 검증하고 있다. 작업 특성에 따라 적합한 반도체에 연산을 분산하는 ‘칩 믹스(Chip-Mix)’ 전략을 통해 특정 고가 반도체에 대한 의존도를 낮추겠다는 구상이다.

LG유플러스는 이러한 모델 경량화와 운영 최적화, 인프라 효율화 기술을 결합해 2027년부터 기업 고객을 대상으로 AI 토큰 최적화 사업을 본격 추진할 계획이다. 협력사와의 제휴형 서비스와 자체 인프라 구축 등 다양한 사업 모델을 검토하고 있다.

이상엽 LG유플러스 최고기술책임자 CTO 전무는 “AI 시장의 경쟁은 누가 더 큰 모델을 만드느냐를 넘어 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 완수하느냐로 이동했다”며 “글로벌 수준의 모델 경량화·추론 기술과 실제 운영 경험을 결합해 기업 고객들이 합리적인 비용으로 AI를 활용할 수 있도록 지원하겠다”고 말했다.

[CEO스코어데일리 / 이예림 기자 / leeyerim@ceoscore.co.kr]