[지디넷코리아]
LG유플러스가 같은 GPU에서 AI가 처리할 수 있는 토큰량을 최대 4배까지 높이는 기술을 개발했다. AI 서비스 확대로 GPU와 전력 비용이 늘어나는 가운데 모델 성능을 유지하면서 인프라 운영비를 줄이는 기술 확보에 나선다.
LG유플러스는 AI 모델 최적화 전문기업 옵트에이아이와 ‘토큰 최적화’ 기술을 공동 연구한다고 2일 밝혔다. 토큰은 AI가 질문을 이해하고 답변을 만드는 과정에서 처리하는 데이터의 기본 단위다.
양사는 AI 모델의 연산 구조를 실제 서비스 환경에 맞게 개선해 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 초기 성과를 확보했다. 앞으로 같은 GPU 자원으로 더 많은 이용자 요청을 처리하는 데 초점을 맞춰 기술을 고도화한다.
LG유플러스는 실제 AI 서비스 환경에서 기술을 검증하고 적용하는 역할을 맡는다. 옵트에이아이는 모델 경량화와 연산 효율을 높이는 기술 개발을 담당한다. GPU와 전력 사용량을 낮추면서 AI 응답 속도와 서비스 품질을 유지하는 것이 목표다.
양사는 앞서 온디바이스 AI 분야에서도 협력했다. ‘엑사원(EXAONE)’ 기반 소형언어모델(sLM)을 스마트폰의 AI 전용 반도체인 NPU에서 구동하도록 최적화해 기존 중앙처리장치(CPU) 방식과 같은 수준의 성능을 유지하면서 전력 소모를 78%, 모델 크기를 82% 줄였다.
공동 연구 범위는 스마트폰에서 서버 GPU 환경으로 넓어진다. 양사는 지난 1일 ‘Efficient AI 테크 세미나’를 열고 퓨리오사AI, 베슬에이아이, 한국전자기술연구원(KETI), 한양대학교 등과 AI 모델 최적화와 AI 반도체, 서비스 적용 사례를 공유했다.
LG유플러스는 공동 연구를 통해 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라에 단계적으로 적용할 계획이다.
이상엽 LG유플러스 최고기술책임자는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다”며 “옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다”고 말했다.
이재호 옵트에이아이 대표는 “생성형 AI 시대에는 높은 성능만큼이나 운영 효율을 확보하는 것이 중요해지고 있다”며 “LG유플러스와 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하겠다”고 말했다.