[지디넷코리아]
“인공지능(AI) 서비스가 커질수록 인프라 비용 부담이 수익성을 잠식하는 구조가 고착화되고 있습니다. 이제는 클라우드만으로는 이 문제를 해결하기 어렵습니다.”
카카오엔터프라이즈 이재한 클라우드부문 사업본부장은 최근 서울 코엑스에서 열린 ‘2025 데이터·클라우드 진흥주간’에서 지디넷코리아와 만나 이같이 강조했다. AI 인프라 시장이 학습 중심에서 추론 중심으로 전환되는 과정에서 기업들이 비용 구조의 한계를 직면한다는 설명이다.
이 본부장은 “AI 서비스가 확산될수록 추론 트래픽이 급증하고 이에 따라 고가 그래픽처리장치(GPU) 사용이 불가피해진다”며 “매출이 늘수록 인프라 비용도 함께 증가하는 역설적인 상황이 이미 현실화되고 있다”고 진단했다.
카카오엔터프라이즈는 이러한 구조적 문제의 해법으로 ‘하이브리드 서비스형 GPU(GPUaaS)’를 제시하고 있다. 하이브리드 GPUaaS는 고객이 GPU 서버를 자산으로 보유하되, 카카오클라우드의 단일 콘솔과 플랫폼을 통해 퍼블릭 클라우드 GPUaaS와 동일한 방식으로 운영·관리할 수 있도록 한 모델이다.
초기 개발이나 기술검증(PoC) 단계에서는 클라우드 GPU를 활용해 민첩성을 확보하고 서비스가 본궤도에 오르면 GPU 자산화를 통해 중장기 총소유비용(TCO)을 낮추는 방식이 핵심이다. 이를 통해 클라우드의 유연성과 온프레미스의 비용 효율성을 동시에 확보할 수 있다.
AI 인프라 시장의 가장 큰 변화는 추론 비용이 학습 비용을 추월하는 시점이 도래하고 있다는 점이다. 글로벌 리서치와 카카오엔터프라이즈의 분석에 따르면 내년을 전후로 AI 서비스의 총비용 구조에서 추론이 차지하는 비중이 학습을 넘어설 것으로 전망된다.
문제는 기존 ‘클라우드 온리’ 전략이 이러한 환경에서 수익성 악화를 가속화할 수 있다는 점이다. 서비스 이용량이 늘수록 GPU 사용량이 증가하고 이는 곧 비용 증가로 직결된다. 일부 글로벌 AI 기업들이 대규모 자체 데이터센터 구축과 자산화 전략으로 회귀하는 배경도 여기에 있다.
이 본부장은 “국내 스타트업과 중소기업 입장에서는 대규모 온프레미스 구축이 현실적으로 쉽지 않다”며 “전력·상면·냉각·운영 인력까지 고려하면 초기 진입 장벽이 매우 높다”고 말했다.
실제 국내에서 최신 엔비디아 B200·B300급 GPU를 수용할 수 있는 데이터센터는 제한적이며 랙당 전력 밀도 역시 주요 제약 요소로 작용하고 있다. 이러한 상황에서 단순한 온프레미스 전환은 또 다른 부담으로 작용할 수 있다는 설명이다.
카카오엔터프라이즈는 이 지점에서 하이브리드 전략이 현실적인 대안이 된다고 바라봤다. 고정 수요는 자산화된 GPU로 처리하고 변동성이 큰 수요는 클라우드 GPUaaS로 흡수하는 구조다.
이 모델을 적용할 경우 퍼블릭 클라우드 GPUaaS 대비 약 33% 수준의 TCO 절감 효과를 기대할 수 있고 고객이 직접 온프레미스를 구축하는 방식과 비교해도 약 10~20% 비용 효율성이 개선된다는 것이 카카오엔터프라이즈의 분석이다.
이 본부장은 “결국 AI 서비스가 성장할수록 기업의 고민은 어떻게 GPU를 더 싸고 안정적으로 쓰느냐로 수렴한다”며 “하이브리드 GPUaaS는 그 질문에 대한 가장 현실적인 답”이라고 말했다.
하이브리드 GPUaaS의 차별점은 단순 비용 절감에 그치지 않는다. 카카오엔터프라이즈는 유연성·효율성·가시성을 핵심 가치로 제시하고 있다. 먼저 유연성 측면에서 고객은 평상시에는 전용 GPU 자산을 활용해 최대 효율을 확보하고 트래픽이 급증할 경우 클라우드 GPU로 즉시 확장할 수 있다. 모든 자원은 하나의 VPC와 단일 콘솔에서 관리된다.
효율성 측면에서는 GPU 자원 할당과 회수, 모델 학습·배포·서빙까지 머신러닝 운영관리(MLOps) 기반 자동화를 지원한다. 이를 통해 유휴 GPU 발생을 최소화하고 운영 인력 부담을 줄일 수 있다. 가시성 역시 핵심 요소다. 물리적으로 분산된 GPU 자원을 단일 대시보드에서 모니터링하고 사용량·가동률·비용을 통합적으로 파악할 수 있어 TCO 관리가 용이하다.
보안 측면에서도 금융권 수준의 클라우드 서비스 제공사(CSP) 안정성 평가를 충족한 데이터센터 환경을 기반으로 서비스를 제공한다. 이는 규제 산업으로의 확장 가능성을 뒷받침하는 요소다.
이 본부장은 “하이브리드 GPUaaS는 금융권과 공공기관, 대규모 엔터프라이즈를 중심으로 도입 사례가 확산되고 있다”며 “전력과 상면 확보가 어려운 고객일수록 수요가 빠르게 늘고 있다”고 밝혔다.
카카오엔터프라이즈는 하이브리드 GPUaaS를 단순한 인프라 상품이 아니라 AI 플랫폼 전략의 출발점으로 보고 있다. 이 본부장은 “GPU 비용만 낮춘다고 AI 경쟁력이 생기는 것은 아니다”라며 “GPU를 얼마나 효율적으로 운영·관리하고 AI 개발과 서비스로 연결할 수 있느냐가 더 중요해지고 있다”고 설명했다.
이를 위해 카카오엔터프라이즈는 GPU 자원 통합 관리와 모니터링을 중심으로 한 AI 플랫폼 고도화를 추진하고 있다. 온프레미스 GPU와 카카오클라우드 GPUaaS는 물론, 외부에 분산된 GPU 자원을 일원화해서 하나의 대시보드로 통합 관리하는 방향을 준비 중이다.
이 본부장은 “고객 입장에서는 GPU가 어느 인프라에 있든 상관없이 하나의 콘솔에서 쓰는 것이 중요하다”며 “하이브리드 GPUaaS는 이런 통합 관리 전략을 실현하기 위한 기반”이라고 말했다.
특히 GPU 사용 현황, 가동률, 성능, 비용을 실시간으로 모니터링하고 학습·추론 워크로드를 효율적으로 배치하는 기능이 핵심이다. 이를 통해 불필요한 유휴 자원을 줄이고 AI 서비스 운영 단계에서의 비용 예측 가능성을 높인다는 구상이다.
카카오엔터프라이즈는 이러한 통합 운영 역량이 향후 AI 플랫폼 경쟁력의 핵심 요소가 될 것으로 보고 있다. 단순히 GPU를 제공하는 것을 넘어 AI 모델 학습부터 배포·서빙·운영까지 이어지는 전체 흐름을 플랫폼 차원에서 지원하겠다는 전략이다.
카카오엔터프라이즈 이재한 본부장은 “AI 비즈니스가 지속 가능하게 성장하려면 인프라 비용을 통제할 수 있는 구조가 필요하다”며 “카카오클라우드의 하이브리드 GPUaaS는 AI를 위한 멀티·하이브리드 전략의 한 축으로 자리 잡을 것”이라고 강조했다.
이어 “하이브리드 GPUaaS를 통해 고객이 성장 단계에 맞춰 민첩성과 수익성을 동시에 확보할 수 있도록 적극 돕겠다”고 덧붙였다.