[지디넷코리아]
생성형 AI 도입이 기업 생존의 필수 과제로 자리 잡은 가운데, 글로벌 빅테크 기업들이 데이터 이동 최소화를 핵심으로 한 인프라 혁신에 집중하고 있다.
폭발적으로 증가하는 기업 내 데이터를 통합하는 과정에서 발생하는 비효율과 보안 리스크가 AI 전환(AX)을 가로막는 최대 걸림돌로 지목됐기 때문이다.
14일 업계에 따르면 IBM, 오라클, 델 테크놀로지스, HPE 등 주요 기업은 데이터가 저장된 곳에서 즉시 AI를 구동하는 데이터 중심 솔루션을 앞세워 치열한 주도권 경쟁에 돌입했다.
IBM은 생성형 AI 도입의 가장 큰 걸림돌을 ‘데이터의 준비 상태’로 진단하고, 이를 해결하기 위한 ‘AI 레디 데이터(AI-ready Data)’ 전략을 전면에 내세운다.
AI 레디 데이터는 AI가 즉시 학습하고 운영할 수 있도록 품질과 정합성을 확보한 최적화된 상태를 의미한다. 현재 다수 기업이 보유한 데이터에서 90% 이상은 문서나 이미지 같은 비정형 데이터로 알려졌다.
이로 인해 실제 AI 모델에 활용되는 데이터 비율은 1% 미만에 불과하다. 복잡한 저장소 구조와 낮은 품질 때문에 데이터가 AI의 연료로 쓰이지 못하고 버려지는 셈이다.
IBM은 AI 및 데이터 플랫폼 ‘왓슨x(watsonx)’를 통해 ‘데이터 통합’과 ‘데이터 인텔리전스’라는 두 가지 핵심 해법을 제시한다.
데이터 통합 단계에서는 온프레미스 서버의 비정형 데이터, 클라우드의 정형 데이터, 실시간 스트리밍 데이터 등 기업 내외부에 흩어진 모든 데이터를 하나로 연결한다. 왓슨x는 데이터를 한곳에 모으는 차원을 넘어 수집된 데이터를 AI 모델이 학습과 추론에 바로 활용할 수 있는 포맷으로 변환해 저장한다.
이어 데이터 인텔리전스 과정을 통해 플랫폼이 데이터의 오류를 자동으로 수정하고 표현은 다르지만 같은 의미를 지닌 단어를 같은 항목으로 묶어 일관성을 확보한다. 또 개인정보나 보안 데이터를 자동 탐지해 마스킹 처리하고 욕설이나 노이즈 데이터를 제거해 AI의 학습 효율을 높인다.
특히 기업마다 사용하는 고유 용어나 내부 코드를 표준화하는 ‘수동 큐레이션’ 기능을 제공해, AI가 해당 기업의 맥락을 정확히 이해하도록 돕는다.
한국IBM 이호승 전무는 “AI를 통해 정제된 데이터셋은 벡터화·임베딩 과정을 거쳐 비로소 AI 애플리케이션에 투입된다”며 “이 과정을 거쳐야만 AI가 환각 없이 신뢰성 높은 답변과 기업 맞춤형 인사이트를 도출할 수 있다”고 강조했다.
오라클은 AI 전략의 출발점으로 ‘데이터를 위한 AI(AI for Data)’를 제시하고 있다. 데이터를 AI 모델 학습을 위해 외부로 옮기는 것이 아니라 방대한 데이터가 공간에 AI를 심는 데이터 중심 접근법이다.
나정옥 한국오라클 부사장은 “AI 도입의 성패는 결국 ‘데이터 이동’을 얼마나 줄이느냐에 달렸다”며 “오라클은 데이터를 밖으로 빼내지 않는다는 원칙 아래 데이터가 머무는 자리로 AI를 가져오는 것”이라고 설명했다.
이어 “오픈AI가 인프라 확장을 위해 오라클과 협력한 이유 역시 타사가 수년 걸릴 대규모 클러스터를 1년도 안 돼 구축해 내는 독보적인 역량 때문”이라고 강조했다.
이를 실현하기 위한 구체적인 방법론으로 오라클은 ‘오픈 데이터 레이크하우스’와 ‘제로 ETL’ 전략을 제시한다.
데이터 플랫폼 전략을 총괄하는 김태완 상무는 “이제 데이터가 어디에 있든 상관없는 오픈 데이터 시대”라며 “핵심은 데이터를 복제하거나 옮기는 작업을 최소화해, 이동에 드는 시간과 비용을 없애는 ‘제로 ETL’을 실현하는 것”이라고 설명했다.
그동안 분석을 위해 데이터를 추출(Extract), 변환(Transform), 적재(Load)하는 ETL 과정이 필수였다. 오라클은 어떤 클라우드를 사용하든 상관없이 멀티클라우드 연동을 지원해 여러 곳에 파편화된 데이터를 통합된 논리적 플랫폼처럼 다룰 수 있도록 지원한다.
효율성을 더욱 강화하기 위해 오라클 데이터베이스 26ai도 선보였다. 이 제품은 별도 벡터 DB를 구축할 필요 없이 기존 DB 내부에서 AI 벡터 검색과 생성형 AI 기능을 직접 수행한다. 이를 통해 정형 데이터와 비정형 데이터를 통합 데이터베이스에서 한번에 처리함으로써 데이터 파이프라인의 복잡성을 줄였다.
나 부사장은 “데이터 이동을 원천 차단함으로써 기업의 민감한 정보가 외부로 유출될 틈을 주지 않는다”며 “보안과 규제 준수가 생명인 기업들에게 가장 안전하고 강력한 AI 환경을 제공한다”고 자신했다.
델 테크놀로지스는 전 세계 데이터의 83%가 클라우드가 아닌 온프레미스나 엣지에 저장되어 있다는 점에 주목하며, 데이터를 이동시키는 위험을 감수하는 대신 ‘데이터로 향하는 AI(Bring AI to Your Data)’ 전략을 전면에 내세운다.
김경진 한국 델 테크놀로지스 총괄사장은 “AI는 본질적으로 데이터를 갈아서 지능을 만드는 과정이기에 데이터가 곧 경쟁력”이라며 “방대한 데이터를 클라우드로 옮기는 것은 비용과 보안 측면에서 비효율적이며, AI가 데이터가 있는 곳으로 와야 가장 효율적이고 안전하다”고 강조했다.
이러한 철학을 실현하기 위한 델의 핵심 무기는 엔비디아와 협력해 ‘델 AI 팩토리’를 선보였다.
AI 팩토리는 공장을 짓듯 기업 내부에 AI 생산 설비를 갖추도록 돕는 엔드투엔드 솔루션이다. 고성능 GPU 서버, 스토리지, 네트워킹 장비뿐만 아니라 AI 소프트웨어까지 사전에 검증되고 최적화된 상태로 제공된다. 기업은 레고 블록을 조립하듯 데이터센터 안에서 즉시 데이터 학습과 추론을 시작할 수 있다.
특히 델은 데이터 중력 현상을 해결하는 데 집중한다. 데이터가 거대해질수록 이동이 불가능해지는 특성 때문에 데이터가 생성되는 엣지환경에서 실시간으로 AI를 구동하는 것이 필수적이라는 판단이다.
제프 클라크 델 부회장은 “AI 도입의 성패는 ‘데이터 주권’을 지키면서 얼마나 빠르게 가치를 창출하느냐에 달렸다”며 “델 AI 팩토리는 기업의 소중한 지적재산권(IP)이 외부로 유출될 걱정 없이, 가장 안전한 내부 방화벽 안에서 ‘나만의 AI’를 구축할 수 있는 가장 확실한 방법”이라고 설명했다.
HPE는 기업에서 AI 도입을 주저하는 가장 큰 이유를 ‘인프라 구축의 난이도’와 ‘데이터 연결의 복잡성’에서 찾았다. 이를 해결하기 위해 기업이 부품을 하나하나 조립할 필요 없이 전원만 켜면 바로 AI를 가동할 수 있는 완전체 솔루션을 제공한다.
안토니오 네리 HPE 최고경영자(CEO)는 “AI 시대의 기업 경쟁력은 ‘속도’와 ‘단순함’에 달렸다”며 “과거에는 기업이 AI 인프라를 구축하려면 수많은 부품과 소프트웨어를 엮느라 수개월을 허비했지만, HPE는 이를 ‘단 3번의 클릭’으로 배포 가능한 수준으로 단순화했다”고 밝혔다.
이어 “데이터가 있는 곳이라면 엣지든 데이터센터든 상관없이 즉시 AI 워크로드를 실행할 수 있는 ‘준비된(Ready)’ 환경을 제공하는 것이 우리의 핵심 전략”이라고 밝혔다.
이를 위해 ‘HPE 프라이빗 클라우드 AI’를 선보인다. 엔비디아의 GPU, 네트워킹, AI 소프트웨어와 HPE의 서버, 스토리지, ‘그린레이크(GreenLake)’ 클라우드 플랫폼을 하나의 패키지로 통합한 것이 특징이다.
복잡한 하드웨어 호환성을 테스트할 필요 없이 설치 후 바로 사용할 수 있는 턴키 방식이 특징으로 기업 데이터센터 내부에서 안전하게 생성형 AI 모델을 학습시키고 튜닝할 수 있다.
또 HPE는 슈퍼컴퓨팅 기술력을 바탕으로 막대한 컴퓨팅 파워와 효율적인 냉각 기술 등을 차별점으로 내세우고 있다.
HPE 닐 맥도날드 컴퓨트 부문 총괄 부사장은 “데이터를 중앙으로 모으는 기존 클라우드 방식은 AI 시대의 엄청난 데이터 양과 실시간 처리 요구를 감당할 수 없다”며 “HPE는 엣지부터 클라우드까지 데이터를 물리적으로 이동시키지 않고도 논리적으로 연결하는 데이터 패브릭 기술을 통해 데이터가 발생한 현장에서 즉각적인 AI 추론을 가능케 한다”고 강조했다.