[지디넷코리아]
“한국이 전 세계에서 가장 싸게 토큰을 만들 수 있고, 그걸 통해서 우리나라에서 AI를 정말 많이 쓰도록 하게 하겠다.”
정석근 SK텔레콤 최고기술책임자(CTO) 겸 AI CIC장은 9일 서울 코엑스에서 열린 엔비디아 AI 데이에서 국내 대규모 AI 데이터센터(AIDC) 구축의 목표를 이같이 밝혔다.
SK텔레콤은 이날 엔비디아, 리벨리온과 한국형 소버린 AI 인프라 구축을 위한 GPU NPU 통합 시스템 개발 업무협약을 체결했다. 엔비디아 GPU와 리벨리온 NPU에 추론 작업을 나눠 맡겨 처리 성능과 전력 효율을 높일 계획이다.
나아가 국내 인프라의 규모의 경제를 바탕으로 토큰 생산 비용을 낮추고, 기업과 국민의 AI 이용을 확대하겠다는 구상이다.
3사는 엔비디아의 NV링크 퓨전(NVLink Fusion)을 활용해 리벨리온이 개발 중인 NPU ‘리벨 R200’을 엔비디아 플랫폼에 연결한다. 아울러 엔비디아의 서버 랙 표준 설계 규격인 MGX를 적용해 랙 단위의 GPU·NPU 통합 시스템을 개발한다.
NV링크 퓨전은 엔비디아 GPU끼리 데이터를 빠르게 주고받는 연결 기술인 NV링크를 다른 기업의 AI 반도체(XPU)에도 활용할 수 있도록 확장한 기술이다.
통합 시스템에는 추론 과정을 서로 다른 반도체에 나눠 맡기는 ‘분리형 추론’을 적용한다. 사용자의 질문을 분석하는 프리필 단계는 엔비디아 GPU가, 답변을 순차적으로 생성하는 디코드 단계는 리벨리온 NPU가 담당한다.
프리필은 계산량이 많아 GPU 같은 고성능 연산 칩이 유리하다. 디코드에서는 연산보다 메모리에서 필요한 데이터를 빠르게 불러오는 능력이 중요하다. 각 단계에 적합한 반도체를 배치해 처리 속도와 전력 효율을 높이겠다는 것이다. 에이전틱 AI 확산으로 추론 요청이 늘면서 AIDC의 성능과 함께 전력·운영비용 경쟁력을 확보하려는 접근이다.
정석근 CIC장은 “엔비디아 GPU와 리벨리온 NPU를 결합해 독자 파운데이션 모델을 비롯한 국산 모델을 추론할 수 있는 환경을 만들어보려고 한다”고 밝혔다.
그는 또 “글로벌 시장에서 검증된 엔비디아 GPU를 활용하면서도 국내 NPU를 활용할 수 있는 환경을 만들어주는 게 인프라 사업자가 해야 할 일이라고 생각한다”고 강조했다.
SK텔레콤은 AIDC 구축 운영 경험을 바탕으로 통합 시스템을 데이터센터에 도입해 성능과 안정성을 실증한다. 실제 서비스에서의 활용과 상용화 가능성도 검토할 계획이다.
정석근 CIC장이 제시한 사업 방향은 ‘소버린 토큰’이다. 국산 반도체와 모델을 개발하는 데서 나아가, 고객이 실제로 이용할 수 있는 AI 인프라와 서비스까지 연결하겠다는 구상이다.
그는 “한국의 문화를 반영하고 우리가 통제할 수 있는 모델을 국내에서 만드는 것은 중요하다. 동시에 그 모델을 올릴 데이터센터와 최적의 컴퓨팅 환경도 확보해야 한다”고 말했다.
이어 “저희가 하고 싶은 것은 ‘소버린 토큰’을 만드는 것”이라고 덧붙였다.
SK텔레콤은 이를 위해 GPU와 NPU를 결합한 데이터센터를 전문 사업자로서 운영하고 고객에게 AI 인프라를 제공할 계획이다. 고객이 국산 NPU를 구매한 뒤 직접 시스템을 구성하고 운영해야 하는 부담을 낮추는 방식이다.
정 CIC장은 “최근 GPU 기술이 발전하면서 데이터센터를 구축하고 운영하는 일 자체의 난도가 높아졌다”며 “한국에서 NPU를 만들어 국내 기업이나 정부에 ‘NPU를 사서 직접 데이터센터를 만들고 운영하세요’라고 한다면 진입 장벽이 될 것”이라고 말했다.
그러면서 “실제로 이를 이용할 정부와 공공기관, 민간 기업, 대국민 서비스 사업자는 물리적인 하드웨어를 크게 걱정하지 않고 API를 통해 토큰을 쓸 수 있게 하겠다는 것”이라고 설명했다.
SK텔레콤은 독자 AI 모델 A.X K2와 ‘모두의 AI’ 같은 대국민 서비스를 해당 인프라에 연결해 인프라부터 모델과 서비스까지 아우르는 풀스택 소버린 AI를 제공할 방침이다. 3사는 과학기술정보통신부의 소버린 AI, 국산 AI 반도체 육성 정책에 맞춰 국내 구축 사례를 확보하고 공공·민간의 AI 서비스 기반을 마련한다.
SK텔레콤은 국산 반도체의 사업화를 위해 국내 실증과 고객 지원이 함께 필요하다고 강조했다.
정 CIC장은 “정부도 지원하고 벤처캐피털과 기관들도 투자해 리벨리온 같은 회사가 투자를 받고 인력을 확보해 칩을 만들 수 있는 환경까지는 조성해왔다”며 “일반 기업에 칩을 팔거나 해외에 수출하는 데는 진입 장벽이 있다”고 말했다.
이어 “국내 사업자와 함께 국내에서 의미 있는 레퍼런스를 만들고 실증할 필요가 있다”며 “실제 AI 서비스가 이 인프라를 활용해 토큰을 대규모로 만들어낼 수 있도록, 고객이 인프라를 쓸 수 있게 돕는 지원도 필요하다”고 밝혔다.
아쉬시 카란디카르 엔비디아 NV링크 퓨전 부문 부사장은 “NV링크 퓨전은 한국의 ASIC을 엔비디아의 AI 팩토리 플랫폼과 결합해 고성능 AI 인프라를 구현할 수 있도록 지원한다”고 말했다.
박성현 리벨리온 대표는 “리벨리온은 대한민국을 대표하는 AI 반도체 기업으로 성장하며 입증한 독자적인 기술력을 바탕으로 엔비디아, SK텔레콤과 차세대 AI 인프라를 함께 설계하고, 한국이 만든 기술이 세계의 AI를 움직이는 핵심 축으로 성장하도록 하겠다”고 밝혔다.
정 CIC장은 “SK텔레콤은 AIDC 구축 운영 경험과 독자 AI 모델 A.X K2, ‘모두의 AI’ 같은 대국민 서비스 역량을 바탕으로 풀스택 소버린 AI 경쟁력을 강화하고, 공공과 민간이 실제로 활용할 수 있는 소버린 AI 인프라 생태계를 만들어 가겠다”고 했다.