[지디넷코리아]
생성형 AI 확산과 함께 데이터센터 전력 소모 문제가 산업 전반의 핵심 과제로 떠오르고 있다. LLM(대규모언어모델)을 돌리기 위한 연산 수요가 급증하면서, 데이터센터 유지에 랙당 수백 킬로와트(kW) 전력을 요구하는 구조로 빠르게 전환하고 있는 것이다. 그러나 전력 공급과 냉각, 인프라 구축 비용이 한계에 다다르면서 AI 인프라가 이 같은 전력 소모 구조를 계속 감당할 수 있을지에 대한 회의론도 확산되고 있다.
이 같은 상황에서 LLM 추론에 특화된 저전력·고효율 AI 반도체를 앞세운 하이퍼엑셀이 대안으로 주목받고 있다. 하이퍼엑셀은 GPU(그래픽처리장치) 중심의 기존 AI 인프라를 전면 대체하기보다는, 전력 효율과 비용 효율을 극대화한 새로운 가속기로 전체 시스템 차원의 총소유비용(TCO)을 낮추는 전략을 제시한다.
하이퍼엑셀은 LLM 추론에 특화된 AI 반도체 기업이다. 학습이 아닌, 이미 만들어진 모델을 실제 서비스 환경에서 효율적으로 구동하는 데 초점을 맞췄다. 챗GPT, 제미나이 등 생성형 AI 서비스의 핵심 연산 구간을 담당하는 영역이다.
김주영 하이퍼엑셀 대표는 “LLM 서비스의 병목은 더 이상 모델이 아니라, 이를 얼마나 효율적으로 돌릴 수 있느냐에 있다”며 “하이퍼엑셀은 LLM 추론에 맞게 처음부터 다시 설계한 칩을 만든다”고 설명했다.
하이퍼엑셀은 LPU(LLM Processing Unit)를 앞세워 시장 공략에 나선다. LPU는 LLM 추론에 특화된 AI 가속 칩으로, 학습과 추론을 모두 수행하는 범용 GPU와 달리 이미 학습된 모델을 서비스하는 데 필요한 연산만을 위해 설계된 전용 칩이다. 수천~수만 개의 작은 코어를 활용하는 GPU와 달리, LPU는 수십 개의 대형·특화 코어로 구성됐다.
GPU가 절대적인 성능과 생태계 측면에서는 강점을 갖지만, 실제 LLM 추론 환경에서는 코어와 메모리 대역폭 활용률이 낮다는 한계가 있다. 하이퍼엑셀 LPU는 어텐션·피드포워드·노멀라이제이션 등 추론 연산을 코어 하나가 처음부터 끝까지 처리하는 구조로, 불필요한 데이터 이동을 줄여 같은 전력과 비용에서 더 많은 토큰을 처리할 수 있도록 최적화됐다.
김 대표는 “LPU는 GPU를 대체하기 위한 칩이 아니라, 추론 서비스에 가장 잘 맞는 역할을 수행하는 칩”이라며 “AI 서비스가 커질수록 전용 추론 가속기의 중요성은 더욱 커질 것”이라고 말했다.
하이퍼엑셀의 또 다른 차별화 포인트는 HBM 대신 LPDDR 메모리를 채택한 전략이다. 업계에서는 LLM에는 초고속 HBM이 필수라는 인식이 강하지만, 하이퍼엑셀은 이와 다른 길을 택한 셈이다.
LPDDR은 HBM 대비 속도는 느리지만 가격과 전력 소모가 크게 낮다. 하이퍼엑셀은 높은 유틸리제이션과 대규모 배칭(Batching) 기술을 통해 메모리 속도 한계를 보완했다. 한 번 모델을 읽어 여러 사용자를 동시에 처리하는 구조로, 토큰당 비용을 획기적으로 낮추는 방식이다.
김 대표는 “HBM을 쓰는 순간 모든 것이 고성능·고비용 구조로 간다”며 “우리는 충분한 성능을 유지하면서도 가격과 전력을 낮추는 쪽을 선택했다”고 말했다.
하이퍼엑셀은 최근 LG전자와 온디바이스 LLM 가속기 협력으로도 주목받고 있다. 데이터센터용 칩뿐 아니라, 가전과 로봇 등 온디바이스 환경에서도 LLM을 효율적으로 구동할 수 있는 반도체를 공동 개발 중이다.
하이퍼엑셀의 LPU 아키텍처는 코어 크기와 전력, 성능을 요구사항에 따라 조정할 수 있도록 설계돼 IP 형태로도 확장 가능하다. 다만 회사의 주력 모델은 여전히 완성 칩을 중심으로 한 반도체 사업이다.
김 대표는 “고객과 단순히 칩을 사고 파는 관계가 아니라, 설계 단계부터 함께 제품을 만드는 전략”이라며 “데이터센터는 네이버클라우드, 온디바이스는 LG전자와 협업하고 있다”고 설명했다.
하이퍼엑셀이 내세우는 비전은 명확하다. ‘토큰 경제성’을 극대화하는 AI 반도체를 만드는 것이다. 달러당 얼마나 많은 토큰을 생성할 수 있느냐를 기준으로, LLM 서비스의 비용 구조를 근본적으로 바꾸겠다는 목표다.
김 대표는 최근 기가와트(GW)급 데이터센터 논의를 언급하며 “AI 가속기가 지금처럼 랙당 수백 킬로와트의 전력을 요구하는 구조는 지속 가능하지 않다”고 지적했다.
그러면서 “결국 AI 인프라가 지속 가능해지려면, 가속기 자체가 더 에너지 효율적으로 바뀌어야 한다”며 “하이퍼엑셀의 칩은 그 방향을 겨냥하고 있다”고 말했다.
한편 김주영 대표는 한국공학한림원이 선정한 한국을 이끌어갈 젊은 과학자 29명에 선정된 바 있다.