[지디넷코리아]
엔비디아가 대규모 언어 모델의 가중치 배포를 앞당기는 ‘모델익스프레스(ModelExpress)’를 현지 시각 7월 24일 기술 블로그에서 공개했다. 딥시크 V4 프로 기준으로 이미 서비스 중인 복제본에서 새 복제본으로 가중치와 커널 캐시를 10초 안에 전송해, 전체 기동 시간을 8분에서 1분 44초로 줄였다고 밝혔다.
모델익스프레스는 모델을 불러오기 전에 호환되는 가중치 사본이 이미 어디에 있는지부터 확인한다. 같은 모델을 서비스하는 다른 서버의 GPU에 가중치가 이미 올라가 있으면, 저장소를 거치지 않고 GPU에서 GPU로 직접 전송한다. 쓸 수 있는 서버가 없을 때만 오브젝트 스토리지에서 내려받는다. 전송 경로는 P2P RDMA와 모델스트리머, GPU다이렉트 스토리지, 기본 로더 순으로 자동 선택되며, 지원하지 않는 환경에서는 다음 경로로 넘어간다.
체크포인트가 수백 기가바이트에서 1테라바이트에 이르면서, 가중치를 옮기는 시간 자체가 비용이 됐다. 806기가바이트 딥시크 V4 프로를 복제본 10개가 동시에 내려받으면 같은 데이터를 약 8테비바이트만큼 중복 전송하게 된다. 모델익스프레스는 이런 요청을 하나로 묶어 한 번만 내려받게 한다. 가중치 적재 시간이 줄면 커널 컴파일이 가장 큰 기동 비용으로 남는데, 엔비디아는 컴파일 결과 캐시도 서버 간에 전달하도록 만들었다. vLLM과 SG랭에 연동되며 다이나모와 llm-d에서도 쓸 수 있다.
자세한 내용은 엔비디아 기술 블로그에서 확인할 수 있다.
이미지 출처: 엔비디아
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)