[지디넷코리아]
노타가 세계적 머신러닝 학회에서 거대언어모델(LLM) 핵심 구조로 주목받는 전문가 혼합(MoE) 모델 최적화 분야 기술력을 인정받았다. 지난 엔비디아 네모트론 해커톤에서 데이터 기반 MoE 양자화 기법으로 트랙 우승과 종합우승을 차지한 데 이은 성과다.
노타는 ICML 2026의 ‘리소스 적응형 파운데이션 모델 추론(AdaptFM)’ 워크숍에서 자사의 MoE 특화 양자화 알고리즘 논문 2편이 최종 채택됐다고 11일 밝혔다.
MoE는 여러 전문가 모델 중 필요한 일부만 선택해 동작하는 방식으로, 대형 AI 모델의 성능과 효율을 동시에 높일 수 있어 최신 LLM에서 빠르게 확산하고 있다. 다만 모델 구조가 복잡한 만큼 이를 더 작고 가볍게 만드는 양자화 과정에서도 기존 일반 모델과는 다른 접근이 필요하다.
이번에 채택된 첫 번째 논문 ‘DREAM-MoE’는 대규모 AI 모델을 여러 구간으로 나눠 양자화할 때 발생할 수 있는 판단 흐름의 변화를 줄이는 방법을 제안한다. 노타는 앞쪽 구간에서 생긴 작은 오차가 뒤쪽 구간 전문가 선택까지 바꿀 수 있다는 점에 주목해 양자화 이후에도 모델이 원래와 유사한 방식으로 필요한 전문가를 선택할 수 있도록 했다.
또 다른 논문 ‘SRA-MoE’는 모델 결과에 더 큰 영향을 주는 중요한 입력을 선별해 우선적으로 보호하는 방법을 제안한다. 모든 입력을 동일하게 다루기보다 핵심 입력에서 전문가 선택이 크게 흔들리지 않도록 설계해 제한된 자원으로도 모델 품질을 효과적으로 유지할 수 있도록 했다.
두 연구 모두 최신 MoE 특화 양자화 기법들과 비교해 더 높은 성능이 확인됐다고 노타는 강조했다. AI 모델을 더 적은 메모리와 연산 자원으로 실행하면서도 품질 저하를 줄였다는 설명이다.
노타는 정부 주도의 독자 파운데이션 모델 개발 과제에 참여 중인 업스테이지 컨소시엄에서 ‘솔라 MoE’와 같은 대규모 모델 최적화를 추진하는 한편, 엔비디아 네모트론 3 나노 모델 양자화 경험을 네모트론 울트라 등 최신 모델로 확장하는 등 기술 적용 범위를 넓히고 있다.
채명수 노타 대표는 “이번 논문 채택은 노타가 MoE에 특화된 양자화 기술을 꾸준히 고도화해 온 성과”라며 “대규모 AI 모델을 더 효율적으로 활용할 수 있는 최적화 기술 개발을 이어가겠다”고 말했다.