[지디넷코리아]
알리바바 연구진이 AI 에이전트의 토큰 사용량을 99% 넘게 줄이는 프레임워크 ‘스킬위버(SkillWeaver)’를 공개했다. 토큰은 모델이 언어를 처리하는 최소 단위이고, 컨텍스트 창은 모델이 한 번에 참고하는 텍스트의 양을 말한다. 에이전트가 쓸 수 있는 도구가 많아질수록 이 컨텍스트 창이 금세 가득 차 비용과 속도가 나빠지는데, 스킬위버는 그 문제를 겨냥한다.
기존 방식은 에이전트에게 도구 수백~수천 개를 통째로 보여주고 알아서 고르게 했다. 목록이 길수록 모델이 헤매고 토큰도 많이 든다. 스킬위버는 작업을 잘게 나누고(분해), 필요한 도구만 찾아와(검색), 조합하는(구성) 3단계로 움직인다. 여기에 ‘스킬 인식 분해’를 더해 필요한 도구만 반복적으로 골라 온다.
실제 MCP 도구 2,209개와 300개 질의로 구성한 자체 벤치마크에서, 스킬위버는 쿼리당 컨텍스트 소비를 약 88만 4,000토큰에서 1,160토큰 안팎으로 줄였다. 99.9% 감소다. 작업을 단계별로 쪼개 배치하는 정확도도 큰 모델 기준 51%에서 92%로 올랐다. 도구를 더 잘 고르면서 비용은 줄고 정확도는 오른 것이다.
실무에서는 API 비용이 내려가고 응답 속도가 빨라진다. 앞서 오픈AI가 소프트웨어 최적화로 추론 비용을 절반으로 줄인 것과 같은 결이다. 모델을 더 키우는 경쟁과 별개로, 이미 있는 모델을 싸고 빠르게 굴리는 능력이 에이전트 상용화의 관문으로 자리 잡고 있다.
자세한 내용은 VentureBeat 에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)