[지디넷코리아]
작은 AI 추론 모델이 같은 문장을 끝없이 반복하다 멈추지 못하는 ‘둠 루프(doom loop)’ 문제를 겨냥한 해결책이 나왔다. 리퀴드 AI(Liquid AI)가 7월 7일 이를 고치는 학습 기법 ‘안티둠(Antidoom)’을 오픈소스로 공개했다.
둠 루프는 모델이 한 구간을 내놓은 뒤 그 구간을 계속 되풀이하는 현상이다. 출력이 멈추지 않고 이어져 문맥 창을 다 써 버릴 때까지 반복된다. 크기가 작은 추론 모델일수록, 그리고 어려운 문제로 긴 사고 과정을 거칠수록 이 현상에 더 취약하다.
안티둠은 ‘최종 토큰 선호 최적화(FTPO)’라는 방식을 쓴다. 반복이 시작되는 첫 토큰을 찾아, 그 자리에서 다른 자연스러운 토큰을 고르도록 모델을 미세 조정한다. 모델을 처음부터 다시 학습시키거나 강화학습을 쓰지 않고, 새 지식을 가르치지도 않는다. 전체 출력 분포를 흔들지 않으면서 반복이 시작되는 지점만 바로잡는 방식이다.
효과는 수치로 나타났다. 리퀴드 AI 자체 모델 LFM2.5-2.6B에서는 어려운 수학·프로그래밍 과제의 반복 발생률이 10.2%에서 1.4%로 떨어졌다. 큐원3.5-4B에서는 22.9%에서 1%로 낮아졌다. 전 과정은 몇 시간이면 끝나고, 코드와 데이터셋도 함께 공개됐다. 올해 AI의 큰 흐름이 더 큰 모델이 아니라 이런 실패 유형을 하나씩 없애는 쪽에 있다는 평가가 나온다.
자세한 내용은 MarkTechPost에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)