[지디넷코리아]
사람이 일일이 훈련 방법을 설계하지 않아도 인공지능(AI)이 스스로 개선 방법을 찾아 모델 성능을 높일 수 있다는 연구 결과가 나왔다. AI가 AI를 훈련하고 개선하는 ‘연구 자동화’ 가능성이 현실로 다가오고 있다는 분석이다.
앤트로픽은 지난 29일 이같은 방법론을 담은 논문을 홈페이지에 공개했다. 앤트로픽 연구팀은 AI가 연구 문헌을 찾아 스스로 학습하고 모델 개선법을 제안하는 ‘자동화 정렬 연구자(AAR)’를 개발해 성능을 검증했다.
실험 결과 AAR은 특정 비정렬 행동을 평가하는 10개 벤치마크에서 모두 모델 성능을 높였다. 특정 평가 점수를 높이는 과정에서 모델의 전반적인 성능이 떨어지는 현상도 나타나지 않았다.
연구 방식은 인간 연구자가 모델을 개선하는 과정과 비슷하다. AAR이 기존 연구 문헌을 검색한 뒤 모델을 개선할 방법을 스스로 제안하고, 해당 방법으로 모델을 30분 동안 훈련하는 식이다.
AAR은 이같은 과정을 여러 차례 반복한다. 효과가 확인된 방법은 남기고 성과가 없는 방법은 버리면서 더 나은 훈련 방법을 찾아갈 수도 있다.
연구팀은 인간 연구자와 비교한 실험에서도 성과를 보였다고 밝혔다. 논문에 따르면 가장 뛰어난 AAR 방법은 평균 6시간 안에 숙련된 인간 연구자가 제안한 방법보다 높은 성능을 기록했다. 사람이 연구 방향을 제시한 경우에도 더 나은 결과로 이어지지 않았다.
AAR과 인간 연구자 간 비용 차이도 상당한 것으로 나타났다. AAR을 운영하는 데 필요한 API 추론 비용은 시간당 약 4달러였다. 연구진이 비교 대상으로 제시한 인간 연구자 비용은 시간당 150달러였다.
이번 연구는 AI가 AI를 개선하는 ‘재귀적 자기개선’ 가능성을 보여준 초기 사례로 평가되고 있다. 현재 실험은 AI 행동을 인간 의도와 맞추는 ‘정렬’ 훈련에 한정됐지만 같은 방식이 다른 모델 훈련 과정으로 확대될 가능성이 있다는 이유에서다.
연구진은 AI가 인간 연구자를 곧바로 대체할 수 있다는 의미는 아니라고 밝혔다. AAR이 제대로 작동하려면 평가에 사용하는 벤치마크가 실제 정렬 목표를 정확하게 반영해야 한다. 벤치마크를 만들고 유지하는 작업과 AI가 참고할 연구 문헌을 관리하고 확장하는 작업도 여전히 필요하다.
연구진은 “이번 결과는 자동화된 정렬 후속 훈련이 가까운 시일 내 실제로 활용 가능한 방식이 될 수 있다는 초기 증거를 제공한다”고 강조했다.