[지디넷코리아]
인공지능(AI) 리서치 에이전트가 여러 기업이나 인물, 제품을 동시에 조사하는 대규모 정보 수집 업무에선 아직 뚜렷한 한계를 보이는 것으로 나타났다. 일부 대상에 대해서는 정확한 정보를 찾아냈지만 조사 범위가 넓어질수록 누락이 늘었고, 제시한 근거가 주장 전체를 충분히 뒷받침하지 못하는 사례도 적지 않은 것으로 드러났다.
퍼플렉시티 리서치는 지난 14일(현지시간) 공식 홈페이지를 통해 고강도 자료 조사형 AI 에이전트의 성능을 측정하는 공개 벤치마크 ‘WANDR(Wide ANd Deep Research)’을 발표했다. 경쟁사 분석과 기업 실사, 문헌 조사, 시장 분석, 제품 비교, 인재 발굴 등 실제 업무에서 활용되는 500개 과제로 주요 AI 시스템의 성능을 평가한 것이 특징이다.
WANDR는 하나의 답을 찾는 기존 검색 평가와 달리 다수의 조사 대상을 발굴한 뒤 대상별 세부 정보와 근거 자료를 모두 확보하도록 설계됐다. 또 조건에 맞는 기업이나 인물, 제품을 폭넓게 찾는 능력과 각 대상의 사실관계를 깊이 검증하는 능력도 함께 본다.
전체 과제는 중간값 기준으로 조사 대상 50개와 대상별 기록 4건으로 구성됐다. 500개 과제에서 각 시스템이 출처와 근거를 갖춰 제출해야 하는 기록은 총 17만495건에 달했다.
평가는 미리 구축한 정답표와 대조하지 않고 각 시스템이 제시한 웹페이지와 인용문을 다시 확인하는 방식으로 진행됐다. 출처에 실제로 접근할 수 있는지, 해당 페이지가 조사 조건을 충족하는지, 인용문이 주장 전체를 뒷받침하는지 등을 항목별로 검증했다.
평가 방식은 일부 조건을 충족한 경우에도 점수를 주는 소프트 방식과 모든 정보와 근거를 갖춘 결과만 인정하는 하드 방식으로 나눴다. 조사 대상을 어느 정도 찾았는지와 각 항목을 완전하게 검증했는지를 구분해 보기 위해서다.
이번 조사에선 퍼플렉시티의 검색 오케스트레이션 시스템 ‘서치 애즈 코드(Search as Code)’가 소프트 F1 0.363, 하드 F1 0.133으로 가장 높은 점수를 기록했다. 앤트로픽은 각각 0.249와 0.072로 뒤를 이었다. 나머지 시스템의 소프트 F1은 최대 0.121, 하드 F1은 최대 0.035에 머물렀다.
퍼플렉시티는 이번 평가에서 상대적으로 높은 성적을 거둔 요인으로 ‘서치 애즈 코드’ 덕분이라고 설명했다. 이 방식은 검색과 필터링, 병렬 처리, 데이터 결합, 중복 제거 등을 프로그램으로 구성하고 반복 작업은 모델 밖에서 처리한다.
퍼플렉시티 리서치는 “하드 점수를 기준으로 보면 최고 성능 시스템도 모든 조건을 충족한 조사 결과는 약 7개 중 1개 수준에 그쳤다”며 “대규모 조사에선 모델 자체 성능뿐 아니라 검색 절차를 얼마나 체계적으로 설계하느냐도 결과에 영향을 줄 수 있다”고 설명했다.
이번 평가에선 조사 범위가 커질수록 성능 저하가 더 두드러지는 모습도 보였다. 퍼플렉시티의 하드 정밀도는 조사 대상이 가장 적은 구간에서 0.235였으나 가장 많은 구간에서는 0.096으로 떨어졌다. 하드 재현율도 같은 기간 0.219에서 0.079로 낮아졌다.
기업과 임직원, 근거 페이지처럼 조사 단계가 복잡해질 때는 하락 폭이 더 컸다. 중간 검증 단계가 3개 이상인 과제에서 퍼플렉시티의 하드 정밀도는 0.019, 하드 재현율은 0.017까지 내려갔다. 앤트로픽과 오픈AI도 조사 구조가 깊어질수록 비슷한 흐름을 보였다.
가장 큰 병목은 근거 페이지를 붙이는 마지막 단계보다 조사 대상을 충분히 찾아내는 초기 단계에서 발생했다. 퍼플렉시티는 대상 발굴률 0.951과 추가 정보 확보율 0.967로 가장 높았지만 전체 조건을 충족한 대상 수는 크게 줄었다.
페이지를 확보한 뒤에도 사실 검증 과정에서 오류가 이어졌다. 제출된 페이지 가운데 33.6~68.3%는 세부 요건 중 하나 이상을 충족하지 못했다. 인용문이 주장 전체를 뒷받침하지 못한 비율도 57.5~86.6%에 달했다.
퍼플렉시티는 조건 미충족 페이지 비율 41.4%, 불완전한 인용문 비율 57.5%를 기록했다. 관련 페이지를 찾았는지만 평가했을 때 소프트 F1은 0.531이었으나 인용문과 세부 조건까지 확인하자 0.363으로 낮아졌다.
이는 관련 자료를 찾아내는 것과 해당 자료로 모든 주장을 입증하는 것 사이에 상당한 격차가 있다는 의미다. 특히 조사 대상이 많아질수록 누락과 근거 부족이 늘어 기업 실사와 시장 분석처럼 정보의 완결성이 중요한 업무에선 별도 검증 절차가 필요할 것으로 보인다.
퍼플렉시티 리서치는 “현재 시스템은 일부 정확한 사례를 찾는 데는 성공하지만 요청된 전체 대상을 빠짐없이 발굴하고 각 주장에 완전한 증거를 붙이는 데는 어려움을 겪고 있다”며 “넓고 깊은 리서치는 아직 해결되지 않은 과제”라고 밝혔다.