[지디넷코리아]
국가대표 인공지능(AI) 선발전이라고 불리는 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 2차 평가에서 탈락한 모티프테크놀로지스의 이의신청 결과 통보가 임박했다. 이번 심의 결과가 내년 초 최종 2개 팀을 가리기 위한 3차수 방식과 평가 체계에 영향을 미칠지 관심이 쏠린다.
10일 업계에 따르면 이날 오전 기준 모티프테크놀로지스 측에 과학기술정보통신부의 이의신청 심의 결과가 전달되지 않은 것으로 확인됐다. 과기정통부가 이의신청 접수일로부터 15일 이내 처리하겠다는 방침을 밝힌 만큼, 조만간 결과가 통보될 것으로 보인다.
실제 이의신청은 지난달 25일 접수된 것으로 알려졌다. 모티프테크놀로지스가 이의제기 사실과 세부 요구사항을 공식적으로 공개한 것은 이틀 뒤인 27일이다.
회사가 문제를 제기한 핵심은 독파모 2차 평가의 배점 구조와 세부 평가 근거다. 모티프테크놀로지스의 ‘모티프3’는 글로벌 AI 분석기관 아티피셜 애널리시스의 AI 종합 성능 지표인 AAII에서 47점을 받아 참여 모델 가운데 가장 높은 점수를 기록했다. 하지만 벤치마크·전문가·사용자 평가를 합산한 종합평가에서는 탈락했다.
모티프테크놀로지스는 AAII에서 47점을 받은 모델과 31점을 받은 모델 사이 16점의 성능 차이가 벤치마크 평가에서는 약 4점 차이로 축소됐다며 배점 산정 방식에 의문을 제기했다. 정부는 모티프테크놀로지스가 기술력에서는 높은 평가를 받았지만 사용성과 활용성 측면에서 다른 팀보다 낮은 평가를 받아 탈락했다고 설명했다.
또 모티프테크놀로지스는 2차 평가 결과에 대해 항목별·업체별 상세 점수와 평가 내용, 벤치마크 배점 산정 방식, 전문가·사용자 평가 기준 및 결과 등을 공개할 것을 요구했다. 특히 사용자 평가 과정에서 특정 기업이나 모델에 대한 인식이 영향을 미쳤는지도 확인할 필요가 있다고 강조했다.
실제 독파모 참여사 사이에서는 특정 기업에 대한 선입견이 평가에 영향을 미칠 수 있다는 이유로 모델 블라인드 평가 필요성이 제기된 바 있다. 과기정통부는 AI 모델 특성상 프롬프트만으로도 모델을 특정할 수 있어 블라인드 평가의 실효성이 낮다고 판단해 1차수부터 비 블라인드 방식을 유지해왔다.
이번 이의신청을 계기로 3차수 평가에서 블라인드 방식이 적용될지도 관심사다. 익명을 요구한 독파모 2차 평가 진출 컨소시엄 소속 관계자는 “일반 사용자 평가에서는 기업이나 모델에 대한 인지도가 평가에 영향을 미칠 가능성을 완전히 배제하기 어렵다”며 “반드시 영향을 줬다고 볼 수는 없지만 블라인드 방식으로 진행하면 어땠을까 싶다”고 말했다.
독파모의 성과를 모델 성능뿐 아니라 실제 활용과 산업적 파급력까지 살펴봐야 한다는 요구도 나온다. 다만 실제 활용을 평가 항목에 넣는 것과 이를 객관적인 점수로 환산하는 것은 별개의 문제라는 지적이다.
국회입법조사처는 최근 발간한 ‘2026 국정감사 이슈 분석’을 통해 독파모 사업 성과를 국민·기업의 실제 이용 여부와 시장점유율, 국내 AI 산업 기여도 등으로 확대해 평가할 필요가 있다고 제언했다.
문제는 이를 뒷받침할 데이터다. 기업의 서비스 도입이나 응용 프로그램 인터페이스(API) 활용 등 외부 사용 현황을 지속적으로 확인할 수 있어야 하지만, 국내 모델의 실제 도입·활용 정도를 객관적인 수치로 확인할 수 있는 기반은 미비한 게 현실이다.
안광섭 세종대학교 겸임교수(인레벨나인 대표)는 AI 생태계 확산을 점수화하려면 실제 외부 활용을 확인할 수 있는 객관적인 데이터가 필요하다고 지적했다.
안 교수는 “외부 활용도를 평가해야 하지만 현재는 이를 객관적으로 측정할 수 있는 데이터가 부족해 주관성이 강한 정성평가에 의존할 수밖에 없다”며 “국내 모델은 실제 도입·활용 사례를 확인할 수 있는 기반 자체가 충분하지 않다”고 말했다.
정부도 독파모를 포함한 국가 AI 사업의 평가체계를 재검토하는 움직임을 보이고 있다. 하정우 국가AI전략위원회 부위원장은 지난 8일 열린 전략위 출범 1주년 간담회에서 기술·인프라·데이터 분과를 중심으로 정부 AI 사업의 평가 방법과 실행 체계를 살펴보고 사업 방향을 개선하겠다는 취지를 전했다.
이같은 평가체계 재검토는 차기 프론티어 AI 사업 등과도 맞물릴 전망이다. 과기정통부의 2027년 예산안은 올해 추가경정예산안보다 24.5% 늘어난 29조 6476억원 규모로 편성됐다. 이 가운데 AI 예산은 9조 4211억원으로 올해 5조 938억원보다 84.3% 증가했다.
AI 예산 중 최상위 AI 모델·기술 확보에는 5조5937억원이 투입된다. 정부는 이와 함께 프론티어급 AI 모델 개발을 위해 4조 7000억원을 미래대응기금 형태로 출자하는 계획을 제시했다. 기존 독파모와 차기 프론티어 AI 사업을 어떤 방식으로 연계하고 지원·경쟁 구조를 어떻게 설계할지는 향후 논의될 예정이다.
배경훈 부총리 겸 과기정통부 장관도 독파모의 기존 평가·경쟁 방식이 급변하는 AI 환경에 적합한지 재검토할 필요가 있다는 입장을 밝힌 바 있다.
배 부총리는 지난달 27일 서울 중구 프레지던트호텔에서 열린 제2차 ‘과학기술·인공지능 미래전략회의’에서 “1년 반 전 수립된 평가나 경쟁 방식이 3~6개월 단위로 급변하는 AI 트렌드에 여전히 유효한지 근본적인 고민이 필요한 시점”이라고 밝혔다.
이어 “정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다”고 부연했다.