[지디넷코리아]
라온시큐어가 신뢰 가능한 인공지능(AI), 자율 진화형 보안 체계 구축을 통한 AI와 보안이 완전히 내재된 패러다임을 제시했다.
윤원석 라온시큐어 부사장은 8일 개최한 ‘제15회 정보보호의 날 기념식’에서 ‘미토스 시대 AI와 시큐리티의 공존 전략’을 주제로 발표했다.
앤트로픽의 AI 모델 ‘미토스(Mythos)’가 취약점을 찾아내고 익스플로잇(취약점 공격) 생성을 빠르게 수행하는 것으로 알려지면서, 쏟아지는 취약점을 대비해야 하는 시대가 됐다. 실제로 미공개 모델인 미토스는 1만개가 넘는 고위험·치명적인 취약점을 한 달여 만에 발견했다. 이로 인해 버그 발견 횟수도 10배 이상 늘어났다.
이에 ‘미토스 시대’에서는 보다 진화한 AI 보안 패러다임이 필요하다는 것이 윤 부사장의 생각이다. 윤 부사장은 기존 AI 보안 패러다임인 ‘AI를 위한 보안(Security for AI), 보안을 위한 AI(AI for Security)’로는 부족하다고 판단했다. 필요 시에만 연결하는 ‘위한(for)’의 개념이 아니라 항시 내재된 ‘with’의 개념으로 접근해야 한다는 것이다.
그는 “스스로 계획하고 도구를 호출하며 외부에 영향을 미치는 에이전틱 AI는 보안이 항시 내재돼 있어야 한다”며 “이를 위해 신뢰 가능한 AI(AI with Security), 자율 진화형 보안(Security with AI)이 필요하다. 또한 실시간으로 위협을 학습하고 이를 다시 신뢰 가능한 AI에 반영하는 하나의 선순환 구조가 필수적이다. 신뢰 가능한 AI가 자율 진화영 보안을 위한 분석·대응 엔진이 되고, 신뢰 가능한 AI가 학습한 위협 정보 및 패치 결과는 다시 자율 진화형 보안의 가드레일·정책이 되는 식”이라고 말했다.
신뢰 가능한 AI 구현을 위해서 윤 부사장은 AI 에이전트 권한 관리(AAM) 수행이 필수적이라고 강조했다. 그는 “AI 에이전트에 고유 ID를 부여하고 권한·위임·이력을 통합 관리해야 한다”며 “이를 통해 AI 에이전트의 모든 활동 이력을 기록함으로써 자율적 의사결정에 대한 책임 소재를 명확히할 수 있다”고 강조했다.
윤 부사장은 또한 “취약점 분석과 공격 시뮬레이션도 AI로 자동화해 공격자보다 먼저 취약점을 발견·검증하고, 그 결과를 자율 패치와 연계하는 것도 필요하다”고 에이전틱 AI 보안 분석(AASA)에 대한 개념도 제안했다.
“가장 강한 가드레일을 적용한 AI 모델에서도 우회가 확인됐습니다.”
유상윤 에임인텔리전스 대표도 이날 윤 부사장에 이어 ‘AI 에이전트를 위한 보안-실제 사례들과 현재 단계’를 주제로 발표했다. 그는 이날 현존 가장 강한 가드레일(보안 정책)을 적용한 AI 모델에도 이를 우회할 수 있는 실제 사례가 발견됐다고 밝혔다.
그는 “AI 에이전트는 3가지 치명적인 요소가 있다. 바로 민감 데이터를 취급한다는 점, 외부와 통신한다는 점, 비신뢰 콘텐츠를 제공한다는 점이다”라며 “AI 보안을 위해서는 AI 에이전트의 3가지 요소를 고려해 명령이 들어오지 않도록 레벨에서 분리하거나, 민감 데이터의 경우 샌드박스에서 작동하도록 하는 등 강화된 보안을 적용해야 한다”고 설명했다.
그는 이어 “OWASP에서도 에이전트 전용 취약점 10가지를 제시했지만, 실제 사고는 여러 요소가 결합된 체인 형태로 이뤄진다. 많은 도구들이 붙고, 접근하기 때문에 AI 모델 자체가 단일 공급망 공격면이 되고 있다”면서 “더 똑똑한 모델이라고 안전하지는 않다. 이는 확실하게 틀린 통념이다. 어떤 가드레일도 모든 우회를 막아내지는 못한다”고 강조했다.
아울러 유 대표는 “안전은 모델 안에 들어있는 성질이 아니라 바깥 아키텍처가 만드는 성질”이라며 “다층 방어를 평가·인증의 기본 요구사항으로 두고, AI 모델에게 민감정보를 맡기는 것이 아니라 닿기 전에 구조적으로 막는 것이 핵심”이라고 역설했다.
한편 에임인텔리전스는 한국인터넷진흥원(KISA)과 국내 20개 기업을 선정해 AI 서비스에 대한 레드티밍 서비스를 제공하는 사업을 공동 진행 중이다. 유 대표는 이날 KISA와 추진하는 사업에 대한 간략한 소개도 덧붙였다.
그는 “지난달까지 22개 사업자를 선정해 AI 모델에 대한 레드티밍을 진행하려 한다”며 “대상 사업자들은 실제 원전이나 인프라에 영향을 주는 사업자들로 구성돼 있다. 올해 하반기에 레드티밍 성과를 공유하고, 기업들에게 어떤 문제가 산재해 있는지 가이드라인을 제시하겠다”고 밝혔다.