“토큰값 반값인데 AI 청구서는 더 커졌다”

[지디넷코리아]

AI 토큰 단가는 떨어지는데 기업이 받아드는 AI 청구서는 오히려 커지고 있다. AI 가격이 싸질수록 비용 때문에 미뤄뒀던 어려운 업무까지 AI에 맡기면서 사용량이 폭발적으로 늘기 때문이다.

강정수 블루닷에이아이 AI연구센터장은 최근 SK텔레콤 뉴스룸에 실은 칼럼에서 “한 번 처리하는 비용이 절반으로 줄어도 처리 횟수가 열 배가 되면 청구서는 다섯 배로 커진다”고 지적했다.

오픈AI는 지난 9월 ‘GPT-6 Sol’을 내놓으며 기업용 API 이용료를 이전 모델보다 50% 낮췄다. 그럼에도 미국 금융회사 시타델 시큐리티즈에 따르면 최근 6개월 동안 사용량을 반영한 토큰 가격은 약 50% 떨어졌지만, 토큰 처리량은 약 5배 늘었다.

지시 한 번에 자료를 찾고, 분석하고, 보고서까지 쓰는 AI 에이전트가 확산하면서 사람은 한 번 시켜도 그 안에서 수많은 AI 호출이 일어나기 때문이다.

예전에는 비용이 맞지 않아 엄두를 못 내던 일도 AI로 넘어가고 있다. 10만 곳이 넘는 공급업체를 둔 월마트는 직원이 일일이 챙기기 어려웠던 소규모 거래의 가격과 지급 조건을 이제 AI 협상 시스템으로 개별 협상한다.

AI 토큰 관리가 AI 시대 새로운 경제 질서 화두가 되고 잇다. 사진_SK텔레콤 뉴스룸

강정수 센터장은 이를 두고 “전기를 많이 썼다고 좋은 제품을 만들었다고 할 수 없듯이 토큰을 많이 썼다고 좋은 일을 했다는 뜻은 아니다”라고 말했다.

대응책으로는 일의 난이도에 맞춰 모델을 골라 쓰는 방식이 꼽혔다. 하루 평균 약 450억 개의 토큰을 쓰는 미국 통신사 AT&T는 간단한 질문은 저렴한 모델에, 복잡한 질문은 고성능 모델에 맡기는 ‘모델 라우팅’으로 일부 업무 비용을 최대 90%까지 줄였다. 국내에서도 카페24의 ‘LLM 라우터’가 여러 회사의 AI를 한 통로로 연결해 작업에 따라 모델을 자동으로 고르고, 장애가 생기면 다른 모델로 전환한다.

강 센터장은 “핵심은 언제나 최고급 모델을 쓰는 것이 아니라, 일을 끝내는 데 필요한 품질을 가장 경제적으로 확보하는 것”이라고 밝혔다.

성과를 재는 기준으로는 ‘토큰 대비 가치(ROT)’를 제시했다. 100원짜리 회의록을 사람이 30분 동안 고쳐야 한다면, 300원을 들여 10분 만에 마무리한 회의록이 더 경제적일 수 있다는 것이다. 그는 “토큰 사용량은 활동의 기록일 뿐, 그 자체로 성과표가 아니다”라고 강조했다.

AI 문서 서비스 민틀리파이는 아예 요금 체계를 바꿨다. 지난 9월부터 AI가 작업을 끝냈을 때만 정해진 요금을 받고, 답을 못 하거나 고칠 내용이 없으면 요금을 받지 않는다.

강 센터장은 SK텔레콤의 최근 전략도 같은 흐름으로 봤다.

SK텔레콤은 고객의 AI 사용을 적합한 모델과 인프라로 연결하는 ‘토큰 게이트웨이’를 사업 방향으로 내놓았고, ‘AX 혁신 2.0’으로 업무 흐름 전체를 AI에 맞게 다시 짜고 있다. 정재헌 SK텔레콤 CEO가 제시한 ‘AX의 J커브’ 사례에서는, 50시간 걸리던 시스템 수정 업무를 AI 에이전트로 바꾸는 데만 500시간 넘게 들었지만 실제 업무에 투입하자 처리 시간이 1시간으로 줄었다. 사내 AX 경진대회에서는 악성앱 분석 에이전트가 업무 시간을 약 96% 줄인 사례도 나왔다.

강 센터장은 “기업의 AI 전략을 평가하는 질문도 ‘우리는 AI를 얼마나 사용하고 있는가’에서 ‘AI 덕분에 어떤 일을 더 잘 끝내고 있는가’로 바뀌어야 한다”고 강조했다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다