[안광섭 AI 진테제] 벤치마크 점수 3점에 30배 비용 내야하나

[지디넷코리아]

7월 중순부터 8월 초까지 3주 사이에 중국 AI 진영에서 세 건의 주목할만한 발표가 연달아 나왔다. 문샷AI가 2조8000억 파라미터 규모의 키미 K3를 내놓고 열흘 뒤 가중치를 공개했다. 딥시크는 7월 31일 V4 플래시를 갱신했다. 알리바바는 8월 3일 2조4000억 파라미터의 Qwen 3.8-맥스를 정식 출시, 맥스급 모델의 가중치를 사상 처음으로 공개하겠다고 예고했다.

국내 보도의 초점은 대체로 하나에 모였다. “앤트로픽 페이블 5와 맞먹는 성능”이다.

필자는 세 발표를 나란히 놓고 성능표가 아니라 가격표부터 확인했다. 그리고 성능보다 먼저 눈에 들어온 것은 다른 숫자였다. 같은 진영에서 같은 3주 안에 나온 모델인데, 출력 토큰 100만 개 가격이 하나는 15달러, 다른 하나는 0.28달러다. 53배 차이다. “중국 모델은 싸다”는 한 문장으로는 이 격차를 설명할 수 없다. 설명이 되지 않는다면, 프레임을 바꿔야 한다.

열흘 사이에 벌어진 세 개의 사건

먼저 사실관계를 정리한다. 키미 K3는 7월 16일 공개됐고, 7월 27일 가중치가 공개됐다. 2조8000억 파라미터 전문가 혼합(MoE, 여러 전문가 모듈 중 일부만 골라 작동시키는 구조) 모델로, 토큰당 활성 파라미터는 1040억 개다. 독립 평가기관 아티피셜 애널리시스(Artificial Analysis)의 지능지수에서 57점을 기록해 오픈웨이트 모델 중 최고점을 받았다. 전체 순위로도 클로드 오퍼스 5(61점), 페이블 5(60점), GPT-5.6 솔(59점) 바로 다음이다. 중국 모델이 이 위치에 오른 것은 처음이다.

‘딥시크 V4 플래시 0731’은 7월 31일 갱신됐다. 2840억 파라미터 중 토큰당 130억 개만 활성화하는 MoE 모델이고, MIT 라이선스로 공개됐다. 지능지수 50점으로, 동급 대형 오픈웨이트 모델 안에서는 키미 K3와 GLM-5.2에 이어 3위다. 전체 순위가 아니라 동급 비교군 안에서의 순위다.

‘Qwen 3.8-맥스’는 8월 3일 정식 출시됐다. 2조4000억 파라미터 중 950억 개가 활성화되고, 컨텍스트 창은 100만 토큰이다. 지능지수는 53점이다. 알리바바는 이 모델과 함께 소형 체크포인트인 큐원3.8-27B의 가중치도 다음 주 공개하겠다고 밝혔다. 여기까지가 성능이다. 이제 가격을 겹쳐본다.

가격표를 세로로 세우면 보이는 것

세 모델의 100만 토큰당 가격은 이렇다.

-키미 K3: 입력 3달러 / 출력 15달러

-Qwen 3.8-맥스: 입력 2달러 / 출력 6달러 (캐시 입력 0.25달러)

-딥시크 V4 플래시: 입력 0.14달러 / 출력 0.28달러 (캐시 적중 0.003달러)

비교 기준으로 서구 프런티어 모델을 놓으면, 클로드 페이블 5가 10달러/50달러, 오퍼스 5가 5달러/25달러, GPT-5.6 솔이 5달러/30달러다.

안광섭 세종대 겸임교수

여기서 첫 번째 통념이 깨진다. 키미 K3의 3달러/15달러는 클로드 소네트 5의 표준 가격과 같은 구간이다. 프런티어 모델 대비 10분의 1이 아니라 절반에서 3분의 1 수준이다. 더 중요한 것은 자기 전작과의 비교다. 키미 K2.6은 0.95달러/4달러였다. 성능이 프런티어에 근접하는 사이 가격도 함께 올라간 것이다. 디코더는 이 변화를 “초저가 중국 AI의 종말”이라고 표현했다. 큐원3.8-맥스의 2달러/6달러도 마찬가지다. 프런티어 대비 확실히 싸지만, 압도적으로 싸지는 않다.

두 번째로, 같은 진영 안의 격차가 진영 간 격차보다 크다는 점이다. 딥시크 V4 플래시의 출력 0.28달러는 키미 K3의 15달러 대비 53분의 1이다. 반면 키미 K3와 페이블 50달러의 차이는 3.3배다. 중국 모델과 미국 모델 사이보다, 중국 모델과 중국 모델 사이가 더 멀다.

가격이 성능에 따라 정렬됐다는 뜻이다. 그리고 성능에 따라 가격이 정렬됐다는 것은, 시장이 성숙했다는 신호다. 국적이 아니라 성능이 가격을 결정하는 단계에 들어선 것이다.

3점의 가격표

그렇다면 성능 차이만큼 가격 차이가 정당한가. 여기서 가장 선명한 숫자가 나온다.

아티피셜 애널리시스는 지능지수를 산출하면서 각 모델의 전체 평가 실행 비용을 함께 공개한다. 같은 평가 세트를 같은 방식으로 돌린 실측값이다.

딥시크 V4 플래시는 출력 토큰 2억1000만 개를 쓰고 총 72달러가 들었다. 큐원3.8-맥스는 1억5000만 개를 쓰고 2159달러가 들었다. 토큰은 딥시크가 40% 더 썼는데, 비용은 큐원이 30배다. 점수는 50점과 53점, 3점 차다.

3점을 얻기 위해 30배를 낼 것인가. 이것이 지금 기업이 마주한 실제 질문이다. 물론 벤치마크 3점이 실무 성과 3%와 같지 않다. 장시간 자율 작업이나 대규모 코드베이스 탐색처럼 실패 비용이 큰 작업에서는 상위 모델의 여유가 결과를 가른다. 요점은 상위 모델이 불필요하다는 것이 아니라, 어떤 작업에 어느 층을 쓸지를 구분하지 않으면 30배를 무의미하게 지불하게 된다는 것이다. 한 가지 더 짚어야 할 것이 있다. 성능 수치 자체를 읽는 방법이다.

Qwen 3.8-맥스에 대해 알리바바가 공식 계정에 올린 표현은 “페이블 5 다음(second only to Fable 5)”이었다. 그런데 이 문장이 요약을 거치는 과정에서 “동등한 수준, 일부 지표에서는 상회”로 바뀌어 유통됐다. 알리바바 자체 벤치마크 표를 봐도 그렇다. 터미널벤치 2.1에서는 86.6으로 페이블 5(84.6)를 앞서지만, SWE-bench 프로에서는 67.7로 페이블 5의 80.0에 크게 뒤진다. 프런티어SWE는 73.5 대 88.8이다. 앞서는 지표가 있고 뒤지는 지표가 있는데, 앞서는 쪽만 인용되면 그림이 달라진다.

더 흥미로운 것은 같은 벤치마크 이름 아래 다른 숫자가 돌아다닌다는 점이다. 터미널벤치 2.1에서 페이블 5의 점수는 자료에 따라 84.6으로도, 80.5로도 표기된다. 하네스와 추론 노력 설정이 다르면 같은 벤치마크도 4점 이상 벌어진다. 벤더가 자체 환경에서 돌린 수치와 독립 기관이 통일된 조건에서 돌린 수치는 서로 다른 종류의 정보다. 섞어서 읽으면 안 된다.

데이터를 다루는 입장에서 원칙은 단순하다. 벤더 표는 그 벤더가 무엇을 자랑하고 싶어 하는지를 알려주는 자료고, 독립 측정은 모델들을 같은 자에 놓고 재본 자료다. 구매 판단은 후자로 한다.

오픈웨이트는 배포가 아니라 채널이다

이번 발표들에서 가장 많이 언급된 단어는 오픈웨이트다. 알리바바가 맥스급 가중치를 처음 공개한다는 소식이 헤드라인을 차지했다.

그런데 실무적으로 따져보면 이상한 대목이 있다. 2조4000억 파라미터 모델의 가중치는 4비트로 압축해도 약 1.2테라바이트다. 가중치만 그렇고 실행 시 캐시와 오버헤드는 별도다. 이 정도면 워크스테이션이 아니라 다중 노드 데이터센터 자산이다. 상대적으로 작은 GLM-5.2조차 자체 호스팅에 H200 8장 수준이 필요하다. 즉, 이 가중치를 실제로 내려받아 돌릴 수 있는 조직은 극소수다. 그렇다면 왜 공개하는가.

기술 전략을 다뤄온 관점에서 보면, 이건 배포 결정이 아니라 유통 채널 설계다. 대형 가중치 공개는 세 가지를 동시에 노린다. 첫째, 검증 가능성이다. 수치를 못 믿겠으면 직접 돌려보라는 태도 자체가 신뢰 자산이 된다. 둘째, 표준 선점이다. 추론 프레임워크와 파인튜닝 도구, 양자화 레시피가 자사 아키텍처를 중심으로 축적되면 다음 세대의 전환 비용이 올라간다. 셋째, 폐쇄형으로 가는 미국 진영과의 포지셔닝 차별화다.

실제 배포는 다른 물건이 담당한다. 알리바바가 큐원3.8-맥스와 함께 큐원3.8-27B를 공개하는 이유가 여기 있다. 27B는 일반적인 온프레미스 GPU에 올라간다. 대형 가중치가 브랜드 자산이라면, 소형 체크포인트가 실제 제품이다.

라이선스도 마찬가지로 읽어야 한다. 딥시크와 GLM-5.2는 MIT를 쓴다. 반면 키미 K3는 자체 라이선스로 공개됐다. 가중치를 공개했다고 해서 모두 같은 조건은 아니다. 국내에서 오픈웨이트라는 단어가 “무료이고 제약이 없다”는 뜻으로 통용되는 경향이 있는데, 도입 검토 단계에서 반드시 원문을 확인해야 하는 지점이다.

여기서 파생되는 역설도 눈여겨볼 만하다. 데이터 주권을 이유로 외부 API를 쓸 수 없는 조직이 결국 중국 연구소가 공개한 가중치를 자사 하드웨어에 올리는 선택을 하고 있다. 오픈웨이트가 지정학적 경계를 우회하는 통로가 된 것이다.

이제 질문을 바꿔야 한다

정리하면 이렇다. 중국 모델의 무기는 싼 가격에서 층위 설계로 옮겨갔다. 프런티어를 노리는 모델은 서구와 가격이 수렴하면서 오픈웨이트를 신뢰와 표준 확보용 자산으로 쓰고, 실제 비용 파괴는 그 아래 층이 담당한다. 각자도생이 아니라 설계된 포트폴리오다.

그렇다면 우리 기업의 질문도 바뀌어야 한다. “중국 모델을 쓸 것인가 말 것인가”는 이미 유효 기간이 지난 질문이다. 지금 필요한 것은 작업을 층으로 나누는 일이다. 실패 비용이 크고 되돌리기 어려운 작업, 예컨대 프로덕션 코드 변경이나 장시간 자율 에이전트 작업에는 상위 모델을 쓴다. 반복적이고 검증이 쉬운 대량 작업, 예컨대 문서 분류나 1차 요약, 코드 리뷰 초안에는 하위 모델을 쓴다. 그 사이 구간은 실제 업무 100건을 양쪽에 돌려보고 작업당 비용을 직접 계산해서 결정한다. 벤치마크 점수가 아니라 자사 업무로 측정해야 한다.

이 구분을 하지 않은 조직은 앞으로 상위 모델 값을 내면서 하위 모델로도 충분한 일을 시키게 된다. 30배는 그렇게 새어 나간다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다