본문으로 건너뛰기
effidevFlutter · Cloudflare 엣지 · 클라우드 비용 최적화

제미나이 4 카본 0.4점 차 1위, 비용은 3.6배 차이

제미나이 4 카본 0.4점 차 1위 카본 60.4% · 9.22달러 페이블 5.2 60.0% · 32.79달러

핵심 요약

CursorBench 4.0에서 제미나이 4 카본(60.4%)과 3위 페이블 5.2(60.0%)는 0.4점 차인데 작업당 비용은 9.22달러 대 32.79달러다. 12월 1일 값표가 두 배가 되기 전에 확인할 숫자를 순위표 원문으로 정리했다.

“새 모델이 1위라는데 갈아타야 하나”를 고민하는 개발자라면, 이번에는 점수보다 점수 옆에 붙은 비용 칸을 먼저 읽는 편이 낫다.

미국 시간 11월 10일, 구글이 제미나이 4 카본(Gemini 4 Carbon) 을 유료 개발자 전원에게 열었다. 2주 전만 해도 구글이 고른 보안 방어자 일부만 쓸 수 있던 모델이다. 발표문은 코딩 시험 CursorBench 4.0, Perplexity의 WANDR, Zapier의 AutomationBench 세 곳에서 1위이고 “다음으로 좋은 외부 모델보다 작업당 비용이 2배 넘게 낮다”고 적었다.

이 글은 모델을 바꿀지 재고 있는 개발자, 그리고 API 청구서를 직접 보는 사람을 위해 썼다. 발표문의 그 문장이 맞는지 보려고 세 시험 중 두 곳의 순위표를 직접 열어 숫자를 옮겨 왔다. 결론부터 적으면 비용 이야기는 맞았다. 다만 이 모델에는 카본 0.4점 차 1위라는 설명이 더 정확하다. CursorBench에서 카본(60.4%)과 3위인 페이블 5.2(60.0%)는 0.4점밖에 벌어지지 않았는데, 작업 하나당 비용은 9.22달러와 32.79달러로 3.6배 차이가 난다.

여기에 날짜 하나가 걸려 있다. 구글 가격 문서를 읽어 보면 카본과 아르곤의 값은 11월 30일까지가 소개 가격이고, 12월 1일부터 입력과 출력이 모두 두 배가 된다. 아래 순위표의 비용 칸이 어느 날짜의 값표로 계산됐는지가 이 글의 두 번째 주제다. 지난 글이 카본의 점수와 접근 제한을 다뤘다면, 이번 글은 문이 열린 뒤 청구서 쪽을 본다.

먼저 말 몇 개를 풀어 둔다. 벤치마크는 여러 모델에 같은 문제를 풀게 해서 점수를 매기는 시험이다. 작업당 비용은 문제 하나를 푸는 데 든 평균 비용으로, 토큰 단가에 모델이 실제로 쓴 토큰 수를 곱해 계산한다. 토큰은 AI가 글을 쪼개 읽고 쓰는 단위이고 한국어는 글자 한두 개가 토큰 하나다. 노력 수준(effort) 은 답하기 전에 얼마나 오래 생각하게 할지 정하는 다이얼이고 Low·Medium·High·Max 같은 이름이 붙는다.

11월 10일 밤에 바뀐 것: 문이 열렸고, 무료 칸은 없다

구글 발표문(2026년 11월 10일자)이 밝힌 접근 방법은 사용자 종류별로 나뉜다.

누구 어디서 조건
개발자·기업 구글 AI 스튜디오, Gemini for business API 유료 사용자 전원
구글 AI 울트라 구독자 구글 안티그래비티, 제미나이 앱, 검색 AI 모드 순차 제공
과학자·연구자 안티그래비티 최상위 사용량 구간 6개월 무료, 신청 후 심사
보안 방어자 페어윈드(Fairwind) 프로그램 신청 후 순차 접근

가격 문서에서 눈여겨볼 문장은 두 개다. 첫째, 카본은 무료 티어에서 쓸 수 없다. 둘째, 모델이 처리하는 토큰은 생각하는 데 쓴 토큰까지 전부 과금된다. 모델 코드는 gemini-4-carbon, 컨텍스트(한 번에 읽을 수 있는 분량)는 100만 토큰이다. 모델 목록에는 최대 출력이 “65K / 1M tokens”로 적혀 있다. 출력 한도가 왜 두 값으로 적혔는지는 아르곤 글에서 다룬 적이 있다.

지난 글의 마지막 줄은 “점수는 앞으로 가는데 접근은 좁아진다”였다. 이번 발표로 접근 쪽이 풀렸다. 풀린 대신, 이제 누구나 청구서를 받게 됐다.

구글이 인용한 시험 중 두 곳의 순위표를 열어 봤다

세 시험의 주인은 각각 다르다. CursorBench는 AI 코딩 에디터 Cursor가 만든 시험이고, AutomationBench는 업무 자동화 서비스 Zapier가 만들었다. WANDR은 검색 회사 Perplexity가 만든 연구 에이전트 시험이다. 이 글에서는 앞의 두 곳의 공개 순위표를 직접 읽었다. WANDR 순위표는 열어 보지 못했으므로 숫자를 옮기지 않는다.

CursorBench 4.0: 실제 개발 세션에서 뽑은 문제

Cursor는 이 시험을 “실제 Cursor 세션에서 뽑은, 모호하고 여러 파일에 걸친 작업”으로 설명한다. 순위표는 같은 모델을 노력 수준별로 따로 줄 세우고, 점수와 작업당 비용과 에이전트가 밟은 단계 수를 같이 보여 준다. 11월 11일 아침에 읽은 상위 값은 이렇다.

순위 모델·노력 수준 점수 작업당 비용 작업당 단계 수
1 제미나이 4 카본 High 60.4% 9.22달러 71
2 제미나이 4 카본 Medium 60.1% 8.49달러 67
3 페이블 5.2 Max 60.0% 32.79달러 218
4 제미나이 4 카본 Low 58.6% 11.89달러 124
5 오퍼스 5.5 Max 57.8% 13.43달러 185
6 페이블 5.2 High 56.9% 9.70달러 69
8 오퍼스 5.5 Extra High 56.0% 6.98달러 109
9 오퍼스 5.5 High 56.0% 3.97달러 68
14 제미나이 4 아르곤 High 52.9% 4.57달러 118

표 아래에는 Cursor의 각주가 붙어 있다. 비용은 “각 모델의 공개된 백만 토큰당 가격을 모델이 작업마다 쓴 토큰에 적용해” 계산하고, “결과에는 편차가 있으며 점수의 작은 차이는 통계적으로 의미 없을 수 있다”고 한다. 이 두 문장이 아래 분석의 전제다.

Zapier AutomationBench: 가짜 회사를 굴려 보는 시험

AutomationBench는 가상의 작은 회사를 만들어 영업·마케팅·운영·지원·재무·인사 여섯 부문의 요청을 에이전트에게 맡기고, 끝난 뒤의 데이터 상태가 맞는지만 채점한다. 페이지는 600개가 넘는 비공개 과제와 가상 앱 47개로 이뤄졌고, 채점에 AI 심판을 쓰지 않는다고 적는다. 1.0.6판 순위표의 상위 열 줄 중 아홉 줄이다.

순위 모델·노력 수준 점수 작업당 비용
1 제미나이 4 카본 High 53.88% 2.12달러
2 제미나이 4 카본 Medium 52.97% 1.65달러
3 페이블 5.2 Max 51.45% 4.64달러
4 제미나이 4 아르곤 High 51.29% 1.70달러*
5 제미나이 4 아르곤 Medium 50.08% 1.54달러*
6 페이블 5.2 Extra High 47.95% 2.29달러
7 소네트 5.5 Max 44.75% 1.14달러
8 페이블 5.2 High 44.29% 1.69달러
9 오퍼스 5.5 Max 42.47% 1.44달러

별표가 붙은 줄의 각주는 이 글에서 가장 중요한 문장 중 하나다. “이 제미나이 모델들은 소개 가격이 있다. 순위와 작업당 비용은 표준 정가로 계산했다. 제미나이 4 아르곤: 1.70달러(High)는 소개 가격으로는 0.85달러, 1.54달러(Medium)는 0.77달러.” 표의 아르곤 비용은 정가 기준이고, 소개 가격이면 정확히 절반이라는 뜻이다. 카본 줄에는 별표가 없다.

참고로 페이블 5.2는 Zapier에서 “기본 대체 모델 설정”으로 돌렸다고 적혀 있다. 안전 분류기가 거부한 단계를 앤트로픽이 정한 대체 모델로 넘기는 설정이다.

Artificial Analysis의 MKA: 표와 도면이 든 문서 시험

발표문이 인용한 세 번째 독립 시험은 구글이 Artificial Analysis(AA)와 함께 만든 멀티모달 지식 에이전트(MKA) 시험이다. 건축 도면 검토 같은 과제를 파일로 내는 방식이다. AA의 MKA 페이지는 1위가 페이블 5.2 Max(57%), 2위가 카본 High(54%), 3위가 오퍼스 5.5 Max(53%)라고 적는다. 구글이 “2위이고 1위보다 작업당 비용이 6배 넘게 낮다”고 쓴 문장 중 순위는 확인됐다. 6배라는 비용 값은 페이지에서 따로 대조하지 않았다.

카본 0.4점 차의 정체: 같은 줄에 선 세 모델

발표문의 “2배 넘게 낮다”를 순위표에 대 보자. CursorBench의 “다음 외부 모델”은 1위 바로 아래의 구글 밖 모델, 즉 페이블 5.2 Max다.

  • 비용: 32.79달러 ÷ 9.22달러 = 3.6배
  • 점수: 60.4% − 60.0% = 0.4점

Zapier에서도 같은 계산이 나온다. 4.64달러 ÷ 2.12달러 = 2.2배 낮고 점수는 53.88%와 51.45%로 2.4점 앞선다. 두 시험 모두 발표문의 비용 문장은 맞다.

다만 읽는 법이 중요하다. CursorBench 상위 세 줄은 60.4%, 60.1%, 60.0%다. Cursor가 각주에서 “작은 점수 차이는 통계적으로 의미 없을 수 있다”고 적은 바로 그 범위다. 이 구간에서 순위는 사실상 공동 1위로 읽는 편이 안전하다. 반면 비용 열은 8.49달러에서 32.79달러까지 3.9배로 벌어져 있다. 점수가 거의 같은 세 줄을 비용이 갈라 놓았다는 뜻이다. 카본 0.4점 차 1위에서 읽을 것은 1위라는 자리가 아니라, 점수가 비슷한 줄 중에서 값이 낮다는 사실이다.

그런데 점수를 조금 양보하면 더 싼 줄이 같은 표에 있다. 오퍼스 5.5 High는 56.0%에 3.97달러다. 카본 High보다 점수는 4.4점 낮고 비용은 2.3배 낮다(9.22 ÷ 3.97). 4.4점이 내 작업에서 얼마만큼의 가치인지는 표가 알려 주지 않는다. 한 가지 더 읽히는 것이 있다. 같은 표에서 오퍼스 5.5 High(56.0%, 3.97달러)는 제미나이 4 아르곤 High(52.9%, 4.57달러)보다 점수도 높고 비용도 낮다. 같은 값표를 쓰는 두 모델 사이에서 이 표는 오퍼스 5.5 쪽에 손을 들어 준다. 다만 아르곤 비용이 정가 기준인지 소개 가격 기준인지는 CursorBench 표가 밝히지 않는다. 뒤의 값표 절에서 이 문제를 따로 다룬다.

Zapier는 다른 그림을 보여 준다. 오퍼스 5.5 Max는 42.47%로 카본 High(53.88%)와 11.4점 벌어진다. 같은 모델이 코딩 시험에서는 4.4점 차이였고 업무 자동화 시험에서는 11.4점 차이다. 시험마다 1위의 두께가 다르고, 시험마다 잘하는 일이 다르다는 얘기다.

그리고 카본이 전 부문 1위도 아니다. Zapier의 부문별 표에서 영업은 아르곤 Medium(58.12%)이 1위이고 카본 High(56.41%)가 2위다. 인사는 아르곤 High(39.17%)가 1위다. 반대로 마케팅(카본 Medium 64.00%)과 재무(카본 Medium 60.00%, 2위 페이블 5.2 Max 53.33%)에서는 카본이 앞선다. 부문별 표는 전체보다 과제 수가 적으니 방향만 참고하는 게 좋다.

한 칸 내렸더니 오히려 비싸졌다: 노력 수준의 함정

페이블 5.2 글에서는 노력 수준 한 칸이 청구서를 가른다는 이야기를 다뤘다. 카본의 순위표는 “노력 수준을 낮추면 항상 싸진다”는 상식이 맞지 않을 수 있다는 걸 보여 준다.

CursorBench 4.0 점수 작업당 비용 작업당 단계 수
카본 High 60.4% 9.22달러 71
카본 Medium 60.1% 8.49달러 67
카본 Low 58.6% 11.89달러 124
오퍼스 5.5 Max 57.8% 13.43달러 185
오퍼스 5.5 High 56.0% 3.97달러 68
오퍼스 5.5 Low 43.7% 1.17달러 28

카본은 High에서 Medium으로 내리면 점수가 0.3점 줄고 비용은 8% 줄어서(9.22달러 → 8.49달러) 거의 손해가 없다. 그런데 Low로 내리면 점수는 1.5점 더 떨어지는데 비용은 오히려 11.89달러로 올라간다. 표만으로 이유를 확정할 수는 없지만 단계 수가 71에서 124로 같이 늘었다는 단서가 있다. 덜 생각하는 대신 더 자주 시도하다가 돈을 더 썼다고 읽힌다. 반면 오퍼스 5.5는 Low로 내리면 비용이 1.17달러까지 떨어지지만 점수도 43.7%로 크게 내려간다. 모델마다 노력 수준이 비용에 미치는 방향이 다르다.

Zapier에서는 Medium이 더 눈에 띈다. 카본 Medium은 52.97%에 1.65달러이고 High는 53.88%에 2.12달러다. 점수를 0.9점 양보하면 비용이 22% 줄어든다. 두 시험 모두에서 Medium이 High와 거의 같은 점수를 더 싸게 낸다. 시작점으로 잡을 만한 설정이다.

12월 1일에 값표가 같은 줄로 모인다

이제 날짜 이야기다. 구글 API 가격 문서의 카본 표준 요금은 이렇게 적혀 있다.

100만 토큰당 11월 30일까지 12월 1일부터
입력 2달러 4달러
출력(생각 토큰 포함) 10달러 20달러
캐시된 입력 0.10달러 0.20달러
배치 입력 1달러 2달러
배치 출력 5달러 10달러

아르곤의 표준 요금도 같은 문장으로 같은 날 같은 폭만큼 오른다. 발표문의 “아르곤과 같은 소개 가격”은 이 뜻이다. 12월 1일 이후의 값표 4달러·20달러는 앤트로픽 문서에 적힌 오퍼스 5.5의 값(입력 4달러·출력 20달러)과 같다. 페이블 5.2는 8달러·40달러, 소네트 5.5는 2달러·10달러다. 그러니 12월 1일부터는 카본·아르곤·오퍼스 5.5가 같은 값표 위에서 만난다. 그때부터 값표는 차이를 만들지 못하고, 작업 하나에 쓰는 토큰의 양이 청구서를 가른다.

순위표의 비용 칸은 어느 날의 값표인가

여기서 앞의 순위표가 어느 값표로 계산됐는지가 중요해진다. 세 곳이 남긴 단서는 이렇다.

  • CursorBench 각주는 “공개된 백만 토큰당 가격”이라고만 하고 날짜를 적지 않는다.
  • Zapier는 아르곤만 별표로 “정가 기준, 소개 가격이면 절반”이라고 밝혔고 카본 줄에는 별표가 없다.
  • AA의 카본 페이지는 입력 4달러·출력 20달러로 계산한다.

어느 쪽인지 단정할 수 없으므로 두 경우로 나눠 계산해 보았다. 모델이 쓰는 토큰이 같다고 놓은 단순 계산이다.

구분 표의 카본 비용이 이미 정가(4달러·20달러) 기준이면 소개 가격(2달러·10달러) 기준이면, 12월 1일 이후
CursorBench 카본 High 9.22달러 그대로 약 18.44달러
페이블 5.2 Max(32.79달러)와의 격차 3.6배 약 1.8배
오퍼스 5.5 High(3.97달러)와의 격차 2.3배 약 4.6배
Zapier 카본 High 2.12달러 그대로 약 4.24달러
페이블 5.2 Max(4.64달러)와의 격차 2.2배 약 1.1배

뒤쪽 열이 맞다면 발표문의 “2배 넘게 낮다”는 12월 1일에 Zapier에서는 거의 사라지고 CursorBench에서도 2배 밑으로 내려간다. 앞쪽 열이 맞다면 아무것도 변하지 않는다. 어느 쪽인지는 순위표 운영자에게 물어봐야 알 수 있는 일이고, 이 글에서는 알 수 없다. 그래서 순위표의 비용 칸은 가격표가 아니라 참고 값으로 읽고, 내 작업의 청구서는 내가 재야 한다.

구글이 직접 낸 안전·정직 숫자 세 개

발표문 후반부에는 구글이 자체 시험으로 잰 값이 몰려 있다. 외부가 재 준 값이 아니라는 점을 먼저 적어 둔다.

  • 375개 과제로 이뤄진 에이전트 정직성 시험에서 카본은 92%를 통과했고 아르곤은 70%였다. 빠진 실험 데이터를 채우라는 요청을 98% 거절했고, 방법론의 결함은 68% 짚었다고 한다.
  • 시뮬레이션한 사이버 공격 시험에서 공격 시도당 뚫린 비율이 아르곤 3.1%에서 카본 0.8%로 내려갔다. 외부 업체 Gray Swan이 잰 자동화 공격 성공률은 아르곤 9.86%, 카본 2.17%다.
  • 외부 업체 Trajectory Labs는 132시간, 13,000건이 넘는 요청을 보냈지만 새로운 범용 탈옥(어떤 질문에도 통하는 안전장치 우회법)을 하나도 찾지 못했다고 한다.

이 값들은 구글이 발표문에서 한 말이고, 이 글에서 재현하거나 원문 보고서를 대조하지 않았다. 안전 보고서 본문은 구글이 따로 공개했다고 적었다. 내 서비스에 에이전트를 붙인다면 이 숫자를 그대로 믿기보다 내 입력으로 다시 시험하는 편이 안전하다.

AA 순위표에서 카본은 지금 어디에 있나

10월 29일 글을 쓸 때 AA 페이지는 카본(High)을 지능 지수 59점, 1위로 보여 줬다. 오늘 같은 페이지는 지수 판이 v5.0.1이고 값은 60점(원값 60.03)이다. AA는 카본(High)의 지능 순위를 74개 설정 중 4위로 표시한다. 모델 이름 단위로 줄이면 11월 9일에 나온 페이블 5.2가 64.6점, 카본이 60.0점, 오퍼스 5.5가 59.1점 순이다. 2주 사이에 1위 자리를 페이블 5.2에 넘겨준 셈이다.

AA 페이지가 보여 주는 나머지 값은 비용 쪽에서 눈에 띈다.

항목 카본(High) AA가 적은 기준값
단가 입력 4달러·출력 20달러 중앙값 2달러·10달러, “다소 비싸다”
지능 지수 시험 작업당 비용 7.76달러
작업 하나에 걸리는 시간 26.0분 중앙값 12.8분, “눈에 띄게 느리다”
첫 답이 나오기까지 67초
지수 시험에서 쓴 출력 토큰 2억 500만 개 중앙값 7,280만 개, “매우 장황하다”

종합하면 AA의 총평은 “지능은 선두권이지만 비슷한 값대의 다른 모델에 비해 다소 비싸고, 작업당 느리고, 매우 장황하다”다. CursorBench와 Zapier의 순위표가 보여 준 “비용이 낮다”와 결이 다르다. 두 평가가 다른 것을 재기 때문이다. 같은 모델이라도 AA의 지수 시험은 9개 평가를 합친 값이고, Cursor는 코딩 한 가지, Zapier는 업무 자동화 한 가지다. 비용이 낮은 쪽에서 쓰려면 내 일이 후자에 가까워야 한다.

11월 30일 전에 해 볼 실험 하나

카본 0.4점 차 1위라는 말은 “점수가 비슷하니 값이 승부”라는 뜻이고, 그 값은 12월 1일에 바뀐다. 그러니 소개 가격이 끝나기 전에 내 작업으로 직접 재 보는 게 이 글의 결론에 가장 가까운 행동이다. 어렵지 않은 순서로 적는다.

  1. 평소 AI에게 시키는 일 중 결과가 맞았는지 틀렸는지 바로 보이는 것 하나를 고른다. 테스트가 있는 버그 수정이나 정해진 형식의 변환 작업이면 좋다. 열 개 안팎의 같은 종류 작업을 준비한다.
  2. 카본 Medium, 카본 High, 오퍼스 5.5 High 세 설정으로 같은 열 개를 돌린다. Low는 앞의 표에서 보듯 건너뛰어도 된다.
  3. 설정마다 세 가지를 적는다. 맞게 끝난 개수, 입력 토큰과 출력 토큰(응답에 딸려 오는 사용량 항목에 나온다. 카본은 생각 토큰도 출력 값에 들어간다), 걸린 시간.
  4. 토큰을 두 값표에 각각 곱한다. 하나는 11월 30일까지의 소개 가격, 하나는 12월 1일부터의 정가다. 그렇게 해서 나온 비용을 맞게 끝난 개수로 나눈다. “작업당”이 아니라 “성공 하나당” 얼마인지가 진짜 값이다.
  5. 정가 기준으로 성공 하나당 값이 가장 낮은 설정을 고른다. 소개 가격 기준 값은 11월 30일까지의 예산용으로만 쓴다.

캐시된 입력은 같은 앞부분을 반복해서 보낼 때 싸게 쳐 주는 방식이다. 시스템 지침이나 코드베이스를 매번 같이 보낸다면 이 줄이 전체 비용의 상당 부분을 가를 수 있으므로 토큰 수를 적을 때 캐시된 입력 칸을 따로 적어 두는 게 좋다. 캐시 값도 12월 1일에 0.10달러에서 0.20달러가 된다.

이 글의 숫자를 옮겨 온 페이지 다섯 곳

모든 값은 2026년 11월 11일 아침(한국 시각)에 아래 페이지를 열어 옮겼다. 내가 직접 모델을 돌려 얻은 값은 하나도 없다.

오퍼스 5.5·페이블 5.2·소네트 5.5의 단가는 앤트로픽의 모델 문서 표에서 옮겼다. 직접 열어 보지 못한 곳은 Perplexity WANDR 순위표, MKA의 “6배 낮은 비용” 숫자, 구글의 안전 보고서 본문이다. 이 셋은 위에서 구글의 말로만 적었다.