제미나이 4 카본, 아르곤보다 9점 올라 1위가 됐다

effidev·2026년 10월 29일

새 AI 모델이 나왔다는 소식을 볼 때마다 “이번엔 갈아타야 하나” 하고 계산기부터 꺼내는 개발자라면, 이번 소식은 순서를 바꿔서 읽는 편이 낫다. 구글이 2026년 10월 28일 공개한 **제미나이 4 카본(Gemini 4 Carbon)**은 AI 모델 성능을 따로 재는 독립 평가 기관의 점수표에서 1위다. 한 달 전에 나온 앞 모델 제미나이 4 아르곤보다 9점이 높다. 그런데 지금 이 모델을 쓸 수 있는 사람은 구글이 고른 보안 방어자 일부뿐이고, 나머지 개발자에게 언제 풀리는지는 날짜가 없다.

이 글은 세 부류를 위해 쓴다. API로 코딩 에이전트를 돌리면서 어떤 모델이 나아질지 재고 있는 사람, 모델 값표를 보고 월 예산을 짜는 사람, 그리고 “1위”라는 말이 내 청구서에 무슨 뜻인지 궁금한 사람이다. 구글 소개글 원문과 독립 평가 기관의 모델 페이지 네 곳, 해커뉴스 토론, 아르곤을 개발자에게 푼 구글의 공지를 직접 읽고 정리했다.

먼저 말 몇 개를 풀어 둔다. 토큰은 AI가 글을 쪼개 읽고 쓰는 단위이고, 한국어는 대략 글자 한두 개가 토큰 하나다. 지능 지수는 여러 시험 점수를 하나로 합친 종합 점수다. 소개 가격은 신제품을 처음 내놓는 동안만 깎아 주는 값이다. **Artificial Analysis(이하 AA)**는 AI 모델을 같은 조건에서 시험해 점수와 비용을 공개하는 평가 기관이다. 이 글에서 “구글이 말한 것”과 “AA가 잰 것”은 일부러 구분해서 쓴다.

점수표 한 장: 아르곤에서 카본까지 9점

AA의 모델 페이지에서 네 모델의 같은 항목을 옮기면 이렇다. 2026년 10월 29일 아침에 읽은 값이다.

AA 페이지는 소수점까지 보여 주지 않지만 페이지에 실린 원값은 카본 59.4, 오퍼스 58.4, 아르곤 50.4다. 카본과 아르곤의 차이는 딱 9점이고, 오퍼스 5.5와의 차이는 1점이다. 1위지만 간발이다.

눈에 띄는 건 괄호 안의 설정이다. 카본과 아르곤은 High, 오퍼스 5.5와 GPT-6.1 Sol은 Max로 잰 값이다. 이 설정은 답하기 전에 얼마나 오래 생각하게 하느냐를 정하는 다이얼이다. 카본을 한 단계 더 올린 설정이 나오면 점수가 더 오를 수도 있고, 비용이 같이 오를 수도 있다. 지금 표는 “같은 다이얼”이 아니라 “AA가 각 모델에서 잰 대표 설정”을 나란히 놓은 것이다.

그리고 속도 줄에서 보이듯 카본은 오퍼스 5.5보다 초당 6토큰쯤 느리다. AA가 같은 급 모델의 평균으로 적은 값은 초당 85토큰이라 카본은 평균보다 조금 빠른 편이다. 속도가 승부처인 모델은 아니다.

지난 글에서 제미나이 4 아르곤을 다룰 때는 “출력 한도 100만 토큰인데 아직 못 쓴다”가 핵심이었다. 이번에는 점수가 9점 뛰었는데 “아직 못 쓴다”가 또 붙었다. 모델은 앞으로 가는데 접근 조건은 같은 자리에 서 있다.

같은 값표인데 청구서는 다르다: 말이 많은 모델

표에서 가장 흥미로운 줄은 비용이다. AA는 지능 지수 시험의 과제를 모델마다 같이 풀게 한 뒤, 과제 하나를 푸는 데 평균 얼마가 들었는지 계산한다. 환율은 앞선 글과 같이 1달러에 1,350원으로 놓았다.

세 가지가 읽힌다.

첫째, 카본은 오퍼스 5.5보다 점수가 1점 높고 과제당 비용은 23% 낮다. 7.76달러를 10.04달러로 나누면 0.77이다. 두 모델의 토큰당 값표가 AA에서는 둘 다 입력 4달러·출력 20달러로 같으니, 차이는 값표가 아니라 말의 양에서 나온다. 카본이 2억 개, 오퍼스가 2억 2천만 개를 썼다. 다만 이건 AA가 카본에 끝난 뒤 가격(소개 가격이 아니라)을 매겨 계산한 값이다.

둘째, 카본은 GPT-6.1 Sol보다 점수가 4점 높지만 과제당 값은 6.1배다. 이 6배의 정체는 곱셈이다. Sol의 값표는 입력 2달러·출력 10달러이고 AA가 카본에 적용한 값은 그 두 배다. 거기에 카본이 쓴 출력 토큰이 Sol의 3.1배다(2억 개 대 6,400만 개). 2에 3.1을 곱하면 6.2이고, 실제 비용비 6.1과 거의 맞아떨어진다. 점수 4점을 사는 값이 6배라는 뜻이다. 4점이 내 일에서 얼마의 가치인지는 사람마다 다르다.

셋째, 카본은 말이 많다. AA는 카본을 “매우 장황하다(very verbose)“고 적고, 비교 기준 중앙값을 6,400만 토큰으로 놓았다. 카본의 2억 개는 그 3.1배다. 앞 모델 아르곤은 1억 1천만 개였으니 카본은 아르곤보다 약 82% 더 많은 토큰을 썼다. 그런데 과제당 비용은 7.68달러에서 7.76달러로 1% 올랐을 뿐이다. 토큰이 82% 늘었는데 비용이 거의 안 늘어난 이유는 AA 페이지에 설명이 없다. 입력 쪽 비용이나 캐시 사용 같은 요인이 달랐을 수 있지만 내가 확인한 것이 아니니 추측으로만 남겨 둔다. 확실한 건 두 숫자가 AA 표에 함께 적혀 있다는 점이다.

한 가지 조심할 것이 있다. 위 숫자는 AA의 시험 과제를 평균한 값이지 내 작업의 값이 아니다. 100개를 돌리면 776달러라는 계산은 “내 작업이 AA 과제와 같은 크기일 때”라는 가정 위에 서 있다. 코드 한 줄 고치는 일과 저장소 하나를 뜯어고치는 일은 출력 토큰 수가 수십 배 다르다.

소개 가격이 끝나는 날, 이 숫자는 두 배가 된다

구글이 소개글에 적은 가격은 아르곤과 같다. 100만 토큰당 입력 2달러, 출력 10달러이고, 캐시된 입력은 입력 가격에서 95%를 깎아 준다. 캐시 입력은 같은 앞부분을 반복해서 보낼 때 이미 처리한 것을 재사용해 싸게 쳐 주는 방식이다. 소개글 각주에는 소개 기간이 끝나면 입력 4달러·출력 20달러가 적용된다고 적혀 있다.

AA 페이지가 카본에 적은 값은 오른쪽 열, 곧 종료 후 가격이다. 그래서 AA의 7.76달러는 소개 기간이 끝난 뒤의 값이라고 보는 게 맞다. 같은 토큰을 쓴다면 소개 기간에는 그 절반인 3.88달러(약 5,200원)가 된다. 이건 내가 값표 비율로 계산한 값이고 AA가 잰 값이 아니다.

소개 기간이 언제까지인지는 소개글에 없다. 오퍼스 5.5가 입력 4달러·출력 20달러이니, 종료 후의 카본은 오퍼스와 같은 가격표가 된다. GPT-6.1 Terra 글에서 정리한 Sol의 2달러·10달러는 지금 소개 기간의 카본과 같은 숫자다. 값표만 보면 카본이 Sol과 같은 줄에 서 있는 것처럼 보이지만, 위에서 본 대로 청구서는 말의 양 때문에 갈린다.

그래서 이 글의 첫 번째 결론은 이렇다. 예산은 소개 가격이 아니라 종료 후 가격으로 짠다. 소개 가격으로 세운 계획은 기간이 끝나는 날 두 배가 된다.

구글이 고른 보안 시험 세 개

카본의 간판은 점수가 아니라 보안이다. 소개글 부제부터 “최고 수준의 사이버 보안과 장기 작업 역량을 갖춘 가장 강한 모델”이고, 구글은 보안 시험 세 개의 결과를 앞에 놓았다. 보안 방어는 세 단계로 이어진다. 허점을 찾고, 그게 실제로 뚫리는지 확인하고, 뿌리를 고친다. 세 시험이 각 단계에 하나씩 대응한다.

구글은 이 세 점수를 “보호 장치 없이(without guardrails)” 쟀다고 적었다. 모델이 위험한 요청을 거절하게 하는 장치를 끈 상태의 능력이라는 뜻이다. 일반 사용자가 쓰는 제품에서는 이 장치가 켜져 있을 것이고, 그러면 점수와 실제 동작이 다를 수 있다.

여기서 내가 확인하지 못한 게 있다. 구글 소개글 본문에는 경쟁 모델의 같은 시험 점수가 숫자로 적혀 있지 않고 “확실한 우위(a firm lead)“라고만 쓰여 있다. 그래서 “얼마나 앞서는지”는 이 글에서 말할 수 없다. 크롬 팀이 “다른 연구소의 대형 최전선 모델보다 고품질 패치 생성이 10배 이상 좋았다”고 보고했다는 문장도 있지만 비교 대상 모델의 이름이 없다. 보안 회사 Wiz가 웹 침투 테스트 시험에서 카본이 앞선다고 관찰했다는 문장도 같은 종류다. 구글이 전하는 제3자의 말이고, 근거 자료는 소개글에 없다.

코딩 쪽 숫자는 오히려 절제돼 있다. 웹 개발 능력을 사람들의 투표로 겨루는 WebDev Arena에서 카본은 89 Elo 점이 올라 4위(1768점)다. Elo는 체스 순위에 쓰는 방식으로, 두 모델의 결과물을 맞대결시켜 이긴 쪽에 점수를 주는 계산이다. 지능 지수 1위 모델이 이 순위에서는 4위라는 사실은 “1위”라는 말이 시험마다 다르다는 걸 보여 준다.

0.0%라는 숫자를 읽는 법

소개글의 안전 항목에는 눈에 띄는 숫자가 몇 개 있다. 숫자마다 무엇을 재는지 풀어 둔다.

Terminal-Bench 4.0에서의 부정행위. 터미널 작업 시험에서 모델이 시험 환경의 허점을 이용해 점수만 올리는 행동을 센 값이다. 구글은 성공한 부정행위가 0.0%, 시도는 0.4%라고 적었다. 정확도는 오히려 올랐다고 한다. 시험 점수를 믿어도 되는지에 대한 이야기라서 점수의 신뢰도와 직결된다.

간접 프롬프트 주입 공격 성공률. 웹페이지나 문서 안에 숨긴 지시문으로 AI를 속이는 공격을 프롬프트 주입이라고 한다. 에이전트가 웹을 읽을수록 중요해지는 문제다. 외부 평가사 Gray Swan의 시험에서 아르곤은 공격 성공률 0.7%였고 카본은 0.0%다. 평가한 공격을 전부 막았다는 뜻이다.

내부 시험 결과. 구글 팀들이 실제 코딩 환경에서 쓰며 잰 값이다. 심각한 어긋남(misalignment) 경고가 약 80% 줄었고, 근거 없는 주장은 아르곤의 절반으로 줄었다. 과잉 행동(범위를 넘어 손대는 것)은 26%, 소극적 행동(해야 할 일을 덜 하는 것)은 29% 줄었다고 한다.

이 숫자들을 읽을 때 두 가지를 같이 챙기면 좋다. 첫째, 0.0%는 “정해진 시험 문제를 전부 막았다”는 뜻이지 “어떤 공격도 안 통한다”는 뜻이 아니다. 시험 문제 밖의 공격은 이 숫자가 말해 주지 않는다. 둘째, 내부 시험 값은 구글이 자기 팀과 자기 환경에서 잰 것이라 우리가 같은 방식으로 다시 잴 수 없다. 방향은 믿을 만하지만 크기는 보류하는 게 맞다.

열쇠는 소수에게만: 접근 상태

소개글이 밝힌 접근 계획은 짧다. 이번 주부터 사이버 방어자 일부에게 먼저 열고, **페어윈드 프로그램(Fairwind Program)**을 통해 믿을 만한 파트너를 점차 늘린다. 구글은 미국 정부의 자발적 출시 전 모델 시험 절차에도 참여하고 있고, 보호 장치를 더 다듬은 뒤 “가능한 한 빨리” 개발자와 기업, 일반 소비자에게 연다고 했다. 날짜는 없다. 신청 방법도 소개글에는 적혀 있지 않다.

아르곤의 전례는 참고가 된다. 아르곤은 9월 30일에 발표됐고, 구글이 개발자에게 연 날짜는 구글 공지 기준 10월 13일이다. 발표에서 개발자 공개까지 13일이 걸렸다. 카본에 같은 간격을 그대로 대면 11월 10일 전후다. 이건 내 계산일 뿐이고 구글이 약속한 날짜가 아니다. 이번에는 정부 시험 절차가 따로 언급돼 더 길어질 수도 있다.

그래서 “지금 갈아탈까”의 답은 간단하다. 갈아탈 수 있는 길이 없다. 보안 방어 업무를 하는 조직이라면 페어윈드 접근을 구글 쪽에 문의해 볼 수 있겠지만, 그 외에는 기다리는 수밖에 없다. 기다리는 동안 할 수 있는 일은 아래 마지막 절에 따로 적었다.

댓글창의 불만 둘: 이름과 시점

이 소식은 해커뉴스에서 730점, 댓글 595개를 받았다(10월 29일 아침 기준). 가장 큰 댓글 묶음을 읽으면 점수에 대한 토론보다 불만이 앞서 있다.

이름이 헷갈린다. 가장 큰 묶음(답글 포함 100개 넘음)이 이 이야기다. 아르곤과 카본 중 어느 쪽이 위인지 이름만 봐서는 알 수 없다는 불만이다. 카본이 4.1인지, 아르곤이 프로이고 카본이 울트라인지, 아르곤은 이제 퇴물인지 묻는 댓글이 줄줄이 달렸다. 화학 원소 이름이라는 건 알겠는데, 순서를 알려 주는 단서는 아니다. 개발자 입장에서는 코드에 모델 이름을 박을 때 이 이름이 앞으로도 같은 자리를 가리킬지 모른다는 위험이다.

발표만 하고 풀지 않는다. 두 번째로 큰 묶음이다. “모델을 발표해 놓고 한참 뒤에 푼다”는 불만이 있고, 한 댓글은 “풀지 않은 채 벤치마크만 보여 주는 건 의미가 없다, 풀 때쯤이면 더 센 경쟁 모델이 나와 있어서 점수가 그만큼 좋아 보이지 않을 것”이라고 썼다. 아르곤이 개발자에게 풀리기까지 13일이 걸렸다는 앞의 계산이 이 불만과 맞닿는다.

또 한 댓글은 소개글이 AA 페이지 링크를 걸었는데 글이 올라온 시점에는 그 페이지에 카본이 없었다고 지적했고, 같은 사람이 나중에 고쳐졌다고 덧붙였다. 내가 AA 페이지를 확인한 것은 한참 뒤라 당시 상황은 직접 볼 수 없다. 지금은 카본 페이지가 있고 AA가 점수를 59로 적고 있다는 것만 확인했다. 그리고 한 댓글은 제미나이 앱을 열면 지금도 3.6 Flash와 3.1 Pro 같은 이전 세대만 보인다고 썼다. 소개글의 모델과 내가 쓰는 제품 화면 사이에 간격이 있다는 이야기다.

댓글 속 주장은 내가 하나하나 검증한 것이 아니다. 불만이 어느 지점에 모였는지 정도로만 읽으면 된다.

이번 주에 할 일은 갈아타기가 아니라 계산이다

카본을 쓸 수 없는 지금, 값을 치르지 않고 할 수 있는 준비가 있다.

1. 내 작업의 출력 토큰 수를 적어 둔다. 카본이 풀리는 날 청구서를 결정하는 건 값표보다 출력 토큰이다. 지금 쓰는 모델로 내 대표 작업 열 개를 돌려서 한 작업당 입력과 출력 토큰이 몇 개인지 기록한다. 대부분의 API 응답에 사용량(usage)이 들어 있다. 계산식은 단순하다. 청구서는 입력 토큰에 입력 값을, 출력 토큰에 출력 값을 곱해 더한 것이다.

예를 들어 한 작업에 입력 2만 토큰, 출력 1만 토큰이 든다고 하자(가정). 종료 후 가격으로 입력 0.08달러, 출력 0.20달러라 한 건에 0.28달러다. 소개 가격이면 0.14달러다. 100건이면 각각 28달러와 14달러다. 다만 카본은 말이 많은 모델이라 출력이 1만 토큰이 아니라 3만 토큰까지 늘 수 있다. 그러면 한 건이 0.68달러(종료 후 가격 기준)가 된다. 이 가정 하나로 청구서가 두 배 넘게 흔들린다.

2. 예산은 종료 후 가격으로 짠다. 앞에서 본 대로 소개 기간은 끝나는 날짜가 정해져 있지 않다. 지금 가격을 기준으로 삼으면 갑자기 청구서가 두 배가 된다.

3. 출력 길이 상한과 추론 강도를 미리 점검한다. 비용을 가르는 건 출력 토큰이므로 최대 출력 토큰 설정과 추론 강도(High와 Max의 차이)를 코드에서 한곳에서 바꿀 수 있게 정리해 두자. 새 모델이 풀리는 날 한 줄로 시험해 볼 수 있다.

4. 보안 업무를 한다면 접근 경로를 묻는다. 코드 취약점을 찾거나 고치는 일을 하는 조직은 구글 클라우드 담당자에게 페어윈드 프로그램의 대상과 신청 조건을 문의해 볼 만하다. 소개글에는 방법이 없으니 이 부분은 직접 물어야 한다.

5. 모델 이름을 코드에 박지 않는다. 이름 혼란 때문이다. 모델 이름은 설정 파일 한 곳에 두고, 바꿀 때 시험 작업 열 개를 다시 돌리는 절차를 만들어 두면 이름이 바뀌어도 덜 아프다.

숫자의 출처: 구글 발표, AA 페이지, 내 계산

이 글의 숫자가 어디서 왔는지 정리한다.

이 글이 직접 해 보지 못한 것도 분명히 적는다. 카본은 접근 권한이 없어 API로 호출해 볼 수 없었다. 그래서 응답 품질, 실제 지연 시간, 내 코드에서의 비용은 하나도 재지 못했다. 소개글의 보안·안전 숫자도 내가 다시 시험한 것이 아니라 구글이 적은 대로 옮긴 것이다. AA 숫자는 AA가 이후 점수를 갱신하면 달라질 수 있다.

정리하면 이렇다. 제미나이 4 카본은 독립 평가에서 1위이고, 아르곤보다 9점 높고, 오퍼스 5.5보다 1점 높으면서 과제당 비용은 23% 낮게 나왔다. 하지만 지금 쓸 수 있는 사람은 소수이고, 말이 많은 모델이라 값표 숫자보다 출력 토큰이 청구서를 정한다. 지금 할 일은 갈아타기가 아니라 내 작업의 출력 토큰 수를 적어 두는 일이다.