AWS 에뮬레이터 공개, 시험 통과율은 56.5%

핵심 요약
시험 42,937개 중 24,243개(56.5%) 통과. AWS가 11월 11일 낸 로컬 에뮬레이터는 코드 전부를 에이전트가 썼다. S3·SQS·CloudFormation 점수와 쓰기 전 점검 순서를 정리했다.
AWS를 쓰는 서비스를 만들면서 “테스트하려고 계정을 켜고 요금을 내야 하나”를 고민한 개발자라면, 이번 발표를 점수표까지 읽어 볼 만하다.
미국 시간 11월 11일, AWS가 AWS 에뮬레이터(AWS Emulator) 를 공개했다. 내 컴퓨터나 CI 서버에서 AWS API를 흉내 내는 프로그램이다. AWS 계정이 필요 없고, 에뮬레이터 자체에 추가 요금이 없다. 코드는 CC0(저작권을 포기하고 공공 영역에 두는 라이선스)로 열려 있다. 발표 글은 이 코드를 “전부 에이전트가 쓰고 테스트했다”고 밝혔다.
이 글은 로컬 테스트 환경을 고르는 개발자, 이미 LocalStack 같은 도구를 쓰고 있어서 갈아탈지 보는 사람을 위해 썼다. 결론부터 적으면, 에뮬레이터는 실제로 돌고 점수표도 공개하지만 점수 자체는 56.5% 다. 시험이 많은 서비스만 봐도 어느 서비스를 쓰느냐에 따라 통과율이 18.9%에서 71.4%까지 갈린다. 이 숫자는 내가 릴리스에 붙은 점수 파일을 직접 열어 계산했다.
먼저 말 몇 개를 풀어 둔다. 에뮬레이터는 진짜 서비스를 흉내 내는 가짜 서버다. 코드를 바꾸지 않고 주소만 돌려서 가짜 서버로 보내 본다. 정확도 시험(fidelity test) 은 SDK로 어떤 작업을 시켜 보고 “진짜 AWS는 이렇게 답한다”를 확인하는 짧은 프로그램이다. 통과율은 그 시험을 에뮬레이터가 몇 개나 같은 답으로 통과했는지다.
11월 11일에 나온 것: 계정도 요금도 필요 없는 로컬 AWS
AWS 문서와 저장소 README가 밝힌 기본 사항은 다음과 같다.
| 항목 | 내용 |
|---|---|
| 하는 일 | AWS API를 로컬에서 흉내 낸다. 화면(GUI)은 없고 API 주소 하나를 연다 |
| 계정·요금 | AWS 계정 불필요, 에뮬레이터 자체 추가 요금 없음 |
| 설치 | Linux는 RPM·Debian 패키지(x86_64, aarch64), 맥·윈도우는 도커 이미지를 직접 빌드, Rust 테스트는 프로세스 안에 넣는 임베디드 모드 |
| 범위 | API 모델 400개 이상, AWS 서비스 200개 이상 |
| 라이선스 | CC0, 단 vendor/ 폴더 코드는 Apache 2.0 |
| 하지 말 것 | 운영 환경 사용, 보안 시험 |
사용 방식은 단순하다. 에뮬레이터를 켜면 https://127.0.0.1:9297 에 주소가 열린다. AWS CLI나 SDK가 그 주소를 보도록 환경 변수 몇 개를 맞추고 평소처럼 코드를 돌린다. 문서가 안내하는 환경 변수는 AWS_ENDPOINT_URL, AWS_SHARED_CREDENTIALS_FILE, AWS_CONFIG_FILE, AWS_CA_BUNDLE 등 여덟 개다.
에이전트에게 맡기는 길도 열어 두었다. 문서에 따르면 AWS CLI 2.35.0 이상에서 아래 명령으로 aws-emulator 스킬을 깔면, 에이전트가 에뮬레이터를 설치하고 켜고 연결하는 일까지 해 준다.
aws agent-toolkit add-skill --skill-name aws-emulator --region us-east-1
코드를 누가 썼나: 에이전트가 쓰고, 진짜 AWS가 채점했다
이번 발표에서 제품보다 이야기가 된 부분은 만든 방식이다. 베르너 보겔스(Werner Vogels)의 블로그에 스와미 시바수브라마니안(Swami Sivasubramanian)이 쓴 글이 그 과정을 설명한다.
핵심 아이디어는 AWS 개발자 도구팀의 시니어 프린시펄 엔지니어 맷 골드버그(Matt Goldberg)에게서 나왔다. 서비스가 어떻게 행동해야 하는지를 적은 문서(AWS 공개 API 모델)와 대조할 진짜 서비스(AWS 클라우드)가 있으면, 에이전트가 그 서비스의 복제품을 혼자 만들 수 있다는 가설이었다. 글이 설명한 순서는 이렇다.
- 공개 API 모델에서 “고객 시나리오” 형태의 정확도 시험을 만든다. 예를 들어 SQS에서 받은 메시지는 가시성 시간 제한이 끝나기 전까지 다른 소비자에게 보이지 않는다는 식이다.
- 에이전트가 각 시험을 진짜 AWS에 대고 통과할 때까지 고친다. 그러면 시험이 AWS의 실제 행동을 기록한 셈이 된다.
- 같은 시험을 에뮬레이터가 통과하도록 에뮬레이터를 만든다. 통과 못 하는 시험은 에뮬레이터의 빈틈을 가리킨다.
글에 나온 숫자도 있다. 맷이 SQS 하나로 시작해 프롬프트 하나를 AWS의 코딩 에이전트 Kiro에 줬더니 약 15분 만에 무난한 첫 버전이 나왔다. 사내 버전은 주말 동안 만들어졌고 한 달 안에 쓰는 사람이 늘었다. 변경 하나하나는 자동 검사 묶음(“머지 게이트”)을 거치고, 그 안에 공격자 시점으로 코드를 훑는 보안 에이전트 여럿이 들어 있다고 한다.
숫자 하나를 더 직접 셌다. GitHub API로 센 aws/aws-emulator 저장소의 커밋은 11월 12일 아침 기준 약 2만 9,700개다. 릴리스 태그 v1.0.293(11월 10일 14:02 UTC)부터 v1.0.322(11월 11일 00:32 UTC)까지 약 10시간 반 동안 29번 새 릴리스가 나갔다. AWS 문서가 “하루에도 여러 번 갱신된다”고 한 말이 숫자로 보인다.
같은 글에는 사람이 할 일에 관한 대목도 있다. 스와미는 Kiro로 옛 복제 엔진을 다시 만들 때 처음 4개월 걸린 일이었는데, 에이전트에게 결과를 확인할 방법이 없다는 걸 4일 밤을 지켜본 뒤에야 알았다고 쓴다. 규격과 시험 환경을 주자 같은 일이 약 두 시간 만에 끝났다는 이야기다. 비슷한 흐름은 이 블로그의 타입스크립트 러스트판 tsrs 글에서도 다뤘다. 에이전트가 쓴 코드를 믿는 근거가 “누가 읽었나”에서 “무엇으로 채점했나”로 옮겨 가는 장면이다.
점수표를 직접 열어 보니: 42,937개 중 24,243개 통과
AWS 문서는 릴리스마다 서비스별 정확도 점수를 GitHub 릴리스 페이지에 올린다고 적었다. v1.0.322 릴리스에는 scores.json.gz(1.1MB)가 붙어 있었고, 안의 scoredAt은 2026-11-11 00:09 UTC, 기준 커밋은 7753983c 였다. 파일을 열어 시험 단위를 센 결과는 다음과 같다.
| 결과 | 개수 | 비율 |
|---|---|---|
| 통과 | 24,243 | 56.5% |
| 실패 | 18,614 | 43.4% |
| 건너뜀 | 80 | 0.2% |
| 합계 | 42,937 | 100% |
서비스별로 시험이 많은 쪽을 골라 보면 편차가 크다.
| 서비스 | 통과 / 전체 | 통과율 |
|---|---|---|
| Step Functions | 687 / 982 | 70.0% |
| EventBridge | 690 / 966 | 71.4% |
| DynamoDB | 1,153 / 1,694 | 68.1% |
| SQS | 1,032 / 1,523 | 67.8% |
| API Gateway | 762 / 1,211 | 62.9% |
| S3 | 1,763 / 2,814 | 62.7% |
| IAM | 709 / 1,223 | 58.0% |
| Lambda | 1,561 / 3,006 | 51.9% |
| EC2 | 958 / 2,470 | 38.8% |
| CloudFormation | 795 / 4,206 | 18.9% |
읽을 때 조심할 점이 둘 있다.
첫째, 서비스별 값은 내가 계산했다. 시험 6,634개가 서비스를 둘 이상 건드리기 때문에, 그런 시험은 건드린 서비스마다 한 번씩 셌다. 릴리스 페이지에 AWS가 직접 올린 서비스별 점수와 소수점까지 같다고 보장하지 않는다. 경향을 보는 용도다.
둘째, 통과율 56.5%는 “에뮬레이터가 56.5% 맞다”가 아니다. 시험 수가 서비스마다 다르고, 어려운 시나리오가 얼마나 들어 있는지도 다르다. 문서도 시험이 모든 행동을 덮지 않는다고 밝힌다. 시험이 없는 행동은 에뮬레이터가 이미 맞게 처리할 수도 있지만 확인이 안 된 상태라는 뜻이다. 점수는 하한에 가까운 신호로 읽는 게 안전하다.
AWS 문서가 스스로 밝힌 약점과 점수가 맞물린다. 문서는 에뮬레이터가 컨트롤 플레인(버킷이나 테이블 만들기처럼 자원을 만들고 지우는 API)에서 AWS와 가장 가깝다고 쓴다. 데이터 플레인(객체 넣고 빼기 같은 서비스 본연의 동작)과 CloudFormation·Terraform·CDK 같은 인프라 코드 도구 지원은 서비스마다 다르다고 한다. 점수표에서 CloudFormation이 18.9%인 것이 바로 그 이야기다.
안 되는 걸 알려 주는 방식과, 알려 주지 못하는 영역
에뮬레이터가 아직 구현하지 않은 작업을 부르면 HTTP 501과 오류 코드 NotImplemented로 답한다. 문서 설명대로면 그 작업을 쓰는 테스트는 곧바로 실패하므로, 조용히 엉뚱한 값을 돌려주는 일은 줄어든다.
다만 “구현은 돼 있는데 AWS와 다르게 행동하는” 경우는 이 방식으로 안 잡힌다. 릴리스 노트의 수정 목록을 열어 보면 stub(껍데기만 있음)이나 wrong-behavior(행동이 다름)라는 이름이 줄줄이 붙어 있다. 저장소의 issues/things-that-do-not-work/ 폴더와 해결된 건이 옮겨 가는 issues/things-that-now-work/ 폴더는 GitHub API가 한 번에 돌려주는 상한인 1,000개씩을 채우고 있었다. 빈틈이 크다는 말이 아니라, 빈틈을 숨기지 않고 파일로 공개한다는 뜻으로 읽을 수 있다.
문서가 못 박은 한계는 다음과 같다.
- IAM 정책 평가 안 함. 권한 설정이 맞는지 보는 테스트에는 쓰지 말라고 한다.
- 리전·계정 구분 없음. 아무 리전·계정 ID를 받아들이지만 자원을 따로 두지 않는다. 리전별 시험이 필요하면 에뮬레이터를 포트별로 따로 띄운다.
- 오리건(us-west-2)에서만 검증. 전역 서비스는 버지니아(us-east-1). 다른 리전의 서비스·기능 차이는 반영되지 않는다.
- 메모리에만 보관. 껐다 켜면 자원이 전부 지워진다. 오래 켜 두는 사용이나 부하 시험은 확인하지 않았다고 한다.
--idle-timeout으로 자동 종료를 걸 수 있다. - 서명 검사가 기본 켜짐. SigV4 서명을 요구하고, 켤 때마다 새 접근 키를 만들어
~/.aws/emulator/<포트>/에 쓴다. 끄려면--auth off.
켜 두면 AWS로 나가는 것: 사용 통계가 기본으로 켜져 있다
README와 문서에서 눈에 띈 대목이다. 에뮬레이터는 사용 통계(텔레메트리)를 기본으로 켜 두고 AWS에 보낸다.
문서가 밝힌 내용은 이렇다. 요청·응답 내용, 코드, 자격 증명, 개인정보는 보내지 않는다. 설치와 실행마다 무작위 ID, 운영체제와 CPU, SDK 이름·버전, 리전, 설치 방법, 컨테이너나 CI에서 도는지, 어떤 AI 코딩 도구가 에뮬레이터를 쓰는지, 작업별 호출 횟수와 결과(성공·클라이언트 오류·서버 오류·미구현 501), 응답 시간, 메모리 최대치, 크래시 종류를 보낸다. 오류는 메시지 없이 분류만 보낸다. TLS로 AWS가 소유한 주소에 보내고, 90일까지 보관하며 제3자와 공유하지 않는다고 한다.
끄는 방법은 네 가지다.
aws-emulator --telemetry off # 이 실행만
export EMULATOR_TELEMETRY=off # 이 셸에서 켜는 모든 실행
설정 파일 ~/.aws/emulator/config.toml(윈도우는 %USERPROFILE%\.aws\emulator\config.toml)에 [telemetry] 와 enabled = false 를 쓰면 그 머신 전체에서 꺼진다. Rust 임베디드 모드는 옵션에 Telemetry::Off 를 준다. 값이 on·true·1이 아니면 문서 설명대로 꺼지고, 시작 안내에 경고가 뜬다.
회사 CI에서 외부로 나가는 통신을 막아 둔 팀이라면 이 항목을 먼저 확인할 일이다. 테스트 도구를 만들어 남에게 나눠 주는 쪽이라면 README가 “사용자에게 텔레메트리를 알리고 끌 방법을 주라”고 요구한다.
직접 빌드하지 말 것: 디스크 100GB
README의 소스 빌드 항목에는 “빌드 결과물 폴더 target/ 용으로 빈 디스크 최소 100GB”라고 적혀 있다. 서비스마다 크레이트(Rust 패키지)가 하나씩이라 전체를 디버그로 빌드하면 크다는 설명이다. 소스 빌드는 Linux(x86_64, aarch64)만 지원하고, 맥·윈도우는 도커를 쓰라고 한다. GitHub API가 알려 준 저장소 크기도 약 1.3GB다.
임베디드 모드(Rust 테스트 안에 에뮬레이터를 넣는 방식)는 이 비용이 그대로 따라온다. 프로젝트의 첫 cargo test가 에뮬레이터의 서비스 크레이트까지 빌드하기 때문이다. README의 권고는 세 가지다. 프로젝트마다 CARGO_TARGET_DIR 를 하나로 재사용하고, CI에서 target/ 을 캐시하거나 sccache를 쓰고, 에뮬레이터를 릴리스 커밋에 고정해 매번 다시 빌드되지 않게 하라는 것이다.
또 하나, 이 저장소는 PR을 받지 않는다. 문제는 GitHub Issues로 신고하는 방식이다. 오픈소스지만 같이 고치는 구조가 아니라는 점은 알고 시작하는 편이 낫다.
해커뉴스에서 갈린 이야기: 갈아탈 것인가, 믿을 것인가
해커뉴스 글은 11월 12일 아침 기준 543점, 댓글 187개였다. 최상위 댓글 49개를 읽어 보면 쟁점이 몇 갈래로 나뉜다.
- “제품인가 실험인가.” 한 댓글은 AWS가 이걸 끝까지 유지·보수할 제품으로 낼지 연습 삼아 낸 것인지 분명하지 않다고 의심했다. 그는 Floci라는 다른 로컬 AWS 에뮬레이터를 잘 쓰고 있다며 Testcontainers 모듈도 같이 쓴다고 적었다. Floci는 3월에 해커뉴스에 올라온 오픈소스 로컬 AWS 에뮬레이터다.
- “해자가 사라졌다.” 에이전트 없이는 서비스가 이렇게 많은 에뮬레이터를 만들 엄두를 못 냈을 것이고, LocalStack 같은 도구의 해자가 사라졌다는 반응이다. 같은 계열의 다른 대안으로 Ministack을 묻는 댓글도 있었다.
- “뭘로 만들었나.” 한 댓글은 저장소 검색 결과를 근거로 최근 한 달 사이 거의 전부가 Claude로 생성된 것 같다고 추정했다. 이 글은 그 추정을 확인하지 못했다. AWS가 밝힌 것은 “에이전트”와 Kiro 사례까지다.
- “클라우드플레어는?” 이미 miniflare와
wrangler dev로 로컬에서 워커·D1·R2를 쓸 수 있는데 손으로 만든 것이라, “에이전트가 만들고 진짜 서비스와 대조한다”는 방식 자체가 새로운 점 같다는 댓글이다.
모두 댓글 작성자의 의견이고, 이 글이 사실로 확인한 것은 아니다. 다만 공통된 질문은 하나다. 이 방식으로 만든 복제품을 얼마나 믿을 수 있나. 그 답은 앞의 점수표가 일부 주고 있다.
붙이기 전 20분 점검: 내 프로젝트는 몇 점짜리 서비스를 쓰나
아래는 AWS 문서가 안내한 “프로젝트가 에뮬레이터에서 돌지 확인하는 방법”에 이 글의 점수표를 붙인 순서다. 내가 직접 실행해 본 것이 아니라 문서와 데이터를 읽고 정리한 해 볼 일이다.
- 쓰는 AWS 작업을 적는다. 프로젝트가 부르는 서비스와 작업(예: S3
PutObject, SQSReceiveMessage)을 목록으로 만든다. - 그 서비스의 점수를 본다. 릴리스 페이지의 서비스별 점수와 위 표를 같이 본다. 이 글의 판단으로는 60%대 서비스(DynamoDB, SQS, S3)는 기본 흐름을 시험해 볼 만하고, 40% 아래(EC2, CloudFormation)는 에뮬레이터 대신 진짜 AWS 테스트 계정을 계속 쓰는 편이 안전하다.
- 시험 목록에 내 작업이 있는지 본다. 평가 저장소
aws-emulator-evaluation-suite의manifest.jsonl에 시험마다 건드리는 서비스와 작업이 적혀 있다. 시험이 없는 작업은 내 테스트로 에뮬레이터와 진짜 AWS를 둘 다 돌려 결과를 비교하라고 문서가 안내한다. - 텔레메트리를 먼저 끈다. 사내 정책이 있다면 첫 실행 전에
--telemetry off를 붙인다. - 기존 통합 테스트 하나를 돌려 본다. 환경 변수만 바꾸고 코드는 그대로 둔 채 기존 테스트 하나를 돌린다. 실패 메시지가
NotImplemented(501)면 미구현이고, 엉뚱한 값이면 이슈 폴더에서 같은 서비스·작업 이름을 검색해 본다. - 권한·보안 테스트는 진짜 AWS에 남긴다. IAM 정책을 평가하지 않는다는 한계가 문서에 명시돼 있다.
에이전트에게 시키는 쪽이라면 스킬을 깔고 “이 저장소 앱이 AWS 에뮬레이터에서 돌까?“라고 물으면 된다고 문서가 안내한다. 에이전트가 시험 점수와 대조해 믿을 부분과 다를 수 있는 부분을 나눠 알려 주고, 다른 행동을 찾으면 이슈 초안까지 쓴 뒤 올리기 전에 보여 준다고 한다.
이 글이 확인하지 못한 것
- 직접 실행하지 않았다. 에뮬레이터를 내려받아 돌려 본 적이 없다. 설치 방법·환경 변수·성능은 문서와 README를 읽고 옮긴 것이다.
- 서비스별 점수는 내 계산이다. 위에 적은 대로 여러 서비스를 건드리는 시험을 중복해서 센 값이다.
- Techmeme가 인용한 표현은 1차 출처에서 찾지 못했다. 기사 요약에는 “팀이 코드를 쓰거나 검토하지 않았다”는 취지의 문장이 있었는데, 이 글이 연 AWS 쪽 글은 “코드는 모두 에이전트가 쓰고 테스트했다”고 말하고 변경마다 자동 검사와 보안 에이전트 리뷰를 거친다고 적었다. 사람이 하나도 검토하지 않았다는 말은 글 어디에도 없었다. 원문 기사(GeekWire)는 접속이 막혀 열지 못했다.
- 맷 골드버그의 출시 글과 re:Invent 발표는 읽지 않았다. 스와미의 글이 re:Invent에서 더 공유한다고 예고했다.
- 에이전트 도구 쪽 통합은 문서만 읽었다.
aws agent-toolkit명령이 실제로 어떻게 동작하는지는 실행하지 않았다.
이 글의 근거 페이지
모든 값은 2026년 11월 12일 아침(한국 시각)에 아래 페이지를 열어 옮기거나 계산했다.
- aws/aws-emulator 저장소와 README: 설치 방법, 소스 빌드 요구 사양, 텔레메트리 끄는 법, 라이선스, PR 불가 안내, 저장소 크기·커밋 수(GitHub API)
- AWS Emulator 사용자 가이드: What is AWS Emulator?: 용도, 한계 목록, 서비스 수수료 없음
- Fidelity in AWS Emulator: 정확도 시험 정의, 501 NotImplemented, 컨트롤·데이터 플레인 설명
- Telemetry in AWS Emulator: 수집 항목, 90일 보관, 끄는 방법
- Pointing your AWS SDK at AWS Emulator: 환경 변수 목록, SigV4 기본, 키 생성 위치
- Checking whether your project works with AWS Emulator: 프로젝트 점검 순서
- 릴리스 v1.0.322와 점수 파일:
scores.json.gz로 시험 42,937개·통과 24,243개를 직접 계산 - 스와미 시바수브라마니안의 글 “AWS Emulator and the engineer’s job when agents write the code”(2026-11-11): 제작 방식, 15분 SQS 프로토타입, 머지 게이트, 400개 API 모델·200개 서비스
- 해커뉴스 토론: 점수·댓글 수와 위에 인용한 댓글 의견
에이전트에게 권한을 맡길 때 무엇으로 막고 무엇으로 채점하는지는 오토 모드 0.00%, 실제 공격은 80% 뚫렸다 글에서도 다뤘다. 이번 에뮬레이터는 “점수를 공개하고 빈틈을 파일로 남긴다”는 쪽에서 한 걸음 더 나갔다. 오늘 할 일은 하나다. 내 프로젝트가 쓰는 서비스 이름을 위 표에서 찾아 몇 퍼센트인지 먼저 보는 것이다.