읽을거리
아르곤 97.5%의 절반은 '하네스' 몫이다…49.8%가 진짜 성적표
ARC-AGI-3 97.5%로 2위에 오른 제미나이 4 아르곤. 하네스를 표준으로 바꾸면 49.8%가 나옵니다. 구독자가 어느 숫자를 믿어야 하는지 정리했습니다.
가격을 마지막으로 읽은 날 2026-10-18
짧은 답
숫자는 둘 다 진짜입니다. 다만 '모델 실력'에 더 가까운 숫자는 97.5%가 아니라 49.8% 쪽입니다.ARC Prize가 검증한 결과를 보면, 제미나이 4 아르곤은 ARC-AGI-3에서 '프로바이더 어댑터' 하네스로 97.5%를 받았습니다. 이 하네스는 요청과 요청 사이에 모델의 추론 상태를 이어 주고 긴 대화를 압축해 줍니다. 모델이 직접 남긴 메모만 다음 턴으로 넘길 수 있는 '표준' 하네스에서는 49.8%(낮은 추론 단계)였습니다. 같은 시험이라도 모델에게 어떤 보조 장치를 주느냐에 따라 점수가 거의 두 배 차이 납니다.출처: Gemini 4 Argon - ARC-AGI Results (ARC Prize) · 2026-10-18
무슨 일이 있었나: 2위인데 조건이 붙었다
OfficeChai 보도에 따르면 아르곤의 97.5%는 GPT-6 Astra(99.9%)에 이은 2위입니다. 그런데 Astra도 표준 하네스로 돌리면 62.7%로 떨어집니다. 결국 하네스를 똑같이 맞췄을 때 아르곤(49.8%)과 Astra(62.7%)의 차이는 헤드라인 숫자의 차이(2.4%포인트)보다 훨씬 큽니다. 같은 보도는 ARC Prize가 별도 스캐폴딩 없이 표준 하네스에서 푸는 것을 AGI 수준 효율로 가는 진전을 판단하는 데 더 의미 있는 기준으로 본다고 전했습니다. 참고로 ARC Prize 결과 페이지 자체는 두 하네스 점수를 순위 매기지 않고 나란히 보여 줍니다.
출처: Gemini 4 Argon Scores 97.5% On ARC-AGI 3 With Harness, Only Second Behind GPT-6 Astra (OfficeChai) · 2026-10-18; Gemini 4 Argon - ARC-AGI Results (ARC Prize) · 2026-10-18
49.8%도 깔끔한 숫자는 아닙니다. ARC Prize는 API 문제로 표준 하네스 평가를 끝까지 마치지 못했다고 적었습니다. 전체 55개 과제 중 완료한 과제는 낮은 추론 단계에서 42개, 중간 단계에서 46개, 높은 단계에서 19개뿐이었습니다. 보고된 점수는 55개 과제 전체를 기준으로 하되 중단된 실행에서 얻은 부분 점수도 포함했고, 높은 추론 단계 결과는 차트에서 뺐습니다. 중간 단계 점수는 46.3%로 낮은 단계보다 오히려 낮았습니다.
출처: Gemini 4 Argon - ARC-AGI Results (ARC Prize) · 2026-10-18
더 디코더(The Decoder)에 따르면 이 논쟁은 처음이 아닙니다. 2026년 7월에도 GPT-5.6 Sol의 ARC-AGI-3 점수가 표준 환경에서는 7.8%, OpenAI Responses API로는 38.3%로 갈려 논란이 됐고, 이후 ARC Prize 공동 창업자 프랑수아 숄레가 일반에 공개된 API 설정을 허용했다고 이 매체는 전했습니다.
출처: Google's Gemini 4 Argon is closer to the AI frontier than any Google model in months (The Decoder) · 2026-10-18
내 생각: 97.5%를 광고판에 거는 순간 반칙에 가깝다
솔직히 말하면 97.5%라는 숫자가 그대로 헤드라인에 걸리는 건 좀 짜증 납니다. 이건 '아르곤이 퍼즐을 97.5% 푼다'가 아니라 '아르곤과 구글 맞춤 보조 장치를 합친 시스템이 푼다'에 가깝습니다. 그렇다고 하네스가 사기라는 말은 아닙니다. 실제 제품도 추론 상태를 이어 붙이고 대화를 압축하니까요. 문제는 비교입니다. 회사마다 자기한테 유리한 보조 장치를 붙인 점수끼리 줄 세우면, 그건 모델 경쟁이 아니라 하네스 엔지니어링 경쟁이 됩니다. 모두에게 같은 조건을 거는 표준 하네스 점수가 덜 화려해도 더 정직합니다. 그 기준에서 아르곤은 Astra에 13%포인트 가까이 뒤집니다.
코딩에서도 '1위 근처'일 뿐 1위는 아니다
Artificial Analysis 분석에서 아르곤은 Terminal Bench 4에서 57%를 받아 클로드 소넷 5.5(max, 64%), 클로드 오퍼스 5.5(max, 60%), GPT-6 Astra(59%)에 뒤졌습니다. 반대로 AutomationBench-AA에서는 78%로 1위였고, 환각률도 15%로 GPT-6 Astra(51%)보다 크게 낮았습니다. 더 디코더는 Epoch AI의 초기 추정에서 아르곤이 소프트웨어 엔지니어링 지수 6위, 수학 지수 8위였다고 전했습니다. 구글은 공식 발표에서 DeepSWE v1.1 77.9%를 최고 기록으로 내세웠습니다.
출처: Gemini 4 Argon: Google back in the top three labs (Artificial Analysis) · 2026-10-18; Google's Gemini 4 Argon is closer to the AI frontier than any Google model in months (The Decoder) · 2026-10-18; Introducing Gemini 4 Argon (Google) · 2026-10-18
이게 제 결론입니다. 아르곤은 과대평가된 퍼즐 챔피언이면서, 과소평가된 업무 자동화 일꾼입니다. 업무 자동화 점수와 낮은 환각률은 사무·리서치 작업에서 체감될 만한 장점입니다. 하지만 터미널에서 코드를 붙들고 사는 사람에게 'ARC 2위'는 거의 쓸모없는 정보입니다. 그 영역은 지금 숫자로만 봐도 클로드가 앞서 있습니다.
AI 프로·울트라 구독자는 어떻게 판단할까
구글은 10월 13일, AI 프로와 울트라 구독자가 제미나이 앱에서 아르곤을 쓸 수 있다고 밝혔습니다. 사용량에는 상한이 있습니다. 구글 도움말 기준으로 AI 프로는 기본 한도의 4배, 울트라는 구독 종류에 따라 프로 한도의 5배 또는 20배이고, 한도에 도달하면 Flash-Lite로 계속 이용할 수 있습니다.
출처: Gemini 4 Argon is now available in the Gemini app (Google) · 2026-10-18; Gemini Apps limits & upgrades (Google Help) · 2026-10-18
refreshes every 5 hours until you reach your weekly limit
Google Gemini Apps 도움말, 사용 한도 안내 (2026-10-18 확인)출처: Gemini Apps limits & upgrades (Google Help) · 2026-10-18
이 문구가 중요한 이유는 다음과 같습니다. 구글 도움말에 따르면 앱 사용량은 5시간마다 회복되지만 주간 한도에 닿으면 거기서 멈춥니다. 벤치마크처럼 수천 달러어치 연산을 한 번에 쏟아붓는 환경과, 정해진 한도 안에서 쓰는 구독 환경은 처음부터 다릅니다. ARC Prize가 밝힌 ARC-AGI-3 평가 비용은 어댑터 하네스 약 4.8천 달러, 표준 하네스 약 5.8천 달러였습니다.
출처: Gemini Apps limits & upgrades (Google Help) · 2026-10-18; Gemini 4 Argon Scores 97.5% On ARC-AGI 3 With Harness, Only Second Behind GPT-6 Astra (OfficeChai) · 2026-10-18
헤드라인 점수 대신 직접 확인할 것
- 벤치마크 기사를 보면 먼저 '어떤 하네스·어떤 추론 단계'인지 찾는다. 조건이 안 적혀 있으면 비교용으로 쓰지 않는다.
- 평소 하는 실제 작업 3~5개(문서 요약, 스프레드시트 정리, 코드 수정 등)를 아르곤과 지금 쓰는 모델에 똑같이 넣어 본다.
- 코딩이 주 용도라면 Terminal Bench 같은 코딩 지표를 우선 본다.
- 한 주 동안 써 보면서 주간 한도에 얼마나 빨리 닿는지 확인한 뒤 울트라 업그레이드를 고민한다.
한 줄 팁
이미 AI 프로를 쓰고 있다면 아르곤은 추가 비용 없이 시험해 볼 수 있습니다. 'ARC 2위'만 보고 울트라로 올리지 말고, 내 작업에서 한도가 실제로 모자랄 때 올리는 게 순서입니다.
선택 사항: 제미나이 구독 판매처 목록 보기 (판매자 리스팅이며, 구글 공식 경로나 추천이 아닙니다). 이 링크에는 파트너 코드 Sk52g가 붙어 있어, 이 링크로 구매하면 이 사이트를 통한 구매로 집계됩니다. 프로모션 코드 UPD3S.
출처 (2026-10-18 확인)
- Gemini 4 Argon - ARC-AGI Results (ARC Prize)
- Gemini 4 Argon Scores 97.5% On ARC-AGI 3 With Harness, Only Second Behind GPT-6 Astra (OfficeChai, 2026-10-15)
- Google's Gemini 4 Argon is closer to the AI frontier than any Google model in months (The Decoder, 2026-10-16)
- Gemini 4 Argon: Google back in the top three labs (Artificial Analysis, 2026-09-30)
- Introducing Gemini 4 Argon (Google, 2026-09-30)
- Gemini 4 Argon is now available in the Gemini app (Google, 2026-10-13)
- Gemini Apps limits & upgrades (Google Help)