이케아 조립 대결 GPT-6 80% vs 클로드 70%, 갈아탈 차이일까?

출처: Can AI spot mistakes in IKEA assembly? | Epoch AI · 2026-09-30

무슨 일이 있었나: 10개월 만에 28%에서 80%로

에포크 AI의 에이든 에이먼트(Aiden Ament)와 그레그 버넘(Greg Burnham)은 9월 23일 FAB 결과를 발표했습니다. 시험에는 이케아 신발장(STÄLL), 침대 프레임(TONSTAD), 서랍장(GULLABERG) 3종의 조립 사진 60장이 쓰였습니다. 일부 사진은 제대로 조립된 상태였고, 나머지에는 일부러 실수를 넣었습니다. 모델은 조립 설명서 PDF와 사진 확대 도구, 파이썬 인터프리터를 받아 틀린 단계를 모두 찾고 무엇이 잘못됐는지 설명해야 합니다. 2025년 11월 최고 기록은 Claude Opus 4.5의 28%였는데, 10개월 뒤 GPT-6 아스트라가 80%로 1위에 올랐습니다.

출처: Can AI spot mistakes in IKEA assembly? | Epoch AI · 2026-09-30; 오픈AI "GPT-6 아스트라", 이케아 가구조립 오류 판별 정확도 80% 달성 | 디지털포커스 · 2026-09-30

아스트라는 속도에서도 앞섰습니다. 에포크 AI는 아스트라가 가장 높은 정확도를 내면서도 시간과 토큰은 다른 모델보다 훨씬 적게 썼고, 기존 선두 모델들보다 2~10배 빨랐다고 적었습니다. 흥미로운 점은 오답의 성격입니다. 에포크 AI에 따르면 구글 제미나이와 알리바바 큐원은 거의 항상 실수가 있다고 가정했습니다. 반대로 초기 앤트로픽·오픈AI 모델은 실수를 아예 못 찾는 경우가 너무 많았습니다. 사람의 정답률은 아직 측정하지 않았습니다.

출처: Can AI spot mistakes in IKEA assembly? | Epoch AI · 2026-09-30; OpenAI's GPT-6 Astra can now tell you exactly where you screwed up your IKEA shelf | The Decoder · 2026-09-30

점수를 읽기 전에 알아둘 조건

에포크 AI는 각 모델을 API가 지원하는 가장 높은 추론 강도로 돌렸습니다. 확대 도구와 파이썬 같은 도구도 함께 쥐여줬습니다. 챗GPT나 클로드 앱에서 사진 한 장을 올리고 질문하는 상황과는 조건이 다릅니다. 게다가 이 시험 점수는 모델의 점수이지, 어느 구독 요금제의 점수가 아닙니다. 각 구독에서 쓸 수 있는 조건은 아래와 같습니다.

출처: Furniture Assembly Benchmark | Epoch AI · 2026-09-30; Can AI spot mistakes in IKEA assembly? | Epoch AI · 2026-09-30

출처: Claude Fable models on your plan | Claude Help Center · 2026-09-30; OpenAI rolls out GPT-6 Astra to top-tier ChatGPT plans | The Decoder · 2026-09-30

내 생각: 이 10점은 과대평가됐고, 진짜 뉴스는 따로 있다

솔직히 말해 '클로드가 밀렸다'는 제목은 절반만 맞습니다. 사진 60장짜리 시험에서 10점이면 6문제 차이입니다. 이케아 서랍장 사진을 자주 올릴 게 아니라면, 이 6문제를 이유로 쓰던 대화 기록과 프로젝트, 작업 습관을 버리고 갈아타는 건 과한 반응입니다. 제가 보기에 더 큰 뉴스는 순위가 아니라 속도입니다. 10개월 전 최고 점수가 28%였던 분야에서 두 회사 모델이 모두 70%를 넘겼습니다. '사진 보고 뭐가 틀렸는지 짚어주기'가 이제 장난감 수준은 벗어났다는 뜻입니다.

그래도 클로드 편만 들 생각은 없습니다. 제일 짜증 나는 부분은 요금제 구조입니다. 이번 시험에서 70%를 받은 Fable 5.1은 Pro 기본 한도로는 못 쓰고 크레딧을 따로 내야 합니다. 월 구독료를 내면서 벤치마크 뉴스에 나온 그 모델을 쓰려면 또 지갑을 열어야 한다는 얘기입니다. 오픈AI도 아스트라를 상위 요금제부터 풀었으니 오십보백보지만, '어느 모델이 이겼나'보다 '내 요금제에서 그 모델을 쓸 수 있나'를 먼저 따지는 편이 훨씬 실용적입니다. 과소평가된 포인트를 하나 꼽자면 오답의 방향입니다. 실수가 없는데 있다고 우기는 모델과 실수를 놓치는 모델은 쓰임새가 전혀 다릅니다.

출처: Consumer Terms of Service | Anthropic · 2026-09-30

이 약관 문구는 이번 벤치마크와 바로 이어집니다. 가장 잘한 모델도 다섯 장 중 한 장은 틀렸습니다. 앤트로픽 역시 약관에서 산출물이 정확해 보여도 중대한 오류를 담고 있을 수 있다고 밝힙니다. 조립 순서처럼 되돌리기 번거로운 작업일수록 AI가 짚어준 결과를 직접 확인하는 과정을 빼면 안 됩니다.

출처: Consumer Terms of Service | Anthropic · 2026-09-30; Can AI spot mistakes in IKEA assembly? | Epoch AI · 2026-09-30

클로드 구독 판매처 보기 (선택 사항, 판매자 목록이며 공식 이용 경로나 추천이 아닙니다). 이 링크에는 파트너 코드 Sk52g가 붙어 있어, 이 링크로 구매하면 이 사이트를 통한 구매로 집계됩니다. 프로모션 코드 UPD3S.

Claude · 가격·이용 조건 비교 →