예비 보고서 ·

40개 시각 추론 문항으로 살펴본 세 AI 모델

정확도, 응답 완료, API 지연 시간과 비용에 대한 예비 보고서입니다. 모델마다 40문항을 한 번 실행하고, 추론 한도와 응답 전달은 별도의 개발 점검으로 확인했습니다.

날짜가 명시된 모델 버전
3
모델당 문항 수
40
모델당 최초 실행 횟수
1

최초 40문항 실행

모든 모델은 중간 추론 강도와 추론을 포함한 총 8,192개 출력 토큰 한도를 사용했습니다. 한도에서 끊긴 응답은 원점수에서 실패로 처리합니다.

정답오답한도 중단
Gemini 4 Carbon정답: 34/40
Claude Fable 5.2정답: 32/40
GPT-6 Astra정답: 37/40
최초 채점 실행만 표시합니다. 후속 개발 응답은 별도로 유지합니다. SVG 그래프 다운로드 (영어)

표를 옆으로 밀면 모든 열을 볼 수 있습니다.

모델당 최초 40문항 실행 한 번, 중간 추론 강도, 출력 토큰 한도 8,192개.
모델정답 / 40오답한도 중단형식 유효 / 40API 시간 중앙값API 사용 비용 (USD)
Gemini 4 CarbonGoogle AI Studio34/4085.0%1535/4013.9초US$0.92
Claude Fable 5.2Anthropic32/4080.0%7139/404.0초US$1.76
GPT-6 AstraOpenAI37/4092.5%3040/403.7초US$1.80

유효는 요구한 형식의 완전한 답변이며 정답이라는 뜻은 아닙니다. API 시간에는 네트워크, 대기열, 생성이 포함되고 중앙값에는 한도 중단도 포함됩니다. 추가 HTTP 실패는 별도 기록입니다. 비용은 반올림해 표시하며 파일에는 정확한 금액이 있습니다.

응답 완료가 중요한 이유

Carbon은 오답 한 개와 토큰 한도 중단 다섯 개가 있었습니다. Astra는 오답 세 개이며 중단은 없었습니다. 따라서 보이는 격차에는 같은 명목 한도에서도 서로 다른 완료 기회가 포함됩니다.

추론은 출력 예산 일부를 소모하므로 예산이 끝나면 최종 답변이 없을 수 있습니다. 같은 토큰 한도와 ‘중간’ 같은 명칭이 공급자 사이의 같은 연산량을 뜻하지는 않습니다. OpenRouter 추론 토큰 문서

사후 민감도 점검

모든 모델이 유효한 응답을 낸 34문항에서는 Carbon과 Astra가 각각 33/34, Fable이 30/34였습니다. 이 부분집합은 실패 관찰 후 선택했고 중단 문항을 제외합니다. 민감도 점검일 뿐, 편향 없는 대체 순위나 동등한 능력의 증거가 아닙니다.

별도의 개발 점검

24, 28, 35, 36, 38, 40번을 선택했습니다. 각 문항에서 적어도 한 모델이 최초 한도를 소진했기 때문입니다. 완료, 전달, 시간과 비용을 점검했습니다. 정답 여부는 채점하지 않았습니다. 6/6 유효 응답은 여섯 정답을 뜻하지 않으며 최초 점수를 대체하지도 않았습니다.

표를 옆으로 밀면 모든 열을 볼 수 있습니다.

미채점 개발 설정으로, 모두 선택한 여섯 문항에서 높은 추론 강도를 사용했습니다.
설정출력 한도형식 유효 / 6한도 중단응답 확보 불가API 사용 비용 (USD)
GPT-6 AstraOpenAI · 높은 추론 강도API 응답에서 추론 제외32,7686/600US$1.08
Claude Fable 5.2Anthropic · 높은 추론 강도API 응답에서 추론 제외32,7686/600US$0.80
Gemini 4 CarbonGoogle AI Studio · 높은 추론 강도API 응답에서 추론 제외32,7683/612US$1.05
Gemini 4 CarbonGoogle Vertex global · 높은 추론 강도API 응답에서 추론 제외65,5363/603US$0.49
Gemini 4 CarbonGoogle Vertex global · 높은 추론 강도API 진행 포함, 텍스트는 로컬에서 폐기65,5366/600US$1.42

첫 Carbon 설정에는 앞선 무응답·미청구 시간 초과도 있었으며 한 번의 복구 시도는 완료됐습니다. 실패 시도는 측정에 남아 있습니다. 이후 응답을 확보하지 못한 문항은 재시도 없이 유지했습니다.

한 문항에서 출력 토큰 51,145개 사용

마지막 Carbon 설정은 Vertex, 65,536 토큰 한도, 추론 진행 스트리밍을 사용하고 텍스트는 로컬에서 폐기했습니다. 여섯 문항이 모두 완료됐습니다. 하나는 10분 56초, 다른 하나는 6분 43초가 걸려 모두 이전 5분 시간 제한을 넘었습니다.

이 개발 문항들에서 작동하는 설정을 뒷받침하지만 시간 초과의 보편적 원인이나 향후 완료를 보장하지 않으며 새 40문항 정확도도 제공하지 않습니다. 이전 실패는 별도로 유지합니다.

연구 진행 방법

같은 과제, 새로운 맥락
문항마다 질문과 번호가 붙은 여덟 선택지를 담은 1152 × 1552 정적 이미지 한 장을 제공했습니다. 같은 영어 프롬프트와 엄격한 JSON 형식으로, 도구·탐색·힌트·채점 키는 제공하지 않았습니다.
고정 선택지와 로컬 채점
고정 시드의 균형 셔플로 표시 번호를 원래 선택지에 대응시켰습니다. 점수는 실제 서비스 채점기와 로컬에서 교차 확인했습니다. 수신한 최초 답변이나 중단을 반복하지 않았습니다.
전송 실패도 그대로 기록
최초 실행의 추가 무응답 HTTP 503 한 건은 미청구를 확인한 뒤 동일하게 재시도했습니다. 실패 시도는 29.516초가 걸렸습니다. 개발 설정과 복구 이력은 별도 기록입니다.
내부 탐색 평가
원본 테스트 운영자인 UniversalIQTest.com이 연구를 수행했습니다. 요청·이미지 해시, 문항 시간, 채점, 비용을 로컬에서 검증했습니다. 외부 동료 심사는 받지 않았습니다.
정확한 모델 버전과 최초 공급자
  • google/gemini-4-carbon-20261110 — Google AI Studio
  • anthropic/claude-fable-5.2-20261109 — Anthropic
  • openai/gpt-6-astra-20260903 — OpenAI

최초 프로토콜 지문: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b

이 보고서가 보여 주는 범위

명시된 API 설정에서 특정 공개 문항 집합의 성능을 기록합니다. 완료, 오답, 지연과 비용은 구분해 보고해야 합니다. 모델당 최초 실행이 한 번이라 실행 간 변동은 추정하지 않았습니다.

공개 문항이 학습 자료에 있었을 가능성은 측정하지 않았습니다. 번호가 붙은 정적 화면은 사람의 대화형 시험과 다릅니다. 후속 개발 설정과 수집 조건도 달라 지연 순위를 정할 수 없습니다.

모델에 인간 IQ나 백분위를 측정하거나 부여하지 않았습니다. 인간 시험 규준이 AI에 자동 적용되지는 않습니다. 반복 전체 평가에는 새로 사전 고정한 수집 계획이 필요합니다. 인간 시험을 AI 평가에 사용하는 OECD 논의

측정 자료와 인용

기록된 API 사용: 최초 실행 US$4.478100, 개발 점검 US$4.843563, 기술 예비 시험 US$0.334781. 총 US$9.656444 (반올림 US$9.66). 청구와 대조했으며 수수료·세금은 제외합니다.

모든 언어가 같은 원본 파일을 공유합니다. 다운로드 보고서, 그림, JSON 필드명과 최초 프롬프트는 영어입니다. 해답, 비공개 채점 키, 참가자 기록, 인증 정보, 추론 텍스트는 제외합니다. 아래 인용에는 원래 보고서 제목을 사용합니다.

UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-test

자주 묻는 질문

AI의 IQ 점수인가요?
40개 시각 추론 문항의 원결과입니다. 인간 IQ나 백분위를 측정하거나 부여하지 않았습니다. 출력 한도 실패와 한 번의 실행으로 일반 지능 순위를 정할 수 없습니다.
유효한 보정 답변이란 무엇인가요?
요구한 JSON 형식의 완전한 답변입니다. 보정은 채점하지 않았으므로 여섯 유효 응답이 여섯 정답을 뜻하지 않습니다. 최초 답변을 대체하지 않았습니다.
모델과 사람이 같은 시험을 봤나요?
도형은 같은 공개 40문항 테스트에서 왔습니다. 모델에는 정적 이미지, 번호가 붙은 여덟 선택지, 고정 영어 프롬프트와 새 맥락을 제공했습니다. 사람의 대화형 경험을 재현하지 않았습니다. 보고서 번역은 실험 언어를 바꾸지 않습니다.
모든 문항의 시간을 측정했나요?
네, 최초 120개 위치 모두 기록했습니다. API 시간은 네트워크, 대기열, 이미지 처리와 생성을 포함하며 순수 사고 시간이나 사람의 능동적 응답 시간이 아닙니다. 추가 실패 시도는 별도 기록입니다.

문항 형식이나 연구 방법을 살펴보세요.