Foreløbig rapport ·
Tre AI-modeller på 40 spørgsmål om visuelt ræsonnement
Foreløbig rapport om nøjagtighed, fuldførelse, API-latenstid og pris: én runde med 40 spørgsmål pr. model samt separate udviklingskontroller af ræsonnementsgrænser og svaroverførsel.
- daterede modelversioner
- 3
- spørgsmål pr. model
- 40
- oprindelig runde pr. model
- 1
Den oprindelige runde med 40 spørgsmål
Alle modeller brugte middel ræsonnementsniveau og en samlet grænse på 8 192 outputtokens inklusive ræsonnement. Afbrydelse ved grænsen tæller som manglende succes i råscoren.
Stryg tabellen sidelæns for at se alle kolonner.
| Model | Korrekte / 40 | Forkerte | Grænseafbrydelser | Gyldige / 40 | Median API-tid | API-forbrug (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 sek. | 0,92 US$ |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 sek. | 1,76 US$ |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 sek. | 1,80 US$ |
Gyldig betyder fuldstændig og i det krævede format. API-tid omfatter netværk, kø og generering; medianen inkluderer grænseafbrydelser. Det ekstra mislykkede HTTP-forsøg registreres separat. Priser vises afrundet; filerne bevarer præcise beløb.
Hvorfor fuldførelse betyder noget
Carbon gav ét forkert svar og havde fem tokenafbrydelser. Astra gav tre forkerte svar uden afbrydelser. Den synlige forskel omfatter dermed forskellige muligheder for at fuldføre trods samme nominelle grænse.
Ræsonnement bruger en del af outputbudgettet og kan efterlade modellen uden endeligt svar, når det er opbrugt. Ens tokengrænser og etiketter som »middel« betyder ikke samme beregningsarbejde hos forskellige udbydere. OpenRouters dokumentation om ræsonnementstokens
Efterfølgende følsomhedskontrol
På de 34 spørgsmål med gyldige svar fra alle modeller fik Carbon og Astra hver 33/34, Fable 30/34. Udvalget blev lavet efter observation af fejl og udelukker afbrudte spørgsmål. Det er en følsomhedskontrol, ikke en upartisk erstatningsrangliste eller bevis for ens evner.
Separate udviklingskontroller
Positionerne 24, 28, 35, 36, 38 og 40 blev valgt, fordi mindst én model opbrugte den oprindelige grænse på hver. Kontrollerne målte fuldførelse, overførsel, tid og pris. Korrektheden blev ikke bedømt: 6/6 gyldige svar betyder ikke seks korrekte svar. De erstattede ikke de oprindelige scorer.
Stryg tabellen sidelæns for at se alle kolonner.
| Profil | Outputgrænse | Gyldige / 6 | Grænseafbrydelser | Utilgængelige | API-forbrug (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · højt ræsonnementsniveauRæsonnement udeladt fra API-svaret | 32.768 | 6/6 | 0 | 0 | 1,08 US$ |
| Claude Fable 5.2Anthropic · højt ræsonnementsniveauRæsonnement udeladt fra API-svaret | 32.768 | 6/6 | 0 | 0 | 0,80 US$ |
| Gemini 4 CarbonGoogle AI Studio · højt ræsonnementsniveauRæsonnement udeladt fra API-svaret | 32.768 | 3/6 | 1 | 2 | 1,05 US$ |
| Gemini 4 CarbonGoogle Vertex global · højt ræsonnementsniveauRæsonnement udeladt fra API-svaret | 65.536 | 3/6 | 0 | 3 | 0,49 US$ |
| Gemini 4 CarbonGoogle Vertex global · højt ræsonnementsniveauAPI-forløb inkluderet; tekst kasseret lokalt | 65.536 | 6/6 | 0 | 0 | 1,42 US$ |
Den første Carbon-profil havde også en tidligere ubesvaret, ufaktureret timeout, hvis ene gendannelsesforsøg lykkedes. Det mislykkede forsøg forbliver i målingerne. Senere utilgængelige spørgsmål blev bevaret uden gentagelse.
Ét spørgsmål brugte 51.145 outputtokens
Den sidste Carbon-profil brugte Vertex, en grænse på 65 536 tokens og streamet ræsonnementsforløb, hvor teksten blev kasseret lokalt. Alle seks spørgsmål blev fuldført. Ét tog 10 minutter 56 sekunder, et andet 6 minutter 43 sekunder. Begge overskred den tidligere timeout på fem minutter.
Det understøtter en fungerende opsætning for disse udviklingsspørgsmål. Det beviser ikke en universel årsag til timeouts, garanterer ikke fremtidig fuldførelse og giver ingen ny nøjagtighedsscore på 40 spørgsmål. Tidligere fejl forbliver adskilt.
Sådan blev studiet gennemført
- Samme opgave, ny kontekst
- Ét statisk billede på 1152 × 1552 pr. spørgsmål med otte nummererede muligheder. Samme engelske prompt og stramme JSON-skema. Ingen værktøjer, browsing, hints eller facit blev givet.
- Faste muligheder og lokal bedømmelse
- En afbalanceret blanding med fast seed koblede viste numre til de oprindelige muligheder. Scorer blev lokalt kontrolleret mod produktionsbedømmeren. Intet modtaget oprindeligt svar eller grænseafbrydelse blev gentaget.
- Overførselsfejl forbliver synlige
- Ét ekstra ubesvaret HTTP 503-forsøg blev bekræftet ufaktureret og gentaget identisk. Det tog 29,516 sekunder. Udviklingsprofiler og gendannelseshistorik dokumenteres separat.
- Intern undersøgende evaluering
- UniversalIQTest.com driver kildetesten og udførte studiet. Hashværdier for anmodninger og billeder, opgavetider, bedømmelse og priser blev kontrolleret lokalt. Ekstern fagfællebedømmelse er ikke udført.
Præcise modelversioner og oprindelige udbydere
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Fingeraftryk af den oprindelige protokol: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Hvad rapporten kan fastslå
Den dokumenterer præstation på et bestemt offentligt opgavesæt under angivne API-indstillinger. Fuldførelse, fejl, latenstid og pris kræver separat rapportering. Én oprindelig runde pr. model gav ikke et estimat af variation mellem runder.
Offentlige opgaver kan have indgået i træningsdata; det blev ikke målt. Den statiske nummererede udformning adskiller sig fra den interaktive test for mennesker. Senere profiler brugte andre indstillinger og indsamlingsvilkår og giver ingen latenstidsrangliste.
Ingen menneskelig IQ eller percentil blev målt eller tildelt modellerne. Menneskelige normer overføres ikke automatisk til AI. En gentaget fuld evaluering kræver en ny indsamlingsplan fastlagt på forhånd. OECD om menneskelige tests som mål for AI
Målinger og kildehenvisning
Registreret API-forbrug: 4,478100 US$ for den oprindelige runde, 4,843563 US$ for udviklingskontroller og 0,334781 US$ for tekniske piloter. I alt: 9,656444 US$ (afrundet 9,66 US$). Afstemt med fakturering; gebyrer og skatter er udeladt.
- Rapport (Markdown, engelsk)
- Samlede resultater (JSON)
- Målinger pr. spørgsmål (JSON)
- Metoder (JSON)
- Filhashværdier (JSON)
Alle sprog deler de samme kildefiler. Rapport til download, diagram, JSON-feltnavne og oprindelig prompt er på engelsk. Løsninger, privat facit, deltagerdata, adgangsoplysninger og ræsonnementstekst er udeladt. Henvisningen nedenfor bruger originaltitlen.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testOfte stillede spørgsmål
- Er dette AI-modellernes IQ-scorer?
- Det er råresultater på 40 spørgsmål om visuelt ræsonnement. Ingen menneskelig IQ eller percentil er målt eller tildelt. Outputfejl og én runde forhindrer en generel intelligensrangliste.
- Hvad betyder et gyldigt kalibreringssvar?
- Et fuldstændigt svar i krævet JSON-format. Kalibreringen blev ikke bedømt: seks gyldige betyder ikke seks korrekte. De erstattede ikke oprindelige svar.
- Tog modeller og mennesker samme test?
- Figurerne kom fra samme offentlige test med 40 spørgsmål. Modeller fik statiske billeder med otte muligheder, en fast engelsk prompt og ny kontekst. Menneskets interaktive oplevelse blev ikke genskabt. Oversættelsen ændrer ikke forsøgets sprog.
- Blev tiden målt for hvert spørgsmål?
- Ja, for alle 120 oprindelige positioner. API-tid omfatter netværk, kø, billedbehandling og generering, ikke kun tænkning eller menneskets aktive svartid. Ekstra mislykkede forsøg registreres separat.
Udforsk spørgsmålsformatet eller vores metoder.