Foreløpig rapport ·
Tre KI-modeller på 40 spørsmål om visuell resonnering
Foreløpig rapport om treffsikkerhet, fullførte svar, API-forsinkelse og kostnad: én runde med 40 spørsmål per modell og separate utviklingskontroller av resonneringsgrenser og svaroverføring.
- daterte modellversjoner
- 3
- spørsmål per modell
- 40
- opprinnelig runde per modell
- 1
Den opprinnelige runden med 40 spørsmål
Alle modellene brukte middels resonnering og maksimalt 8 192 utmatingstokener totalt, inkludert resonnering. Avbrudd ved grensen regnes som mislykket i råskåren.
Sveip tabellen sidelengs for å se alle kolonnene.
| Modell | Riktige / 40 | Feil | Grenseavbrudd | Gyldige / 40 | Median API-tid | API-bruk (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 sek | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 sek | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 sek | 1,80 USD |
Gyldig betyr fullstendig og i påkrevd format. API-tid inkluderer nettverk, kø og generering; medianen inkluderer grenseavbrudd. Det ekstra mislykkede HTTP-forsøket registreres separat. Kostnader er avrundet her; filene beholder nøyaktige beløp.
Hvorfor fullføring betyr noe
Carbon ga ett feil svar og hadde fem tokenavbrudd. Astra ga tre feil svar uten avbrudd. Den synlige forskjellen omfatter dermed ulike muligheter til å fullføre, selv med samme nominelle grense.
Resonnering bruker en del av utmatingsbudsjettet og kan etterlate modellen uten endelig svar når det tar slutt. Like tokengrenser og merkelapper som «middels» betyr ikke lik beregningsinnsats hos ulike leverandører. OpenRouter-dokumentasjon om resonneringstokener
Følsomhetskontroll i etterkant
På de 34 spørsmålene med gyldige svar fra alle modellene fikk Carbon og Astra hver 33/34, Fable 30/34. Utvalget ble gjort etter at feil var observert og utelater avbrutte spørsmål. Det er en følsomhetskontroll, ikke en upartisk erstatningsrangering eller bevis på like evner.
Separate utviklingskontroller
Posisjonene 24, 28, 35, 36, 38 og 40 ble valgt fordi minst én modell nådde den opprinnelige grensen på hver. Kontrollene gjaldt fullføring, overføring, tid og kostnad. Riktighet ble ikke vurdert: 6/6 gyldige svar betyr ikke seks riktige svar. De erstattet ikke de opprinnelige poengene.
Sveip tabellen sidelengs for å se alle kolonnene.
| Profil | Utmatingsgrense | Gyldige / 6 | Grenseavbrudd | Utilgjengelige | API-bruk (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · høyt resonneringsnivåResonnering utelatt fra API-svaret | 32 768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · høyt resonneringsnivåResonnering utelatt fra API-svaret | 32 768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · høyt resonneringsnivåResonnering utelatt fra API-svaret | 32 768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · høyt resonneringsnivåResonnering utelatt fra API-svaret | 65 536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · høyt resonneringsnivåAPI-fremdrift inkludert; tekst forkastet lokalt | 65 536 | 6/6 | 0 | 0 | 1,42 USD |
Den første Carbon-profilen hadde også et tidligere ubesvart, ikke-fakturert tidsavbrudd der det eneste gjenopprettingsforsøket lyktes. Det mislykkede forsøket er med i målingene. Senere utilgjengelige oppgaver ble beholdt uten nye forsøk.
Én oppgave brukte 51 145 utmatingstokener
Den siste Carbon-profilen brukte Vertex, en grense på 65 536 tokener og strømmet resonneringsfremdrift med lokal forkasting av teksten. Alle seks oppgavene ble fullført. Én tok 10 minutter og 56 sekunder, en annen 6 minutter og 43 sekunder. Begge overskred det tidligere tidsavbruddet på fem minutter.
Dette støtter et fungerende oppsett for disse utviklingsoppgavene. Det beviser ingen universell årsak til tidsavbrudd, garanterer ikke fremtidig fullføring og gir ingen ny treffsikkerhetsskår på 40 spørsmål. Tidligere feil holdes atskilt.
Slik ble studien gjennomført
- Samme oppgave, ny kontekst
- Ett statisk bilde på 1152 × 1552 per oppgave med åtte nummererte alternativer. Samme engelske instruksjon og strenge JSON-skjema. Ingen verktøy, nettsøk, hint eller fasit ble gitt.
- Faste alternativer og lokal retting
- En balansert blanding med fast frø koblet viste nummer til opprinnelige alternativer. Poengene ble kontrollert lokalt mot produksjonsrettingen. Ingen mottatte opprinnelige svar eller grenseavbrudd ble gjentatt.
- Overføringsfeil forblir synlige
- Ett ekstra ubesvart HTTP 503-forsøk ble bekreftet uten fakturering og gjentatt identisk. Det tok 29,516 sekunder. Utviklingsprofiler og gjenoppretting er dokumentert separat.
- Intern utforskende evaluering
- UniversalIQTest.com driver kildetesten og utførte studien. Hashverdier for forespørsler og bilder, oppgavetider, retting og kostnader ble kontrollert lokalt. Ekstern fagfellevurdering er ikke gjennomført.
Nøyaktige modellversjoner og opprinnelige leverandører
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Fingeravtrykk for opprinnelig protokoll: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Hva rapporten kan fastslå
Den dokumenterer ytelse på et bestemt offentlig oppgavesett med oppgitte API-innstillinger. Fullføring, feil, forsinkelse og kostnad krever separat rapportering. Én opprinnelig runde per modell ga ikke et estimat for variasjon mellom runder.
Offentlige oppgaver kan ha vært i treningsdata; det ble ikke målt. Den statiske nummererte utformingen er forskjellig fra den interaktive testen for mennesker. Senere profiler brukte andre innstillinger og innsamlingsvilkår og gir ingen latensrangering.
Ingen menneskelig IQ eller persentil ble målt eller tildelt modellene. Menneskelige testnormer overføres ikke automatisk til KI. En gjentatt full evaluering krever en ny innsamlingsplan fastlagt på forhånd. OECD om menneskelige tester som mål for KI
Målinger og kildehenvisning
Registrert API-bruk: 4,478100 USD for den opprinnelige runden, 4,843563 USD for utviklingskontroller og 0,334781 USD for tekniske piloter. Totalt: 9,656444 USD (avrundet 9,66 USD). Avstemt mot fakturering; gebyrer og avgifter utelatt.
- Rapport (Markdown, engelsk)
- Samlede resultater (JSON)
- Målinger per oppgave (JSON)
- Metoder (JSON)
- Filhashverdier (JSON)
Alle språk deler samme kildefiler. Nedlastbar rapport, diagram, JSON-feltnavn og opprinnelig instruksjon er på engelsk. Løsninger, privat fasit, deltakerdata, tilgangsopplysninger og resonneringstekst utelates. Henvisningen nedenfor bruker originaltittelen.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testVanlige spørsmål
- Er dette IQ-skårer for KI-modellene?
- Det er råresultater på 40 spørsmål om visuell resonnering. Ingen menneskelig IQ eller persentil ble målt eller tildelt. Utmatingsfeil og én runde hindrer en generell intelligensrangering.
- Hva betyr et gyldig kalibreringssvar?
- Et fullstendig svar i påkrevd JSON-format. Kalibreringen ble ikke rettet: seks gyldige betyr ikke seks riktige. De erstattet ikke opprinnelige svar.
- Tok modeller og mennesker samme test?
- Figurene kom fra samme offentlige test med 40 spørsmål. Modellene fikk statiske bilder med åtte alternativer, en fast engelsk instruksjon og ny kontekst. Menneskets interaktive opplevelse ble ikke gjenskapt. Oversettelsen endrer ikke forsøkets språk.
- Ble tiden målt for hver oppgave?
- Ja, for alle 120 opprinnelige posisjoner. API-tiden omfatter nettverk, kø, bildebehandling og generering, ikke bare tenkning eller menneskets aktive svartid. Ekstra mislykkede forsøk registreres separat.
Utforsk oppgaveformatet eller les om metodene våre.