Voorlopig rapport ·
Drie AI-modellen op 40 vragen over visueel redeneren
Voorlopig rapport over nauwkeurigheid, volledige antwoorden, API-vertraging en kosten: één ronde van 40 vragen per model en afzonderlijke ontwikkelcontroles van redeneerlimieten en antwoordoverdracht.
- gedateerde modelversies
- 3
- vragen per model
- 40
- oorspronkelijke ronde per model
- 1
De oorspronkelijke ronde van 40 vragen
Elk model gebruikte gemiddeld redeneerniveau en maximaal 8.192 uitvoertokens, inclusief redeneren. Afbreken bij de limiet telt als niet geslaagd in de ruwe score.
Veeg de tabel opzij om alle kolommen te zien.
| Model | Goed / 40 | Fout | Limietafbrekingen | Geldig / 40 | Mediane API-tijd | API-gebruik (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 sec | US$ 0,92 |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 sec | US$ 1,76 |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 sec | US$ 1,80 |
Geldig betekent volledig en in het vereiste formaat. API-tijd omvat netwerk, wachtrij en generatie; deze mediaan omvat limietafbrekingen. De extra mislukte HTTP-poging wordt apart geregistreerd. Kosten zijn afgerond; downloads bevatten exacte bedragen.
Waarom afronden van belang is
Carbon gaf één fout antwoord en had vijf tokenafbrekingen. Astra gaf drie foute antwoorden zonder afbrekingen. Het zichtbare verschil omvat dus verschillende kansen om af te ronden, ondanks dezelfde nominale limiet.
Redeneren verbruikt een deel van het uitvoerbudget, waardoor bij uitputting een eindantwoord kan ontbreken. Gelijke tokenlimieten en labels als ‘gemiddeld’ betekenen niet dezelfde rekeninspanning bij verschillende aanbieders. OpenRouter-documentatie over redeneertokens
Gevoeligheidscontrole achteraf
Op de 34 vragen met geldige antwoorden van alle modellen scoorden Carbon en Astra elk 33/34, Fable 30/34. Deze selectie is na de uitval gemaakt en sluit afgebroken vragen uit. Het is een gevoeligheidscontrole, geen onbevooroordeelde vervangende ranglijst of bewijs voor gelijke capaciteiten.
Afzonderlijke ontwikkelcontroles
Posities 24, 28, 35, 36, 38 en 40 zijn gekozen omdat minstens één model daar de oorspronkelijke limiet bereikte. De controles betroffen afronding, overdracht, tijd en kosten. De juistheid is niet beoordeeld: 6/6 geldige antwoorden betekent niet zes goede antwoorden. Ze vervangen de oorspronkelijke scores niet.
Veeg de tabel opzij om alle kolommen te zien.
| Profiel | Uitvoerlimiet | Geldig / 6 | Limietafbrekingen | Niet beschikbaar | API-gebruik (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · hoog redeneerniveauRedeneertekst uitgesloten van het API-antwoord | 32.768 | 6/6 | 0 | 0 | US$ 1,08 |
| Claude Fable 5.2Anthropic · hoog redeneerniveauRedeneertekst uitgesloten van het API-antwoord | 32.768 | 6/6 | 0 | 0 | US$ 0,80 |
| Gemini 4 CarbonGoogle AI Studio · hoog redeneerniveauRedeneertekst uitgesloten van het API-antwoord | 32.768 | 3/6 | 1 | 2 | US$ 1,05 |
| Gemini 4 CarbonGoogle Vertex global · hoog redeneerniveauRedeneertekst uitgesloten van het API-antwoord | 65.536 | 3/6 | 0 | 3 | US$ 0,49 |
| Gemini 4 CarbonGoogle Vertex global · hoog redeneerniveauAPI-voortgang opgenomen; tekst lokaal weggegooid | 65.536 | 6/6 | 0 | 0 | US$ 1,42 |
Het eerste Carbon-profiel had ook een eerdere onbeantwoorde, niet-gefactureerde time-out waarvan de eenmalige herstelpoging slaagde. De mislukte poging blijft in de metingen. Latere onbeschikbare vragen bleven behouden zonder herhaling.
Eén vraag gebruikte 51.145 uitvoertokens
Het laatste Carbon-profiel gebruikte Vertex, een limiet van 65.536 tokens en gestreamde redeneervoortgang waarvan de tekst lokaal werd weggegooid. Alle zes vragen werden afgerond. Eén duurde 10 minuten en 56 seconden; een andere 6 minuten en 43 seconden. Beide overschreden de eerdere time-out van vijf minuten.
Dit ondersteunt een werkende opzet voor deze ontwikkelvragen. Het bewijst geen universele oorzaak voor time-outs, garandeert geen toekomstige afronding en levert geen nieuwe nauwkeurigheidsscore op 40 vragen. Eerdere fouten blijven apart.
Hoe het onderzoek is uitgevoerd
- Dezelfde taak, nieuwe context
- Eén statische afbeelding van 1152 × 1552 per vraag met acht genummerde opties. Dezelfde Engelse prompt en een strikt JSON-schema. Er waren geen hulpmiddelen, browser, hints of antwoordsleutel.
- Vaste opties en lokale beoordeling
- Een gebalanceerde mix met vaste seed koppelde getoonde labels aan de oorspronkelijke opties. Scores zijn lokaal gecontroleerd met de productiebeoordelaar. Geen ontvangen oorspronkelijk antwoord of limietafbreking werd herhaald.
- Overdrachtsfouten blijven zichtbaar
- Eén extra onbeantwoorde HTTP 503-poging in de oorspronkelijke ronde bleek niet gefactureerd en is identiek herhaald. Die duurde 29,516 seconden. Ontwikkelprofielen en herstelgeschiedenis zijn apart gedocumenteerd.
- Interne verkennende evaluatie
- UniversalIQTest.com beheert de brontest en voerde het onderzoek uit. Hashes van aanvragen en afbeeldingen, vraagtijden, beoordeling en kosten zijn lokaal gecontroleerd. Externe collegiale toetsing heeft niet plaatsgevonden.
Exacte modelversies en oorspronkelijke aanbieders
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Vingerafdruk van het oorspronkelijke protocol: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Wat dit rapport kan vaststellen
Het beschrijft prestaties op een specifieke openbare vragenset onder vastgelegde API-instellingen. Afronding, fouten, vertraging en kosten vereisen afzonderlijke rapportage. Met één oorspronkelijke ronde per model is variatie tussen rondes niet geschat.
Openbare vragen kunnen in trainingsdata zijn voorgekomen; dit is niet gemeten. De statische genummerde opmaak wijkt af van de interactieve menselijke test. Latere profielen hadden andere instellingen en verzamelomstandigheden en leveren geen vertragingsranglijst op.
Er is geen menselijk IQ of percentiel aan een model gemeten of toegekend. Menselijke testnormen gelden niet automatisch voor AI. Een herhaalde volledige evaluatie vraagt een nieuw vooraf vastgelegd verzamelplan. OESO over menselijke tests als maatstaf voor AI
Metingen en bronvermelding
Geregistreerd API-gebruik: US$ 4,478100 voor de oorspronkelijke ronde, US$ 4,843563 voor ontwikkeling en US$ 0,334781 voor technische pilots. Totaal: US$ 9,656444 (afgerond US$ 9,66). Afgestemd op de facturering; toeslagen en belastingen uitgesloten.
- Rapport (Markdown, Engels)
- Samengevoegde resultaten (JSON)
- Metingen per vraag (JSON)
- Methoden (JSON)
- Bestandshashes (JSON)
Alle talen delen dezelfde bronbestanden. Het downloadrapport, de grafiek, JSON-veldnamen en oorspronkelijke prompt zijn Engels. Oplossingen, privésleutel voor beoordeling, deelnemersgegevens, inloggegevens en redeneertekst ontbreken. De bronvermelding hieronder gebruikt de oorspronkelijke titel.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testVeelgestelde vragen
- Zijn dit IQ-scores van AI?
- Dit zijn ruwe resultaten op 40 vragen over visueel redeneren. Er is geen menselijk IQ of percentiel gemeten of toegekend. Uitvoerlimieten en één ronde verhinderen een algemene intelligentieranglijst.
- Wat betekent een geldig kalibratieantwoord?
- Een volledig antwoord in het vereiste JSON-formaat. Kalibratie is niet beoordeeld: zes geldige antwoorden zijn niet zes goede antwoorden. Ze vervangen de oorspronkelijke antwoorden niet.
- Deden modellen en mensen dezelfde test?
- De figuren kwamen uit dezelfde openbare test met 40 vragen. Modellen kregen statische afbeeldingen met acht genummerde opties, een vaste Engelse prompt en nieuwe context. De interactieve menselijke ervaring is niet nagebootst. Vertalen van dit rapport verandert de taal van het experiment niet.
- Is de tijd voor elke vraag gemeten?
- Ja, voor alle 120 oorspronkelijke vraagposities. API-tijden omvatten netwerk, wachtrij, beeldverwerking en generatie, niet alleen denktijd of actieve menselijke antwoordtijd. Extra mislukte pogingen staan apart.
Bekijk het vraagformaat of lees meer over onze methoden.