Raport preliminar ·
Trei modele AI la 40 de întrebări de raționament vizual
Raport preliminar despre acuratețe, finalizarea răspunsurilor, latența API și cost: o rundă de 40 de întrebări pe model și verificări de dezvoltare separate privind limitele de raționament și transmiterea.
- versiuni datate ale modelelor
- 3
- întrebări pe model
- 40
- rundă inițială pe model
- 1
Runda inițială de 40 de întrebări
Toate modelele au folosit raționament mediu și un plafon total de 8.192 de tokenuri de ieșire, inclusiv raționamentul. O întrerupere la limită este un eșec în scorul brut.
Glisați tabelul lateral pentru a vedea toate coloanele.
| Model | Corecte / 40 | Greșite | Întreruperi la limită | Valide / 40 | Timp API median | Utilizare API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 USD |
Valid înseamnă complet și în formatul cerut. Timpul API include rețea, coadă și generare; mediana include întreruperile la limită. Încercarea HTTP suplimentară eșuată este înregistrată separat. Costurile afișate sunt rotunjite; fișierele păstrează sumele exacte.
De ce contează finalizarea
Carbon a dat un răspuns greșit și a avut cinci întreruperi de tokenuri. Astra a dat trei răspunsuri greșite, fără întreruperi. Diferența aparentă include oportunități diferite de finalizare, chiar cu același plafon nominal.
Raționamentul consumă o parte din bugetul de ieșire și poate lăsa modelul fără răspuns final când se epuizează. Limite egale și etichete precum „mediu” nu înseamnă același calcul între furnizori. Documentația OpenRouter despre tokenurile de raționament
Verificare de sensibilitate ulterioară
La cele 34 de întrebări cu răspunsuri valide de la toate modelele, Carbon și Astra au obținut fiecare 33/34, Fable 30/34. Subsetul a fost ales după observarea eșecurilor și exclude întrebările întrerupte. Este o verificare de sensibilitate, nu un clasament alternativ nepărtinitor sau dovadă de capacitate egală.
Verificări de dezvoltare separate
Au fost alese pozițiile 24, 28, 35, 36, 38 și 40 deoarece cel puțin un model a epuizat limita inițială la fiecare. S-au verificat finalizarea, transmiterea, timpul și costul. Corectitudinea nu a fost notată: 6/6 răspunsuri valide nu înseamnă șase răspunsuri corecte. Nu au înlocuit scorurile inițiale.
Glisați tabelul lateral pentru a vedea toate coloanele.
| Profil | Plafon de ieșire | Valide / 6 | Întreruperi la limită | Indisponibile | Utilizare API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · raționament ridicatRaționament exclus din răspunsul API | 32.768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · raționament ridicatRaționament exclus din răspunsul API | 32.768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · raționament ridicatRaționament exclus din răspunsul API | 32.768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · raționament ridicatRaționament exclus din răspunsul API | 65.536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · raționament ridicatProgres API inclus; text eliminat local | 65.536 | 6/6 | 0 | 0 | 1,42 USD |
Primul profil Carbon a avut și o expirare de timp anterioară, fără răspuns și fără taxare; unica recuperare a reușit. Încercarea eșuată rămâne în măsurători. Indisponibilitățile ulterioare au fost păstrate fără reîncercare.
O întrebare a folosit 51.145 tokenuri de ieșire
Ultimul profil Carbon a folosit Vertex, un plafon de 65.536 de tokenuri și progres de raționament în flux, textul fiind eliminat local. Toate cele șase întrebări au fost finalizate. Una a durat 10 minute și 56 de secunde, alta 6 minute și 43 de secunde. Ambele au depășit limita anterioară de cinci minute.
Aceasta susține o configurație funcțională pentru acele întrebări de dezvoltare. Nu dovedește o cauză universală a expirărilor de timp, nu garantează finalizări viitoare și nu oferă un nou scor pe 40 de întrebări. Eșecurile anterioare rămân separate.
Cum a fost realizat studiul
- Aceeași sarcină, context nou
- O imagine statică de 1152 × 1552 pe întrebare, cu opt variante numerotate. Același prompt în engleză și o schemă JSON strictă. Fără instrumente, navigare, indicii sau barem de răspunsuri.
- Variante fixate și evaluare locală
- O amestecare echilibrată cu sămânță fixă a asociat etichetele cu variantele inițiale. Scorurile au fost comparate local cu evaluatorul de producție. Niciun răspuns inițial primit și nicio întrerupere nu au fost repetate.
- Erorile de transport rămân vizibile
- O încercare HTTP 503 suplimentară fără răspuns a fost confirmată netaxată și repetată identic. A durat 29,516 secunde. Profilurile de dezvoltare și recuperările sunt documentate separat.
- Evaluare exploratorie internă
- UniversalIQTest.com operează testul sursă și a realizat studiul. Hashurile cererilor și imaginilor, timpii, notarea și costurile au fost verificate local. Nu a existat evaluare externă de specialitate.
Versiuni exacte și furnizori inițiali
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Amprenta protocolului inițial: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Ce poate stabili raportul
Documentează performanța pe un set public concret cu setări API declarate. Finalizarea, erorile, latența și costul necesită raportare separată. O singură rundă inițială pe model nu estimează variația dintre runde.
Întrebările publice ar fi putut apărea în datele de antrenare; contaminarea nu a fost măsurată. Formatul static numerotat diferă de testul uman interactiv. Profilurile ulterioare au avut alte setări și condiții și nu stabilesc un clasament de latență.
Nu a fost măsurat sau atribuit modelelor niciun IQ uman ori percentilă. Normele umane nu se transferă automat la AI. O evaluare completă repetată ar necesita un nou plan de colectare fixat în prealabil. Discuția OCDE despre testele umane aplicate AI
Măsurători și citare
Utilizare API înregistrată: 4,478100 USD pentru runda inițială, 4,843563 USD pentru dezvoltare și 0,334781 USD pentru probe tehnice. Total: 9,656444 USD (9,66 USD rotunjit). Reconciliat cu facturarea; comisioanele și taxele sunt excluse.
- Raport (Markdown, engleză)
- Rezultate agregate (JSON)
- Măsurători pe întrebare (JSON)
- Metode (JSON)
- Hashuri ale fișierelor (JSON)
Toate limbile folosesc aceleași fișiere sursă. Raportul descărcabil, graficul, câmpurile JSON și promptul inițial sunt în engleză. Sunt excluse soluțiile, baremul privat, datele participanților, acreditările și textul de raționament. Citarea de mai jos folosește titlul original.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testÎntrebări frecvente
- Sunt acestea scoruri IQ ale AI?
- Sunt rezultate brute la 40 de întrebări de raționament vizual. Nu a fost măsurat sau atribuit un IQ uman ori o percentilă. Limitele de ieșire și o singură rundă împiedică un clasament al inteligenței generale.
- Ce înseamnă un răspuns valid de calibrare?
- Un răspuns complet în JSON-ul cerut. Calibrarea nu a fost notată: șase valide nu înseamnă șase corecte. Nu au înlocuit răspunsurile inițiale.
- Modelele și oamenii au făcut același test?
- Figurile provin din același test public de 40 de întrebări. Modelele au primit imagini statice cu opt opțiuni, prompt fix în engleză și context nou. Experiența umană interactivă nu a fost reprodusă. Traducerea raportului nu schimbă limba experimentului.
- S-a măsurat timpul pentru fiecare întrebare?
- Da, pentru toate cele 120 de poziții inițiale. Timpii API includ rețea, coadă, procesare de imagini și generare, nu doar gândire sau timpul activ uman. Încercările suplimentare eșuate sunt separate.
Explorați formatul întrebărilor sau metodele noastre.