Predbežná správa ·
Tri modely AI na 40 otázkach vizuálneho uvažovania
Predbežná správa o presnosti, dokončení odpovedí, latencii API a nákladoch: jeden priechod so 40 otázkami na model a oddelené vývojové kontroly limitov uvažovania a prenosu odpovedí.
- datované verzie modelov
- 3
- otázok na model
- 40
- pôvodný priechod na model
- 1
Pôvodný priechod so 40 otázkami
Každý model používal strednú úroveň uvažovania a celkový limit 8 192 výstupných tokenov vrátane uvažovania. Prerušenie na limite sa v hrubom skóre ráta ako neúspech.
Posuňte tabuľku do strany a zobrazte všetky stĺpce.
| Model | Správne / 40 | Nesprávne | Prerušenia limitom | Platné / 40 | Medián času API | Využitie API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 USD |
Platná znamená úplná odpoveď v požadovanom formáte. Čas API zahŕňa sieť, čakanie a generovanie; medián zahŕňa aj prerušenia limitom. Dodatočný neúspešný HTTP pokus je evidovaný osobitne. Zobrazené ceny sú zaokrúhlené, súbory uchovávajú presné sumy.
Prečo záleží na dokončení
Carbon vrátil jednu nesprávnu odpoveď a mal päť prerušení limitom. Astra vrátil tri nesprávne odpovede bez prerušení. Zdanlivý rozdiel preto zahŕňa rôzne možnosti dokončenia aj pri rovnakom nominálnom limite.
Uvažovanie spotrebúva časť výstupného rozpočtu a po jeho vyčerpaní nemusí zostať konečná odpoveď. Rovnaké tokenové limity a označenia ako „stredné“ neznamenajú rovnaký výpočtový objem u poskytovateľov. Dokumentácia OpenRouter k tokenom uvažovania
Dodatočná kontrola citlivosti
Na 34 otázkach s platnými odpoveďami všetkých modelov získali Carbon aj Astra 33/34, Fable 30/34. Podmnožina bola vybraná po pozorovaní zlyhaní a vylučuje prerušené úlohy. Ide o kontrolu citlivosti, nie nezaujatý náhradný rebríček alebo dôkaz rovnakých schopností.
Oddelené vývojové kontroly
Boli vybrané pozície 24, 28, 35, 36, 38 a 40, pretože na každej aspoň jeden model vyčerpal pôvodný limit. Kontroly sledovali dokončenie, prenos, čas a náklady. Správnosť sa nehodnotila: 6/6 platných odpovedí neznamená šesť správnych. Nenahradili pôvodné skóre.
Posuňte tabuľku do strany a zobrazte všetky stĺpce.
| Profil | Výstupný limit | Platné / 6 | Prerušenia limitom | Nedostupné | Využitie API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · vysoká úroveň uvažovaniaUvažovanie vylúčené z odpovede API | 32 768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · vysoká úroveň uvažovaniaUvažovanie vylúčené z odpovede API | 32 768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · vysoká úroveň uvažovaniaUvažovanie vylúčené z odpovede API | 32 768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · vysoká úroveň uvažovaniaUvažovanie vylúčené z odpovede API | 65 536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · vysoká úroveň uvažovaniaPriebeh API zahrnutý; text miestne odstránený | 65 536 | 6/6 | 0 | 0 | 1,42 USD |
Prvý profil Carbon mal aj skorší nezodpovedaný a neúčtovaný časový limit, ktorého jediné obnovenie uspelo. Neúspešný pokus zostáva v meraniach. Neskoršie nedostupné úlohy boli ponechané bez opakovania.
Jedna úloha využila 51 145 výstupných tokenov
Posledný profil Carbon používal Vertex, limit 65 536 tokenov a streamovaný priebeh uvažovania s miestnym odstránením textu. Všetkých šesť úloh bolo dokončených. Jedna trvala 10 minút 56 sekúnd, ďalšia 6 minút 43 sekúnd. Obe prekročili pôvodný päťminútový časový limit.
To podporuje funkčné nastavenie pre tieto vývojové úlohy. Nedokazuje to všeobecnú príčinu časových limitov, nezaručuje budúce dokončenie ani neprináša nové skóre presnosti na 40 otázkach. Skoršie zlyhania zostávajú oddelené.
Ako štúdia prebiehala
- Rovnaká úloha, nový kontext
- Jeden statický obrázok 1152 × 1552 na úlohu, otázka a osem očíslovaných možností. Rovnaký anglický prompt a prísna schéma JSON. Bez nástrojov, prehliadania webu, nápovedí či kľúča odpovedí.
- Pevné možnosti a miestne hodnotenie
- Vyvážené premiešanie s pevným semenom priradilo čísla pôvodným možnostiam. Skóre bolo miestne overené produkčným hodnotiacim systémom. Žiadna prijatá pôvodná odpoveď ani prerušenie sa neopakovali.
- Prenosové zlyhania zostávajú viditeľné
- Jeden dodatočný HTTP 503 pokus bez odpovede bol potvrdený ako neúčtovaný a zopakovaný bez zmeny. Trval 29,516 sekundy. Vývojové profily a obnovenia sú opísané oddelene.
- Interné prieskumné hodnotenie
- UniversalIQTest.com prevádzkuje zdrojový test a vykonal štúdiu. Hashe požiadaviek a obrázkov, časy úloh, hodnotenie a náklady boli overené miestne. Externá odborná recenzia neprebehla.
Presné verzie modelov a pôvodní poskytovatelia
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Odtlačok pôvodného protokolu: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Čo možno zo správy vyvodiť
Dokumentuje výkon na konkrétnej verejnej sade s uvedenými nastaveniami API. Dokončenie, chyby, latencia a náklady vyžadujú oddelené vykazovanie. Jeden priechod na model neumožnil odhadnúť premenlivosť medzi priechodmi.
Verejné úlohy mohli byť v trénovacích dátach; kontaminácia sa nemerala. Statické číslované rozhranie sa líši od interaktívneho ľudského testu. Neskoršie profily mali iné nastavenia a podmienky zberu, preto neurčujú rebríček latencie.
Žiadnemu modelu nebolo zmerané ani pridelené ľudské IQ alebo percentil. Ľudské normy sa na AI neprenášajú automaticky. Opakované úplné hodnotenie by potrebovalo nový vopred stanovený plán zberu. Diskusia OECD o ľudských testoch na hodnotenie AI
Merania a citácia
Zaznamenané využitie API: 4,478100 USD za pôvodný priechod, 4,843563 USD za vývojové kontroly a 0,334781 USD za technické piloty. Spolu: 9,656444 USD (zaokrúhlene 9,66 USD). Overené voči vyúčtovaniu; bez poplatkov a daní.
- Správa (Markdown, anglicky)
- Súhrnné výsledky (JSON)
- Merania podľa úloh (JSON)
- Metódy (JSON)
- Hashe súborov (JSON)
Všetky jazyky zdieľajú rovnaké zdrojové súbory. Správa na stiahnutie, graf, názvy polí JSON a pôvodný prompt sú anglicky. Riešenia, súkromný kľúč, údaje účastníkov, prístupové údaje a text uvažovania sú vylúčené. Citácia nižšie používa pôvodný názov.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testČasté otázky
- Sú to IQ skóre AI?
- Sú to hrubé výsledky na 40 otázkach vizuálneho uvažovania. Ľudské IQ ani percentil neboli merané ani pridelené. Limity výstupu a jeden priechod bránia rebríčku všeobecnej inteligencie.
- Čo znamená platná kalibračná odpoveď?
- Úplnú odpoveď v požadovanom JSON formáte. Kalibrácia nebola hodnotená: šesť platných neznamená šesť správnych. Pôvodné odpovede nenahradili.
- Robili ľudia a modely rovnaký test?
- Obrázky sú z rovnakého verejného testu so 40 otázkami. Modely dostali statické obrázky s ôsmimi možnosťami, pevný anglický prompt a nový kontext. Interaktívny ľudský zážitok sa nereprodukoval. Preklad správy nemení jazyk experimentu.
- Meral sa čas každej otázky?
- Áno, pri všetkých 120 pôvodných pozíciách. Časy API zahŕňajú sieť, čakanie, spracovanie obrázka a generovanie, nie iba myslenie či aktívny čas človeka. Dodatočné neúspešné pokusy sú oddelené.
Preskúmajte podobu úloh alebo naše metódy.