Předběžná zpráva ·
Tři modely AI na 40 otázkách vizuálního uvažování
Předběžná zpráva o přesnosti, dokončení odpovědí, latenci API a nákladech: jeden průchod se 40 otázkami na model a oddělené vývojové kontroly limitů uvažování a přenosu odpovědí.
- datované verze modelů
- 3
- otázek na model
- 40
- původní průchod na model
- 1
Původní průchod se 40 otázkami
Každý model používal střední úroveň uvažování a celkový limit 8 192 výstupních tokenů včetně uvažování. Přerušení na limitu se v hrubém skóre počítá jako neúspěch.
Posuňte tabulku do strany a zobrazte všechny sloupce.
| Model | Správné / 40 | Nesprávné | Přerušení limitem | Platné / 40 | Medián času API | Využití API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 US$ |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 US$ |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 US$ |
Platná znamená úplná odpověď v požadovaném formátu. Čas API zahrnuje síť, frontu i generování; medián zahrnuje také přerušení limitem. Dodatečný neúspěšný HTTP pokus je evidován zvlášť. Zobrazené ceny jsou zaokrouhlené, soubory zachovávají přesné částky.
Proč záleží na dokončení
Carbon vrátil jednu nesprávnou odpověď a měl pět přerušení limitem. Astra vrátil tři nesprávné odpovědi bez přerušení. Zdánlivý rozdíl tedy zahrnuje různé možnosti dokončit odpověď i při stejném nominálním limitu.
Uvažování spotřebovává část výstupního rozpočtu a po jeho vyčerpání nemusí zbýt konečná odpověď. Stejné tokenové limity a označení jako „střední“ neznamenají stejný výpočetní výkon u různých poskytovatelů. Dokumentace OpenRouter k tokenům uvažování
Dodatečná kontrola citlivosti
Na 34 otázkách s platnými odpověďmi všech modelů získaly Carbon i Astra 33/34, Fable 30/34. Podmnožina byla vybrána po pozorování selhání a vylučuje přerušené úlohy. Jde o kontrolu citlivosti, nikoli nezaujatý náhradní žebříček nebo důkaz stejných schopností.
Oddělené vývojové kontroly
Byly vybrány pozice 24, 28, 35, 36, 38 a 40, protože na každé alespoň jeden model vyčerpal původní limit. Kontroly sledovaly dokončení, přenos, čas a náklady. Správnost se nehodnotila: 6/6 platných odpovědí neznamená šest správných. Nenahradily původní skóre.
Posuňte tabulku do strany a zobrazte všechny sloupce.
| Profil | Výstupní limit | Platné / 6 | Přerušení limitem | Nedostupné | Využití API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · vysoká úroveň uvažováníUvažování vyloučeno z odpovědi API | 32 768 | 6/6 | 0 | 0 | 1,08 US$ |
| Claude Fable 5.2Anthropic · vysoká úroveň uvažováníUvažování vyloučeno z odpovědi API | 32 768 | 6/6 | 0 | 0 | 0,80 US$ |
| Gemini 4 CarbonGoogle AI Studio · vysoká úroveň uvažováníUvažování vyloučeno z odpovědi API | 32 768 | 3/6 | 1 | 2 | 1,05 US$ |
| Gemini 4 CarbonGoogle Vertex global · vysoká úroveň uvažováníUvažování vyloučeno z odpovědi API | 65 536 | 3/6 | 0 | 3 | 0,49 US$ |
| Gemini 4 CarbonGoogle Vertex global · vysoká úroveň uvažováníPrůběh API zahrnut; text místně odstraněn | 65 536 | 6/6 | 0 | 0 | 1,42 US$ |
První profil Carbon měl také dřívější nezodpovězený a neúčtovaný timeout, jehož jediné obnovení uspělo. Neúspěšný pokus zůstává v měřeních. Pozdější nedostupné úlohy byly ponechány bez opakování.
Jedna úloha využila 51 145 výstupních tokenů
Poslední profil Carbon používal Vertex, limit 65 536 tokenů a streamovaný průběh uvažování s místním odstraněním textu. Všech šest úloh bylo dokončeno. Jedna trvala 10 minut 56 sekund, další 6 minut 43 sekund. Obě překročily předchozí pětiminutový timeout.
To podporuje funkční nastavení pro tyto vývojové úlohy. Neprokazuje to obecnou příčinu timeoutů, nezaručuje budoucí dokončení ani nepřináší nové skóre přesnosti na 40 otázkách. Dřívější selhání zůstávají oddělená.
Jak studie probíhala
- Stejná úloha, nový kontext
- Jeden statický obrázek 1152 × 1552 na úlohu, otázka a osm očíslovaných možností. Stejný anglický prompt a přísné schéma JSON. Bez nástrojů, prohlížení webu, nápověd či klíče odpovědí.
- Pevné možnosti a místní hodnocení
- Vyvážené promíchání s pevným seedem spojovalo zobrazená čísla s původními možnostmi. Skóre bylo místně ověřeno produkčním hodnoticím systémem. Žádná obdržená původní odpověď ani přerušení se neopakovaly.
- Přenosová selhání zůstávají viditelná
- Jeden dodatečný HTTP 503 pokus bez odpovědi byl potvrzen jako neúčtovaný a zopakován beze změny. Trval 29,516 sekundy. Vývojové profily a obnovení jsou popsány odděleně.
- Interní průzkumné hodnocení
- UniversalIQTest.com provozuje zdrojový test a provedl studii. Hashe požadavků a obrázků, časy úloh, hodnocení a náklady byly ověřeny místně. Externí odborná recenze neproběhla.
Přesné verze modelů a původní poskytovatelé
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Otisk původního protokolu: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Co lze ze zprávy vyvodit
Dokumentuje výkon na konkrétní veřejné sadě při uvedených nastaveních API. Dokončení, chyby, latence a náklady vyžadují oddělené vykazování. Jeden průchod na model neumožnil odhadnout proměnlivost mezi průchody.
Veřejné úlohy mohly být v trénovacích datech; kontaminace se neměřila. Statické číslované rozhraní se liší od interaktivního lidského testu. Pozdější profily měly jiná nastavení a podmínky sběru, takže neurčují žebříček latence.
Žádnému modelu nebylo změřeno ani přiřazeno lidské IQ či percentil. Lidské normy se na AI nepřenášejí automaticky. Opakované úplné hodnocení by vyžadovalo nový předem zmrazený plán sběru. Diskuse OECD o lidských testech pro hodnocení AI
Měření a citace
Zaznamenané využití API: 4,478100 US$ za původní průchod, 4,843563 US$ za vývojové kontroly a 0,334781 US$ za technické piloty. Celkem: 9,656444 US$ (zaokrouhleně 9,66 US$). Ověřeno proti vyúčtování; bez poplatků a daní.
- Zpráva (Markdown, anglicky)
- Souhrnné výsledky (JSON)
- Měření po úlohách (JSON)
- Metody (JSON)
- Hashe souborů (JSON)
Všechny jazyky sdílejí stejné zdrojové soubory. Zpráva ke stažení, graf, názvy polí JSON a původní prompt jsou anglicky. Řešení, soukromý klíč, údaje účastníků, přístupové údaje a text uvažování jsou vyloučeny. Citace níže používá původní název.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testČasté otázky
- Jde o IQ skóre AI?
- Jde o hrubé výsledky na 40 otázkách vizuálního uvažování. Lidské IQ ani percentil nebyly měřeny ani přiřazeny. Selhání limitů a jediný průchod brání žebříčku obecné inteligence.
- Co znamená platná kalibrační odpověď?
- Úplnou odpověď v požadovaném JSON formátu. Kalibrace nebyla hodnocena: šest platných neznamená šest správných. Původní odpovědi nenahradily.
- Dělali lidé a modely stejný test?
- Obrázky pocházejí ze stejného veřejného testu se 40 otázkami. Modely dostaly statické obrázky s osmi možnostmi, pevný anglický prompt a nový kontext. Interaktivní lidský zážitek se nereprodukoval. Překlad zprávy nemění jazyk experimentu.
- Měřil se čas každé otázky?
- Ano, u všech 120 původních pozic. Časy API zahrnují síť, frontu, zpracování obrázku a generování, nikoli jen myšlení či aktivní čas člověka. Dodatečné neúspěšné pokusy jsou oddělené.
Prozkoumejte podobu úloh nebo naše metody.