Előzetes jelentés ·
Három MI-modell 40 vizuális következtetési kérdésen
Előzetes jelentés a pontosságról, befejezett válaszokról, API-késleltetésről és költségről: modellenként egy 40 kérdéses futás, valamint külön fejlesztési ellenőrzések a gondolkodási korlátokról és válaszátvitelről.
- dátumozott modellverzió
- 3
- kérdés modellenként
- 40
- eredeti futás modellenként
- 1
Az eredeti 40 kérdéses futás
Minden modell közepes gondolkodási szintet és összesen legfeljebb 8 192 kimeneti tokent használt, a gondolkodással együtt. A korlát miatti megszakítás a nyers pontszámban sikertelennek számít.
Az összes oszlophoz görgesse oldalra a táblázatot.
| Modell | Helyes / 40 | Hibás | Korlát miatti megszakítás | Érvényes / 40 | Medián API-idő | API-használat (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 mp | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 mp | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 mp | 1,80 USD |
Az érvényes teljes, megfelelő formátumú választ jelent. Az API-idő a hálózatot, várakozást és generálást is tartalmazza; a medián a megszakításokat is figyelembe veszi. A plusz sikertelen HTTP-kísérlet külön szerepel. A kiírt költségek kerekítettek, a fájlok pontos összegeket tartalmaznak.
Miért számít a befejezés?
Carbon egy hibás választ adott és ötször szakadt meg tokenkorlát miatt. Astra három hibás választ adott, megszakítás nélkül. A látható különbség tehát eltérő befejezési lehetőségeket is tükröz azonos névleges korlát mellett.
A gondolkodás felhasználja a kimeneti keret egy részét, így annak végére nem feltétlenül marad végső válasz. Azonos tokenkorlát és „közepes” jelölés nem jelent azonos számítási munkát a szolgáltatóknál. OpenRouter-dokumentáció a gondolkodási tokenekről
Utólagos érzékenységi ellenőrzés
A mindhárom modell által érvényesen megválaszolt 34 kérdésen Carbon és Astra egyaránt 33/34, Fable 30/34 pontot ért el. Az alcsoportot a hibák megfigyelése után választottuk ki, a megszakadt feladatok nélkül. Ez érzékenységi ellenőrzés, nem torzítatlan helyettesítő rangsor vagy azonos képességek bizonyítéka.
Külön fejlesztési ellenőrzések
A 24, 28, 35, 36, 38 és 40 pozíciót választottuk, mert mindegyiken legalább egy modell kimerítette az eredeti keretet. A befejezést, átvitelt, időt és költséget vizsgáltuk. A helyességet nem pontoztuk: 6/6 érvényes válasz nem jelent hat helyes választ. Nem váltották fel az eredeti pontszámokat.
Az összes oszlophoz görgesse oldalra a táblázatot.
| Profil | Kimeneti korlát | Érvényes / 6 | Korlát miatti megszakítás | Nem elérhető | API-használat (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · magas gondolkodási szintGondolkodás kizárva az API-válaszból | 32 768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · magas gondolkodási szintGondolkodás kizárva az API-válaszból | 32 768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · magas gondolkodási szintGondolkodás kizárva az API-válaszból | 32 768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · magas gondolkodási szintGondolkodás kizárva az API-válaszból | 65 536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · magas gondolkodási szintAPI-előrehaladás szerepel; a szöveg helyben törölve | 65 536 | 6/6 | 0 | 0 | 1,42 USD |
Az első Carbon-profilnál volt egy korábbi, válasz nélküli, nem számlázott időtúllépés is; az egyszeri helyreállítás sikerült. A sikertelen kísérlet megmarad a mérésekben. A későbbi elérhetetlen feladatokat ismétlés nélkül megtartottuk.
Egy feladat 51 145 kimeneti tokent használt
A végső Carbon-profil Vertexet, 65 536 tokenes korlátot és közvetített gondolkodási előrehaladást használt, a szöveg helyi törlésével. Mind a hat feladat befejeződött. Egy 10 perc 56 másodpercig, másik 6 perc 43 másodpercig tartott. Mindkettő túllépte a korábbi ötperces időkorlátot.
Ez működő beállítást támaszt alá ezekhez a fejlesztési feladatokhoz. Nem bizonyít általános időtúllépési okot, nem garantál jövőbeli befejezést, és nem ad új 40 kérdéses pontossági eredményt. A korábbi hibák külön maradnak.
Hogyan készült a vizsgálat?
- Azonos feladat, új kontextus
- Feladatonként egy statikus 1152 × 1552 kép, kérdéssel és nyolc számozott lehetőséggel. Azonos angol utasítás és szigorú JSON-séma. Nem volt eszköz, böngészés, segítség vagy megoldókulcs.
- Rögzített lehetőségek és helyi pontozás
- Rögzített magú, kiegyensúlyozott keverés kapcsolta a megjelenített számokat az eredeti lehetőségekhez. A pontszámokat helyben ellenőriztük az éles értékelővel. Kapott eredeti választ és korlát miatti megszakítást nem ismételtünk.
- Az átviteli hibák láthatók maradnak
- Egy plusz, válasz nélküli HTTP 503 kísérlet igazoltan nem volt számlázva, és változatlanul megismételtük. 29,516 másodpercig tartott. A fejlesztési profilokat és helyreállításokat külön dokumentáltuk.
- Belső feltáró értékelés
- A forrástesztet a UniversalIQTest.com működteti, és a vizsgálatot is elvégezte. A kérések és képek hashét, az időket, pontozást és költségeket helyben ellenőriztük. Külső szakmai lektorálás nem történt.
Pontos modellverziók és eredeti szolgáltatók
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Az eredeti protokoll ujjlenyomata: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Mit állapíthat meg a jelentés?
Egy konkrét nyilvános feladatsoron, közölt API-beállítások mellett mutatja be a teljesítményt. Befejezés, hibák, késleltetés és költség külön jelentendő. Az egyetlen eredeti futásból a futások közti változékonyságot nem becsültük.
A nyilvános feladatok szerepelhettek a tanítóadatokban; ezt nem mértük. A statikus, számozott elrendezés eltér az emberek interaktív tesztjétől. A későbbi profilok más beállításokkal és gyűjtési körülményekkel készültek, ezért nem adnak késleltetési rangsort.
Nem mértünk és nem rendeltünk a modellekhez emberi IQ-t vagy percentilist. Az emberi tesztnormák nem vihetők át automatikusan MI-re. Ismételt teljes értékeléshez új, előre rögzített adatgyűjtési terv kellene. Az OECD elemzése az emberi tesztek MI-alkalmazásáról
Mérések és hivatkozás
Rögzített API-használat: 4,478100 USD az eredeti futásra, 4,843563 USD fejlesztési ellenőrzésekre és 0,334781 USD technikai próbákra. Összesen: 9,656444 USD (kerekítve 9,66 USD). A számlázással egyeztetve; díjak és adók nélkül.
- Jelentés (Markdown, angol)
- Összesített eredmények (JSON)
- Feladatonkénti mérések (JSON)
- Módszerek (JSON)
- Fájlhashek (JSON)
Minden nyelv ugyanazokat a forrásfájlokat használja. A letölthető jelentés, ábra, JSON-mezőnevek és eredeti utasítás angol. Megoldások, privát kulcs, résztvevői adatok, belépési adatok és gondolkodási szöveg nem szerepelnek. Az alábbi hivatkozás az eredeti címet használja.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testGyakori kérdések
- Ezek a modellek IQ-pontszámai?
- Nyers eredmények 40 vizuális következtetési kérdésen. Emberi IQ-t vagy percentilist nem mértünk és nem rendeltünk hozzájuk. A kimeneti hibák és egyetlen futás nem adnak általános intelligenciarangsort.
- Mit jelent az érvényes kalibrációs válasz?
- Teljes választ az elvárt JSON-formátumban. A kalibrációt nem pontoztuk: hat érvényes nem jelent hat helyeset. Nem váltották fel az eredeti válaszokat.
- Ugyanazt a tesztet végezték a modellek és az emberek?
- Az ábrák ugyanabból a nyilvános, 40 kérdéses tesztből származtak. A modellek statikus képet, nyolc lehetőséget, rögzített angol utasítást és új kontextust kaptak. Az interaktív emberi élményt nem reprodukáltuk. A jelentés fordítása nem változtatja meg a kísérlet nyelvét.
- Mérték minden kérdés idejét?
- Igen, mind a 120 eredeti pozíciónál. Az API-idő a hálózatot, várakozást, képfeldolgozást és generálást is tartalmazza, nem pusztán gondolkodás vagy aktív emberi válaszadás. A plusz sikertelen kísérletek külön szerepelnek.
Ismerje meg a feladatok formátumát vagy módszereinket.