Alustava raportti ·
Kolme tekoälymallia 40 visuaalisen päättelyn tehtävässä
Alustava raportti tarkkuudesta, vastausten valmistumisesta, API-viiveestä ja kustannuksista: yksi 40 kysymyksen kierros mallia kohti sekä erilliset kehitystarkistukset päättelyrajoista ja vastausten siirrosta.
- päivätyt malliversiot
- 3
- kysymystä mallia kohti
- 40
- alkuperäinen kierros mallia kohti
- 1
Alkuperäinen 40 kysymyksen kierros
Kaikki mallit käyttivät keskitason päättelyä ja yhteensä enintään 8 192 tulostustokenia, päättely mukaan lukien. Rajaan katkennut vastaus lasketaan raakapisteissä epäonnistuneeksi.
Näet kaikki sarakkeet pyyhkäisemällä taulukkoa sivulle.
| Malli | Oikeat / 40 | Väärät | Rajakatkokset | Kelvolliset / 40 | API-ajan mediaani | API-käyttö (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 $ |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 $ |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 $ |
Kelvollinen tarkoittaa kokonaista vastausta vaaditussa muodossa. API-aika sisältää verkon, jonotuksen ja generoinnin; mediaani sisältää myös rajakatkokset. Ylimääräinen epäonnistunut HTTP-yritys kirjataan erikseen. Näytetyt hinnat on pyöristetty, tiedostoissa ovat tarkat summat.
Miksi valmistumisella on merkitystä
Carbon antoi yhden väärän vastauksen ja sillä oli viisi tokenkatkosta. Astra antoi kolme väärää vastausta ilman katkoksia. Näkyvä ero sisältää siis erilaiset mahdollisuudet saada vastaus valmiiksi samasta nimellisrajasta huolimatta.
Päättely kuluttaa osan tulostusbudjetista, jolloin lopullinen vastaus voi jäädä puuttumaan. Samat tokenrajat ja nimitykset kuten ”keskitaso” eivät tarkoita samaa laskentamäärää eri toimittajilla. OpenRouterin ohjeet päättelytokeneista
Jälkikäteinen herkkyystarkistus
Niissä 34 kysymyksessä, joihin kaikki mallit antoivat kelvollisen vastauksen, Carbon ja Astra saivat kumpikin 33/34, Fable 30/34. Osajoukko valittiin virheiden havaitsemisen jälkeen ja sulkee pois katkenneet tehtävät. Se on herkkyystarkistus, ei harhaton korvaava järjestys tai todiste yhtäläisistä kyvyistä.
Erilliset kehitystarkistukset
Paikat 24, 28, 35, 36, 38 ja 40 valittiin, koska ainakin yksi malli käytti kussakin alkuperäisen rajan loppuun. Tarkistuksissa mitattiin valmistumista, siirtoa, aikaa ja kustannuksia. Oikeellisuutta ei pisteytetty: 6/6 kelvollista vastausta ei tarkoita kuutta oikeaa vastausta. Ne eivät korvanneet alkuperäisiä pisteitä.
Näet kaikki sarakkeet pyyhkäisemällä taulukkoa sivulle.
| Profiili | Tulostusraja | Kelvolliset / 6 | Rajakatkokset | Ei saatavilla | API-käyttö (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · korkea päättelytasoPäättely pois API-vastauksesta | 32 768 | 6/6 | 0 | 0 | 1,08 $ |
| Claude Fable 5.2Anthropic · korkea päättelytasoPäättely pois API-vastauksesta | 32 768 | 6/6 | 0 | 0 | 0,80 $ |
| Gemini 4 CarbonGoogle AI Studio · korkea päättelytasoPäättely pois API-vastauksesta | 32 768 | 3/6 | 1 | 2 | 1,05 $ |
| Gemini 4 CarbonGoogle Vertex global · korkea päättelytasoPäättely pois API-vastauksesta | 65 536 | 3/6 | 0 | 3 | 0,49 $ |
| Gemini 4 CarbonGoogle Vertex global · korkea päättelytasoAPI-edistyminen mukana; teksti poistettu paikallisesti | 65 536 | 6/6 | 0 | 0 | 1,42 $ |
Ensimmäisessä Carbon-profiilissa oli myös aiempi vastaamaton ja laskuttamaton aikakatkaisu, jonka ainoa palautusyritys valmistui. Epäonnistunut yritys säilyy mittauksissa. Myöhemmät puuttuvat vastaukset säilytettiin ilman uusintaa.
Yksi tehtävä käytti 51 145 tulostustokenia
Viimeinen Carbon-profiili käytti Vertexiä, 65 536 tokenin rajaa ja suoratoistettua päättelyn edistymistä; teksti poistettiin paikallisesti. Kaikki kuusi tehtävää valmistuivat. Yksi kesti 10 minuuttia 56 sekuntia, toinen 6 minuuttia 43 sekuntia. Molemmat ylittivät aiemman viiden minuutin aikarajan.
Tämä tukee toimivaa kokoonpanoa näissä kehitystehtävissä. Se ei osoita yleistä aikakatkaisujen syytä, takaa tulevaa valmistumista tai anna uutta 40 kysymyksen tarkkuuspistettä. Aiemmat virheet pysyvät erillisinä.
Miten tutkimus tehtiin
- Sama tehtävä, uusi konteksti
- Yksi staattinen 1152 × 1552 kuva tehtävää kohti, kysymys ja kahdeksan numeroitua vaihtoehtoa. Sama englanninkielinen kehote ja tiukka JSON-rakenne. Ei työkaluja, verkkoselausta, vihjeitä tai vastausavainta.
- Kiinteät vaihtoehdot ja paikallinen pisteytys
- Tasapainotettu sekoitus kiinteällä siemenellä yhdisti numerot alkuperäisiin vaihtoehtoihin. Pisteet tarkistettiin paikallisesti tuotannon arviointia vasten. Saatuja alkuperäisvastauksia tai rajakatkoksia ei toistettu.
- Siirtovirheet näkyvät edelleen
- Yksi ylimääräinen vastaamaton HTTP 503 -yritys vahvistettiin laskuttamattomaksi ja toistettiin identtisenä. Se kesti 29,516 sekuntia. Kehitysprofiilit ja palautushistoria on dokumentoitu erikseen.
- Sisäinen kartoittava arviointi
- UniversalIQTest.com ylläpitää lähdetestiä ja teki tutkimuksen. Pyyntöjen ja kuvien tiivisteet, tehtäväajat, pisteytys ja kustannukset tarkistettiin paikallisesti. Ulkoista vertaisarviointia ei ole tehty.
Tarkat malliversiot ja alkuperäiset toimittajat
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Alkuperäisen protokollan sormenjälki: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Mitä raportti voi osoittaa
Se dokumentoi suorituskyvyn tietyssä julkisessa tehtäväsarjassa ilmoitetuilla API-asetuksilla. Valmistuminen, virheet, viive ja kustannukset on raportoitava erikseen. Yksi alkuperäinen kierros mallia kohti ei arvioi kierrosten välistä vaihtelua.
Julkiset tehtävät ovat voineet esiintyä koulutusdatassa; sitä ei mitattu. Staattinen numeroitu esitys poikkeaa ihmisten vuorovaikutteisesta testistä. Myöhemmillä profiileilla oli eri asetukset ja keruuolosuhteet, joten ne eivät anna viivejärjestystä.
Malleille ei mitattu eikä annettu ihmisen ÄO:ta tai prosenttipistettä. Ihmisten testinormit eivät siirry automaattisesti tekoälyyn. Toistettu kokonaisarviointi vaatisi uuden etukäteen lukitun keruusuunnitelman. OECD:n keskustelu ihmistesteistä tekoälyn mittareina
Mittaukset ja viittaus
Kirjattu API-käyttö: 4,478100 $ alkuperäisestä kierroksesta, 4,843563 $ kehitystarkistuksista ja 0,334781 $ teknisistä piloteista. Yhteensä: 9,656444 $ (pyöristettynä 9,66 $). Täsmäytetty laskutukseen; maksut ja verot eivät sisälly.
- Raportti (Markdown, englanniksi)
- Kootut tulokset (JSON)
- Tehtäväkohtaiset mittaukset (JSON)
- Menetelmät (JSON)
- Tiedostotiivisteet (JSON)
Kaikki kielet käyttävät samoja lähdetiedostoja. Ladattava raportti, kaavio, JSON-kenttien nimet ja alkuperäinen kehote ovat englanniksi. Ratkaisut, yksityinen vastausavain, osallistujatiedot, tunnukset ja päättelyteksti on jätetty pois. Alla oleva viittaus käyttää alkuperäistä nimeä.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testUsein kysytyt kysymykset
- Ovatko nämä tekoälyn ÄO-pisteitä?
- Nämä ovat raakatuloksia 40 visuaalisen päättelyn tehtävästä. Ihmisen ÄO:ta tai prosenttipistettä ei mitattu tai annettu. Tulostusrajat ja vain yksi kierros estävät yleisen älykkyysjärjestyksen.
- Mitä kelvollinen kalibrointivastaus tarkoittaa?
- Kokonaista vastausta vaaditussa JSON-muodossa. Kalibrointia ei pisteytetty: kuusi kelvollista ei tarkoita kuutta oikeaa. Ne eivät korvanneet alkuperäisvastauksia.
- Tekivätkö mallit ja ihmiset saman testin?
- Kuviot tulivat samasta julkisesta 40 kysymyksen testistä. Mallit saivat staattisia kuvia kahdeksalla vaihtoehdolla, kiinteän englanninkielisen kehotteen ja uuden kontekstin. Ihmisten vuorovaikutteista kokemusta ei toistettu. Raportin käännös ei muuta kokeen kieltä.
- Mitattiinko jokaisen kysymyksen aika?
- Kyllä, kaikista 120 alkuperäisestä paikasta. API-aika sisältää verkon, jonotuksen, kuvankäsittelyn ja generoinnin, ei vain ajattelua tai ihmisen aktiivista vastausaikaa. Ylimääräiset epäonnistuneet yritykset on kirjattu erikseen.
Tutustu tehtävien muotoon tai menetelmiimme.