Esialgne aruanne ·
Kolm tehisintellektimudelit 40 visuaalse arutluse küsimusel
Esialgne aruanne täpsuse, vastuste lõpetamise, API viivituse ja kulu kohta: üks 40 küsimusega läbimine mudeli kohta ning eraldi arenduskontrollid arutluspiiride ja vastuste edastamise kohta.
- kuupäevastatud mudeliversioonid
- 3
- küsimust mudeli kohta
- 40
- algne läbimine mudeli kohta
- 1
Algne 40 küsimusega läbimine
Kõik mudelid kasutasid keskmist arutlust ja kokku kuni 8 192 väljundtokenit, arutlus kaasa arvatud. Piirini jõudmisel katkestatud vastus loetakse toorskooris ebaõnnestumiseks.
Kõigi veergude nägemiseks libista tabelit küljele.
| Mudel | Õiged / 40 | Valed | Piirikatkestused | Kehtivad / 40 | API aja mediaan | API kasutus (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 sek | 0,92 $ |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 sek | 1,76 $ |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 sek | 1,80 $ |
Kehtiv tähendab täielikku vastust nõutud vormingus. API aeg sisaldab võrku, järjekorda ja genereerimist; mediaan hõlmab ka piirikatkestusi. Lisa-HTTP-katse ebaõnnestumine on eraldi. Kuvatud kulud on ümardatud, failides on täpsed summad.
Miks lõpetamine on oluline
Carbon andis ühe vale vastuse ja tal oli viis tokenikatkestust. Astra andis kolm valet vastust ilma katkestusteta. Nähtav erinevus sisaldab seega erinevaid võimalusi lõpetada isegi sama nimipiiri juures.
Arutlus kulutab osa väljundieelarvest ning selle lõppemisel võib lõppvastus puududa. Võrdsed tokenipiirid ja nimetused nagu „keskmine“ ei tähenda eri pakkujatel võrdset arvutusmahtu. OpenRouteri arutlustokenite dokumentatsioon
Tagantjärele tundlikkuskontroll
34 küsimusel, millele kõik mudelid andsid kehtiva vastuse, said Carbon ja Astra kumbki 33/34, Fable 30/34. Alamrühm valiti pärast tõrgete nägemist ja jätab katkestatud küsimused välja. See on tundlikkuskontroll, mitte erapooletu asendusjärjestus ega tõend võrdsete võimete kohta.
Eraldi arenduskontrollid
Valiti positsioonid 24, 28, 35, 36, 38 ja 40, sest vähemalt üks mudel ammendas neist igaühel algse piiri. Kontrolliti lõpetamist, edastust, aega ja kulu. Õigsust ei hinnatud: 6/6 kehtivat vastust ei tähenda kuut õiget vastust. Need ei asendanud algseid tulemusi.
Kõigi veergude nägemiseks libista tabelit küljele.
| Profiil | Väljundipiir | Kehtivad / 6 | Piirikatkestused | Kättesaamatud | API kasutus (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · kõrge arutlustaseArutlus API vastusest välja jäetud | 32 768 | 6/6 | 0 | 0 | 1,08 $ |
| Claude Fable 5.2Anthropic · kõrge arutlustaseArutlus API vastusest välja jäetud | 32 768 | 6/6 | 0 | 0 | 0,80 $ |
| Gemini 4 CarbonGoogle AI Studio · kõrge arutlustaseArutlus API vastusest välja jäetud | 32 768 | 3/6 | 1 | 2 | 1,05 $ |
| Gemini 4 CarbonGoogle Vertex global · kõrge arutlustaseArutlus API vastusest välja jäetud | 65 536 | 3/6 | 0 | 3 | 0,49 $ |
| Gemini 4 CarbonGoogle Vertex global · kõrge arutlustaseAPI edenemine kaasatud; tekst kohapeal eemaldatud | 65 536 | 6/6 | 0 | 0 | 1,42 $ |
Esimesel Carboni profiilil oli ka varasem vastuseta ja arveldamata ajalõpp, mille ainus taastamiskatse lõpetas. Ebaõnnestunud katse jääb mõõtmistesse. Hilisemad kättesaamatud ülesanded säilitati korduseta.
Üks ülesanne kasutas 51 145 väljundtokenit
Viimane Carboni profiil kasutas Vertexit, 65 536 tokeni piiri ja voogedastatud arutluse edenemist, mille tekst eemaldati kohapeal. Kõik kuus ülesannet lõpetati. Üks kestis 10 minutit 56 sekundit, teine 6 minutit 43 sekundit. Mõlemad ületasid varasemat viieminutilist ajalõppu.
See toetab toimivat seadistust nende arendusülesannete jaoks. See ei tõesta üldist ajalõppude põhjust, ei taga tulevasi lõpetamisi ega anna uut 40 küsimuse täpsusskoori. Varasemad tõrked jäävad eraldi.
Kuidas uuring tehti
- Sama ülesanne, uus kontekst
- Üks staatiline 1152 × 1552 pilt ülesande kohta koos kaheksa nummerdatud valikuga. Sama ingliskeelne juhis ja range JSON-skeem. Tööriistu, veebisirvimist, vihjeid ega vastusevõtit ei antud.
- Fikseeritud valikud ja kohalik hindamine
- Tasakaalustatud segamine fikseeritud seemnega sidus kuvatud numbrid algsete valikutega. Skoore kontrolliti kohapeal tootmiskeskkonna hindajaga. Ühtegi saadud algvastust ega piirikatkestust ei korratud.
- Edastustõrked jäävad nähtavaks
- Üks lisa-HTTP 503 katse ilma vastuseta kinnitati arveldamata olevaks ja korrati samal kujul. See kestis 29,516 sekundit. Arendusprofiilid ja taastamisajalugu on eraldi dokumenteeritud.
- Sisemine uuriv hindamine
- UniversalIQTest.com haldab lähtetesti ja tegi uuringu. Päringute ja piltide räsid, ülesandeajad, hinded ja kulud kontrolliti kohapeal. Välist eelretsenseerimist ei ole tehtud.
Täpsed mudeliversioonid ja algsed pakkujad
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Algse protokolli sõrmejälg: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Mida aruanne saab näidata
See kirjeldab sooritust konkreetsel avalikul küsimustikul deklareeritud API seadetega. Lõpetamist, vigu, viivitust ja kulu tuleb käsitleda eraldi. Üks algne läbimine mudeli kohta ei võimaldanud hinnata läbimistevahelist varieeruvust.
Avalikud ülesanded võisid olla treeningandmetes; seda ei mõõdetud. Staatiline nummerdatud esitus erineb interaktiivsest inimtestist. Hilisemad profiilid kasutasid teisi seadeid ja kogumistingimusi ega anna viivitusjärjestust.
Mudelitele ei mõõdetud ega määratud inimeste IQ-d või protsentiili. Inimtestide normid ei kandu automaatselt tehisintellektile. Korduv täishindamine nõuaks uut eelnevalt fikseeritud kogumisplaani. OECD arutelu inimtestidest tehisintellekti mõõdikutena
Mõõtmised ja viitamine
Kirjendatud API kasutus: 4,478100 $ algse läbimise, 4,843563 $ arenduskontrollide ja 0,334781 $ tehniliste pilootide eest. Kokku: 9,656444 $ (ümardatult 9,66 $). Arveldusega kooskõlastatud; tasud ja maksud ei sisaldu.
- Aruanne (Markdown, inglise keeles)
- Koondtulemused (JSON)
- Mõõtmised ülesannete kaupa (JSON)
- Meetodid (JSON)
- Failide räsid (JSON)
Kõik keeled jagavad samu lähtefaile. Allalaaditav aruanne, graafik, JSON-väljade nimed ja algne juhis on inglise keeles. Lahendused, privaatne hindamisvõti, osalejaandmed, pääsuandmed ja arutlustekst on välja jäetud. Allolev viide kasutab algset pealkirja.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testKorduma kippuvad küsimused
- Kas need on tehisintellekti IQ-skoorid?
- Need on 40 visuaalse arutluse küsimuse toortulemused. Inimeste IQ-d või protsentiili ei mõõdetud ega määratud. Väljundipiirid ja üks läbimine ei võimalda üldise intelligentsuse järjestust.
- Mida tähendab kehtiv kalibreerimisvastus?
- Täielikku vastust nõutud JSON-vormingus. Kalibreerimist ei hinnatud: kuus kehtivat ei tähenda kuut õiget. Need ei asendanud algvastuseid.
- Kas mudelid ja inimesed tegid sama testi?
- Joonised pärinesid samast avalikust 40 küsimuse testist. Mudelid said staatilised pildid kaheksa valikuga, fikseeritud ingliskeelse juhise ja uue konteksti. Inimeste interaktiivset kogemust ei taastoodetud. Aruande tõlkimine ei muuda katse keelt.
- Kas iga küsimuse aega mõõdeti?
- Jah, kõigi 120 algse positsiooni puhul. API aeg hõlmab võrku, järjekorda, pilditöötlust ja genereerimist, mitte ainult mõtlemist või inimese aktiivset vastamisaega. Lisaebaõnnestumised on eraldi kirjas.
Tutvu küsimuste vormingu või meie meetoditega.