Rapporto preliminare ·
Tre modelli di IA su 40 domande di ragionamento visivo
Rapporto preliminare su accuratezza, risposte complete, latenza API e costi: una prova di 40 domande per modello e verifiche di sviluppo separate sui limiti di ragionamento e sulla trasmissione.
- versioni datate dei modelli
- 3
- domande per modello
- 40
- prova originale per modello
- 1
La prova originale di 40 domande
Tutti i modelli usavano ragionamento medio e un tetto complessivo di 8.192 token di output, ragionamento incluso. Un’interruzione al limite vale come insuccesso nel punteggio grezzo.
Scorri la tabella lateralmente per vedere tutte le colonne.
| Modello | Corrette / 40 | Errate | Interruzioni al limite | Valide / 40 | Tempo API mediano | Uso API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 s | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 s | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 s | 1,80 USD |
Valida significa completa e nel formato richiesto. Il tempo API comprende rete, coda e generazione; la mediana include le interruzioni per token. Il tentativo HTTP aggiuntivo fallito è registrato a parte. I costi mostrati sono arrotondati; i file conservano gli importi esatti.
Perché completare conta
Carbon ha restituito una risposta errata e subito cinque interruzioni per token. Astra ha restituito tre risposte errate senza interruzioni. Il divario apparente comprende opportunità diverse di completare, anche con lo stesso limite nominale.
Il ragionamento consuma parte del budget di output e può lasciare il modello senza risposta finale quando si esaurisce. Limiti uguali ed etichette come «medio» non equivalgono allo stesso calcolo tra fornitori. Documentazione OpenRouter sui token di ragionamento
Verifica di sensibilità a posteriori
Sulle 34 domande con risposte valide di tutti i modelli, Carbon e Astra hanno ottenuto 33/34 ciascuno; Fable 30/34. Il sottoinsieme è stato scelto dopo aver osservato i fallimenti ed esclude le interruzioni. È una verifica di sensibilità, non una classifica sostitutiva priva di distorsioni né prova di capacità equivalenti.
Verifiche di sviluppo separate
Sono state scelte le posizioni 24, 28, 35, 36, 38 e 40 perché almeno un modello aveva esaurito il limite originale in ciascuna. Si sono verificati completamento, trasmissione, tempo e costo. L’accuratezza non è stata valutata: 6/6 risposte valide non significa sei risposte corrette. Non hanno sostituito i punteggi originali.
Scorri la tabella lateralmente per vedere tutte le colonne.
| Profilo | Limite di output | Valide / 6 | Interruzioni al limite | Non disponibili | Uso API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · ragionamento elevatoRagionamento escluso dalla risposta API | 32.768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · ragionamento elevatoRagionamento escluso dalla risposta API | 32.768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · ragionamento elevatoRagionamento escluso dalla risposta API | 32.768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · ragionamento elevatoRagionamento escluso dalla risposta API | 65.536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · ragionamento elevatoAvanzamento API incluso; testo scartato localmente | 65.536 | 6/6 | 0 | 0 | 1,42 USD |
Il primo profilo Carbon aveva anche un timeout precedente senza risposta né addebito, il cui unico recupero è riuscito. Il tentativo fallito resta nelle misure. Le indisponibilità successive sono state mantenute senza riprovare.
Una domanda ha usato 51.145 token di output
Il profilo finale Carbon usava Vertex, limite di 65.536 token e avanzamento del ragionamento in streaming, scartandone localmente il testo. Tutte e sei le domande sono state completate. Una ha richiesto 10 minuti e 56 secondi, un’altra 6 minuti e 43 secondi. Entrambe hanno superato il precedente timeout di cinque minuti.
Questo supporta una configurazione funzionante per tali domande di sviluppo. Non prova una causa universale dei timeout, non garantisce completamenti futuri e non dà un nuovo punteggio su 40 domande. I fallimenti precedenti restano separati.
Come è stato condotto lo studio
- Stesso compito, nuovo contesto
- Un’immagine statica di 1152 × 1552 per domanda, con otto opzioni numerate. Stesso prompt inglese e schema JSON rigoroso. Non sono stati forniti strumenti, navigazione, suggerimenti o chiave di correzione.
- Opzioni fissate e valutazione locale
- Un rimescolamento bilanciato con seme fisso collegava le etichette alle opzioni originali. I punteggi sono stati confrontati localmente con il valutatore di produzione. Nessuna risposta originale ricevuta né interruzione è stata ripetuta.
- Errori di trasporto visibili
- Un tentativo HTTP 503 aggiuntivo senza risposta nella prova originale è risultato senza addebito ed è stato ripetuto identicamente. È durato 29,516 secondi. Profili di sviluppo e recuperi sono documentati separatamente.
- Valutazione esplorativa interna
- UniversalIQTest.com gestisce il test di origine e ha condotto lo studio. Hash di richieste e immagini, tempi, valutazione e costi sono stati verificati localmente. Nessuna revisione esterna tra pari è stata svolta.
Versioni esatte e fornitori originali
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Impronta del protocollo originale: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Cosa può stabilire il rapporto
Documenta prestazioni su uno specifico insieme pubblico di domande con impostazioni API dichiarate. Completamento, errori, latenza e costi richiedono una presentazione separata. Una sola prova originale per modello non stima la variabilità tra prove.
Le domande pubbliche potrebbero essere apparse nei dati di addestramento; la contaminazione non è stata misurata. Il formato statico numerato differisce dal test umano interattivo. I profili successivi usavano impostazioni e condizioni diverse e non stabiliscono una classifica di latenza.
Non è stato misurato o assegnato alcun QI umano o percentile ai modelli. Le norme umane non si trasferiscono automaticamente alle IA. Una valutazione completa ripetuta richiederebbe un nuovo piano di raccolta fissato in anticipo. Analisi OCSE sui test umani per valutare le IA
Misure e citazione
Uso API registrato: 4,478100 USD per la prova originale, 4,843563 USD per lo sviluppo e 0,334781 USD per i piloti tecnici. Totale: 9,656444 USD (9,66 USD arrotondato). Riconciliato con la fatturazione; commissioni e imposte escluse.
- Rapporto (Markdown, inglese)
- Risultati aggregati (JSON)
- Misure per domanda (JSON)
- Metodi (JSON)
- Hash dei file (JSON)
Tutte le lingue condividono gli stessi file sorgente. Rapporto scaricabile, grafico, campi JSON e prompt originale sono in inglese. Sono esclusi soluzioni, chiave privata, dati dei partecipanti, credenziali e testo di ragionamento. La citazione usa il titolo originale.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testDomande frequenti
- Sono punteggi di QI delle IA?
- Sono risultati grezzi su 40 domande di ragionamento visivo. Nessun QI umano o percentile è stato misurato o assegnato. Limiti di output e prova unica impediscono una classifica di intelligenza generale.
- Cosa significa una risposta di calibrazione valida?
- Una risposta completa nel JSON richiesto. La calibrazione non è stata valutata: sei valide non significano sei corrette. Non hanno sostituito le risposte originali.
- Modelli e persone hanno fatto lo stesso test?
- Le figure provengono dallo stesso test pubblico di 40 domande. I modelli ricevevano immagini statiche con otto opzioni numerate, prompt inglese fisso e contesto nuovo. L’esperienza umana interattiva non è stata riprodotta. La traduzione del rapporto non cambia la lingua dell’esperimento.
- È stato misurato il tempo per ogni domanda?
- Sì, per tutte le 120 posizioni originali. I tempi API comprendono rete, coda, elaborazione immagini e generazione, non il solo pensiero o il tempo umano attivo. I tentativi aggiuntivi falliti sono registrati separatamente.
Esplora il formato delle domande o approfondisci i nostri metodi.