Rapport préliminaire ·
Trois modèles d’IA face à 40 questions de raisonnement visuel
Rapport préliminaire sur l’exactitude, les réponses complètes, la latence API et le coût : un passage de 40 questions par modèle, puis des vérifications de développement distinctes sur les limites de raisonnement et la transmission.
- versions datées des modèles
- 3
- questions par modèle
- 40
- passage initial par modèle
- 1
Le passage initial de 40 questions
Chaque modèle utilisait un raisonnement moyen et un plafond total de 8 192 tokens de sortie, raisonnement compris. Une coupure au plafond compte comme un échec dans le score brut.
Faites défiler le tableau horizontalement pour voir toutes les colonnes.
| Modèle | Correctes / 40 | Fausses | Coupures au plafond | Valides / 40 | Temps API médian | Usage API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 $US |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 $US |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 $US |
Valide signifie complète et au format requis. Le temps API comprend réseau, attente et génération ; cette médiane inclut les coupures. La tentative HTTP supplémentaire échouée est enregistrée séparément. Les coûts affichés sont arrondis ; les téléchargements conservent les montants exacts.
Pourquoi l’achèvement compte
Carbon a rendu une réponse fausse et subi cinq coupures de tokens. Astra a rendu trois réponses fausses sans coupure. L’écart apparent inclut donc des possibilités différentes d’achever une réponse, même au même plafond nominal.
Le raisonnement consomme une partie du budget de sortie et peut ne laisser aucune réponse finale une fois ce budget épuisé. Des plafonds égaux et des niveaux dits « moyens » ne garantissent pas le même calcul entre fournisseurs. Documentation OpenRouter sur les tokens de raisonnement
Vérification de sensibilité a posteriori
Sur les 34 questions avec une réponse valide de chaque modèle, Carbon et Astra obtiennent chacun 33/34, Fable 30/34. Ce sous-ensemble, choisi après observation des échecs, exclut les questions interrompues. C’est une analyse de sensibilité, ni un classement de remplacement sans biais ni une preuve de capacités équivalentes.
Vérifications de développement distinctes
Les positions 24, 28, 35, 36, 38 et 40 ont été choisies car au moins un modèle y avait épuisé le budget initial. Les vérifications portaient sur l’achèvement, la transmission, le temps et le coût. L’exactitude n’a pas été notée : 6/6 réponses valides ne signifie pas six réponses correctes. Elles n’ont pas remplacé les scores initiaux.
Faites défiler le tableau horizontalement pour voir toutes les colonnes.
| Profil | Plafond de sortie | Valides / 6 | Coupures au plafond | Indisponibles | Usage API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · raisonnement élevéRaisonnement exclu de la réponse API | 32 768 | 6/6 | 0 | 0 | 1,08 $US |
| Claude Fable 5.2Anthropic · raisonnement élevéRaisonnement exclu de la réponse API | 32 768 | 6/6 | 0 | 0 | 0,80 $US |
| Gemini 4 CarbonGoogle AI Studio · raisonnement élevéRaisonnement exclu de la réponse API | 32 768 | 3/6 | 1 | 2 | 1,05 $US |
| Gemini 4 CarbonGoogle Vertex global · raisonnement élevéRaisonnement exclu de la réponse API | 65 536 | 3/6 | 0 | 3 | 0,49 $US |
| Gemini 4 CarbonGoogle Vertex global · raisonnement élevéProgression API incluse ; texte supprimé localement | 65 536 | 6/6 | 0 | 0 | 1,42 $US |
Le premier profil Carbon avait aussi subi un délai dépassé antérieur, sans réponse ni facturation, dont l’unique reprise a abouti. Cet échec reste dans les mesures. Les indisponibilités ultérieures ont été conservées sans nouvelle tentative.
Une question a utilisé 51 145 tokens de sortie
Le dernier profil Carbon utilisait Vertex, un plafond de 65 536 tokens et la progression du raisonnement en flux, dont le texte était supprimé localement. Les six questions ont abouti. L’une a pris 10 minutes 56 secondes, une autre 6 minutes 43 secondes. Toutes deux ont dépassé l’ancien délai de cinq minutes.
Cela étaye une configuration fonctionnelle pour ces questions de développement. Cela ne prouve pas une cause universelle des délais dépassés, ne garantit pas les achèvements futurs et ne fournit pas un nouveau score sur 40 questions. Les échecs précédents restent séparés.
Déroulement de l’étude
- Même tâche, nouveau contexte
- Une image fixe de 1152 × 1552 par question, avec huit choix numérotés. Même consigne en anglais et schéma JSON strict. Aucun outil, navigation, indice ou corrigé n’a été fourni.
- Choix figés et notation locale
- Un mélange équilibré à graine fixe reliait les numéros affichés aux choix initiaux. Les scores ont été comparés localement au correcteur de production. Aucune réponse initiale reçue ni coupure n’a été répétée.
- Échecs de transport visibles
- Une tentative HTTP 503 supplémentaire sans réponse a été confirmée non facturée puis répétée à l’identique. Elle a duré 29,516 secondes. Profils de développement et reprises sont documentés séparément.
- Évaluation exploratoire interne
- UniversalIQTest.com exploite le test source et a conduit l’étude. Empreintes des requêtes et images, temps par question, notation et coûts ont été vérifiés localement. Aucune évaluation externe par les pairs n’a été réalisée.
Versions exactes et fournisseurs initiaux
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Empreinte du protocole initial: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Ce que le rapport permet d’établir
Il décrit les performances sur un ensemble public précis avec des paramètres API déclarés. Achèvement, erreurs, latence et coûts nécessitent des comptes rendus distincts. Un seul passage initial par modèle : la variation entre passages n’a pas été estimée.
Les questions publiques ont pu figurer dans les données d’entraînement ; cette contamination n’a pas été mesurée. L’affichage fixe numéroté diffère du test humain interactif. Les profils ultérieurs utilisaient d’autres paramètres et conditions, sans permettre de classement de latence.
Aucun QI humain ni percentile n’a été mesuré ou attribué aux modèles. Les normes humaines ne se transfèrent pas automatiquement aux IA. Une évaluation complète répétée exigerait un nouveau plan de collecte figé à l’avance. Analyse de l’OCDE sur les tests humains appliqués à l’IA
Mesures et référence
Usage API enregistré : 4,478100 $US pour le passage initial, 4,843563 $US pour le développement et 0,334781 $US pour les essais techniques. Total : 9,656444 $US (9,66 $US après arrondi). Rapproché de la facturation ; frais et taxes exclus.
- Rapport (Markdown, anglais)
- Résultats agrégés (JSON)
- Mesures par question (JSON)
- Méthodes (JSON)
- Empreintes des fichiers (JSON)
Toutes les langues partagent les fichiers sources. Rapport téléchargeable, graphique, noms de champs JSON et consigne initiale sont en anglais. Solutions, corrigé privé, données des participants, identifiants et texte de raisonnement sont exclus. La référence ci-dessous conserve le titre initial.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testQuestions fréquentes
- S’agit-il de scores de QI des IA ?
- Ce sont des résultats bruts sur 40 questions de raisonnement visuel. Aucun QI humain ni percentile n’a été mesuré ou attribué. Les échecs au plafond et le passage unique empêchent un classement d’intelligence générale.
- Que signifie une réponse de calibration valide ?
- Une réponse complète au format JSON requis. La calibration n’a pas été notée : six réponses valides ne sont pas six réponses correctes. Elles n’ont pas remplacé les réponses initiales.
- Modèles et humains ont-ils passé le même test ?
- Les figures proviennent du même test public de 40 questions. Les modèles recevaient des images fixes avec huit choix numérotés, une consigne anglaise fixe et un nouveau contexte. L’expérience humaine interactive n’a pas été reproduite. Traduire ce rapport ne change pas la langue de l’expérience.
- Le temps a-t-il été mesuré pour chaque question ?
- Oui, pour les 120 emplacements initiaux. Les durées API comprennent réseau, attente, traitement d’image et génération ; ce ne sont ni le seul temps de réflexion ni le temps actif humain. Les tentatives supplémentaires échouées sont séparées.
Découvrez le format des questions ou nos méthodes.