Informe preliminar ·
Tres modelos de IA ante 40 preguntas de razonamiento visual
Informe preliminar sobre aciertos, respuestas completas, latencia de API y coste: una ejecución de 40 preguntas por modelo y comprobaciones de desarrollo separadas sobre límites de razonamiento y transmisión.
- versiones fechadas de modelos
- 3
- preguntas por modelo
- 40
- ejecución original por modelo
- 1
La ejecución original de 40 preguntas
Todos los modelos usaron razonamiento medio y un máximo total de 8.192 tokens de salida, incluido el razonamiento. Un corte por límite cuenta como fallo en la puntuación bruta.
Deslice la tabla lateralmente para ver todas las columnas.
| Modelo | Correctas / 40 | Incorrectas | Cortes por límite | Válidas / 40 | Mediana de tiempo API | Uso de API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 s | 0,92 US$ |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 s | 1,76 US$ |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 s | 1,80 US$ |
Válida significa completa y en el formato requerido. El tiempo de API incluye red, espera y generación; esta mediana incluye los cortes por tokens. El intento HTTP adicional fallido se registra aparte. Los costes mostrados se redondean; las descargas conservan los importes exactos.
Por qué importa completar la respuesta
Carbon devolvió una respuesta incorrecta y tuvo cinco cortes por tokens. Astra devolvió tres incorrectas y no tuvo cortes. La diferencia aparente incluye distintas oportunidades de terminar, incluso con el mismo límite nominal.
El razonamiento consume parte del presupuesto de salida y puede dejar la respuesta final vacía al agotarlo. Límites de tokens iguales y etiquetas como «medio» no implican el mismo cómputo entre proveedores. Documentación de OpenRouter sobre tokens de razonamiento
Comprobación de sensibilidad posterior
En las 34 preguntas con respuestas válidas de todos los modelos, Carbon y Astra lograron 33/34 cada uno; Fable, 30/34. El subconjunto se eligió tras observar los fallos y excluye las preguntas cortadas. Es un análisis de sensibilidad, no una clasificación alternativa sin sesgo ni una prueba de capacidad equivalente.
Comprobaciones de desarrollo separadas
Se eligieron las posiciones 24, 28, 35, 36, 38 y 40 porque al menos un modelo agotó el límite original en cada una. Se comprobaron finalización, transmisión, tiempo y coste. No se calificó la exactitud: 6/6 respuestas válidas no significa seis respuestas correctas. No sustituyeron las puntuaciones originales.
Deslice la tabla lateralmente para ver todas las columnas.
| Perfil | Límite de salida | Válidas / 6 | Cortes por límite | No disponibles | Uso de API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · razonamiento altoRazonamiento excluido de la respuesta de API | 32.768 | 6/6 | 0 | 0 | 1,08 US$ |
| Claude Fable 5.2Anthropic · razonamiento altoRazonamiento excluido de la respuesta de API | 32.768 | 6/6 | 0 | 0 | 0,80 US$ |
| Gemini 4 CarbonGoogle AI Studio · razonamiento altoRazonamiento excluido de la respuesta de API | 32.768 | 3/6 | 1 | 2 | 1,05 US$ |
| Gemini 4 CarbonGoogle Vertex global · razonamiento altoRazonamiento excluido de la respuesta de API | 65.536 | 3/6 | 0 | 3 | 0,49 US$ |
| Gemini 4 CarbonGoogle Vertex global · razonamiento altoProgreso de API incluido; texto descartado localmente | 65.536 | 6/6 | 0 | 0 | 1,42 US$ |
El primer perfil de Carbon también tuvo un tiempo de espera anterior sin respuesta ni cargo; su única recuperación terminó. Ese intento fallido permanece en las mediciones. Las preguntas no disponibles posteriores se conservaron sin reintento.
Una pregunta usó 51.145 tokens de salida
El perfil final de Carbon usó Vertex, un límite de 65.536 tokens y progreso de razonamiento en streaming cuyo texto se descartó localmente. Completó las seis preguntas. Una tardó 10 minutos y 56 segundos; otra, 6 minutos y 43 segundos. Ambas superaron el límite anterior de cinco minutos.
Esto respalda una configuración funcional para esas preguntas de desarrollo. No demuestra una causa universal de los tiempos de espera, no garantiza futuras respuestas completas ni ofrece una nueva puntuación de aciertos sobre 40 preguntas. Los fallos previos permanecen separados.
Cómo se realizó el estudio
- Misma tarea, contexto nuevo
- Una imagen estática de 1152 × 1552 por pregunta, con ocho opciones numeradas. Se usaron el mismo prompt en inglés y un esquema JSON estricto. No se proporcionaron herramientas, navegación, pistas ni clave de corrección.
- Opciones fijadas y corrección local
- Una mezcla equilibrada con semilla fija relacionó las etiquetas mostradas con las opciones originales. Las puntuaciones se contrastaron localmente con el corrector de producción. No se repitió ninguna respuesta original recibida ni ningún corte por límite.
- Los fallos de transporte siguen visibles
- Un intento adicional HTTP 503 sin respuesta en la ejecución original se confirmó sin cargo y se repitió de forma idéntica. Duró 29,516 segundos. Los perfiles de desarrollo y las recuperaciones se documentan aparte.
- Evaluación exploratoria interna
- UniversalIQTest.com opera el test original y realizó este estudio. Se verificaron localmente hashes de solicitudes e imágenes, tiempos por pregunta, corrección y costes. No hubo revisión externa por pares.
Versiones exactas y proveedores originales
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Huella del protocolo original: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Qué permite concluir el informe
Documenta el rendimiento en un conjunto público concreto con ajustes de API declarados. Finalización, errores, latencia y coste deben informarse por separado. Hubo una ejecución original por modelo, sin estimación de variación entre ejecuciones.
Las preguntas públicas podrían haber aparecido en los datos de entrenamiento; no se midió esa contaminación. El diseño estático numerado difiere del test humano interactivo. Los perfiles posteriores usaron ajustes y condiciones distintos, por lo que no establecen una clasificación de latencia.
No se midió ni asignó CI humano ni percentil a ningún modelo. Las normas humanas no se transfieren automáticamente a la IA. Una evaluación completa repetida requeriría un nuevo plan de recogida fijado de antemano. Análisis de la OCDE sobre tests humanos para evaluar IA
Mediciones y cita
Uso de API registrado: 4,478100 US$ en la ejecución original, 4,843563 US$ en comprobaciones de desarrollo y 0,334781 US$ en pilotos técnicos. Total: 9,656444 US$ (9,66 US$ redondeado). Conciliado con la facturación; excluye comisiones e impuestos.
- Informe (Markdown, inglés)
- Resultados agregados (JSON)
- Mediciones por pregunta (JSON)
- Métodos (JSON)
- Hashes de archivos (JSON)
Todos los idiomas comparten los archivos fuente. El informe descargable, el gráfico, los campos JSON y el prompt original están en inglés. Se excluyen soluciones, clave privada de corrección, datos de participantes, credenciales y texto de razonamiento. La cita siguiente conserva el título original.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testPreguntas frecuentes
- ¿Son puntuaciones de CI de la IA?
- Son resultados brutos de 40 preguntas de razonamiento visual. No se midió ni asignó CI humano ni percentil. Los fallos por límite y una sola ejecución impiden una clasificación de inteligencia general.
- ¿Qué significa una respuesta de calibración válida?
- Una respuesta completa en el JSON exigido. La calibración no se calificó: seis válidas no equivalen a seis correctas. No sustituyeron las respuestas originales.
- ¿Modelos y personas hicieron el mismo test?
- Las figuras proceden del mismo test público de 40 preguntas. Los modelos recibieron imágenes estáticas con ocho opciones numeradas, un prompt fijo en inglés y contexto nuevo. No se reprodujo la experiencia humana interactiva. Traducir este informe no cambia el idioma del experimento.
- ¿Se midió el tiempo de cada pregunta?
- Sí, de las 120 posiciones originales. Los tiempos API incluyen red, espera, procesamiento de imagen y generación; no son tiempo de pensamiento aislado ni tiempo humano activo. Los intentos adicionales fallidos se registran aparte.
Explore el formato de las preguntas o consulte nuestros métodos.