Relatório preliminar ·
Três modelos de IA em 40 questões de raciocínio visual
Relatório preliminar sobre acertos, respostas completas, latência da API e custo: uma execução de 40 questões por modelo e verificações de desenvolvimento separadas sobre limites de raciocínio e transmissão.
- versões datadas dos modelos
- 3
- questões por modelo
- 40
- execução original por modelo
- 1
A execução original de 40 questões
Todos os modelos usaram raciocínio médio e um limite total de 8.192 tokens de saída, incluindo o raciocínio. Um corte pelo limite conta como falha na pontuação bruta.
Deslize a tabela para os lados para ver todas as colunas.
| Modelo | Corretas / 40 | Erradas | Cortes por limite | Válidas / 40 | Tempo mediano da API | Uso da API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 s | US$ 0,92 |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 s | US$ 1,76 |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 s | US$ 1,80 |
Válida significa completa e no formato exigido. O tempo da API inclui rede, fila e geração; essa mediana inclui cortes por tokens. A tentativa HTTP adicional que falhou é registrada à parte. Os custos exibidos são arredondados; os arquivos mantêm valores exatos.
Por que concluir a resposta importa
Carbon retornou uma resposta errada e teve cinco cortes por tokens. Astra retornou três erradas, sem cortes. A diferença aparente inclui oportunidades distintas de concluir, mesmo sob o mesmo limite nominal.
O raciocínio consome parte do limite de saída e pode deixar o modelo sem resposta final ao esgotá-lo. Limites iguais e rótulos como “médio” não significam o mesmo esforço computacional entre provedores. Documentação do OpenRouter sobre tokens de raciocínio
Verificação de sensibilidade posterior
Nas 34 questões com respostas válidas de todos os modelos, Carbon e Astra acertaram 33/34 cada; Fable, 30/34. Esse subconjunto foi escolhido após observar as falhas e exclui questões cortadas. É uma análise de sensibilidade, não uma classificação substituta sem viés nem evidência de capacidade equivalente.
Verificações de desenvolvimento separadas
Foram escolhidas as posições 24, 28, 35, 36, 38 e 40 porque ao menos um modelo esgotou o limite original em cada uma. Verificaram-se conclusão, transmissão, tempo e custo. A exatidão não foi pontuada: 6/6 respostas válidas não significa seis respostas corretas. Elas não substituíram as pontuações originais.
Deslize a tabela para os lados para ver todas as colunas.
| Perfil | Limite de saída | Válidas / 6 | Cortes por limite | Indisponíveis | Uso da API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · raciocínio altoRaciocínio excluído da resposta da API | 32.768 | 6/6 | 0 | 0 | US$ 1,08 |
| Claude Fable 5.2Anthropic · raciocínio altoRaciocínio excluído da resposta da API | 32.768 | 6/6 | 0 | 0 | US$ 0,80 |
| Gemini 4 CarbonGoogle AI Studio · raciocínio altoRaciocínio excluído da resposta da API | 32.768 | 3/6 | 1 | 2 | US$ 1,05 |
| Gemini 4 CarbonGoogle Vertex global · raciocínio altoRaciocínio excluído da resposta da API | 65.536 | 3/6 | 0 | 3 | US$ 0,49 |
| Gemini 4 CarbonGoogle Vertex global · raciocínio altoProgresso da API incluído; texto descartado localmente | 65.536 | 6/6 | 0 | 0 | US$ 1,42 |
O perfil inicial do Carbon também teve uma expiração de tempo anterior, sem resposta nem cobrança, cuja única recuperação foi concluída. Essa falha permanece nas medições. As indisponibilidades posteriores foram mantidas sem nova tentativa.
Uma questão usou 51.145 tokens de saída
O perfil final do Carbon usou Vertex, limite de 65.536 tokens e progresso de raciocínio em fluxo, descartando o texto localmente. As seis questões foram concluídas. Uma levou 10 minutos e 56 segundos; outra, 6 minutos e 43 segundos. Ambas ultrapassaram o limite anterior de cinco minutos.
Isso sustenta uma configuração funcional para essas questões de desenvolvimento. Não prova uma causa universal dos tempos esgotados, não garante futuras conclusões nem fornece uma nova pontuação de acertos em 40 questões. As falhas anteriores ficam separadas.
Como o estudo foi realizado
- Mesma tarefa, contexto novo
- Uma imagem estática de 1152 × 1552 por questão, com oito alternativas numeradas. Usaram-se o mesmo prompt em inglês e um esquema JSON estrito. Não foram fornecidos ferramentas, navegação, dicas ou gabarito.
- Alternativas fixadas e correção local
- Um embaralhamento equilibrado com semente fixa relacionou os números exibidos às alternativas originais. As pontuações foram conferidas localmente com o avaliador de produção. Nenhuma resposta original recebida ou corte foi repetido.
- Falhas de transporte visíveis
- Uma tentativa HTTP 503 adicional sem resposta na execução original foi confirmada sem cobrança e repetida de forma idêntica. Levou 29,516 segundos. Perfis de desenvolvimento e recuperações são documentados separadamente.
- Avaliação exploratória interna
- UniversalIQTest.com opera o teste original e conduziu o estudo. Hashes de solicitações e imagens, tempos por questão, correção e custos foram verificados localmente. Não houve revisão externa por pares.
Versões exatas e provedores originais
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Impressão digital do protocolo original: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
O que este relatório permite concluir
Documenta o desempenho em um conjunto público específico sob configurações de API declaradas. Conclusão, erros, latência e custo precisam de apresentação separada. Houve uma execução original por modelo, sem estimativa de variação entre execuções.
Questões públicas podem ter aparecido nos dados de treinamento; essa contaminação não foi medida. A apresentação estática numerada difere do teste humano interativo. Perfis posteriores usaram configurações e condições distintas e não estabelecem uma classificação de latência.
Nenhum QI humano ou percentil foi medido ou atribuído aos modelos. Normas humanas não se transferem automaticamente à IA. Uma avaliação completa repetida exigiria um novo plano de coleta fixado previamente. Discussão da OCDE sobre testes humanos para avaliar IA
Medições e citação
Uso de API registrado: US$ 4,478100 na execução original, US$ 4,843563 nas verificações de desenvolvimento e US$ 0,334781 nos pilotos técnicos. Total: US$ 9,656444 (US$ 9,66 arredondado). Conciliado com a cobrança; exclui taxas e impostos.
- Relatório (Markdown, inglês)
- Resultados agregados (JSON)
- Medições por questão (JSON)
- Métodos (JSON)
- Hashes dos arquivos (JSON)
Todos os idiomas compartilham os arquivos fonte. Relatório para download, gráfico, campos JSON e prompt original estão em inglês. Excluem-se soluções, gabarito privado, dados de participantes, credenciais e texto de raciocínio. A citação abaixo usa o título original.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testPerguntas frequentes
- São pontuações de QI das IAs?
- São resultados brutos em 40 questões de raciocínio visual. Nenhum QI humano ou percentil foi medido ou atribuído. Falhas por limite e uma única execução impedem uma classificação de inteligência geral.
- O que é uma resposta de calibração válida?
- Uma resposta completa no JSON exigido. A calibração não foi pontuada: seis válidas não significam seis corretas. Elas não substituíram respostas originais.
- Modelos e pessoas fizeram o mesmo teste?
- As figuras vieram do mesmo teste público de 40 questões. Os modelos receberam imagens estáticas com oito opções numeradas, prompt fixo em inglês e contexto novo. A experiência humana interativa não foi reproduzida. Traduzir este relatório não altera o idioma do experimento.
- O tempo de cada questão foi medido?
- Sim, nas 120 posições originais. Os tempos API incluem rede, fila, processamento de imagem e geração; não são apenas tempo de raciocínio nem tempo humano ativo. Tentativas adicionais com falha são registradas separadamente.
Conheça o formato das questões ou leia sobre nossos métodos.