Предварительный отчёт ·
Три модели ИИ на 40 заданиях по визуальному мышлению
Предварительный отчёт о точности, завершённости ответов, задержке API и стоимости: один проход из 40 заданий на модель и отдельные проверки лимитов рассуждения и передачи ответов.
- датированные версии моделей
- 3
- заданий на модель
- 40
- исходный проход на модель
- 1
Исходный проход из 40 заданий
Все модели использовали средний уровень рассуждения и общий лимит 8 192 выходных токена, включая рассуждение. Обрыв по лимиту считается неуспехом в сыром балле.
Прокрутите таблицу вбок, чтобы увидеть все столбцы.
| Модель | Правильные / 40 | Неправильные | Обрывы по лимиту | Валидные / 40 | Медиана времени API | Расходы API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0 % | 1 | 5 | 35/40 | 13,9 с | 0,92 $ |
| Claude Fable 5.2Anthropic | 32/4080,0 % | 7 | 1 | 39/40 | 4,0 с | 1,76 $ |
| GPT-6 AstraOpenAI | 37/4092,5 % | 3 | 0 | 40/40 | 3,7 с | 1,80 $ |
Валидный — завершённый ответ в нужном формате. Время API включает сеть, очередь и генерацию; медиана учитывает и обрывы по лимиту. Дополнительная неудачная HTTP-попытка записана отдельно. Показанные суммы округлены, в файлах сохранены точные расходы.
Почему завершение ответа важно
Carbon дал один неправильный ответ и пять обрывов по токенам. Astra дал три неправильных ответа без обрывов. Видимая разница включает разные возможности завершить ответ даже при одинаковом номинальном лимите.
Рассуждение расходует часть выходного бюджета, и при его исчерпании итогового ответа может не быть. Равные лимиты и названия вроде «средний» не означают равных вычислений у разных поставщиков. Документация OpenRouter о токенах рассуждения
Проверка чувствительности после сбора данных
На 34 заданиях с валидными ответами всех моделей Carbon и Astra получили по 33/34, Fable — 30/34. Подмножество выбрано после наблюдения сбоев и исключает обрывы. Это проверка чувствительности, а не беспристрастный новый рейтинг или доказательство равных способностей.
Отдельные проверки при разработке
Выбраны позиции 24, 28, 35, 36, 38 и 40: на каждой хотя бы одна модель исчерпала исходный лимит. Проверялись завершение, передача, время и стоимость. Правильность не оценивалась: 6/6 валидных ответов не означает шесть правильных. Они не подменяли исходные оценки.
Прокрутите таблицу вбок, чтобы увидеть все столбцы.
| Профиль | Лимит вывода | Валидные / 6 | Обрывы по лимиту | Недоступные | Расходы API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · высокий уровень рассужденияРассуждение исключено из ответа API | 32 768 | 6/6 | 0 | 0 | 1,08 $ |
| Claude Fable 5.2Anthropic · высокий уровень рассужденияРассуждение исключено из ответа API | 32 768 | 6/6 | 0 | 0 | 0,80 $ |
| Gemini 4 CarbonGoogle AI Studio · высокий уровень рассужденияРассуждение исключено из ответа API | 32 768 | 3/6 | 1 | 2 | 1,05 $ |
| Gemini 4 CarbonGoogle Vertex global · высокий уровень рассужденияРассуждение исключено из ответа API | 65 536 | 3/6 | 0 | 3 | 0,49 $ |
| Gemini 4 CarbonGoogle Vertex global · высокий уровень рассужденияПрогресс API включён; текст удалён локально | 65 536 | 6/6 | 0 | 0 | 1,42 $ |
У начального профиля Carbon также был более ранний тайм-аут без ответа, за который не взималась плата; единственная восстановительная попытка завершилась. Сбой остаётся в измерениях. Последующие недоступные задания сохранены без повторов.
Одно задание потребовало 51 145 выходных токенов
Финальный профиль Carbon использовал Vertex, лимит 65 536 токенов и потоковый прогресс рассуждения с локальным удалением текста. Все шесть заданий завершились. Одно заняло 10 минут 56 секунд, другое — 6 минут 43 секунды. Оба превысили прежний тайм-аут в пять минут.
Это подтверждает рабочую настройку для этих проверочных заданий. Это не доказывает универсальную причину тайм-аутов, не гарантирует будущего завершения и не даёт новой оценки точности на 40 заданиях. Прежние сбои остаются отдельно.
Как проводилось исследование
- То же задание, новый контекст
- Одно статичное изображение 1152 × 1552 с вопросом и восемью пронумерованными вариантами. Одинаковый английский промпт и строгая схема JSON. Без инструментов, браузера, подсказок и ключа ответов.
- Фиксированные варианты и локальная проверка
- Сбалансированное перемешивание с фиксированным зерном связывало видимые номера с исходными вариантами. Баллы локально сверены с рабочим алгоритмом оценки. Полученные исходные ответы и обрывы не повторялись.
- Сбои передачи остаются видимыми
- Подтверждено, что за одну дополнительную попытку HTTP 503 без ответа в исходном проходе не взималась плата; запрос повторён без изменений. Попытка заняла 29,516 секунды. Профили разработки и восстановления описаны отдельно.
- Внутренняя разведочная оценка
- UniversalIQTest.com управляет исходным тестом и провёл исследование. Хеши запросов и изображений, время заданий, баллы и расходы проверены локально. Внешнее научное рецензирование не проводилось.
Точные версии моделей и исходные поставщики
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Отпечаток исходного протокола: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Что позволяет установить отчёт
Он описывает работу на конкретном публичном наборе при заявленных настройках API. Завершение, ошибки, задержку и стоимость нужно показывать отдельно. Один исходный проход на модель не позволяет оценить вариативность между проходами.
Публичные задания могли входить в обучающие данные; это не проверялось. Статичное нумерованное представление отличается от интерактивного теста для людей. Последующие профили имели другие настройки и условия сбора и не дают рейтинга задержки.
Человеческий IQ и процентиль моделей не измерялись и не присваивались. Нормы человеческих тестов не переносятся автоматически на ИИ. Для повторной полной оценки нужен новый заранее зафиксированный план сбора. Обсуждение ОЭСР о человеческих тестах для оценки ИИ
Измерения и цитирование
Учтённые расходы API: 4,478100 $ на исходный проход, 4,843563 $ на проверки разработки, 0,334781 $ на технические пробы. Всего: 9,656444 $ (округлённо 9,66 $). Сверено со счетами; комиссии и налоги исключены.
- Отчёт (Markdown, английский)
- Сводные результаты (JSON)
- Измерения по заданиям (JSON)
- Методы (JSON)
- Хеши файлов (JSON)
Все языки используют одни исходные файлы. Скачиваемый отчёт, график, поля JSON и исходный промпт — на английском. Решения, закрытый ключ оценки, данные участников, учётные данные и текст рассуждения исключены. Ниже цитируется оригинальное название отчёта.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testЧастые вопросы
- Это оценки IQ моделей ИИ?
- Это сырые результаты 40 заданий по визуальному мышлению. Человеческий IQ и процентиль не измерялись и не присваивались. Лимиты вывода и один проход не дают рейтинга общего интеллекта.
- Что означает валидный ответ калибровки?
- Завершённый ответ в нужном JSON-формате. Правильность калибровки не оценивали: шесть валидных — не шесть правильных. Они не заменяли исходные ответы.
- Модели и люди проходили один тест?
- Фигуры взяты из того же публичного теста на 40 заданий. Модели получали статичные изображения с восемью вариантами, фиксированный английский промпт и новый контекст. Интерактивный опыт людей не воспроизводился. Перевод отчёта не меняет язык эксперимента.
- Измерялось ли время каждого задания?
- Да, для всех 120 исходных позиций. Время API включает сеть, очередь, обработку изображений и генерацию, а не только мышление или активное время ответа человека. Дополнительные неудачные попытки записаны отдельно.
Изучите формат заданий или наши методы.