Попередній звіт ·
Три моделі ШІ на 40 завданнях із візуального мислення
Попередній звіт про точність, завершеність відповідей, затримку API та вартість: один прохід із 40 завдань на модель і окремі перевірки лімітів міркування та передавання відповідей.
- датовані версії моделей
- 3
- завдань на модель
- 40
- початковий прохід на модель
- 1
Початковий прохід із 40 завдань
Усі моделі використовували середній рівень міркування та загальний ліміт 8 192 вихідних токени, включно з міркуванням. Обрив через ліміт вважається невдачею в сирому балі.
Прокрутіть таблицю вбік, щоб побачити всі стовпці.
| Модель | Правильні / 40 | Неправильні | Обриви через ліміт | Валідні / 40 | Медіанний час API | Витрати API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 с | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 с | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 с | 1,80 USD |
Валідна означає завершена відповідь у потрібному форматі. Час API охоплює мережу, чергу й генерацію; медіана враховує обриви через ліміт. Додаткову невдалу HTTP-спробу записано окремо. Суми округлено, у файлах збережені точні витрати.
Чому завершення відповіді важливе
Carbon надав одну неправильну відповідь і мав п’ять обривів за токенами. Astra надав три неправильні відповіді без обривів. Видима різниця охоплює різні можливості завершити відповідь навіть за однакового номінального ліміту.
Міркування витрачає частину вихідного бюджету; після його вичерпання кінцевої відповіді може не бути. Рівні ліміти й назви на зразок «середній» не означають однакових обчислень у різних постачальників. Документація OpenRouter про токени міркування
Перевірка чутливості після збору даних
На 34 завданнях із валідними відповідями всіх моделей Carbon і Astra отримали по 33/34, Fable — 30/34. Підмножину обрано після спостереження збоїв, вона виключає обриви. Це перевірка чутливості, а не неупереджений новий рейтинг чи доказ рівних здібностей.
Окремі перевірки під час розробки
Обрано позиції 24, 28, 35, 36, 38 та 40: на кожній принаймні одна модель вичерпала початковий ліміт. Перевіряли завершення, передавання, час і вартість. Правильність не оцінювали: 6/6 валідних відповідей не означає шість правильних. Вони не замінювали початкові оцінки.
Прокрутіть таблицю вбік, щоб побачити всі стовпці.
| Профіль | Ліміт виведення | Валідні / 6 | Обриви через ліміт | Недоступні | Витрати API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · високий рівень міркуванняМіркування виключено з відповіді API | 32 768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · високий рівень міркуванняМіркування виключено з відповіді API | 32 768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · високий рівень міркуванняМіркування виключено з відповіді API | 32 768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · високий рівень міркуванняМіркування виключено з відповіді API | 65 536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · високий рівень міркуванняПеребіг API включено; текст видалено локально | 65 536 | 6/6 | 0 | 0 | 1,42 USD |
Початковий профіль Carbon також мав раніший тайм-аут без відповіді, за який не стягувалася плата; єдина відновлювальна спроба завершилася. Невдала спроба лишається у вимірюваннях. Подальші недоступні завдання збережені без повторів.
Одне завдання використало 51 145 вихідних токенів
Фінальний профіль Carbon використовував Vertex, ліміт 65 536 токенів та потоковий перебіг міркування з локальним видаленням тексту. Усі шість завдань завершено. Одне тривало 10 хвилин 56 секунд, інше — 6 хвилин 43 секунди. Обидва перевищили попередній тайм-аут у п’ять хвилин.
Це підтверджує робочу конфігурацію для цих перевірочних завдань. Це не доводить універсальної причини тайм-аутів, не гарантує майбутнього завершення й не дає нового показника точності на 40 завданнях. Попередні збої лишаються окремо.
Як проводили дослідження
- Те саме завдання, новий контекст
- Одне статичне зображення 1152 × 1552 із запитанням і вісьмома нумерованими варіантами. Однаковий англійський промпт і сувора схема JSON. Без інструментів, браузера, підказок чи ключа відповідей.
- Фіксовані варіанти та локальне оцінювання
- Збалансоване перемішування з фіксованим зерном пов’язувало видимі номери з початковими варіантами. Бали локально звірено з робочим алгоритмом оцінювання. Отримані початкові відповіді й обриви не повторювали.
- Збої передавання залишаються видимими
- Підтверджено, що за одну додаткову спробу HTTP 503 без відповіді в початковому проході не стягувалася плата; запит повторено без змін. Спроба тривала 29,516 секунди. Профілі розробки та відновлення описані окремо.
- Внутрішнє розвідувальне оцінювання
- UniversalIQTest.com керує початковим тестом і провів дослідження. Хеші запитів та зображень, час завдань, оцінювання й витрати перевірено локально. Зовнішнього наукового рецензування не було.
Точні версії моделей і початкові постачальники
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Відбиток початкового протоколу: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Що дозволяє встановити звіт
Він описує роботу на конкретному публічному наборі за заявлених налаштувань API. Завершення, помилки, затримку й витрати слід подавати окремо. Один початковий прохід на модель не дає оцінки мінливості між проходами.
Публічні завдання могли бути в навчальних даних; це не вимірювали. Статичне нумероване подання відрізняється від інтерактивного людського тесту. Пізніші профілі мали інші налаштування та умови збору, тому не дають рейтингу затримки.
Людський IQ чи процентиль моделям не вимірювали й не присвоювали. Норми людських тестів не переносяться автоматично на ШІ. Повторне повне оцінювання потребує нового заздалегідь зафіксованого плану збору. Обговорення ОЕСР щодо людських тестів для ШІ
Вимірювання та цитування
Зафіксовані витрати API: 4,478100 USD на початковий прохід, 4,843563 USD на перевірки розробки та 0,334781 USD на технічні проби. Разом: 9,656444 USD (округлено 9,66 USD). Звірено з рахунками; без комісій і податків.
- Звіт (Markdown, англійською)
- Зведені результати (JSON)
- Вимірювання за завданнями (JSON)
- Методи (JSON)
- Хеші файлів (JSON)
Усі мови використовують ті самі джерельні файли. Завантажуваний звіт, графік, поля JSON і початковий промпт — англійською. Розв’язки, приватний ключ оцінювання, дані учасників, облікові дані та текст міркувань виключені. Цитата нижче зберігає оригінальну назву.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testПоширені запитання
- Це показники IQ моделей ШІ?
- Це сирі результати 40 завдань із візуального мислення. Людський IQ чи процентиль не вимірювали й не присвоювали. Ліміти виведення та один прохід не дозволяють ранжувати загальний інтелект.
- Що означає валідна відповідь калібрування?
- Завершена відповідь у потрібному форматі JSON. Калібрування не оцінювали: шість валідних не означає шість правильних. Вони не замінювали початкові відповіді.
- Моделі й люди проходили той самий тест?
- Фігури взято з того самого публічного тесту на 40 завдань. Моделі отримували статичні зображення з вісьмома варіантами, фіксований англійський промпт і новий контекст. Інтерактивний людський досвід не відтворювали. Переклад звіту не змінює мови експерименту.
- Чи вимірювали час кожного завдання?
- Так, для всіх 120 початкових позицій. Час API охоплює мережу, чергу, обробку зображень і генерацію, а не лише мислення чи активний час людини. Додаткові невдалі спроби записані окремо.
Ознайомтеся з форматом завдань або нашими методами.