Предварителен доклад ·
Три модела на ИИ върху 40 задачи за визуално мислене
Предварителен доклад за точност, завършени отговори, закъснение на API и разходи: едно изпълнение с 40 задачи на модел и отделни проверки на ограниченията за разсъждение и предаването.
- датирани версии на моделите
- 3
- задачи на модел
- 40
- първоначално изпълнение на модел
- 1
Първоначалното изпълнение с 40 задачи
Всички модели използваха средно ниво на разсъждение и общ лимит от 8 192 изходни токена, включително разсъждението. Прекъсване на лимита се брои като неуспех в суровата оценка.
Плъзнете таблицата настрани, за да видите всички колони.
| Модел | Верни / 40 | Грешни | Прекъснати от лимит | Валидни / 40 | Медианно време на API | Използване на API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 сек | 0,92 щ.д. |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 сек | 1,76 щ.д. |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 сек | 1,80 щ.д. |
Валиден означава завършен отговор в изисквания формат. Времето на API включва мрежа, опашка и генериране; медианата включва прекъсванията от лимит. Допълнителният неуспешен HTTP опит е записан отделно. Показаните суми са закръглени, файловете пазят точните разходи.
Защо завършването е важно
Carbon даде един грешен отговор и имаше пет прекъсвания от токени. Astra даде три грешни отговора без прекъсвания. Видимата разлика включва различни възможности за завършване дори при еднакъв номинален лимит.
Разсъждението използва част от изходния бюджет и при изчерпването му може да няма окончателен отговор. Равни лимити и етикети като „средно“ не означават еднакви изчисления при различните доставчици. Документация на OpenRouter за токени за разсъждение
Последваща проверка на чувствителността
На 34 задачи с валидни отговори от всички модели Carbon и Astra получиха по 33/34, а Fable 30/34. Подмножеството е избрано след наблюдение на неуспехите и изключва прекъснатите задачи. Това е проверка на чувствителността, не безпристрастна заместваща класация или доказателство за равни способности.
Отделни проверки при разработката
Избрани са позиции 24, 28, 35, 36, 38 и 40, защото поне един модел изчерпа първоначалния лимит на всяка. Проверени са завършването, предаването, времето и разходът. Правилността не е оценявана: 6/6 валидни отговора не означава шест верни. Те не заменят първоначалните оценки.
Плъзнете таблицата настрани, за да видите всички колони.
| Профил | Изходен лимит | Валидни / 6 | Прекъснати от лимит | Недостъпни | Използване на API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · високо ниво на разсъждениеРазсъждението е изключено от отговора на API | 32 768 | 6/6 | 0 | 0 | 1,08 щ.д. |
| Claude Fable 5.2Anthropic · високо ниво на разсъждениеРазсъждението е изключено от отговора на API | 32 768 | 6/6 | 0 | 0 | 0,80 щ.д. |
| Gemini 4 CarbonGoogle AI Studio · високо ниво на разсъждениеРазсъждението е изключено от отговора на API | 32 768 | 3/6 | 1 | 2 | 1,05 щ.д. |
| Gemini 4 CarbonGoogle Vertex global · високо ниво на разсъждениеРазсъждението е изключено от отговора на API | 65 536 | 3/6 | 0 | 3 | 0,49 щ.д. |
| Gemini 4 CarbonGoogle Vertex global · високо ниво на разсъждениеВключен напредък на API; текстът е изхвърлен локално | 65 536 | 6/6 | 0 | 0 | 1,42 щ.д. |
Първият профил Carbon имаше и по-ранно изтичане на време без отговор и без таксуване; единственият възстановителен опит завърши. Неуспешният опит остава в измерванията. По-късните недостъпни задачи са запазени без повторение.
Една задача използва 51 145 изходни токена
Последният профил Carbon използва Vertex, лимит 65 536 токена и потоков напредък на разсъждението с локално изхвърляне на текста. И шестте задачи завършиха. Една отне 10 минути 56 секунди, друга 6 минути 43 секунди. И двете надвишиха предишния петминутен срок.
Това подкрепя работеща настройка за тези развойни задачи. Не доказва универсална причина за изтичане на време, не гарантира бъдещо завършване и не дава нова точност върху 40 задачи. Предишните неуспехи остават отделни.
Как е проведено изследването
- Същата задача, нов контекст
- Едно статично изображение 1152 × 1552 на задача с осем номерирани възможности. Еднакъв английски промпт и строга JSON схема. Без инструменти, браузър, подсказки или ключ с отговори.
- Фиксирани възможности и локално оценяване
- Балансирано разбъркване с фиксирано семе свързваше показаните номера с първоначалните възможности. Оценките са сверени локално с работния оценител. Получени първоначални отговори и прекъсвания не се повтаряха.
- Грешките при предаване остават видими
- Един допълнителен HTTP 503 опит без отговор е потвърден като нетаксуван и повторен идентично. Отне 29,516 секунди. Развойните профили и възстановяванията са документирани отделно.
- Вътрешна проучвателна оценка
- UniversalIQTest.com управлява изходния тест и проведе изследването. Хешове на заявки и изображения, времена, оценяване и разходи са проверени локално. Външно научно рецензиране не е извършвано.
Точни версии и първоначални доставчици
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Отпечатък на първоначалния протокол: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Какво може да установи докладът
Документира представяне върху конкретен публичен набор с обявени настройки на API. Завършване, грешки, закъснение и разходи се отчитат отделно. Едно първоначално изпълнение на модел не оценява изменчивостта между изпълненията.
Публичните задачи може да са били в обучителните данни; това не е измервано. Статичната номерирана подредба се различава от интерактивния човешки тест. По-късните профили имат различни настройки и условия и не дават класация по закъснение.
Човешки IQ или персентил не е измерван или приписван на моделите. Човешките норми не се пренасят автоматично към ИИ. Повторна пълна оценка изисква нов предварително фиксиран план за събиране. Обсъждане на ОИСР за човешки тестове като мерки за ИИ
Измервания и цитиране
Записано използване на API: 4,478100 щ.д. за първоначалното изпълнение, 4,843563 щ.д. за развойни проверки и 0,334781 щ.д. за технически проби. Общо: 9,656444 щ.д. (закръглено 9,66 щ.д.). Сверено с фактурирането; без такси и данъци.
- Доклад (Markdown, английски)
- Обобщени резултати (JSON)
- Измервания по задачи (JSON)
- Методи (JSON)
- Хешове на файлове (JSON)
Всички езици споделят едни изходни файлове. Изтегляемият доклад, графиката, JSON полетата и първоначалният промпт са на английски. Изключени са решения, частен ключ, данни за участници, достъп и текст на разсъждение. Цитирането по-долу използва оригиналното заглавие.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testЧесто задавани въпроси
- Това IQ оценки на ИИ ли са?
- Това са сурови резултати от 40 задачи за визуално мислене. Не е измерван или присвояван човешки IQ или персентил. Изходните лимити и единственото изпълнение не позволяват класация на обща интелигентност.
- Какво означава валиден калибрационен отговор?
- Завършен отговор в изисквания JSON формат. Калибрацията не е оценявана: шест валидни не означава шест верни. Те не заменят първоначалните отговори.
- Моделите и хората правиха ли един тест?
- Фигурите са от същия публичен тест с 40 задачи. Моделите получаваха статични изображения с осем възможности, фиксиран английски промпт и нов контекст. Интерактивното човешко преживяване не е възпроизведено. Преводът не променя езика на експеримента.
- Измерено ли е времето за всяка задача?
- Да, за всички 120 първоначални позиции. Времето на API включва мрежа, опашка, обработка на изображение и генериране, не само мислене или активно човешко време. Допълнителните неуспешни опити са отделни.
Разгледайте формата на задачите или методите ни.