Raport wstępny ·
Trzy modele AI wobec 40 pytań z rozumowania wzrokowego
Wstępny raport o trafności, ukończeniu odpowiedzi, opóźnieniach API i kosztach: jedna seria 40 pytań na model oraz oddzielne próby rozwojowe limitów rozumowania i przesyłania odpowiedzi.
- datowane wersje modeli
- 3
- pytań na model
- 40
- pierwotna seria na model
- 1
Pierwotna seria 40 pytań
Każdy model używał średniego poziomu rozumowania i łącznego limitu 8 192 tokenów wyjścia, wliczając rozumowanie. Przerwanie przez limit liczy się jako niepowodzenie w wyniku surowym.
Przesuń tabelę w bok, aby zobaczyć wszystkie kolumny.
| Model | Poprawne / 40 | Błędne | Przerwane limitem | Prawidłowy format / 40 | Mediana czasu API | Użycie API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 sek. | 0,92 USD |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 sek. | 1,76 USD |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 sek. | 1,80 USD |
Ważna odpowiedź to pełna odpowiedź w wymaganym formacie, niekoniecznie poprawna. Czas API obejmuje sieć, kolejkę i generowanie; mediana uwzględnia przerwania limitem. Dodatkową nieudaną próbę HTTP zapisano osobno. Koszty są zaokrąglone; pliki zachowują dokładne kwoty.
Dlaczego ukończenie ma znaczenie
Carbon udzielił jednej błędnej odpowiedzi i miał pięć przerwań przez tokeny. Astra udzielił trzech błędnych odpowiedzi bez przerwań. Widoczna różnica obejmuje więc odmienne szanse ukończenia nawet przy tym samym nominalnym limicie.
Rozumowanie zużywa część budżetu wyjścia i po jego wyczerpaniu może zabraknąć odpowiedzi końcowej. Takie same limity i etykiety typu „średni” nie oznaczają jednakowej mocy obliczeniowej u dostawców. Dokumentacja OpenRouter dotycząca tokenów rozumowania
Analiza wrażliwości po zebraniu danych
Na 34 pytaniach z ważnymi odpowiedziami wszystkich modeli Carbon i Astra uzyskały po 33/34, a Fable 30/34. Podzbiór wybrano po zaobserwowaniu awarii, wykluczając przerwane zadania. To analiza wrażliwości, a nie bezstronny ranking zastępczy ani dowód równych zdolności.
Oddzielne próby rozwojowe
Wybrano pozycje 24, 28, 35, 36, 38 i 40, bo w każdej co najmniej jeden model wyczerpał pierwotny limit. Badano ukończenie, przesyłanie, czas i koszt. Nie oceniano poprawności: 6/6 ważnych odpowiedzi nie oznacza sześciu poprawnych. Nie zastąpiły pierwotnych wyników.
Przesuń tabelę w bok, aby zobaczyć wszystkie kolumny.
| Profil | Limit wyjścia | Prawidłowy format / 6 | Przerwane limitem | Niedostępne | Użycie API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · wysoki poziom rozumowaniaRozumowanie wyłączone z odpowiedzi API | 32 768 | 6/6 | 0 | 0 | 1,08 USD |
| Claude Fable 5.2Anthropic · wysoki poziom rozumowaniaRozumowanie wyłączone z odpowiedzi API | 32 768 | 6/6 | 0 | 0 | 0,80 USD |
| Gemini 4 CarbonGoogle AI Studio · wysoki poziom rozumowaniaRozumowanie wyłączone z odpowiedzi API | 32 768 | 3/6 | 1 | 2 | 1,05 USD |
| Gemini 4 CarbonGoogle Vertex global · wysoki poziom rozumowaniaRozumowanie wyłączone z odpowiedzi API | 65 536 | 3/6 | 0 | 3 | 0,49 USD |
| Gemini 4 CarbonGoogle Vertex global · wysoki poziom rozumowaniaPostęp API dołączony; tekst odrzucony lokalnie | 65 536 | 6/6 | 0 | 0 | 1,42 USD |
Pierwszy profil Carbon miał również wcześniejsze przekroczenie czasu bez odpowiedzi i opłaty; jedyna próba odzyskania zakończyła się powodzeniem. Nieudana próba pozostaje w pomiarach. Późniejsze niedostępne zadania zachowano bez ponawiania.
Jedno zadanie zużyło 51 145 tokenów wyjścia
Ostatni profil Carbon używał Vertex, limitu 65 536 tokenów i strumieniowego postępu rozumowania, odrzucając tekst lokalnie. Ukończył wszystkie sześć zadań. Jedno trwało 10 minut 56 sekund, drugie 6 minut 43 sekundy. Oba przekroczyły wcześniejszy pięciominutowy limit czasu.
Potwierdza to działającą konfigurację dla tych zadań rozwojowych. Nie dowodzi uniwersalnej przyczyny przekroczeń czasu, nie gwarantuje przyszłego ukończenia i nie daje nowej trafności na 40 pytaniach. Wcześniejsze awarie są oddzielne.
Jak przeprowadzono badanie
- To samo zadanie, nowy kontekst
- Jeden statyczny obraz 1152 × 1552 z pytaniem i ośmioma numerowanymi opcjami. Ten sam angielski prompt i ścisły schemat JSON. Bez narzędzi, przeglądania sieci, podpowiedzi i klucza odpowiedzi.
- Ustalone opcje i ocena lokalna
- Zrównoważone tasowanie ze stałym ziarnem wiązało etykiety z pierwotnymi opcjami. Wyniki lokalnie porównano z produkcyjnym systemem oceniania. Żadnej otrzymanej odpowiedzi pierwotnej ani przerwania nie powtarzano.
- Awarie przesyłania pozostają widoczne
- Jedną dodatkową próbę HTTP 503 bez odpowiedzi potwierdzono jako bezpłatną i powtórzono identycznie. Trwała 29,516 sekundy. Profile rozwojowe i historię odzyskiwania opisano osobno.
- Wewnętrzna ocena eksploracyjna
- UniversalIQTest.com prowadzi test źródłowy i przeprowadził badanie. Hashe żądań i obrazów, czasy pytań, oceny i koszty sprawdzono lokalnie. Zewnętrznej recenzji naukowej nie przeprowadzono.
Dokładne wersje modeli i pierwotni dostawcy
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Odcisk pierwotnego protokołu: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Co raport pozwala ustalić
Opisuje wyniki na konkretnym publicznym zestawie przy zadeklarowanych ustawieniach API. Ukończenie, błędy, opóźnienia i koszty wymagają oddzielnej prezentacji. Jedna seria na model nie pozwoliła oszacować zmienności między seriami.
Publiczne zadania mogły znaleźć się w danych treningowych; nie mierzono tego. Statyczny numerowany układ różni się od interaktywnego testu dla ludzi. Późniejsze profile miały inne ustawienia i warunki zbierania, więc nie tworzą rankingu opóźnień.
Modelom nie zmierzono ani nie przypisano ludzkiego IQ lub percentyla. Ludzkie normy nie przenoszą się automatycznie na AI. Powtarzana pełna ocena wymagałaby nowego, z góry ustalonego planu zbierania danych. Omówienie OECD dotyczące ludzkich testów dla AI
Pomiary i cytowanie
Zapisane użycie API: 4,478100 USD za pierwotną serię, 4,843563 USD za próby rozwojowe i 0,334781 USD za pilotaże techniczne. Razem: 9,656444 USD (po zaokrągleniu 9,66 USD). Uzgodniono z rozliczeniem; bez opłat dodatkowych i podatków.
- Raport (Markdown, angielski)
- Wyniki zbiorcze (JSON)
- Pomiary dla pytań (JSON)
- Metody (JSON)
- Hashe plików (JSON)
Wszystkie języki korzystają z tych samych plików źródłowych. Raport do pobrania, wykres, pola JSON i pierwotny prompt są po angielsku. Wykluczono rozwiązania, prywatny klucz, dane uczestników, dane dostępowe i tekst rozumowania. Cytowanie poniżej zachowuje tytuł oryginału.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testCzęste pytania
- Czy to wyniki IQ modeli AI?
- To surowe wyniki 40 pytań z rozumowania wzrokowego. Nie zmierzono ani nie przypisano ludzkiego IQ czy percentyla. Limity wyjścia i jedna seria nie pozwalają ocenić rankingu ogólnej inteligencji.
- Co oznacza ważna odpowiedź kalibracyjna?
- Pełną odpowiedź w wymaganym formacie JSON. Kalibracji nie oceniano: sześć ważnych odpowiedzi nie oznacza sześciu poprawnych. Nie zastąpiły odpowiedzi pierwotnych.
- Czy modele i ludzie robili ten sam test?
- Figury pochodziły z tego samego publicznego testu 40 pytań. Modele otrzymały statyczne obrazy z ośmioma opcjami, stały angielski prompt i nowy kontekst. Nie odtworzono interaktywnego doświadczenia człowieka. Tłumaczenie raportu nie zmienia języka eksperymentu.
- Czy mierzono czas każdego pytania?
- Tak, dla wszystkich 120 pierwotnych pozycji. Czasy API obejmują sieć, kolejkę, przetwarzanie obrazu i generowanie, a nie samo myślenie czy aktywny czas człowieka. Dodatkowe nieudane próby zapisano osobno.
Poznaj format pytań lub nasze metody.