Προκαταρκτική έκθεση ·
Τρία μοντέλα AI σε 40 ερωτήσεις οπτικού συλλογισμού
Προκαταρκτική έκθεση για ακρίβεια, ολοκλήρωση απαντήσεων, καθυστέρηση API και κόστος: μία εκτέλεση 40 ερωτήσεων ανά μοντέλο και χωριστοί αναπτυξιακοί έλεγχοι ορίων συλλογισμού και μετάδοσης.
- χρονολογημένες εκδόσεις μοντέλων
- 3
- ερωτήσεις ανά μοντέλο
- 40
- αρχική εκτέλεση ανά μοντέλο
- 1
Η αρχική εκτέλεση 40 ερωτήσεων
Όλα τα μοντέλα χρησιμοποίησαν μεσαίο συλλογισμό και συνολικό όριο 8.192 tokens εξόδου, μαζί με τον συλλογισμό. Η διακοπή στο όριο μετρά ως αποτυχία στην ακατέργαστη βαθμολογία.
Σύρετε τον πίνακα οριζόντια για όλες τις στήλες.
| Μοντέλο | Σωστές / 40 | Λανθασμένες | Διακοπές ορίου | Έγκυρες / 40 | Διάμεσος χρόνου API | Χρήση API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085,0% | 1 | 5 | 35/40 | 13,9 δευτ. | 0,92 $ |
| Claude Fable 5.2Anthropic | 32/4080,0% | 7 | 1 | 39/40 | 4,0 δευτ. | 1,76 $ |
| GPT-6 AstraOpenAI | 37/4092,5% | 3 | 0 | 40/40 | 3,7 δευτ. | 1,80 $ |
Έγκυρη σημαίνει πλήρης απάντηση στην απαιτούμενη μορφή. Ο χρόνος API περιλαμβάνει δίκτυο, αναμονή και παραγωγή· η διάμεσος περιλαμβάνει διακοπές ορίου. Η επιπλέον αποτυχημένη προσπάθεια HTTP καταγράφεται χωριστά. Τα εμφανιζόμενα κόστη στρογγυλοποιούνται, τα αρχεία κρατούν ακριβή ποσά.
Γιατί έχει σημασία η ολοκλήρωση
Το Carbon έδωσε μία λανθασμένη απάντηση και είχε πέντε διακοπές tokens. Το Astra έδωσε τρεις λανθασμένες απαντήσεις χωρίς διακοπές. Η φαινομενική διαφορά περιλαμβάνει διαφορετικές ευκαιρίες ολοκλήρωσης ακόμη και στο ίδιο ονομαστικό όριο.
Ο συλλογισμός καταναλώνει μέρος του ορίου εξόδου και μπορεί να μη μείνει τελική απάντηση όταν εξαντληθεί. Ίσα όρια και ετικέτες όπως «μεσαίο» δεν σημαίνουν ίσο υπολογιστικό έργο μεταξύ παρόχων. Τεκμηρίωση OpenRouter για tokens συλλογισμού
Εκ των υστέρων έλεγχος ευαισθησίας
Στις 34 ερωτήσεις με έγκυρες απαντήσεις όλων των μοντέλων, Carbon και Astra πέτυχαν από 33/34, το Fable 30/34. Το υποσύνολο επιλέχθηκε μετά την παρατήρηση αποτυχιών και αποκλείει διακοπές. Είναι έλεγχος ευαισθησίας, όχι αμερόληπτη εναλλακτική κατάταξη ή απόδειξη ίσων ικανοτήτων.
Χωριστοί αναπτυξιακοί έλεγχοι
Επιλέχθηκαν οι θέσεις 24, 28, 35, 36, 38 και 40, επειδή τουλάχιστον ένα μοντέλο εξάντλησε το αρχικό όριο σε καθεμία. Ελέγχθηκαν ολοκλήρωση, μετάδοση, χρόνος και κόστος. Η ορθότητα δεν βαθμολογήθηκε: 6/6 έγκυρες απαντήσεις δεν σημαίνει έξι σωστές. Δεν αντικατέστησαν τις αρχικές βαθμολογίες.
Σύρετε τον πίνακα οριζόντια για όλες τις στήλες.
| Προφίλ | Όριο εξόδου | Έγκυρες / 6 | Διακοπές ορίου | Μη διαθέσιμες | Χρήση API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · υψηλός συλλογισμόςΟ συλλογισμός εξαιρείται από την απάντηση API | 32.768 | 6/6 | 0 | 0 | 1,08 $ |
| Claude Fable 5.2Anthropic · υψηλός συλλογισμόςΟ συλλογισμός εξαιρείται από την απάντηση API | 32.768 | 6/6 | 0 | 0 | 0,80 $ |
| Gemini 4 CarbonGoogle AI Studio · υψηλός συλλογισμόςΟ συλλογισμός εξαιρείται από την απάντηση API | 32.768 | 3/6 | 1 | 2 | 1,05 $ |
| Gemini 4 CarbonGoogle Vertex global · υψηλός συλλογισμόςΟ συλλογισμός εξαιρείται από την απάντηση API | 65.536 | 3/6 | 0 | 3 | 0,49 $ |
| Gemini 4 CarbonGoogle Vertex global · υψηλός συλλογισμόςΠεριλαμβάνεται πρόοδος API· το κείμενο απορρίπτεται τοπικά | 65.536 | 6/6 | 0 | 0 | 1,42 $ |
Το πρώτο προφίλ Carbon είχε και προγενέστερη λήξη χρόνου χωρίς απάντηση ή χρέωση· η μοναδική ανάκτηση ολοκληρώθηκε. Η αποτυχία παραμένει στις μετρήσεις. Οι μεταγενέστερες μη διαθέσιμες ερωτήσεις διατηρήθηκαν χωρίς επανάληψη.
Μία ερώτηση χρησιμοποίησε 51.145 tokens εξόδου
Το τελικό προφίλ Carbon χρησιμοποίησε Vertex, όριο 65.536 tokens και ροή προόδου συλλογισμού με τοπική απόρριψη κειμένου. Και οι έξι ερωτήσεις ολοκληρώθηκαν. Μία χρειάστηκε 10 λεπτά και 56 δευτερόλεπτα, άλλη 6 λεπτά και 43 δευτερόλεπτα. Και οι δύο ξεπέρασαν το προηγούμενο πεντάλεπτο όριο.
Αυτό υποστηρίζει λειτουργική ρύθμιση για αυτές τις αναπτυξιακές ερωτήσεις. Δεν αποδεικνύει καθολική αιτία λήξης χρόνου, δεν εγγυάται μελλοντική ολοκλήρωση και δεν δίνει νέα ακρίβεια σε 40 ερωτήσεις. Οι προηγούμενες αποτυχίες μένουν χωριστές.
Πώς πραγματοποιήθηκε η μελέτη
- Ίδιο έργο, νέο πλαίσιο
- Μία στατική εικόνα 1152 × 1552 ανά ερώτηση, με οκτώ αριθμημένες επιλογές. Ίδια αγγλική εντολή και αυστηρό σχήμα JSON. Χωρίς εργαλεία, περιήγηση, υποδείξεις ή κλειδί απαντήσεων.
- Παγιωμένες επιλογές και τοπική βαθμολόγηση
- Ισορροπημένη ανάμειξη με σταθερό σπόρο συνέδεε τους αριθμούς με τις αρχικές επιλογές. Οι βαθμολογίες ελέγχθηκαν τοπικά με τον αξιολογητή παραγωγής. Καμία ληφθείσα αρχική απάντηση ή διακοπή δεν επαναλήφθηκε.
- Οι αστοχίες μετάδοσης μένουν ορατές
- Μία επιπλέον προσπάθεια HTTP 503 χωρίς απάντηση επιβεβαιώθηκε ως αχρέωτη και επαναλήφθηκε απαράλλακτη. Διήρκεσε 29,516 δευτερόλεπτα. Προφίλ ανάπτυξης και ανακτήσεις τεκμηριώνονται χωριστά.
- Εσωτερική διερευνητική αξιολόγηση
- Το UniversalIQTest.com λειτουργεί το αρχικό τεστ και διεξήγαγε τη μελέτη. Αποτυπώματα αιτημάτων και εικόνων, χρόνοι, βαθμολόγηση και κόστη ελέγχθηκαν τοπικά. Δεν έγινε εξωτερική επιστημονική αξιολόγηση.
Ακριβείς εκδόσεις και αρχικοί πάροχοι
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
Αποτύπωμα αρχικού πρωτοκόλλου: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
Τι μπορεί να τεκμηριώσει η έκθεση
Καταγράφει επίδοση σε συγκεκριμένο δημόσιο σύνολο με δηλωμένες ρυθμίσεις API. Ολοκλήρωση, σφάλματα, καθυστέρηση και κόστος απαιτούν χωριστή αναφορά. Με μία αρχική εκτέλεση ανά μοντέλο δεν εκτιμήθηκε η μεταβλητότητα μεταξύ εκτελέσεων.
Δημόσιες ερωτήσεις μπορεί να υπήρχαν στα δεδομένα εκπαίδευσης· αυτό δεν μετρήθηκε. Η στατική αριθμημένη διάταξη διαφέρει από το διαδραστικό ανθρώπινο τεστ. Τα μεταγενέστερα προφίλ είχαν διαφορετικές ρυθμίσεις και συνθήκες και δεν δίνουν κατάταξη καθυστέρησης.
Δεν μετρήθηκε ή αποδόθηκε ανθρώπινο IQ ή εκατοστημόριο στα μοντέλα. Οι ανθρώπινες νόρμες δεν μεταφέρονται αυτόματα στην AI. Επαναλαμβανόμενη πλήρης αξιολόγηση απαιτεί νέο εκ των προτέρων καθορισμένο σχέδιο συλλογής. Συζήτηση ΟΟΣΑ για ανθρώπινα τεστ ως μέτρα AI
Μετρήσεις και παραπομπή
Καταγεγραμμένη χρήση API: 4,478100 $ για την αρχική εκτέλεση, 4,843563 $ για ανάπτυξη και 0,334781 $ για τεχνικές δοκιμές. Σύνολο: 9,656444 $ (στρογγυλεμένο 9,66 $). Συμφωνήθηκε με τη χρέωση· εξαιρούνται τέλη και φόροι.
- Έκθεση (Markdown, αγγλικά)
- Συγκεντρωτικά αποτελέσματα (JSON)
- Μετρήσεις ανά ερώτηση (JSON)
- Μέθοδοι (JSON)
- Αποτυπώματα αρχείων (JSON)
Όλες οι γλώσσες μοιράζονται τα ίδια αρχεία πηγής. Έκθεση λήψης, γράφημα, πεδία JSON και αρχική εντολή είναι αγγλικά. Εξαιρούνται λύσεις, ιδιωτικό κλειδί, δεδομένα συμμετεχόντων, διαπιστευτήρια και κείμενο συλλογισμού. Η παραπομπή διατηρεί τον αρχικό τίτλο.
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testΣυχνές ερωτήσεις
- Είναι βαθμολογίες IQ των AI;
- Είναι ακατέργαστα αποτελέσματα 40 ερωτήσεων οπτικού συλλογισμού. Ανθρώπινο IQ ή εκατοστημόριο δεν μετρήθηκε ή αποδόθηκε. Τα όρια εξόδου και η μία εκτέλεση εμποδίζουν κατάταξη γενικής νοημοσύνης.
- Τι σημαίνει έγκυρη απάντηση βαθμονόμησης;
- Πλήρη απάντηση στο απαιτούμενο JSON. Η βαθμονόμηση δεν βαθμολογήθηκε: έξι έγκυρες δεν σημαίνει έξι σωστές. Δεν αντικατέστησαν αρχικές απαντήσεις.
- Έκαναν μοντέλα και άνθρωποι το ίδιο τεστ;
- Οι εικόνες προήλθαν από το ίδιο δημόσιο τεστ 40 ερωτήσεων. Τα μοντέλα έλαβαν στατικές εικόνες με οκτώ επιλογές, σταθερή αγγλική εντολή και νέο πλαίσιο. Η ανθρώπινη διαδραστική εμπειρία δεν αναπαράχθηκε. Η μετάφραση δεν αλλάζει τη γλώσσα του πειράματος.
- Μετρήθηκε ο χρόνος κάθε ερώτησης;
- Ναι, και στις 120 αρχικές θέσεις. Ο χρόνος API περιλαμβάνει δίκτυο, αναμονή, επεξεργασία εικόνων και παραγωγή, όχι μόνο σκέψη ή ενεργό ανθρώπινο χρόνο. Οι επιπλέον αποτυχημένες προσπάθειες καταγράφονται χωριστά.
Εξερευνήστε τη μορφή των ερωτήσεων ή τις μεθόδους μας.