初步報告 ·
三個AI模型在40道視覺推理題上的表現
這份初步報告分別呈現正確率、回答完成情況、API延遲與成本:每個模型進行一輪40道題,並另行檢查推理限制與回應傳輸。
- 標明日期的模型版本
- 3
- 每個模型的題數
- 40
- 每個模型的原始輪次
- 1
原始40題測試
所有模型均使用中等推理強度,總輸出上限為8,192個詞元,包含推理詞元。因達到上限而截斷的回應在原始得分中計為未成功。
左右滑動表格可查看所有欄位。
| 模型 | 正確 / 40 | 錯誤 | 達到上限截斷 | 格式有效 / 40 | API耗時中位數 | API費用(USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085.0% | 1 | 5 | 35/40 | 13.9 秒 | US$0.92 |
| Claude Fable 5.2Anthropic | 32/4080.0% | 7 | 1 | 39/40 | 4.0 秒 | US$1.76 |
| GPT-6 AstraOpenAI | 37/4092.5% | 3 | 0 | 40/40 | 3.7 秒 | US$1.80 |
有效是指完整回傳且符合要求的格式,不等於正確。API耗時包含網路、排隊與生成;此中位數也包含截斷回應。額外失敗的HTTP嘗試單獨記錄。頁面費用經四捨五入,下載檔案保留精確金額。
為何完成情況很重要
Carbon回傳一個錯誤答案,另有五個回應因詞元上限截斷。Astra回傳三個錯誤答案,沒有截斷。因此,即使名義上限相同,表面差距也包含不同的完成機會。
推理會消耗部分輸出額度,額度耗盡時可能沒有最終答案。相同詞元上限與「中等」等標籤,並不代表不同供應商使用相同的計算量。 OpenRouter推理詞元文件
事後敏感度檢查
在所有模型都給出有效回應的34道題上,Carbon與Astra均為33/34,Fable為30/34。這個子集是在觀察失敗後選出的,排除了截斷題目。它只是敏感度檢查,不能作為無偏的新排名或能力相等的證據。
獨立的開發檢查
選擇第24、28、35、36、38與40題,是因為每題至少有一個模型耗盡原始額度。檢查關注完成情況、傳輸、時間與成本。 這些回應未評判正確性:6/6有效回應不等於六個正確答案,也沒有替換原始分數。
左右滑動表格可查看所有欄位。
| 設定組合 | 輸出上限 | 格式有效 / 6 | 達到上限截斷 | 未取得回應 | API費用(USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · 高推理強度API回應不包含推理內容 | 32,768 | 6/6 | 0 | 0 | US$1.08 |
| Claude Fable 5.2Anthropic · 高推理強度API回應不包含推理內容 | 32,768 | 6/6 | 0 | 0 | US$0.80 |
| Gemini 4 CarbonGoogle AI Studio · 高推理強度API回應不包含推理內容 | 32,768 | 3/6 | 1 | 2 | US$1.05 |
| Gemini 4 CarbonGoogle Vertex global · 高推理強度API回應不包含推理內容 | 65,536 | 3/6 | 0 | 3 | US$0.49 |
| Gemini 4 CarbonGoogle Vertex global · 高推理強度包含API進度;文字在本機捨棄 | 65,536 | 6/6 | 0 | 0 | US$1.42 |
最初的Carbon設定還發生過一次較早的無回應、未計費逾時,其唯一一次恢復嘗試成功完成。失敗嘗試仍保留在測量資料中。之後未取得回應的題目保留原狀,未重試。
一道題使用了51,145個輸出詞元
最終Carbon設定使用Vertex、65,536個詞元的上限與串流推理進度,並在本機捨棄文字。六道題均完成。一題耗時10分56秒,另一題6分43秒,均超過先前五分鐘的逾時邊界。
這支持該設定可用於這些開發題目,但不能證明所有逾時的共同原因、保證未來完成,或給出新的40題正確率。先前失敗仍單獨保留。
研究如何進行
- 相同任務,全新上下文
- 每題提供一張1152 × 1552的靜態圖片,包含問題與八個編號選項。使用相同英文提示詞及嚴格JSON結構。不提供工具、瀏覽、提示或評分答案。
- 固定選項與離線評分
- 透過固定隨機種子的均衡打亂,將顯示編號對應回原始選項。分數在本機與正式評分程式交叉核驗。沒有重複任何已回傳的原始答案或截斷回應。
- 傳輸失敗維持可見
- 原始輪次有一次額外的無回應HTTP 503嘗試,確認未計費後以完全相同的請求重試。失敗嘗試耗時29.516秒。開發設定與恢復紀錄另行記載。
- 內部探索性評估
- UniversalIQTest.com營運原始測試並進行本研究。請求與圖片雜湊、逐題耗時、評分及費用均在本機核驗。尚未接受外部同儕審查。
精確模型版本與原始供應商
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
原始協定指紋: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
本報告能說明什麼
報告記錄特定公開題集在已聲明API設定下的表現。完成情況、錯誤、延遲與成本應分開報告。每個模型只有一輪原始測試,因此未估計輪次間波動。
公開題目可能出現在訓練資料中;本研究未測量這種污染。靜態編號版面不同於人類的互動測試。後續開發設定與蒐集條件不同,因此不能建立延遲排名。
沒有測量或賦予模型人類IQ或百分等級。人類測驗常模不會自動適用於AI。未來若進行重複的完整評估,需要另訂並預先固定蒐集計畫。 OECD關於用人類測驗衡量AI的討論
測量資料與引用
記錄的API費用:原始測試US$4.478100,開發檢查US$4.843563,技術試行US$0.334781。合計US$9.656444(四捨五入為US$9.66)。已與帳單核對;不含手續費與稅費。
所有語言共用相同來源檔案。可下載報告、圖表、JSON欄位名稱與原始提示詞皆為英文。檔案不包含解答、私有評分答案、參與者紀錄、憑證或推理文字。下方引用保留原始報告標題。
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-test常見問題
- 這些是AI的IQ分數嗎?
- 這是40道視覺推理題的原始結果,沒有測量或賦予人類IQ或百分等級。輸出限制導致的失敗與單輪測試無法支持通用智慧排名。
- 有效的校準回應代表什麼?
- 指以要求的JSON格式回傳完整答案。校準未評分:六個有效回應不等於六個正確答案,也沒有替換原始回應。
- 模型與人類做的是同一測試嗎?
- 圖形來自同一套公開的40題測試。模型取得靜態圖片、八個編號選項、固定英文提示詞與全新上下文,未重現人類互動體驗。翻譯報告不會改變實驗的語言。
- 每道題都有測量耗時嗎?
- 是,全部120個原始題目位置均有記錄。API耗時包含網路、排隊、影像處理與生成,並非純思考時間或人類主動作答時間。額外失敗嘗試單獨記錄。