予備報告 ·
3つのAIモデルによる40問の視覚推論
正答率、回答の完了、APIの所要時間、費用に関する予備報告です。各モデルで40問を1回実施し、推論の上限と応答の受信については別の開発用確認を行いました。
- 日付付きモデルバージョン
- 3
- 各モデルの問題数
- 40
- 各モデルの初回実施回数
- 1
初回の40問
全モデルで推論強度を中程度とし、推論を含む総出力上限を8,192トークンにしました。上限による打ち切りは素点では不成功と扱います。
表を横にスクロールすると全列を確認できます。
| モデル | 正答 / 40 | 誤答 | 上限で打ち切り | 形式上有効 / 40 | API時間の中央値 | API利用額（USD） |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085.0% | 1 | 5 | 35/40 | 13.9 秒 | $0.92 |
| Claude Fable 5.2Anthropic | 32/4080.0% | 7 | 1 | 39/40 | 4.0 秒 | $1.76 |
| GPT-6 AstraOpenAI | 37/4092.5% | 3 | 0 | 40/40 | 3.7 秒 | $1.80 |
有効とは必要な形式で完全な回答を返したことを意味し、正答とは限りません。API時間には通信、待機、生成が含まれ、中央値には打ち切りも含めます。追加のHTTP失敗は別記録です。表示額は丸め、ダウンロードには正確な金額を残しています。
回答の完了が重要な理由
Carbonは誤答1件とトークン上限による打ち切り5件、Astraは誤答3件で打ち切りなしでした。見かけの差には、同じ名目上限でも回答を完了できる機会の違いが含まれます。
推論は出力枠の一部を消費するため、使い切ると最終回答が出ないことがあります。同じトークン上限や「中程度」というラベルは、提供者間の計算量が等しいことを意味しません。 OpenRouterの推論トークンに関する文書
事後的な感度確認
全モデルが有効な回答を返した34問では、CarbonとAstraがそれぞれ33/34、Fableが30/34でした。この部分集合は失敗を観測した後に選び、打ち切り問題を除外しています。感度確認であり、偏りのない代替順位や同等能力の証拠ではありません。
独立した開発用確認
24、28、35、36、38、40番を選びました。各問で少なくとも1モデルが初回の出力枠を使い切ったためです。完了、受信、時間、費用を確認しました。 正誤は採点していません。6/6件の有効な回答は6問正解を意味せず、元の得点の置き換えにも使っていません。
表を横にスクロールすると全列を確認できます。
| 設定 | 出力上限 | 形式上有効 / 6 | 上限で打ち切り | 取得できず | API利用額（USD） |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · 高強度の推論API応答から推論内容を除外 | 32,768 | 6/6 | 0 | 0 | $1.08 |
| Claude Fable 5.2Anthropic · 高強度の推論API応答から推論内容を除外 | 32,768 | 6/6 | 0 | 0 | $0.80 |
| Gemini 4 CarbonGoogle AI Studio · 高強度の推論API応答から推論内容を除外 | 32,768 | 3/6 | 1 | 2 | $1.05 |
| Gemini 4 CarbonGoogle Vertex global · 高強度の推論API応答から推論内容を除外 | 65,536 | 3/6 | 0 | 3 | $0.49 |
| Gemini 4 CarbonGoogle Vertex global · 高強度の推論API進捗を含め、文章はローカルで破棄 | 65,536 | 6/6 | 0 | 0 | $1.42 |
最初のCarbon設定では、先行する未応答・未課金のタイムアウトもあり、その1回だけの復旧試行は完了しました。失敗記録は測定データに残しています。その後の取得不能分は再試行せず保持しました。
1問で51,145出力トークンを使用
最終のCarbon設定ではVertex、65,536トークンの上限、推論進捗のストリーミングを使用し、文章はローカルで破棄しました。6問すべて完了し、1問は10分56秒、別の1問は6分43秒でした。いずれも以前の5分のタイムアウトを超えています。
これはこれらの開発用問題で動作する設定を裏付けますが、タイムアウトの普遍的な原因や将来の完了を保証せず、新しい40問の正答率も示しません。以前の失敗は別のままです。
研究の実施方法
- 同じ課題、新しい文脈
- 各問に1152 × 1552の静止画像を1枚提示し、問題と番号付き8選択肢を含めました。同じ英語プロンプトと厳密なJSON形式を使用。ツール、閲覧、ヒント、採点キーは与えていません。
- 選択肢を固定しローカルで採点
- 固定シードの均等な並べ替えで表示番号を元の選択肢に対応づけました。得点は本番採点処理とローカルで照合。受信済みの初回答や打ち切りを再実施していません。
- 通信失敗も記録
- 初回には追加の未応答HTTP 503が1件あり、未課金を確認して同一リクエストを再試行しました。失敗試行は29.516秒でした。開発設定と復旧履歴は別に記録しています。
- 内部の探索的評価
- 元のテストを運営するUniversalIQTest.comが研究を行いました。リクエストと画像のハッシュ、問題別時間、採点、費用をローカルで確認。外部の査読は受けていません。
正確なモデルバージョンと初回の提供者
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
元の実験手順のフィンガープリント: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
この報告で示せること
明示したAPI設定で特定の公開問題に取り組んだ成績を記録しています。完了、誤答、時間、費用は分けて報告する必要があります。各モデル1回のため、実施間のばらつきは推定していません。
公開問題が学習データに含まれていた可能性は測定していません。番号付きの静止画は人間向けの対話式テストとは異なります。後続の開発設定は条件も異なるため、速度順位を確定できません。
モデルに人間のIQやパーセンタイルを測定・付与していません。人間向けの基準は自動的にAIに適用できません。今後、完全な反復評価を行うには、新たな収集計画を事前に固定する必要があります。 人間向けテストによるAI評価に関するOECDの議論
測定データと引用
記録されたAPI利用額：初回$4.478100、開発確認$4.843563、技術的な予備試行$0.334781。合計$9.656444（丸めると$9.66）。請求と照合済み。手数料と税金は含みません。
全言語が同じソースファイルを共有します。ダウンロード報告、図、JSONフィールド名、元のプロンプトは英語です。解答、非公開の採点キー、参加者情報、認証情報、推論文章は含みません。下の引用は原題を使用しています。
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testよくある質問
- これはAIのIQスコアですか？
- 40問の視覚推論課題の素点です。人間のIQやパーセンタイルは測定・付与していません。出力制限の失敗と1回だけの実施から一般知能を順位づけることはできません。
- 有効な校正回答とは何ですか？
- 指定のJSON形式で完全に返った回答です。校正では採点しておらず、6件有効でも6問正解ではありません。初回の回答を置き換えていません。
- モデルと人間は同じテストを受けましたか？
- 図形は同じ公開40問テストのものです。モデルには静止画像、番号付き8選択肢、固定の英語プロンプト、新しい文脈を与えました。人間の対話的な体験は再現していません。報告の翻訳は実験の言語を変更しません。
- 全問で時間を測定しましたか？
- はい、初回の全120枠で記録しています。API時間は通信、待機、画像処理、生成を含み、純粋な思考時間や人間の実働回答時間ではありません。追加の失敗試行は別記録です。