初步报告 ·
三个AI模型在40道视觉推理题上的表现
这份初步报告分别呈现正确率、回答完成情况、API延迟和成本:每个模型完成一轮40道题,并另行开展推理限制与响应传输的开发检查。
- 标明日期的模型版本
- 3
- 每个模型的题数
- 40
- 每个模型的原始轮次
- 1
原始40题测试
所有模型均使用中等推理强度,总输出上限为8,192个词元,包含推理词元。因达到上限而截断的响应在原始得分中计为未成功。
左右滑动表格可查看所有列。
| 模型 | 正确 / 40 | 错误 | 达到上限截断 | 格式有效 / 40 | API耗时中位数 | API费用(USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085.0% | 1 | 5 | 35/40 | 13.9秒 | US$0.92 |
| Claude Fable 5.2Anthropic | 32/4080.0% | 7 | 1 | 39/40 | 4.0秒 | US$1.76 |
| GPT-6 AstraOpenAI | 37/4092.5% | 3 | 0 | 40/40 | 3.7秒 | US$1.80 |
有效指完整返回且符合要求的格式,并不等于正确。API耗时包含网络、排队和生成;该中位数也包含截断响应。额外失败的HTTP尝试单独记录。页面费用经过四舍五入,下载文件保留精确金额。
为何完成情况很重要
Carbon返回了一个错误答案,并有五个响应因词元上限截断。Astra返回三个错误答案,没有截断。因此,即使名义上限相同,表面差距也包含不同的完成机会。
推理会消耗部分输出额度,额度耗尽时可能没有最终答案。相同词元上限和“中等”等标签并不意味着不同供应商使用相同的计算量。 OpenRouter推理词元文档
事后敏感性检查
在所有模型都给出有效响应的34道题上,Carbon和Astra均为33/34,Fable为30/34。这个子集是在观察失败后选出的,排除了截断题目。它只是敏感性检查,不能作为无偏的新排名或能力相等的证据。
独立的开发检查
选择第24、28、35、36、38和40题,是因为每题都至少有一个模型耗尽了原始额度。检查关注完成情况、传输、时间和成本。 这些响应没有评判正确性:6/6有效响应不等于六个正确答案,也没有替换原始分数。
左右滑动表格可查看所有列。
| 配置 | 输出上限 | 格式有效 / 6 | 达到上限截断 | 未获得响应 | API费用(USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · 高推理强度API响应不包含推理内容 | 32,768 | 6/6 | 0 | 0 | US$1.08 |
| Claude Fable 5.2Anthropic · 高推理强度API响应不包含推理内容 | 32,768 | 6/6 | 0 | 0 | US$0.80 |
| Gemini 4 CarbonGoogle AI Studio · 高推理强度API响应不包含推理内容 | 32,768 | 3/6 | 1 | 2 | US$1.05 |
| Gemini 4 CarbonGoogle Vertex global · 高推理强度API响应不包含推理内容 | 65,536 | 3/6 | 0 | 3 | US$0.49 |
| Gemini 4 CarbonGoogle Vertex global · 高推理强度包含API进度;文本在本地丢弃 | 65,536 | 6/6 | 0 | 0 | US$1.42 |
最初的Carbon配置还发生过一次更早的无响应、未计费超时,其唯一一次恢复尝试成功完成。失败尝试仍保留在测量数据中。之后未获得响应的题目保留原状,没有重试。
一道题使用了51,145个输出词元
最终Carbon配置使用Vertex、65,536个词元的上限及流式推理进度,并在本地丢弃文本。六道题均完成。一题耗时10分56秒,另一题耗时6分43秒,均超过此前五分钟的超时边界。
这支持该配置可用于这些开发题目,但不能证明所有超时的共同原因、保证未来完成,或给出新的40题正确率。先前失败仍单独保留。
研究如何进行
- 相同任务,全新上下文
- 每题提供一张1152 × 1552的静态图片,包含问题及八个编号选项。使用相同英文提示词和严格JSON结构。不提供工具、浏览、提示或评分答案。
- 固定选项与离线评分
- 通过固定随机种子的均衡打乱,将显示编号映射回原始选项。分数在本地与生产评分程序交叉核验。没有重复任何已返回的原始答案或截断响应。
- 传输失败保持可见
- 原始轮次中有一次额外的无响应HTTP 503尝试,确认未计费后以完全相同的请求重试。失败尝试耗时29.516秒。开发配置和恢复历史另行记录。
- 内部探索性评估
- UniversalIQTest.com运营原始测试并开展本研究。请求与图片哈希、逐题耗时、评分及费用均在本地核验。尚未接受外部同行评审。
准确模型版本与原始供应商
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
原始协议指纹: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
本报告能说明什么
报告记录了特定公开题集在已声明API设置下的表现。完成情况、错误、延迟和成本应分别报告。每个模型只有一轮原始测试,因此未估计轮次间波动。
公开题目可能出现在训练数据中;本研究未测量这种污染。静态编号版式不同于人类的交互测试。后续开发配置使用不同设置和采集条件,因此不能建立延迟排名。
没有测量或赋予模型人类IQ或百分位。人类测试常模不会自动适用于AI。未来若进行重复的完整评估,需要另行制定并预先固定采集计划。 OECD关于用人类测试衡量AI的讨论
测量数据与引用
记录的API费用:原始测试US$4.478100,开发检查US$4.843563,技术试运行US$0.334781。合计US$9.656444(四舍五入为US$9.66)。已与账单核对;不含手续费和税费。
所有语言共享相同源文件。可下载报告、图表、JSON字段名及原始提示词均为英文。文件不包含解答、私有评分答案、参与者记录、凭据或推理文本。下方引用保留原始报告标题。
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-test常见问题
- 这些是AI的IQ分数吗?
- 这是40道视觉推理题的原始结果,没有测量或赋予人类IQ或百分位。输出限制导致的失败及单轮测试无法支持通用智能排名。
- 有效的校准响应意味着什么?
- 指以要求的JSON格式返回完整答案。校准未评分:六个有效响应不等于六个正确答案,也没有替换原始响应。
- 模型和人类做的是同一测试吗?
- 图形来自同一套公开的40题测试。模型获得静态图片、八个编号选项、固定英文提示词及全新上下文,并未复现人类交互体验。翻译报告不会改变实验使用的语言。
- 每道题都测量了耗时吗?
- 是,全部120个原始题目位置均有记录。API耗时包含网络、排队、图像处理和生成,并非纯思考时间或人类主动答题时间。额外失败尝试单独记录。