รายงานเบื้องต้น ·
AI สามโมเดลกับโจทย์การให้เหตุผลเชิงภาพ 40 ข้อ
รายงานเบื้องต้นเรื่องความแม่นยำ การตอบครบ เวลา API และต้นทุน โดยทดสอบ 40 ข้อต่อโมเดลหนึ่งรอบ และแยกการตรวจสอบเพื่อพัฒนาเรื่องเพดานการให้เหตุผลและการส่งคำตอบออกต่างหาก
- รุ่นโมเดลที่ระบุวันที่
- 3
- ข้อต่อโมเดล
- 40
- รอบเดิมต่อโมเดล
- 1
การทดสอบเดิม 40 ข้อ
ทุกโมเดลใช้การให้เหตุผลระดับกลางและเพดานเอาต์พุตรวม 8,192 โทเคน รวมส่วนการให้เหตุผลด้วย การถูกตัดเมื่อถึงเพดานนับว่าไม่สำเร็จในคะแนนดิบ
เลื่อนตารางด้านข้างเพื่อดูทุกคอลัมน์
| โมเดล | ถูก / 40 | ผิด | ถูกตัดที่เพดาน | รูปแบบใช้ได้ / 40 | มัธยฐานเวลา API | ค่าใช้ API (USD) |
|---|---|---|---|---|---|---|
| Gemini 4 CarbonGoogle AI Studio | 34/4085.0% | 1 | 5 | 35/40 | 13.9 วิ | US$0.92 |
| Claude Fable 5.2Anthropic | 32/4080.0% | 7 | 1 | 39/40 | 4.0 วิ | US$1.76 |
| GPT-6 AstraOpenAI | 37/4092.5% | 3 | 0 | 40/40 | 3.7 วิ | US$1.80 |
ใช้ได้หมายถึงตอบครบตามรูปแบบที่กำหนด ไม่ได้หมายความว่าถูก เวลา API รวมเครือข่าย คิว และการสร้างคำตอบ มัธยฐานรวมการถูกตัดด้วย ความพยายาม HTTP ที่ล้มเหลวเพิ่มเติมบันทึกแยกไว้ ค่าใช้จ่ายที่แสดงถูกปัดเศษ ส่วนไฟล์เก็บจำนวนที่แน่นอน
เหตุใดการตอบครบจึงสำคัญ
Carbon ตอบผิดหนึ่งข้อและถูกตัดด้วยเพดานโทเคนห้าข้อ ส่วน Astra ตอบผิดสามข้อโดยไม่ถูกตัด ความต่างที่เห็นจึงรวมโอกาสตอบจนจบที่ต่างกัน แม้เพดานตามชื่อจะเท่ากัน
การให้เหตุผลใช้ส่วนหนึ่งของโควตาเอาต์พุต เมื่อหมดอาจไม่มีคำตอบสุดท้าย เพดานโทเคนเท่ากันและป้ายกำกับอย่าง “กลาง” ไม่ได้แปลว่าผู้ให้บริการใช้การคำนวณเท่ากัน เอกสาร OpenRouter เรื่องโทเคนการให้เหตุผล
การตรวจสอบความไวภายหลัง
ใน 34 ข้อที่ทุกโมเดลให้คำตอบรูปแบบใช้ได้ Carbon และ Astra ได้โมเดลละ 33/34 ส่วน Fable ได้ 30/34 ชุดย่อยนี้เลือกหลังเห็นความล้มเหลวและตัดข้อที่ถูกจำกัดออก จึงเป็นการตรวจสอบความไว ไม่ใช่อันดับทดแทนที่ปราศจากอคติหรือหลักฐานว่าความสามารถเท่ากัน
การตรวจสอบเพื่อพัฒนาแยกต่างหาก
เลือกตำแหน่ง 24, 28, 35, 36, 38 และ 40 เพราะแต่ละข้อมีอย่างน้อยหนึ่งโมเดลใช้โควตาเดิมจนหมด ตรวจสอบการตอบครบ การส่ง เวลา และต้นทุน ไม่ได้ให้คะแนนความถูกต้อง: คำตอบใช้ได้ 6/6 ไม่ได้หมายถึงถูกหกข้อ และไม่ได้ใช้แทนคะแนนเดิม
เลื่อนตารางด้านข้างเพื่อดูทุกคอลัมน์
| ชุดการตั้งค่า | เพดานเอาต์พุต | รูปแบบใช้ได้ / 6 | ถูกตัดที่เพดาน | ไม่ได้รับคำตอบ | ค่าใช้ API (USD) |
|---|---|---|---|---|---|
| GPT-6 AstraOpenAI · การให้เหตุผลระดับสูงไม่รวมเนื้อหาการให้เหตุผลในคำตอบ API | 32,768 | 6/6 | 0 | 0 | US$1.08 |
| Claude Fable 5.2Anthropic · การให้เหตุผลระดับสูงไม่รวมเนื้อหาการให้เหตุผลในคำตอบ API | 32,768 | 6/6 | 0 | 0 | US$0.80 |
| Gemini 4 CarbonGoogle AI Studio · การให้เหตุผลระดับสูงไม่รวมเนื้อหาการให้เหตุผลในคำตอบ API | 32,768 | 3/6 | 1 | 2 | US$1.05 |
| Gemini 4 CarbonGoogle Vertex global · การให้เหตุผลระดับสูงไม่รวมเนื้อหาการให้เหตุผลในคำตอบ API | 65,536 | 3/6 | 0 | 3 | US$0.49 |
| Gemini 4 CarbonGoogle Vertex global · การให้เหตุผลระดับสูงรวมความคืบหน้า API และทิ้งข้อความในเครื่อง | 65,536 | 6/6 | 0 | 0 | US$1.42 |
ชุดแรกของ Carbon ยังมีการหมดเวลาก่อนหน้าที่ไม่ตอบและไม่คิดเงิน การกู้คืนหนึ่งครั้งสำเร็จ ความพยายามที่ล้มเหลวยังคงอยู่ในข้อมูลวัด ข้อที่ไม่ได้คำตอบในภายหลังเก็บไว้โดยไม่ลองซ้ำ
หนึ่งข้อใช้เอาต์พุต 51,145 โทเคน
ชุดสุดท้ายของ Carbon ใช้ Vertex เพดาน 65,536 โทเคน และสตรีมความคืบหน้าการให้เหตุผลโดยทิ้งข้อความในเครื่อง ตอบครบทั้งหกข้อ ข้อหนึ่งใช้ 10 นาที 56 วินาที อีกข้อใช้ 6 นาที 43 วินาที ทั้งคู่เกินขอบเขตหมดเวลาเดิมห้านาที
สิ่งนี้สนับสนุนว่าการตั้งค่านี้ทำงานกับข้อพัฒนาเหล่านี้ได้ แต่ไม่พิสูจน์สาเหตุสากลของการหมดเวลา ไม่รับประกันว่าจะตอบครบในอนาคต และไม่ให้คะแนนความแม่นยำชุดใหม่ 40 ข้อ ความล้มเหลวเดิมยังแยกไว้
วิธีดำเนินการศึกษา
- โจทย์เดิม บริบทใหม่
- ภาพนิ่งขนาด 1152 × 1552 หนึ่งภาพต่อข้อ พร้อมโจทย์และแปดตัวเลือกที่มีหมายเลข ใช้พรอมป์ต์ภาษาอังกฤษเดียวกันและโครงสร้าง JSON เคร่งครัด ไม่ให้เครื่องมือ การท่องเว็บ คำใบ้ หรือเฉลย
- ตรึงตัวเลือกและตรวจในเครื่อง
- สับตัวเลือกอย่างสมดุลด้วยซีดคงที่เพื่อจับคู่หมายเลขกับตัวเลือกเดิม ตรวจคะแนนในเครื่องเทียบระบบให้คะแนนจริง ไม่ทำซ้ำคำตอบเดิมที่ได้รับหรือกรณีถูกตัด
- ยังแสดงความล้มเหลวในการส่ง
- มีความพยายาม HTTP 503 เพิ่มหนึ่งครั้งที่ไม่ตอบในรอบเดิม ยืนยันว่าไม่คิดเงินแล้วจึงลองคำขอเดิมซ้ำ ความล้มเหลวนั้นใช้เวลา 29.516 วินาที ชุดพัฒนาและประวัติกู้คืนบันทึกแยกไว้
- การประเมินเชิงสำรวจภายใน
- UniversalIQTest.com ดำเนินการทดสอบต้นทางและการศึกษานี้ ตรวจแฮชคำขอและภาพ เวลารายข้อ คะแนน และค่าใช้จ่ายในเครื่อง ยังไม่มีการทบทวนจากผู้ทรงคุณวุฒิภายนอก
รุ่นโมเดลและผู้ให้บริการเดิมที่แน่นอน
google/gemini-4-carbon-20261110— Google AI Studioanthropic/claude-fable-5.2-20261109— Anthropicopenai/gpt-6-astra-20260903— OpenAI
ลายนิ้วมือของระเบียบวิธีเดิม: f4425b7fb5a235cd7c11fb84c4849c4f7df3d43064160f289b8434ec9478f59b
รายงานนี้บอกอะไรได้
บันทึกผลงานบนชุดข้อสอบสาธารณะเฉพาะภายใต้การตั้งค่า API ที่ระบุ การตอบครบ ความผิดพลาด เวลา และต้นทุนควรรายงานแยกกัน มีเพียงหนึ่งรอบเดิมต่อโมเดล จึงไม่ได้ประมาณความแปรผันระหว่างรอบ
ข้อสาธารณะอาจเคยอยู่ในข้อมูลฝึก แต่ไม่ได้วัดการปนเปื้อนนี้ ภาพนิ่งที่มีหมายเลขต่างจากการทดสอบแบบโต้ตอบของมนุษย์ ชุดพัฒนาภายหลังมีการตั้งค่าและเงื่อนไขเก็บข้อมูลต่างกัน จึงจัดอันดับเวลาไม่ได้
ไม่ได้วัดหรือกำหนด IQ มนุษย์หรือเปอร์เซ็นไทล์ให้โมเดล เกณฑ์มนุษย์ไม่ถ่ายโอนไปใช้กับ AI โดยอัตโนมัติ การประเมินเต็มรูปแบบซ้ำในอนาคตต้องมีแผนเก็บข้อมูลใหม่ที่ตรึงไว้ล่วงหน้า ข้ออภิปราย OECD เรื่องใช้แบบทดสอบมนุษย์ประเมิน AI
ข้อมูลวัดและการอ้างอิง
การใช้ API ที่บันทึก: รอบเดิม US$4.478100 การตรวจเพื่อพัฒนา US$4.843563 และการทดลองทางเทคนิค US$0.334781 รวม US$9.656444 (ปัดเป็น US$9.66) ตรวจตรงกับใบเรียกเก็บแล้ว ไม่รวมค่าธรรมเนียมและภาษี
ทุกภาษาใช้ไฟล์ต้นทางเดียวกัน รายงานดาวน์โหลด กราฟ ชื่อฟิลด์ JSON และพรอมป์ต์เดิมเป็นภาษาอังกฤษ ไม่รวมวิธีแก้ เฉลยส่วนตัว ข้อมูลผู้เข้าร่วม ข้อมูลเข้าถึงระบบ หรือข้อความการให้เหตุผล การอ้างอิงด้านล่างใช้ชื่อรายงานเดิม
UniversalIQTest.com (2026). Three AI models on 40 visual reasoning questions: preliminary report. 14 November 2026. https://www.universaliqtest.com/ai-iq-testคำถามที่พบบ่อย
- นี่คือคะแนน IQ ของ AI หรือไม่?
- เป็นผลดิบของโจทย์การให้เหตุผลเชิงภาพ 40 ข้อ ไม่ได้วัดหรือกำหนด IQ มนุษย์หรือเปอร์เซ็นไทล์ ความล้มเหลวจากเพดานและการทดสอบเพียงรอบเดียวไม่รองรับอันดับสติปัญญาทั่วไป
- คำตอบสอบเทียบที่ใช้ได้หมายถึงอะไร?
- คำตอบครบในรูปแบบ JSON ที่ต้องการ ไม่ได้ให้คะแนนการสอบเทียบ หกคำตอบใช้ได้จึงไม่ใช่หกคำตอบถูก และไม่ได้แทนคำตอบเดิม
- โมเดลกับมนุษย์ทำข้อสอบเดียวกันหรือไม่?
- ภาพมาจากแบบทดสอบสาธารณะ 40 ข้อเดียวกัน โมเดลได้รับภาพนิ่ง แปดตัวเลือก พรอมป์ต์ภาษาอังกฤษคงที่และบริบทใหม่ ไม่ได้จำลองประสบการณ์โต้ตอบของมนุษย์ การแปลรายงานไม่เปลี่ยนภาษาของการทดลอง
- วัดเวลาทุกข้อหรือไม่?
- วัดครบทั้ง 120 ตำแหน่งเดิม เวลา API รวมเครือข่าย คิว การประมวลผลภาพและการสร้าง ไม่ใช่เฉพาะเวลาคิดหรือเวลาตอบจริงของมนุษย์ ความพยายามที่ล้มเหลวเพิ่มเติมบันทึกแยกไว้
สำรวจรูปแบบโจทย์หรืออ่านวิธีการของเรา