Benchmark Heatmap

Compare models across all benchmark scores at a glance. Colors are normalized per column (red = low, green = high).

Top

Sort by

Model	AgMoBench	AgMo Trust	AgMo Pred.	Reasoning	Coding	Math	Agentic	Robust.	AA Intel.	AA Coding	AA Math	MMLU Pro	GPQA	HLE	LiveCode	SciCode	MATH-500	AIME	AIME 25	IFBench	LCR	TB Hard	τ²-Bench	GDP-Val AA	HMMT Nov 2…	IFEval	LiveCodeBe…	Chatbot Ar…	SimpleQA V…	Adversaria…	BALROG	BIG-Bench …	BoolQ	CAD-Eval	CyBench	DeepResear…	FictionLiv…	GeoBench	SWE-Bench …	RE-Bench	LongBench …	GDPval	SWE-Bench …	SEAL Tool …	Open LLM: …	Epoch Capa…	Hle	SimpleQA	LiveBench …	GSO	METR Time …	VPCT	WebDev Arena	GAIA	MMLU	LAMBADA	TruthfulQA	WebArena	tau-bench …	Aider Poly…	MT-Bench	tau-bench …	Chess Puzz…	Parameter …	OTIS Mock …	Training C…	NoLiMa (NI…	OpenBookQA	Training C…	OSWorld (E…	Open LLM: …	Open LLM: …	AA-Omnisci…	Open LLM: …	BullshitBe…	ARC-AGI-2	SWE-bench …	MMMU	Video-MME	BrowseComp	Arena ELO:…	FORTRESS	Propensity…	MASK	PRBench Fi…	PRBench Le…	MCP Atlas	MultiChall…	EnigmaEval	IFBench (M…	Open LLM: …	Open LLM: …	MMMU-Pro	AIME 2026	AA-Omnisci…	OCRBench v2	MMTU Table…	IDP OlmOCR	CyberGym	IDP OmniDoc	IDP Core	OmniDocBen…	Finance Ag…	CharXiv Re…	CharXiv Re…	HLE (with …	MedQA (USM…	Video-MME …	Video-MME …	LiveBench …	ARC-AGI-1	MLE-bench	PIQA	TriviaQA	WinoGrande	BFCL (Berk…	HuggingFac…	AA-Omnisci…	EQ-Bench 3	HuggingFac…	WeirdML	BRUMO 2025	WildBench	Aider Poly…	Vectara Ha…	GAIA Level 1	Chatbot Ar…	Codeforces…	CritPt	GSM8K	HMMT Feb 2…	HumanEval	MathVision	MRCR v2	OSWorld	SWE-bench …	Tau-Bench …	USAMO 2025	Video-MMU	AA Intelli…	AA Long Co…	SimpleBench	BigCodeBen…	AIME 2024	BigCodeBen…	AIME 2025 …	AIME 2026	MathVista	Arena-Hard…	GPQA Diamo…	LiveBench …	LiveBench …	OpenRouter…	LiveBench …	ARC-AGI-1 …	ARC-AGI-2 …	FrontierMath	AlpacaEval…	AlpacaEval…	LongBench v2	LegalBench	LiveBench …	OpenRouter…	HLE (Matrix)	IMO 2025	MATH-500 (…	MathArena …	SciCode (M…	Terminal-B…	BigCodeBench	CMIMC 2025	MMLU-Pro (…	MMMU-Pro	SMT 2025	Terminal-B…	GSM8K (Epo…	HellaSwag	Lech Mazur…	ScienceQA	The Agent …	Video-MME …	Apex Agents	Arc Agi 2	GAIA Level 3	GAIA Level 2	Gdpval	Posttrainb…	Open LLM A…	LongBench …	Arena ELO:…	SWE-bench …	BIRD-bench	Cybench	ChemBench	Open Finan…	DABStep	IDP Overall	Vectara Fa…	Arena Elo …	τ²-Bench	Browsecomp	Simpleqa	LCR	AIME	Arena Elo …	Terminal-B…	Arena Elo …	Arena Elo …	IFBench	LiveCodeBe…	Arena Elo …	GPQA Diamond	HLE	SciCode
Gemini 3.1 Pro Preview	91.8	92.0	91.8	97.5	92.0	95.6	98.7	87.5	57.2	55.5	—	—	0.9	0.4	—	0.6	—	—	—	0.8	0.7	0.5	1.0	—	—	89.2	82.0	1487.0	0.8	—	0.0	—	—	—	—	—	—	—	46.1	—	—	—	32.2	—	—	156.6	0.5	72.1	79.9	0.2	89.8	—	1446.5	—	92.6	—	—	—	—	—	—	90.5	0.6	—	1.0	—	—	—	—	—	—	—	32.9	—	37.0	77.1	80.6	87.5	—	85.9	1447.0	—	—	—	—	—	78.2	71.4	19.8	—	—	—	80.5	98.3	—	—	—	69.8	—	85.3	89.6	—	59.7	—	—	51.4	96.4	—	—	84.0	98.0	—	—	—	—	—	—	55.3	1302.0	—	72.1	—	—	—	10.4	—	1490.0	2700.0	17.7	—	—	95.0	69.8	84.9	72.0	54.2	—	—	—	57.0	—	79.6	—	98.0	—	100.0	97.0	—	—	94.3	91.0	85.4	369000000000.0	78.5	0.5	1.0	40.0	—	—	—	87.4	76.5	23.0	44.4	—	98.5	33.5	58.9	68.5	—	—	89.5	80.5	—	—	—	—	—	—	—	—	3.4	0.8	—	—	—	0.2	—	—	1490.0	—	—	—	—	—	—	81.6	89.6	—	1.0	85.9	72.1	0.7	—	—	—	1280.0	—	0.8	—	1441.0	0.9	0.4	0.6
Gemini 3 Pro Preview (high)	87.1	87.3	87.1	91.8	88.2	72.4	90.3	86.8	48.4	46.5	95.7	0.9	0.9	0.4	0.9	0.6	—	—	1.0	0.7	0.7	0.4	0.9	—	93.3	90.0	79.7	1486.0	0.7	—	—	—	—	—	—	—	—	0.0	—	92.9	—	—	—	—	—	153.4	0.4	72.1	73.4	0.2	54.1	0.9	9824.0	—	91.8	—	—	—	—	—	—	88.5	0.3	—	0.9	—	—	—	—	—	—	—	—	—	48.0	54.0	69.6	87.5	—	85.9	1439.0	—	—	—	—	—	—	—	—	—	—	—	81.0	91.7	—	—	—	77.7	—	88.8	81.8	90.2	—	—	—	—	96.0	—	—	77.4	75.0	64.4	—	—	—	72.5	—	55.9	—	—	—	98.3	—	—	13.6	—	1501.0	2512.0	9.1	—	97.5	93.0	—	77.0	55.0	43.3	99.3	—	87.6	—	—	76.4	—	97.0	—	95.0	—	—	—	91.9	81.8	84.6	141000000000.0	74.4	0.5	30.6	19.0	—	—	—	87.0	74.6	20.0	37.5	—	97.3	23.4	56.1	56.9	—	90.0	89.8	81.0	93.4	—	—	—	—	—	—	—	3.0	0.3	—	—	0.5	0.0	—	—	1485.0	—	—	—	—	—	—	82.8	86.4	—	0.9	85.9	72.1	0.7	—	—	—	1290.0	—	0.7	0.9	1433.0	0.9	0.4	0.6
Claude Opus 4.6 (Non-reasoning, High Effort)	85.9	86.5	85.9	82.0	95.3	92.5	74.1	92.7	46.5	47.6	—	—	0.8	0.2	—	0.5	—	—	—	0.4	0.6	0.5	0.8	1606.0	—	94.0	76.0	1498.0	0.4	—	—	—	—	—	0.9	—	—	—	51.9	100.0	—	—	47.1	—	—	155.3	0.2	72.0	—	0.3	69.9	—	1542.7	—	90.8	—	—	7.1	—	—	7.9	91.9	0.2	—	0.9	—	—	—	—	—	—	—	13.5	—	87.0	68.8	75.6	76.5	—	84.0	1539.0	13.0	—	96.3	53.3	52.3	76.8	—	—	—	—	—	73.9	96.7	—	—	—	74.1	73.8	85.9	81.1	—	60.1	69.1	84.7	53.3	95.4	—	—	—	93.0	63.1	—	—	—	—	—	45.1	1383.0	—	65.9	—	—	—	12.2	—	1502.0	2650.0	12.6	—	15.9	95.0	—	93.0	72.7	55.6	98.2	—	—	53.0	—	67.6	—	75.5	—	100.0	—	—	59.7	91.3	—	—	430000000000.0	—	1.9	3.6	40.0	27.3	17.0	—	85.3	—	18.0	40.0	—	93.0	—	—	62.9	—	—	82.0	77.3	—	39.0	—	—	—	—	—	—	3.4	0.7	—	—	—	0.0	—	—	1472.0	—	70.2	93.0	—	—	94.4	80.4	87.8	—	0.8	84.0	72.0	0.6	—	—	—	1297.0	—	0.4	—	1507.0	0.8	0.2	0.5
Claude Sonnet 4.6 (Non-reasoning, High Effort)	85.8	85.3	85.8	75.7	94.4	87.9	89.5	90.7	44.4	46.4	—	—	0.8	0.1	—	0.5	—	—	—	0.4	0.6	0.5	0.8	1633.0	—	92.0	74.0	1471.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	152.6	—	—	—	—	—	—	1510.6	—	90.0	—	—	—	—	—	—	89.0	—	—	—	—	—	—	—	72.1	—	—	12.4	—	91.0	60.4	79.6	74.2	—	—	1523.0	—	—	—	—	—	69.4	—	—	—	—	—	74.5	—	—	—	—	73.9	—	86.9	81.2	—	—	—	—	—	92.1	—	—	—	86.5	—	—	—	—	—	—	40.0	1384.0	—	66.1	—	—	—	10.6	—	—	2010.0	—	—	—	93.0	—	82.0	72.5	48.2	97.0	—	—	51.0	—	—	—	—	—	97.0	—	—	—	74.1	—	—	2170000000000.0	—	1.2	2.7	35.0	—	—	—	82.1	—	23.0	38.0	—	96.5	—	—	59.1	—	—	80.0	74.5	—	—	—	—	—	—	—	—	—	—	—	—	—	0.2	—	—	1442.0	—	—	—	—	—	—	80.7	89.4	—	0.8	78.0	68.0	0.6	—	—	—	1278.0	—	0.4	—	1487.0	0.8	0.1	0.5
GPT-5.2 (xhigh)	81.0	82.5	81.0	83.3	86.1	97.0	70.7	68.7	51.3	48.7	99.0	0.9	0.9	0.4	0.9	0.5	—	—	1.0	0.8	0.7	0.5	0.8	—	95.8	95.0	80.0	1435.0	0.4	—	0.0	—	—	—	—	0.5	1.0	0.0	—	81.7	—	—	23.8	—	—	153.7	0.3	58.0	48.9	0.1	38.3	0.8	1641.0	—	88.0	—	—	—	—	0.1	—	88.0	0.5	—	1.0	—	—	—	—	—	—	—	-1.0	—	38.0	72.9	69.0	86.7	—	77.9	1405.0	—	34.4	—	—	—	—	—	—	—	—	—	79.5	98.3	—	—	—	79.1	—	88.0	77.4	—	—	—	—	—	94.1	—	—	42.8	94.5	—	—	—	—	55.9	—	43.8	1314.0	—	72.2	98.3	—	—	10.8	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	45.8	—	100.0	—	100.0	—	—	—	93.2	58.3	50.0	165000000000.0	47.7	11.4	39.0	40.3	—	—	—	82.8	76.5	9.0	35.2	—	99.4	13.5	54.6	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.5	—	—	0.4	0.0	—	—	1391.0	—	—	—	—	—	—	81.5	89.2	—	0.8	77.9	58.0	0.7	—	—	—	1230.0	—	0.8	0.9	1401.0	0.9	0.4	0.5
Claude Opus 4.5 (Reasoning)	79.0	79.4	79.0	88.7	91.5	72.4	77.2	96.2	49.7	47.8	91.3	0.9	0.9	0.3	0.9	0.5	—	—	0.9	0.6	0.7	0.5	0.9	—	—	90.0	68.0	1474.0	0.4	—	—	—	—	—	0.8	—	—	0.0	—	97.8	—	—	—	—	—	149.7	0.1	72.0	76.0	0.3	49.4	0.4	4468.0	—	90.8	—	—	—	—	—	—	88.9	0.1	—	0.8	—	—	—	—	66.3	—	—	—	—	90.0	37.6	74.4	80.7	—	67.8	1489.0	9.6	—	92.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.9	—	—	—	80.0	—	—	—	—	77.5	—	40.7	—	—	63.7	—	—	—	10.9	—	1468.0	2070.0	0.3	—	92.9	95.1	—	—	66.3	45.9	98.2	—	68.4	—	75.0	62.0	—	90.0	—	92.8	—	—	59.7	87.0	—	—	157000000000.0	—	1.5	2.4	21.0	—	—	—	84.6	—	14.0	37.6	—	85.0	—	—	57.8	—	—	80.0	—	—	39.0	—	—	—	—	—	—	3.1	0.1	—	—	0.6	0.0	—	—	—	—	—	—	—	—	—	—	89.1	—	0.9	67.8	72.0	0.7	—	—	—	—	—	0.6	0.9	—	0.9	0.3	0.5
Claude Sonnet 4.6 (Non-reasoning, Low Effort)	78.7	78.0	78.7	73.9	92.0	87.9	89.5	90.7	42.6	43.0	—	—	0.8	0.1	—	0.4	—	—	—	0.4	0.6	0.4	0.8	1633.0	—	92.0	74.0	—	0.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	153.0	—	68.0	—	—	—	—	1510.6	—	90.0	—	—	—	—	—	—	89.0	0.1	—	0.9	—	—	—	—	—	—	—	12.4	—	91.0	60.4	79.6	74.2	—	78.0	1521.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.5	—	—	—	—	—	—	40.0	—	—	—	—	—	—	10.6	—	—	2010.0	—	—	—	93.0	—	82.0	72.5	48.2	97.0	—	—	51.0	—	—	—	—	—	97.0	—	—	—	74.1	—	—	972000000000.0	—	1.2	2.7	35.0	—	—	—	—	—	22.0	38.0	—	96.5	—	—	59.1	—	—	80.0	74.5	—	—	—	—	—	—	—	—	—	0.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.4	—	0.8	78.0	68.0	0.6	—	—	—	—	—	0.4	—	—	0.8	0.1	0.4
Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort)	74.8	77.1	74.8	88.4	94.3	87.9	89.5	48.4	51.7	50.9	—	—	0.9	0.3	—	0.5	—	—	—	0.6	0.7	0.5	0.8	1633.0	—	87.6	48.5	—	0.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	153.0	—	—	—	—	—	—	1510.6	—	90.0	—	—	—	—	—	—	89.0	0.1	—	0.9	—	—	—	—	—	—	—	12.4	—	30.0	60.4	79.6	74.4	—	—	1521.0	—	—	—	—	—	—	—	—	42.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	86.5	—	—	—	—	—	—	40.0	1533.0	—	—	—	—	—	10.6	—	—	2010.0	—	—	15.9	88.0	—	82.0	42.0	48.2	97.0	—	—	51.0	—	—	—	43.4	—	97.0	—	—	51.6	74.1	—	—	1040000000000.0	—	1.2	2.7	35.0	—	—	—	—	—	7.0	5.8	—	96.5	—	—	59.1	—	—	80.0	74.5	—	36.4	—	—	—	—	—	—	—	0.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	89.4	—	0.8	78.0	15.9	0.7	—	—	—	—	—	0.6	—	—	0.9	0.3	0.5
Claude Opus 4.5 (Non-reasoning)	74.5	74.1	74.5	79.8	86.9	61.6	77.2	96.2	43.1	42.9	62.7	0.9	0.8	0.1	0.7	0.5	—	—	0.6	0.4	0.7	0.4	0.9	—	—	90.0	68.0	1473.0	0.4	—	0.0	—	—	—	0.8	—	—	0.0	45.9	97.8	—	—	23.4	—	—	149.9	0.1	72.0	76.0	0.3	49.4	0.4	4468.0	—	90.8	—	—	—	—	—	—	88.9	0.1	—	0.8	—	—	—	—	66.3	—	—	—	—	90.0	37.6	74.4	80.7	—	67.8	1490.0	13.6	—	—	—	—	—	—	—	—	—	—	73.9	—	—	—	—	—	—	—	—	—	—	—	—	—	93.2	—	—	—	80.0	—	—	—	—	77.5	—	45.7	1308.0	—	63.7	—	—	—	10.9	—	1468.0	2070.0	0.3	—	92.9	95.1	—	—	66.3	45.9	98.2	—	68.4	—	75.0	62.0	—	90.0	—	92.8	—	—	59.7	87.0	—	—	161000000000.0	—	1.5	2.4	21.0	—	—	—	82.8	—	29.0	37.6	—	85.0	—	—	57.8	—	—	80.0	—	—	39.0	—	—	—	—	—	—	3.1	0.1	—	—	0.6	0.2	—	—	1468.0	—	—	82.0	—	—	98.9	—	89.1	—	0.9	67.8	72.0	0.7	—	—	—	—	—	0.4	0.7	1461.0	0.8	0.1	0.5
Claude Opus 4.6 (Adaptive Reasoning, Max Effort)	74.0	76.3	74.0	90.8	96.8	67.4	87.7	55.6	52.9	48.1	—	—	0.9	0.4	—	0.5	—	—	—	0.5	0.7	0.5	0.9	1606.0	—	89.7	47.4	1502.0	0.4	—	—	—	0.6	—	0.9	—	—	—	—	100.0	—	—	—	—	—	143.7	0.2	—	—	0.3	69.9	—	1542.7	—	90.8	—	—	—	—	—	7.9	91.9	0.2	—	0.9	—	—	—	—	—	—	—	13.5	—	34.0	68.8	75.6	76.5	—	—	1548.0	13.0	—	—	—	—	75.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	93.0	63.1	—	—	—	—	—	45.1	—	—	78.0	—	—	—	12.2	—	1502.0	1886.0	0.3	—	15.9	95.0	—	93.0	38.2	35.8	98.2	—	—	53.0	—	67.6	—	75.5	—	100.0	—	—	59.7	91.3	—	—	1020000000000.0	—	1.9	3.6	10.0	27.3	17.0	—	85.3	—	11.0	7.1	—	94.4	—	—	43.2	—	—	86.6	77.3	—	39.0	5.0	0.0	—	—	—	—	3.4	0.7	—	—	—	0.0	—	—	—	—	—	—	—	—	—	—	87.8	—	0.9	84.0	22.8	0.7	—	—	—	—	—	0.5	—	—	0.9	0.4	0.5
Grok 4	73.9	72.6	73.9	76.1	73.8	85.4	91.2	84.3	41.5	40.5	92.7	0.9	0.9	0.2	0.8	0.5	1.0	0.9	0.9	0.5	0.7	0.4	0.7	—	93.3	91.0	82.0	1474.0	0.5	—	0.0	—	—	—	0.4	0.5	1.0	0.0	—	—	—	—	—	—	—	147.4	—	48.0	39.7	—	0.7	—	1188.9	—	94.0	—	—	—	—	59.6	—	—	0.3	3000000000000.0	0.8	387842678.1	—	—	5.0000000000001e+26	—	—	—	15.3	—	56.0	65.1	79.0	75.0	—	—	1209.0	—	—	—	—	—	—	—	—	—	—	—	—	—	96.9	—	—	—	—	—	—	—	—	—	—	—	92.5	—	—	25.6	89.5	—	—	—	—	63.0	—	41.4	1077.0	—	45.7	97.5	—	79.6	—	—	1465.0	2650.0	—	—	90.0	95.0	—	—	52.0	46.5	—	61.9	87.6	73.0	68.0	60.5	—	94.0	—	94.0	—	—	—	91.0	45.5	42.0	—	43.5	0.3	0.9	38.0	—	—	—	83.2	58.5	—	44.4	11.9	98.5	5.2	—	23.1	—	84.4	85.3	81.0	84.6	39.0	—	—	8.1	—	—	—	2.7	0.2	—	—	0.2	—	—	—	1467.0	—	—	43.0	—	—	—	—	—	—	0.7	—	55.0	0.7	0.9	—	—	1249.0	1209.0	0.5	0.8	—	0.9	0.2	0.5
Gemini 3 Flash Preview (Non-reasoning)	72.5	73.7	72.5	78.3	81.3	56.4	76.1	59.7	35.0	37.8	55.7	0.9	0.8	0.1	0.8	0.5	—	—	0.6	0.6	0.5	0.3	0.4	—	93.3	88.2	90.8	1473.0	0.7	—	0.0	—	—	—	—	—	—	0.0	—	—	—	—	—	—	—	150.9	—	60.0	72.4	0.1	—	0.7	3053.0	—	91.8	—	—	—	—	—	—	82.0	0.4	—	0.9	—	—	—	—	—	—	—	11.6	—	10.0	33.6	75.8	87.6	—	75.0	1437.0	—	—	—	—	—	—	—	—	—	—	—	—	96.7	—	—	—	75.3	—	90.1	80.5	90.4	—	—	—	—	95.8	—	—	74.5	84.7	62.7	—	—	—	—	—	45.5	—	—	—	100.0	—	—	13.5	—	1473.0	2100.0	—	—	—	—	—	—	50.0	34.6	—	—	86.9	—	—	61.1	—	93.0	—	90.4	—	—	—	90.4	84.2	84.6	985000000000.0	74.8	0.2	0.2	30.0	—	—	—	86.9	73.9	2.0	33.7	—	—	15.6	—	51.7	—	90.6	88.6	81.2	92.9	—	—	—	—	—	—	—	3.3	0.0	—	—	—	—	—	—	1459.0	—	—	—	—	—	—	82.0	86.5	—	0.4	75.0	60.0	0.5	—	—	—	1272.0	—	0.6	0.8	1413.0	0.8	0.1	0.5
GPT-5.2 (medium)	72.0	73.8	72.0	77.0	89.2	96.6	67.8	63.5	46.6	44.2	96.7	0.9	0.9	0.2	0.9	0.5	—	—	1.0	0.7	0.6	0.4	0.7	—	95.8	95.0	80.0	1482.0	0.3	—	0.0	—	—	—	—	0.5	1.0	0.0	—	81.7	—	—	—	—	—	153.8	0.3	58.0	48.9	0.1	38.3	0.6	1641.0	—	88.0	—	—	—	—	0.1	—	88.0	0.4	—	0.9	—	—	—	—	—	—	—	-1.0	—	27.0	26.7	65.0	86.7	—	77.9	1472.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.8	72.7	—	—	—	—	55.9	—	43.8	—	—	60.7	98.3	—	—	10.8	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	45.8	—	100.0	—	100.0	—	—	—	93.2	58.3	50.0	193000000000.0	47.7	0.3	0.8	40.3	—	—	—	—	76.5	16.0	35.2	—	99.4	13.5	54.6	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.3	—	—	0.4	0.2	—	—	—	—	—	—	—	—	—	—	89.2	—	0.7	77.9	58.0	0.6	—	—	—	—	—	0.7	0.9	—	0.9	0.2	0.5
GPT-5 (high)	71.5	74.7	71.5	80.0	86.7	75.8	41.6	60.3	44.6	36.0	94.3	0.9	0.9	0.3	0.8	0.4	1.0	1.0	0.9	0.7	0.8	0.3	0.8	—	89.2	90.0	84.5	1434.0	0.5	—	—	—	—	—	—	0.5	—	—	—	95.7	—	—	—	—	—	150.0	0.3	—	60.0	—	38.3	0.7	—	—	91.0	—	—	—	—	0.1	—	—	0.4	—	0.9	—	—	—	—	—	—	—	—	—	21.0	9.9	65.0	74.4	—	—	—	—	—	—	51.3	49.0	—	63.2	—	—	—	—	62.7	—	—	80.7	69.6	—	—	—	—	—	—	—	—	—	96.3	—	—	63.1	65.7	39.6	—	—	—	—	—	40.6	1586.0	—	60.7	91.7	—	81.3	15.1	—	1460.0	2537.0	5.7	—	88.3	94.0	—	—	40.0	41.8	97.0	—	—	68.0	75.6	56.7	—	94.6	—	94.6	—	—	—	88.4	72.4	70.0	—	48.0	0.5	0.7	25.2	—	—	—	86.0	78.6	—	35.2	38.1	99.4	1.0	—	35.2	—	90.0	87.0	—	92.0	41.3	—	—	—	—	—	—	3.0	0.1	—	—	—	—	—	—	1375.0	—	—	—	—	—	57.7	—	84.9	—	0.8	54.9	55.0	0.8	1.0	—	—	1211.0	—	0.7	0.8	—	0.9	0.3	0.4
Kimi K2.5 (Reasoning)	70.9	72.8	70.9	84.3	84.1	84.2	66.1	65.7	46.8	39.6	—	—	0.9	0.3	—	0.5	—	—	—	0.7	0.7	0.3	1.0	—	89.2	90.0	85.0	1450.0	—	—	—	—	—	—	—	—	0.9	—	—	—	—	—	—	—	2.7	148.2	0.2	45.0	69.1	—	—	—	1423.9	—	92.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.3	49.7	22.5	-8.1	27.7	52.0	11.8	70.8	84.0	—	74.9	1430.0	—	—	—	—	—	—	—	—	—	39.8	30.0	—	95.8	—	—	—	—	—	—	—	1.0	—	—	—	—	94.4	—	—	76.0	65.3	—	—	—	—	—	37.0	—	1303.0	406888.0	45.6	98.3	—	—	14.2	—	—	2350.0	—	—	95.4	95.0	84.2	—	62.0	—	—	—	86.6	—	—	46.8	—	96.1	—	96.0	—	—	—	87.6	84.9	77.7	302000000000.0	61.4	0.1	0.3	28.0	—	—	—	—	77.9	18.0	50.2	—	98.0	8.8	—	43.2	—	91.3	87.1	78.5	90.6	—	—	—	—	—	—	—	2.5	0.1	—	—	—	0.1	14.6	—	1415.0	—	—	—	—	—	—	—	85.8	—	1.0	74.9	45.0	0.7	—	—	—	1247.0	—	0.7	—	1429.0	0.9	0.3	0.5
DeepSeek V3.2 Speciale	70.6	71.2	70.6	85.3	89.0	94.1	76.9	—	29.4	37.9	96.7	0.9	0.9	0.3	0.9	0.4	—	—	1.0	0.6	0.6	0.3	0.0	—	93.3	88.0	88.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	56.4	—	—	—	—	—	—	—	—	46.7	99.2	—	—	—	—	—	2701.0	—	—	99.2	91.5	—	—	—	—	—	—	—	—	—	—	—	96.0	—	96.0	—	—	—	85.7	—	—	—	—	—	—	—	—	—	—	—	—	—	30.6	83.3	98.0	9.4	—	—	—	94.4	87.5	—	89.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.0	—	—	0.6	—	—	—	—	—	0.6	0.9	—	0.9	0.3	0.4
GPT-5.4 (xhigh)	69.5	70.5	69.5	94.8	83.0	—	—	72.6	56.8	57.2	—	—	0.9	0.4	—	0.6	—	—	—	0.7	0.7	0.6	0.9	—	—	—	—	1468.0	0.5	—	—	—	—	—	—	—	—	—	59.1	—	—	83.0	43.4	—	—	156.1	0.4	—	80.3	0.3	53.9	—	—	—	—	—	—	—	—	—	—	—	0.4	—	0.9	—	—	—	—	—	—	—	5.7	—	48.0	74.0	—	—	—	—	1392.0	—	—	—	—	—	70.6	—	16.0	—	—	—	81.2	99.2	—	—	—	81.0	66.3	85.3	84.4	—	—	—	—	—	96.1	—	—	88.1	93.7	—	—	—	—	—	—	50.0	1328.0	—	57.4	—	—	—	7.0	—	—	—	—	—	—	—	—	—	75.0	57.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	94.2	82.6	327000000000.0	79.3	0.6	1.5	—	—	—	—	86.0	77.5	37.0	—	—	—	—	—	75.1	—	—	—	—	—	—	—	—	—	—	—	—	3.4	0.7	—	—	—	0.0	—	—	1431.0	—	—	—	—	—	—	83.5	93.0	—	0.9	—	—	0.7	—	—	—	1275.0	—	0.7	—	1474.0	0.9	0.4	0.6
GPT-5.3 Codex (xhigh)	68.9	70.8	68.9	94.8	88.2	92.9	—	60.6	53.6	53.1	—	—	0.9	0.4	—	0.5	—	—	—	0.8	0.7	0.5	0.9	—	—	92.0	85.0	—	—	—	—	—	—	—	—	—	—	—	—	79.4	—	—	—	—	—	155.9	—	—	72.8	—	54.7	—	1394.6	—	94.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	9.9	—	24.0	—	56.8	84.0	—	—	1407.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	80.2	—	—	—	—	—	—	—	51.8	—	—	77.9	—	—	—	—	—	—	—	—	99.0	—	93.0	—	—	64.7	56.8	—	—	—	—	—	—	—	—	—	94.0	—	—	—	81.0	87.8	80.1	—	62.7	—	—	—	—	—	—	—	78.2	—	—	—	96.0	—	—	64.7	—	—	—	—	—	—	—	—	—	—	—	—	3.3	—	—	—	—	0.1	—	—	—	—	—	—	—	—	—	—	—	—	0.9	—	—	0.7	—	—	—	—	—	0.8	—	—	0.9	0.4	0.5
Claude Opus 4.8 (Adaptive Reasoning, Max Effort)	67.6	67.3	67.6	90.7	98.0	—	—	98.7	61.4	56.7	—	—	0.9	0.5	—	0.5	—	—	—	0.6	0.7	0.6	0.9	—	—	—	—	1477.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	27.4	—	95.0	72.1	—	—	—	—	1543.0	—	—	—	—	—	82.2	—	—	—	—	—	—	100.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	92.5	—	—	—	—	—	—	—	—	—	82.9	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	64.8	—	—	—	—	—	—	—	—	—	—	1340000000000.0	—	2.3	2.7	—	—	—	—	83.6	—	44.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.9	—	—	0.7	—	—	—	1280.0	—	0.6	—	1472.0	0.9	0.5	0.5
Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback)	67.5	67.8	67.5	93.5	100.0	—	—	92.2	64.9	62.0	—	—	0.9	0.5	—	0.6	—	—	—	0.6	0.7	0.6	1.0	—	—	—	—	1510.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	40.1	—	56.0	—	—	—	—	—	1665.0	—	—	—	—	—	83.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	87.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1.0	—	—	0.7	—	—	—	1307.0	—	0.6	—	1495.0	0.9	0.5	0.6
GPT-5.1 (high)	67.1	69.9	67.1	86.8	78.5	85.3	46.9	62.5	47.7	44.7	94.0	0.9	0.9	0.3	0.9	0.4	—	—	0.9	0.7	0.8	0.5	0.8	—	91.7	—	82.0	1455.0	0.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	149.7	—	—	72.0	—	—	0.6	—	—	90.0	—	—	—	—	—	—	—	0.3	—	0.9	—	—	—	—	—	—	—	—	—	25.0	17.6	66.0	85.4	—	—	1340.0	—	—	—	48.0	49.3	—	63.4	—	—	—	—	76.0	—	—	—	—	—	—	—	—	—	—	—	—	—	96.4	—	—	78.8	72.8	—	—	—	—	—	—	—	1314.0	—	60.8	93.3	—	—	12.1	—	1464.0	—	—	—	—	—	—	—	—	45.0	—	—	—	—	75.0	53.2	—	—	—	94.0	—	—	—	88.1	86.9	79.3	—	69.6	0.7	1.2	31.0	—	—	—	85.7	72.5	—	32.0	—	99.0	1.0	—	47.6	—	91.9	87.5	85.4	91.0	—	—	—	—	—	—	—	2.8	0.2	—	—	—	—	—	—	1430.0	—	—	—	—	—	—	—	87.9	—	0.8	60.0	55.0	0.8	—	—	—	1250.0	—	0.7	0.9	1401.0	0.9	0.3	0.4
Kimi K2.5 (Non-reasoning)	66.6	67.5	66.6	72.8	76.3	84.2	66.1	65.7	37.3	25.8	—	—	0.8	0.1	—	0.4	—	—	—	0.4	0.6	0.2	0.8	—	89.2	90.0	85.0	—	—	—	—	—	—	—	—	—	0.9	—	—	—	—	—	—	—	2.7	148.0	0.2	45.0	69.1	—	—	—	—	—	92.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	63.3	49.7	22.5	-8.1	27.7	52.0	11.8	70.8	84.0	—	74.9	1442.0	—	—	—	—	—	—	—	—	—	39.8	30.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.0	65.3	—	—	—	—	—	66.0	—	—	482783.0	45.6	98.3	—	—	14.2	—	—	2350.0	—	—	95.4	95.0	84.2	—	62.0	—	—	—	86.6	—	—	46.8	—	96.1	—	96.0	—	—	—	87.6	84.9	77.7	558000000000.0	61.4	0.1	0.3	28.0	—	—	—	—	77.9	3.0	50.2	—	98.0	8.8	—	43.2	—	91.3	87.1	78.5	90.6	—	—	—	—	—	—	—	2.5	0.1	—	—	—	—	14.6	—	—	—	—	—	—	—	—	—	85.8	—	0.8	74.9	45.0	0.6	—	—	—	—	—	0.4	—	—	0.8	0.1	0.4
Qwen3.5 397B A17B (Reasoning)	66.6	68.3	66.6	91.0	81.9	96.0	—	58.4	45.0	41.3	—	—	0.9	0.3	—	0.4	—	—	—	0.8	0.7	0.4	1.0	—	—	92.6	83.6	1444.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	88.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	-29.8	—	78.0	—	76.4	85.0	—	—	1395.0	—	—	—	—	—	—	—	—	76.5	—	—	—	94.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1263.0	—	—	—	—	—	—	—	—	2200.0	—	—	—	92.0	90.3	—	—	—	—	—	—	—	—	—	—	94.0	—	95.0	91.3	—	—	88.4	—	—	—	—	—	—	—	—	—	—	—	—	—	32.0	—	98.0	—	—	—	—	—	87.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1412.0	—	—	—	—	—	—	—	—	—	1.0	—	35.0	0.7	—	—	—	1249.0	—	0.8	—	—	0.9	0.3	0.4
Gemini 2.5 Pro	66.4	67.7	66.4	72.7	71.7	56.1	61.8	55.8	34.6	32.0	87.7	0.9	0.8	0.2	0.8	0.4	1.0	0.9	0.9	0.5	0.7	0.3	0.5	—	66.7	90.8	70.4	1446.0	0.6	—	0.0	—	—	1.4	—	0.3	0.6	0.0	—	—	63.3	—	—	68.8	—	146.7	0.2	52.9	58.3	0.0	—	0.4	3505.0	55.1	89.8	—	—	—	—	0.0	—	—	0.2	—	0.8	—	—	—	—	—	—	—	—	—	20.0	4.9	53.6	84.0	—	—	1204.0	—	—	—	—	—	—	—	—	52.3	—	—	—	—	—	86.2	66.5	—	—	—	—	88.0	—	—	—	—	93.1	—	—	70.8	37.0	59.6	—	—	—	—	—	39.0	1259.0	—	54.0	90.0	—	83.1	7.0	71.7	1437.0	2001.0	2.0	—	82.5	—	—	83.1	—	—	—	24.0	84.8	70.0	—	51.6	—	92.0	—	86.7	—	—	90.8	84.0	68.3	75.5	—	51.6	0.5	0.8	10.0	—	—	—	84.3	75.7	—	18.8	31.6	97.3	0.5	—	32.6	—	58.1	85.6	—	84.9	25.3	—	—	8.6	—	4.2	—	1.9	0.0	38.5	50.0	0.3	—	—	—	1447.0	51.7	—	—	—	—	12.7	—	93.0	—	0.5	—	52.9	0.7	0.9	—	—	1246.0	1143.0	0.5	0.8	1420.0	0.8	0.2	0.4
Gemini 3 Pro Preview (low)	66.3	66.6	66.3	84.8	89.8	55.8	87.7	—	41.3	39.4	86.7	0.9	0.9	0.3	0.9	0.5	—	—	0.9	0.5	0.7	0.3	0.7	—	—	—	—	—	0.7	—	0.1	—	—	—	—	—	—	0.0	—	—	—	—	17.9	—	—	—	0.4	—	73.4	0.2	54.1	0.9	9824.0	—	—	—	—	—	—	—	—	—	0.3	—	0.9	—	—	—	—	—	—	—	—	—	48.0	31.1	69.6	—	—	—	—	—	—	—	—	—	70.8	65.7	18.2	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	77.4	75.0	64.4	—	—	—	72.5	—	47.1	1307.0	—	69.9	—	—	—	13.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	76.4	—	—	—	—	—	—	—	—	81.8	84.6	139000000000.0	74.4	0.5	0.8	19.0	—	—	—	—	74.6	17.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	3.0	0.3	—	—	0.5	0.1	—	—	—	—	—	—	—	—	—	—	86.4	—	0.7	—	—	0.7	—	—	—	—	—	0.5	0.9	—	0.9	0.3	0.5
Qwen3.7 Max	66.3	66.6	66.3	95.2	95.2	—	—	90.0	56.6	50.1	—	—	0.9	0.4	—	0.5	—	—	—	0.8	0.7	0.5	0.9	—	—	—	—	1474.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	1524.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	14.1	—	71.0	—	—	—	—	—	1534.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.9	—	—	0.7	—	—	—	—	—	0.8	—	—	0.9	0.4	0.5
Qwen3.5 397B A17B (Non-reasoning)	66.1	67.6	66.1	81.8	88.8	96.0	—	58.4	40.1	37.4	—	—	0.9	0.2	—	0.4	—	—	—	0.5	0.6	0.4	0.8	—	—	92.6	83.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	35.0	—	—	—	—	—	—	88.6	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	-29.8	—	78.0	—	76.4	85.0	—	—	—	—	—	—	—	—	—	—	—	76.5	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	2200.0	—	—	—	92.0	90.3	—	—	—	—	—	—	—	—	—	—	94.0	—	95.0	91.3	—	—	88.4	—	—	—	—	—	—	—	—	—	—	—	—	—	32.0	—	98.0	—	—	—	—	—	87.8	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	0.8	—	35.0	0.6	—	—	—	—	—	0.5	—	—	0.9	0.2	0.4
Grok 4.1 Fast (Reasoning)	65.2	64.9	65.2	70.4	66.6	88.0	93.0	48.7	38.6	30.9	89.3	0.9	0.9	0.2	0.8	0.4	—	—	0.9	0.5	0.7	0.2	0.9	—	93.3	91.0	82.0	1431.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	55.0	33.5	—	—	—	3721.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	-28.7	—	19.0	42.0	79.0	—	—	—	1234.0	—	—	—	—	—	—	—	—	—	—	—	—	94.2	—	—	—	—	—	—	—	—	—	—	—	—	92.1	—	—	23.4	—	—	—	—	—	69.6	—	—	—	—	—	97.5	—	—	19.2	—	1483.0	2650.0	—	—	—	95.0	—	—	52.0	—	—	—	87.6	—	—	56.0	—	—	—	94.0	—	—	—	91.0	38.9	50.0	488000000000.0	40.6	—	—	38.0	—	—	—	82.5	54.3	2.0	44.4	—	98.5	5.2	—	—	—	84.4	85.3	81.0	84.6	—	—	—	—	—	—	—	2.6	—	—	—	—	—	—	—	1410.0	—	—	—	—	—	—	—	80.8	—	0.9	—	55.0	0.7	—	—	—	1196.0	—	0.5	0.8	—	0.9	0.2	0.4
GPT-5.5 (xhigh)	64.8	65.7	64.8	96.8	94.1	—	—	82.2	60.2	59.1	—	—	0.9	0.4	—	0.6	—	—	—	0.8	0.7	0.6	0.9	—	—	—	—	1474.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	158.2	—	—	—	0.4	—	—	1494.7	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	20.1	—	47.0	85.0	—	—	—	—	1501.0	—	—	—	—	—	75.3	—	—	—	—	—	—	100.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	95.0	—	—	—	—	—	—	54.1	1328.0	—	83.9	—	—	—	9.3	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	69.0	—	—	—	—	—	—	—	—	—	—	471000000000.0	—	0.7	1.9	—	—	—	—	86.5	—	9.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	3.6	0.8	—	—	—	—	—	—	1430.0	—	—	—	—	—	—	—	90.7	—	0.9	—	—	0.7	—	—	—	1283.0	—	0.8	—	1483.0	0.9	0.4	0.6
GPT-5.2 (Non-reasoning)	63.9	64.4	63.9	63.4	76.6	80.9	67.8	63.5	33.6	34.7	51.0	0.8	0.7	0.1	0.7	0.4	—	—	0.5	0.5	0.4	0.3	0.5	—	95.8	95.0	80.0	1482.0	0.5	—	0.0	—	—	—	—	0.5	1.0	0.0	—	81.7	—	—	—	—	—	153.8	0.3	—	48.9	0.1	38.3	0.6	1641.0	—	88.0	—	—	—	—	0.1	—	88.0	0.4	—	0.9	—	—	—	—	—	—	—	-1.0	—	27.0	72.9	65.0	86.7	—	—	1472.0	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	—	42.8	94.5	—	—	—	—	55.9	—	43.8	—	—	60.7	98.3	—	—	10.8	—	1440.0	2800.0	11.6	—	99.4	95.0	—	70.0	38.2	55.6	98.7	—	90.5	70.0	75.7	45.8	—	100.0	—	100.0	—	—	—	93.2	58.3	50.0	180000000000.0	47.7	11.4	39.0	40.3	—	—	—	—	76.5	9.0	35.2	—	99.4	13.5	54.6	54.0	—	91.3	86.7	86.5	92.0	—	—	—	8.7	—	—	—	3.5	0.0	—	—	0.4	0.0	—	—	—	—	—	—	—	—	—	—	89.2	—	0.5	77.9	58.0	0.4	—	—	—	—	—	0.5	0.7	—	0.7	0.1	0.4

Low

High(normalized per column)Predicted