← 全部评测图表EvalPlus / 2026-10-23
EvalPlus · CODING

MBPP+ 代码测试

MBPP+ 增强测试下的 pass@1。

悬停或点击柱形图查看信息;最多选中 3 个模型进行对比。
模型评分10 个模型
MBPP+ code tests. Zoomed horizontal axis, from 71.92 to 81.28ZOOMED X-AXIS · 71.92 – 81.28 · NOT FROM ZERO71.9274.2676.6078.9481.28O1 Preview (Sept 2024)O1 Preview (Sept 2024) · 80.2 pass@1 (%) · zoomed horizontal axis80.2O1 Mini (Sept 2024)O1 Mini (Sept 2024) · 78.8 pass@1 (%) · zoomed horizontal axis78.8Qwen2.5-Coder-32B-InstructQwen2.5-Coder-32B-Instruct · 77 pass@1 (%) · zoomed horizontal axis77DeepSeek-Coder-V2-InstructDeepSeek-Coder-V2-Instruct · 75.1 pass@1 (%) · zoomed horizontal axis75.1Gemini 1.5 Pro 002Gemini 1.5 Pro 002 · 74.6 pass@1 (%) · zoomed horizontal axis74.6Claude Sonnet 3.5 (June 2024)Claude Sonnet 3.5 (June 2024) · 74.3 pass@1 (%) · zoomed horizontal axis74.3DeepSeek-V2.5 (Nov 2024)DeepSeek-V2.5 (Nov 2024) · 74.1 pass@1 (%) · zoomed horizontal axis74.1GPT-4-Turbo (Nov 2023)GPT-4-Turbo (Nov 2023) · 73.3 pass@1 (%) · zoomed horizontal axis73.3claude-3-opus (Mar 2024)claude-3-opus (Mar 2024) · 73.3 pass@1 (%) · zoomed horizontal axis73.3DeepSeek-V3 (Nov 2024)DeepSeek-V3 (Nov 2024) · 73 pass@1 (%) · zoomed horizontal axis73
点击柱形条查看详情。

如何理解这张图表

EvalPlus 官方 pass@1 结果;各模型和提示配置可能不同。

指标单位:pass@1 (%). 数值仅应在相同任务和评测协议内比较。

数据获取日期:2026-10-23. 所示指标中数值越大表示结果越好。

数据来源: EvalPlus · Apache-2.0. 根据官方公开数据重新绘图;筛选部分模型并对数值作四舍五入。非数据源机构官方网站。

更多相关图表