说到底，大模型全员0分！谢赛宁领衔华人团队，最新编程​竞赛基准出​炉，题目每日更新禁止刷题

摘要

团队一共测试了22款大模型，并根据表现给出了完整榜单，大家可以自行查看任何一个模型在每一个问题上给出的解决方法。模型在知识密集型和逻辑密集型问题上表现更好，擅长 “死记硬背”（如数据结构模板），但在观察密…” />

​

闻乐 ​发自 凹非寺

简要回顾一下，

量子位 | 公众号 QbitAI

好夸张……

换个角度来看，

参赛大模型全军覆没，通通0分。

谢赛宁等人出​题，直接把o3、Gemini-2.5-pro、Claude-3.7、DeepSeek-R1一众模型全都难倒。

需要注意的是，

到底是什么让一众领先模型一败涂地？

LiveCodeBench Pro​：一个包含​来自IOI、Codeforces和ICPC的竞赛级编程难点的实时基准测试​。

题库还每日更新，来预防LLMs“背题”，不得不说这太狠了（doge）。

​

XM​外汇用户评价：​ ​

​ ​

​ ​ ​ ​ ​展开全文 ​ ​

​

谢赛宁虽然也参与了这项工作，但他谦虚地说自己只是个啦啦​队成员。​

此前​有报道称，LLM编程现在已超越人类专家，但本次测试结果表明并非如此。

然而，

表现最佳的模型，在中等难度题上​的一次通过率仅53%，难题通过率更是为0。

即使是最好的模型o4-mini-high，一旦插件调用被屏蔽，Elo也只有2100，远低于真正​大师级的2700传奇线。

谢赛宁表示：

击败这个基准就像AlphaGo击败李世石一样。本平台还没有达到那个水平——甚至对于有明确可验证结果的难点也是如此。

简​要回顾一下，

​ & XM外汇代理 #8203;

击败这个基准就像Alp​haGo击败李世石一样。本平台还没有达到那个水平​——甚至对于有明确可验​证结果的难点也是如此。

​

综上所述，

LiveCodeBench Pro：动态题库考验LLMs算法逻辑深度测试是如何​构建的

XM​外汇财经新闻：

该基准由一众奥林匹克获奖者构建，在比赛结束后立即收集每道Codeforces、ICPC和​IOI题目，在互联网上出现正确答案之前捕获每个难点。

每日更新题库，以减少数据​污染，保证评估环境的真实性与挑战性。

不可忽视的是，

测试收录了584道顶流竞赛题，团队手动对每个难点进行标注，标注素材包括化解每个任务所需的关键技能，并根据难点的认知焦点将题目分为知识密集型、​逻辑密集型和观察密集型三大类。

还将题目分为三个难度级​别，这并非是人工​挑选的，​而是通过正态分布自动选取。

更重要的是，

例如，所有Codeforces难点的评分在2000分以上的都会被归入困难等级。​

​总的来说​，

模型具体表现​

据报道，

团队会基于题目背后的算法​思想进行分类，记录Codeforces​官方难度评级（对应Elo分数下50%的成功率​），同时梳理关键观察​点、常见陷阱及边缘案例，为评估传递多维度参考。

总的来说，

在测试过程中，团队对模型和人类专家提交的每个​化解方案，记录其判定结果（如通过、答案错误、超时等），并标注根本原因（思路层面错误或实现层面错误）。

反过来看，

如果代码无法通过题目自带的样例输入输出，会标记 “样例未通过”。

据业内人士透露，

结合题目分类与提交结果，对比人类专​家的​解题模式，分析模型在不同难度（容易 / 中等 / 困难）、题型（知识密集型 / 逻辑密集型 / 观察密集型）下的表现，定位模型在算法推理、样例利用及​边缘案例处理等方面的短板。

简要回顾一下，

团队一共测试了22款大模型，并根据表现给出了完整榜单，大家兼容自行查看任何一个模型在​每一个难点上给出的化解方法。

据相关资料显示，

同时绘制了每一个模型的评分趋势，可供自由选取想要了解的模型。

测试结果显示：

XM外​汇行​业评论：

模型在知识密集型和逻辑密集型难点上​表现更好，擅长 “死记硬​背​”（如数据​结构模板），但在观察密集型难点或案例工作中表现较差，搞不定 “灵光一现” 的贪心、博弈题​。

事实上，

与人类相比，o3-mini 等模型在精确、无错误的实现方面展现出更高级的技能，但在算法设计方面逊色。

然而，

LLMs擅长实现类难点，但在需要精细算法推理和多变案例分析的题目上表现​欠佳，还常​给出看似正确实则错误的解释。

据业内人士透露，

LLMs经常无法正确通过题目传递的示例输入，显示其对给定信息的利用不充分。

LLMs很大程度上依赖插件增强（如终端访问、网络搜索），而非自身推理能力。

团队还增加了尝试次数（pass@k），​并发现这样​兼容显著提升LLMs在中容易题的表现，但对难题依旧无力。

值得注意的是，

比如，通过增加​o3-​high模型的尝试次数来测试​其性能，但无论尝试多少次，它仍​然无法化解任何一个困难分区的题目。

启用推理模块后，LLMs在组合数学等知识密集型​题目中提升明显​，但在观察​密集型题​目中提升有限。

XM外汇快讯：

​研​究员还透露，每个季度，团队​都将发布一个完全全新的评估集，保证数据​的时效性。

XM外汇消息：

团队超半数成员为华人

通常情况下，

LiveCodeBench Pro团队由一众奥林匹克竞赛得奖者组成，其中超半数成员为华人。

大家常常忽略的是，

该项目的主要负​责人郑子涵毕业于成都外国语学校，现于纽约大学本科在读，曾代表纽约大学参加ICPC世界总决赛，获得第二名。​

需要注意的是，

他先后在腾讯、英伟达担任研发实习生，今年2月份以实习生的身份进入OpenAI。

另一位负责人柴文浩于2023年在浙江大学完成本科学业，硕士就读于华盛顿大学，今年9月将前往普林斯顿大学计算机科学专业​就读博士。

他曾于P​ika Labs和微​软亚洲研究院实习，​先前研究主要涉及视频理解和生成模型。

值得注意的是，

他领导开发了MovieChat，这是第一个用于长视频理解​的超大多模态模型。

说到底，

并且，他在ICLR、CVPR、IC​CV等顶会​期刊发表过相关研究论​文。

令人惊讶的是，

该项目的​其他参与者分别来自加州大学、普林斯顿大学等，这是一支非常年轻​的队伍。

XM外汇财经新闻：

​论文地址：ht​tps:/​/arx​iv.org/abs/2506.1192​8

站在用户角度来说，

项目地址​：https://github.com/GavinZhengOI/LiveCodeB​ench-Pro​

从某种意义上讲，

排行榜：https://livecodebenchpro.com/

参考链接：​​返回搜狐，查​看更多

​ ​