Python 和 TypeScript 的分数已经卷不出差距,OpenAI 转而去考训练数据最少、却最值钱的那批老语言
据 OpenAI 官方文章与 The Decoder 等外媒报道,这次放出的是两套互补的评测:
需要说明,各家媒体引用的旧基线并不完全一致,有报道给出的是另一个约 38% 的对照数字;以上全部是 OpenAI 自测结果,尚无独立第三方复现。
低资源语言的难点在于数据。学术界常引用的一组数字是:最大的公开代码语料 The Stack v2 里,Python 约 200GB,Julia、Fortran 各只有约 2GB。模型在热门语言上的高分,很大程度来自见得多;换到语料稀薄的语言,泛化能力才真正露底。
但这些语言并不冷清。COBOL 仍跑在大量银行核心账务、保险和政府系统里,Fortran 是气象、物理模拟等高性能计算的老底座。会写这些语言的工程师在退休,系统却换不掉——这正是企业愿意掏大钱的场景。OpenAI 选在这里立新考卷,商业意图相当直白:主流语言的编码评测已经接近饱和,遗留系统现代化是还没被吃下的大单。
一个容易被忽略的细节是,开源出来的 GitHub 仓库据报道只覆盖 SQLite 构建任务,COBOL 迁移的测试用例并未公开,外部开发者目前无法自己重跑那组最亮眼的数字。DEV 社区已有文章就此质疑「测试是藏起来的」。
OpenAI 自己也留了余地:迁移结果在投产前仍需领域专家审核,并对照业务规则和系统依赖做测试。对真实的银行项目来说,难的往往不是语法转换,而是几十年积累下来、只存在于老程序员脑子里的隐性规则——行为一致的测试用例本身就很难写全。
以往评测模型编码能力,大家盯的是 SWE-bench 这类以 Python 为主的榜单。OpenAI 这次等于主动换了比赛项目:从「谁修 GitHub issue 更准」转向「谁能把三十年前的系统安全搬走」。如果迁移评测后续能被外部复现,它会成为企业采购时比通用榜单更有说服力的指标;如果一直只有厂商自测,97.9% 就仍然只是一个营销数字。接下来值得看的,是 Anthropic、Google 会不会在同一张考卷上交出自己的成绩。