OpenAI 发布最新商议shibo体育游戏app平台，却在内部夸了一波 Claude。

他们建议名为GDPval的新基准，用来掂量 AI 模子在确凿全国具有经济价值的任务上的进展。

具体来说，GDPval 粉饰了对好意思国 GDP 孝敬最大的 9 个行业中的 44 种行状，这些行状年均创收统统达 3 万亿好意思元。任务基于平均领有 14 年教养的行业巨匠的代表性职责蓄意而成。

专科评分东说念主员将主流模子的输出收尾与东说念主类巨匠的后果进行了对比。

最终测试下来，Claude Opus 4.1 成为进展最好的模子，47.6% 的产出被评定失色东说念主类巨匠后果。

GPT-5 38.8% 的收货和 Claude 如故有些差距，位居第二；GPT-4o 与东说念主类比较唯有 12.4% 见效或平局。

没能成为最优，OpenAI 也给我方找补了：不同模子各有上风，Claude Opus 4.1 主淌若在好意思学方面凸起，而GPT-5 在准确性上更优。

OpenAI 还暗示，相似值得肃穆的是模子的卓越速率，其前沿模子在短短一年内，胜率险些达成了翻倍。

终末 OpenAI 还开源了包含 220 项任务的优质子集，并提供公开的自动评分服务。

网友看后纷繁暗示，相等因吹斯汀的商议：

OpenAI 各代模子的性能呈线性增长，以及感谢对竞争敌手的认同。

还有网友认为，这也可能是奥特曼经心蓄意的宣传技艺，通过吹嘘 AI 能为 GDP 带来增长而筹集资金。

底下具体来看一下这项测试。

测试 AI 的"挣钱"才略

OpenAI 指出，GDPval 比较现存的 AI 评估，好就好在：

任务基于确凿职责后果且关联完成时分与老本，具备现实性；

涵盖 O*NET（好意思国行状信息收罗）跟踪的大部分行状职责行径，具有代表性广度；

任务条件处理多种神色文献并明白多个参考文献，波及策动机使用与多模态；

除了正确性还需有计划结构、立场等主不雅身分，数据集也可行为评估自动评分系统性能的测试平台；

以胜率为主要观念无上限，撑执执续评估；

任务难度高，行业专科东说念主士平均需 7 小时完成，复杂任务甚而耗时数周。

其任务构建进程，率先从笃定中枢行业与行状泉源。

OpenAI 先是筛选出了对好意思国 GDP 孝敬超 5% 的 9 个行业（依据 2024 年第二季度各行业加多值占好意思国国内分娩总值百分比数据），再在每个行业内挑选 5 个孝敬工资总和最多且以数字任务为主的行状。

判断行状是否"以数字任务为主"时，参考 ONET 中该行状的系数任务，借助 GPT-4o 对任务按"数字 / 非数字"分类，相接 ONET 中任务的关联性、进攻性和频率得分加权策动，若 60% 以上任务为数字任务，则将该行状纳入。

最终 OpenAI 筛选出了 44 个行状，这些行状统统年创收 3 万亿好意思元。

接着进行行业专科东说念主士招募，条件参与任务创建的巨匠至少有 4 年关联行状教养，简历需体现专科认同度、晋升资格及处罚职责。

经统计，招募来的行业巨匠平均教养达 14 年。

这些东说念主还需进一步通过视频口试、布景探访、培训及测试才智参与该技俩（OpenAI 还会给到一笔优越报酬），其前老板涵盖苹果、谷歌、微软、Meta、三星、甲骨文、IBM、摩根大通等弥远有名企业与机构，确保巨匠具备塌实的行业执行基础。

任务创建步调，每个 GDPval 任务包含"需求"和"录用后果"两部分，行业巨匠会对照 O*NET 中本人行状的任务分类蓄意任务，以保证任务粉饰的广度与代表性。

为了评估任务质料，OpenAI 条件这些巨匠把柄其行状的执行模范，对每项任务的难度、代表性、完成时分和合座质料等进行打分，并相接 OEWS（好意思国劳工统计局行状服务统计）数据中对应行状的中位时薪，通过"平均完成时分 × 时薪"策动每个任务的经济价值。

最终，GDPval 全集结总共包含 1320 项任务，系数任务均经过了"自动化模子筛选 + 多轮东说念主类巨匠审核"的迭代进程，每个任务会取得至少 3 次、平均 5 次的东说念主工审核。

巨匠在各评审阶段会给出珍惜意见。任务会把柄意见反复修改完善。

Claude 进展失色东说念主类巨匠

OpenAI 开源了包含 220 项任务的优质子集，选用了盲态巨匠 pairwise 对比法（即巨匠不通晓待评后果起原的成对对比评分步地），对该子集进行评级。

每项对比评分平均耗时卓越 1 小时。OpenAI 暗示还荒谬邀请了更多行状畛域巨匠，对东说念主类巨匠与模子输出的后果进行评分。巨匠需为其继承及排序收尾提供珍惜依据。

针对优质子集，OpenAI 同期开荒了实验性自动评分器，其与东说念主类巨匠评分的一致性达 66%，仅比东说念主类间评分一致性（71%）低 5%。

对 GPT-4o、o4-mini、o3、GPT-5、Claude Opus 4.1、Gemini 2.5 Pro 及 Grok 4 这几款模子进行评估后，收尾泄漏：

在 GDPval 优质子集任务中，Claude Opus 4.1 是合座进展最好的模子，尤其在好意思不雅性方面（如文档神色、幻灯片布局）进展凸起。

其输出的后果中，有 47.6% 被评定为优于或等同于东说念主类巨匠水平的后果。

OpenAI 各代模子在 GDPval 上的进展偶然呈线性晋升。

而把柄下图所示，GPT-5 在准确性方面（如严格效力指示、完成正确策动）上风权贵。

换句话说，GPT-5 在纯文本任务上进展更优，但 Claude 在 .pdf、.xlsx、.ppt 等文献类型的处理上进展更佳，展现出更强的视觉感知与好意思不雅蓄意才略。

在 GDPval 优质子集的一都任务中，有略多于 50% 的任务里，至少有一个模子的输出后果优于东说念主类巨匠或与东说念主类巨匠疏淡。

OpenAI 还指出，将 AI 模子与东说念主类监督相接，在完成任务时有望比单独东说念主类巨匠更经济高效。

不论是"先让模子试作念，不陶然再我方改"的模式，如故"径直用模子后果""只让模子试一次就我方作念"等模式，都能帮东说念主类简易老本和时分。

此外，商议发现加多推理烦懑（如对 o3、GPT-5 诞生不同推理强度）、提供更多任务布景、优化辅导词与智能体扶植框架（如通过在容器中撑执 GET 恳求，选用" N=4 "的"最优 N 选 1 "抽样计谋，搭配 GPT-5 行为判断模子）能权贵晋升模子性能。

OpenAI 也指出了 GDPval 的局限性，如数据集限度有限（仅 44 种行状）、聚焦可在策动机上完成的常识职责（不包含膂力劳动等）、任务为精确指定的一次性任务（枯竭交互性）、自动评分器存在不及、评估老本高档。

现在，GDPval 尚处于初步阶段，OpenAI 相干在将来的迭代版块中，冉冉拓展其粉饰范围、增强确凿性与交互性，并纳入更多场景细节。

By the way，不光 OpenAI 以为 Claude 好，已经的亲密盟友微软最近传来音信：联袂 Anthropic 优化 Microsoft 365 Copilot AI 助手（doge）。

参考集中：

[ 1 ] https://x.com/OpenAI/status/1971249374077518226

[ 2 ] https://evals.openai.com/

一键三连「点赞」「转发」「注重心」

接待在驳斥区留住你的念念法！

—  完  —

� �  量子位智库 AI100 季度榜单征集结！搜集放胆 10 月 10 日。接待提名 2025 年 Q3「AI 100」双榜单产物～ 

一键祥和 � � 点亮星标

科技前沿进展逐日见shibo体育游戏app平台