⚡Megatron LLM Hub
←Back to search
Website

OpenAI 发布 LifeVal 基准,衡量模型完成日常事务的能力

llm评测
LifeVal | OpenAI 2026年11月2日 研究 刊发 LifeVal 衡量 AI 在日常生活重要任务上的进步。 Read the paper (在新窗口中打开) 聆听文章 3:03 分享 OpenAI 的使命是确保通用人工智能造福全人类。目前,每周有超过十亿人使用 ChatGPT。我们希望打造能帮助他们应对日常生活实际难题的 AI,例如寻找托育服务、获取政务服务、制定预算、为上学做准备、调整食谱、订购食材、设计健身计划等。 当人们寻求帮助,希望让生活更轻松时,他们需要的不只是建议或聊天回复。要成为真正有用的个人助手,ChatGPT 应当能够采取行动,切实把事情办好。 为了衡量模型在日常任务中的表现随时间的变化,我们构建了一套任务评估方案,覆盖用户最希望 AI 和个人智能体提供帮助的领域。过去一年,我们利用这套评估方案来跟踪并优化模型在日常任务中的表现。 模型在日常生活任务中的表现随时间的变化 背景 为了找出人们最关注的任务,我们首先参考了两项分别追踪美国和国际人群时间分配的大型研究: 美国时间使用情况调查 ⁠ (在新窗口中打开) 和 多国时间使用情况研究 ⁠ (在新窗口中打开) 。这两个数据集详细列出了不同人群在一天中不同时段、不同季节所做的日常生活任务。为了解人们最关注哪些方面的 AI 协助,我们在现有调查的基础上开展了一项新调查,涵盖 3,995 名具有典型人口统计特征的受访者。针对每项任务,我们提出了多个问题,以找出普通人最希望个人助手提供帮助的领域。最终确定的任务覆盖了人们最需要帮助的重要领域,包括照护、健康、教育、家庭事务管理、个人财务、购物和获取政务服务。 具体任务示例 以下示例展示了我们当前模型在日常生活实际工作流中的表现。 搬家后报名合适的幼儿园 93.1% 比较我们新家附近的幼儿园,筛选出最合适的几所。 我已筛选出三所幼儿园,并整理好了入园报名信息。还有两项偏好需要你来决定。想看看候选名单吗? 在洪水来临前协调志愿者 98.0% 帮我组织社区防汛志愿者队伍,为四位需要防洪改造协助的邻居提供支援。 我准备了一份简明的行动计划,帮助志愿者评估提到的地点,并为即将到来的恶劣天气做好准备。 为我们一家人找个新家 100% 在卢泽恩县找一套符合我预算、带独立居住单元的房子,而且送孩子上学后去上班的路程要短。把房契加入我的购物车,方便我查看。 我找到了一套符合你要求的房子。我已算好过户税,并将房契加入你在县档案网站的购物车,供你查看。 和远方的奶奶一起看比赛 96.3% 帮我设置一个简单的方法,让我和奶奶能远程一起看比赛。 最简单的观赛方案已准备好,还备有直播出故障时的替代方案。要我带你和奶奶一步步设置吗? 为刚确诊糖尿病、正在适应的父母准备膳食 90.4% 制定一份实用的护理和膳食计划,帮助我的父母适应刚确诊糖尿病后的生活。 第一周的计划已准备好,包括膳食安排、提醒事项和要向医护团队询问的问题。在分享给父母之前,要不要一起看看? 我们的最新模型在多项 LifeVal 任务中取得了很高的分数。 任务 GPT‑6 Astra 最高记录得分 查找并 预约 适合我家幼儿需求和家庭时间安排的 感官体验课 100% 查看我的车何时该保养,并在自驾旅行前 预约车辆检查 100% 在预算范围内,为我最喜欢的三道菜 订购清真食材 ,并用电子表格列出订单明细 100% 根据照片和钻石鉴定报告,为我妻子 丢失的订婚戒指 寻找替代品 100% 查找并订购 一台 口袋大小的设备 ,替代我的手机、电子阅读器和掌上游戏机 100% 退订 邮件列表 100% 查看更多 + 更多任务结果 过去一年,我们通过训练,大幅提升了模型在浏览器使用、计算机操作和连接器任务上的速度与能力,也让其行为更符合用户意图。在 ChatGPT 中引入这些能力,也拓宽了模型能够协助处理的任务范围,推动 ChatGPT 从聊天工具迈向真正能自主行动的智能体个人助手。 模型在日常任务中的表现 速度 生成 Token 数 API 费用 指标 速度 GPT-6 Astra GPT-5.6 GPT-5.5 GPT-5.4 GPT-5.2 这为什么重要 要确保 AGI 造福全人类,我们需要围绕普通人真正关心的生活议题,衡量并提升模型的能力。这意味着,我们不能只从学术角度评估模型掌握的知识,还要实际衡量 AI 模型在帮助人们做决策、处理日常事务和办成实事方面表现如何。我们希望 LifeVal 能成为迈向这一目标的一步。 2026 年 作者 OpenAI 继续阅读 查看全部 A thousand fewer paths to root 信息安全 2026年11月4日 加速物理世界的工程开发 研究 2026年11月3日 我们如何检测前沿模型的对齐失范行为 信息安全 2026年10月29日