llm评测
LifeVal | OpenAI
2026年11月2日
研究
刊发
LifeVal
衡量 AI 在日常生活重要任务上的进步。
Read the paper
(在新窗口中打开)
聆听文章
3:03
分享
OpenAI 的使命是确保通用人工智能造福全人类。目前,每周有超过十亿人使用 ChatGPT。我们希望打造能帮助他们应对日常生活实际难题的 AI,例如寻找托育服务、获取政务服务、制定预算、为上学做准备、调整食谱、订购食材、设计健身计划等。
当人们寻求帮助,希望让生活更轻松时,他们需要的不只是建议或聊天回复。要成为真正有用的个人助手,ChatGPT 应当能够采取行动,切实把事情办好。
为了衡量模型在日常任务中的表现随时间的变化,我们构建了一套任务评估方案,覆盖用户最希望 AI 和个人智能体提供帮助的领域。过去一年,我们利用这套评估方案来跟踪并优化模型在日常任务中的表现。
模型在日常生活任务中的表现随时间的变化
背景
为了找出人们最关注的任务,我们首先参考了两项分别追踪美国和国际人群时间分配的大型研究:
美国时间使用情况调查
(在新窗口中打开)
和
多国时间使用情况研究
(在新窗口中打开)
。这两个数据集详细列出了不同人群在一天中不同时段、不同季节所做的日常生活任务。为了解人们最关注哪些方面的 AI 协助,我们在现有调查的基础上开展了一项新调查,涵盖 3,995 名具有典型人口统计特征的受访者。针对每项任务,我们提出了多个问题,以找出普通人最希望个人助手提供帮助的领域。最终确定的任务覆盖了人们最需要帮助的重要领域,包括照护、健康、教育、家庭事务管理、个人财务、购物和获取政务服务。
具体任务示例
以下示例展示了我们当前模型在日常生活实际工作流中的表现。
搬家后报名合适的幼儿园
93.1%
比较我们新家附近的幼儿园,筛选出最合适的几所。
我已筛选出三所幼儿园,并整理好了入园报名信息。还有两项偏好需要你来决定。想看看候选名单吗?
在洪水来临前协调志愿者
98.0%
帮我组织社区防汛志愿者队伍,为四位需要防洪改造协助的邻居提供支援。
我准备了一份简明的行动计划,帮助志愿者评估提到的地点,并为即将到来的恶劣天气做好准备。
为我们一家人找个新家
100%
在卢泽恩县找一套符合我预算、带独立居住单元的房子,而且送孩子上学后去上班的路程要短。把房契加入我的购物车,方便我查看。
我找到了一套符合你要求的房子。我已算好过户税,并将房契加入你在县档案网站的购物车,供你查看。
和远方的奶奶一起看比赛
96.3%
帮我设置一个简单的方法,让我和奶奶能远程一起看比赛。
最简单的观赛方案已准备好,还备有直播出故障时的替代方案。要我带你和奶奶一步步设置吗?
为刚确诊糖尿病、正在适应的父母准备膳食
90.4%
制定一份实用的护理和膳食计划,帮助我的父母适应刚确诊糖尿病后的生活。
第一周的计划已准备好,包括膳食安排、提醒事项和要向医护团队询问的问题。在分享给父母之前,要不要一起看看?
我们的最新模型在多项 LifeVal 任务中取得了很高的分数。
任务
GPT‑6 Astra
最高记录得分
查找并
预约
适合我家幼儿需求和家庭时间安排的
感官体验课
100%
查看我的车何时该保养,并在自驾旅行前
预约车辆检查
100%
在预算范围内,为我最喜欢的三道菜
订购清真食材
,并用电子表格列出订单明细
100%
根据照片和钻石鉴定报告,为我妻子
丢失的订婚戒指
寻找替代品
100%
查找并订购
一台
口袋大小的设备
,替代我的手机、电子阅读器和掌上游戏机
100%
退订
邮件列表
100%
查看更多 +
更多任务结果
过去一年,我们通过训练,大幅提升了模型在浏览器使用、计算机操作和连接器任务上的速度与能力,也让其行为更符合用户意图。在 ChatGPT 中引入这些能力,也拓宽了模型能够协助处理的任务范围,推动 ChatGPT 从聊天工具迈向真正能自主行动的智能体个人助手。
模型在日常任务中的表现
速度
生成 Token 数
API 费用
指标
速度
GPT-6 Astra
GPT-5.6
GPT-5.5
GPT-5.4
GPT-5.2
这为什么重要
要确保 AGI 造福全人类,我们需要围绕普通人真正关心的生活议题,衡量并提升模型的能力。这意味着,我们不能只从学术角度评估模型掌握的知识,还要实际衡量 AI 模型在帮助人们做决策、处理日常事务和办成实事方面表现如何。我们希望 LifeVal 能成为迈向这一目标的一步。
2026 年
作者
OpenAI
继续阅读
查看全部
A thousand fewer paths to root
信息安全
2026年11月4日
加速物理世界的工程开发
研究
2026年11月3日
我们如何检测前沿模型的对齐失范行为
信息安全
2026年10月29日