⚡Megatron LLM Hub
←Back to search
Website

OpenAI 发布 BioBasicsBench,用 100 项湿实验室任务评测智能体

ai_agent评测基准科研
衡量 AI 智能体处理日常湿实验室科研工作的能力 | OpenAI 2026年11月6日 刊发 衡量 AI 智能体处理日常湿实验室科研工作的能力 推出 BioBasicsBench:通过 100 个日常湿实验室任务,衡量 AI 智能体解读原始实验数据的能力。 我们的使命是确保通用人工智能造福全人类。作为这一使命的一部分,我们希望帮助科学家加速生物学研究,从理解疾病到开发新的治疗方法。科学家每天在湿实验室中使用生物样本开展实验。AI 智能体要为他们提供帮助,就必须能够可靠地解读这些日常实验中的证据。日常湿实验室工作中,实验失败、图像含糊不清、观察结果相互矛盾都是常见情况。现有基准测试主要围绕为科学论文精选的图表和图像构建,可能无法涵盖这种不确定性,也无法考察应对这些情况所需的排查能力。为此,我们推出了 BioBasicsBench。这项新基准测试由我们与专注于酶设计的生物技术公司 Ligo 共同开发,用于衡量智能体处理日常湿实验室分析的能力。 该基准测试包含 100 个任务,考察智能体能否解读原始实验数据、识别错误,以及判断证据何时不足以支持结论。正确完成这些任务至关重要。误读图像,或忽视用于核查实验结果的对照所存在的问题,都可能让科学家得出错误结论,进而花时间进行无法帮助回答研究问题的实验。 在允许模型对每个任务进行更多推理的“极高”设置下,GPT‑6 Astra 的平均得分达到满分的 66.7%,而 GPT‑5.6 Sol 为 43.8%。结果表明,模型在日常实验室分析方面取得了进步,但在图像解读、对照核查和结合实验背景进行分析等方面仍有提升空间。 深入了解 BioBasicsBench BioBasicsBench 使用原始实验证据,涵盖凝胶图像、菌落平板、显微图像和仪器读数。 BioBasicsBench 包含 100 个任务,覆盖日常湿实验室工作的五个领域:蛋白质实验方法、成像与细胞术、定量与检测、核酸实验方法,以及分子克隆。任务既包括从凝胶中读取 DNA 样本分子量这样的简单要求,也包括详细的检测分析,但都属于湿实验室科学家应能可靠完成的日常工作。 科学家利用自身实验的数据创建任务,并为每个问题配上专家编写的评分标准。每个任务都经过三轮审查:先由未参与该任务编写的 Ligo 科学家进行内部审查,再由具有博士水平、从事湿实验室研究的科学家进行外部审查,最后再进行一次内部审查。 智能体以结构化形式返回答案,给出要求的结论、测量值或建议,并在需要时提供支撑这些答案的推理。答案按评分细则中的各项标准分别计分,使基准测试能够区分正确结论与部分正确的分析。大多数任务同时考察多种能力,包括生物学知识、图像及其他数据的解读、错误识别和实验规程理解。 按领域和所测能力划分的任务 100 个不重复任务 · 每个任务可测试多个领域 “不重复任务数”中每个任务仅计一次。各能力列统计带有相应能力标签的任务数量。这些类别存在重叠:一个任务可以出现在多列中,因此不能将各能力列的数量相加作为任务总数。颜色区分领域;颜色越深,表示该领域中测试相应能力的任务占比越高。 输入材料保留了科学家日常使用的证据形式:凝胶与印迹图像、平板照片、显微图像堆栈、测序读段、酶标仪导出数据,以及实验操作视频。一个任务可以包含多种类型的数据。分子量标准图、质粒图谱等参考表用于辅助解读实验证据。 提供给智能体的材料 数据类型 任务数 包含内容 凝胶与印迹 31 DNA 琼脂糖凝胶、SDS-PAGE 凝胶、蛋白质免疫印迹 实验规程、笔记与规格 27 实验规程与标准操作规程、实验笔记与运行记录、手写笔记照片、产品目录、仪器规格、已发表的实验方法 表格与仪器导出数据 20 CSV 和 Excel 导出文件、泳道布局与库存清单、原始流式细胞术(FCS)文件 实验台、设备与试剂照片 18 实验台、凝胶电泳装置、试剂管与培养管、PCR 板、试管架、pH 试纸、浓缩仪、冷冻柜、液体处理工作站台面 显微成像 14 原始明场与荧光图像、多通道图像集、Z 轴图像堆栈、延时视频 仪器屏幕与图表 13 流式细胞仪、显微镜、NanoDrop、酶标仪和天平的屏幕照片;导出的标准曲线、色谱图及其他图表 测序文件 12 原始长读长 FASTQ 文件、FASTA 序列、GenBank 图谱 实验操作视频 7 划线、接种、系列稀释、SDS-PAGE 电泳槽与培养箱设置、天平称量 琼脂平板与菌落 7 转化平板、蓝白斑筛选、抗生素纸片平板 参考表 21 分子量标准图、质粒图谱、pH 比色卡(辅助材料) 包含各类数据的任务数量。类别之间存在重叠;参考表作为辅助材料。 科学家利用自身实验的数据编写任务,将实验证据与问题及专家编写的评分细则配套提供。每个任务都经过三轮审查:先由未参与该任务编写的 Ligo 科学家进行内部审查,再由具有博士水平、从事湿实验室研究的科学家进行外部审查,最后再进行一次内部审查。审查人员核查了提示词、实验证据、评分细则、作者备注,以及一次已评分的模型作答。 答案依据任务的评分细则计分,各项标准分别赋分。根据任务的不同,这些标准会评估结论、数值结果、支撑答案的推理,或是否认识到证据不足。 结果 我们使用 BioBasicsBench 评估了七个模型:GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估涵盖 37 种模型与推理强度组合,每种组合均对全部 100 个任务各尝试五次,共得到 18,500 个结果。 我们报告的指标是 平均奖励 ,即任务的平均得分,以占满分的百分比表示。误差线表示 95% 置信区间,计算时以完整任务为单位进行重采样,并将每个任务的五次尝试保留在一起。 各模型在不同推理强度下的平均奖励 GPT-6 Astra GPT-6.1 Sol GPT-6 Luna GPT-5.6 Sol GPT-5.5 GPT-5.4 GPT-5.2 平均奖励与每个任务的平均输出 token 数之间的关系,采用对数刻度显示。每个点代表一种已测试的推理强度设置,连线按顺序连接各设置。横轴每增加一个刻度,数值翻倍。橙色虚线表示 GPT‑5 模型,蓝色实线表示 GPT‑6 模型。浅色误差线表示以完整任务为单位进行自助重采样得到的 95% 置信区间。每种设置均包含全部 100 个任务,每个任务尝试五次。不同模型的推理强度设置有所不同。 即使在低推理强度下,GPT‑6 Astra 的表现也比 GPT‑5.6 Sol 显著提升。这些进步表明, 更强的原生多模态能力可能是提升日常湿实验室分析表现的关键 。 极高推理强度下的表现 模型 平均奖励 95% 置信区间 每个任务的输出 token 数 GPT‑6 Astra 66.7% 60.3–73.1% 4,704 GPT‑6.1 Sol 62.0% 55.6–68.4% 5,238 GPT‑5.6 Sol 43.8% 37.6–50.0% 9,099 GPT‑6 Luna 38.3% 32.3–44.5% 13,120 GPT‑5.5 35.4% 29.7–41.0% 11,135 GPT‑5.4 33.2% 28.3–38.4% 13,717 GPT‑5.2 31.2% 26.2–36.3% 27,620 “极高”是七个模型均有报告结果的最高推理强度设置。每行均包含全部 100 个任务,每个任务尝试五次。对于提供了 Max 推理强度结果的模型,其结果已纳入上图。 GPT‑6 Astra 相较于 GPT‑5.6 Sol 的改进 识别数据能说明什么、不能说明什么 科学研究中的一个常见误区是过度解读数据,尤其是在检验假设时容易产生偏差。Astra 更善于识别数据所能支持的结论边界,避免得出缺乏依据的结论。 在这个例子中,GPT‑5.6 Sol 根据一种用于检测死细胞的染料信号,将细胞判定为死亡。但检测器也可能接收到另一种染料发出的光,因此仅凭亮度不足以得出这一结论。Astra 识别到了这种不确定性,并提出需要更完善的对照来区分信号。 同一组细胞,三个检测通道 明场 · 透射光 通道 2 · SYTOX 标记 · 470–540 nm 通道 3 · FUN-1 绿色荧光 · 525–580 nm 三个通道中的相同细胞区域;检测窗口在 525–540 nm 范围内重叠。重叠窗口可能造成干扰,但干扰程度尚未测量。每个通道采用独立的线性强度标度显示,同一通道内两个区域的标度保持一致;不同通道之间的亮度不能进行定量比较。 更强的多模态处理能力 科学研究具有很强的多模态特征,需要不断解读视觉信息并作出决策。Astra 在处理多模态数据方面有显著进步,这些数据包括照片和视频,以及测序、酶标仪检测、显微成像和流式细胞术的原始输出。 最直观的改进在于,GPT‑6 Astra 能从实验过程中拍摄的图像中捕捉到更细微的细节,从而得出更准确的结论,如这个例子所示。这个任务要求智能体根据一项 DNA 克隆实验得出结论,而对照在此类实验中至关重要。GPT‑5.6 Sol 看到阴性对照平板上没有菌落,便以此为依据得出了结论。GPT‑6 Astra 注意到平板上标注的抗生素不对,因此正确判断该平板不能作为可靠的对照。 原始照片 皿边标签 基准测试中的原始照片,皿边标签已圈出并放大。“LB Kan50”表示卡那霉素,与实验中使用的氨苄青霉素不同。 始终结合实验背景 科学家在分析数据时,必须始终结合隐性生物学知识和实验背景,才能正确解读数据所揭示的信息。Astra 更善于记住这些背景信息,并在整个分析过程中加以运用。 一个任务展示了一系列显微图像,其中细胞时而清晰、时而失焦。GPT‑5.6 Sol 试图从生物学角度解释细胞为何看似消失,而 GPT‑6 Astra 则正确识别出这是 Z 轴图像堆栈,即在不同深度拍摄的一系列图像。 深度扫描中可见性的变化 0 秒 3 秒 6 秒 9 秒 12 秒 15 秒 原始录像中的六帧画面。显微镜沿深度方向扫描时,虚线框始终标示同一位置。时间指所提供视频中的播放位置。 模型仍有哪些不足 基准测试得分提高,尚不意味着模型能够在实验室中作出可靠判断。以下 Astra 的例子展示了假设、预期答案和给定标签如何压过实验证据,也展示了分析过程中正确的观察为何未能指导最终决策。 让假设凌驾于对照证据之上 Astra 让一个熟悉的假设凌驾于实验对照所支持的解释之上。 它能够区分两组菌落的条带,却假定较大的 PCR 产物意味着克隆成功。基于这一假设,它推荐泳道 4、6、7 和 8 ;而参考答案通过与对照比较,选择的是泳道 5、9 和 10 。 参考答案选择菌落 5、9 和 10 ;Astra 则选择 4、6、7 和 8 。 1:分子量标准 · 2:克隆混合物 · 3:原始质粒 · 4–10:菌落样本 解读对照 泳道 3 仅包含原始质粒的 PCR 产物。其条带提供了旧质粒的参考位置。 根据参考答案的解读,泳道 2 包含两种条带模式:组装不完全使旧模板或骨架与新产物同时存在。 因此,形成的菌落可能携带旧质粒,也可能携带新质粒。应将这些菌落的条带与上述参考条带模式进行比较。 参考答案选择: 5、9 和 10 Astra 的选择: 4、6、7 和 8。Astra 推荐这一组,认为较大的 PCR 产物代表目标构建体。 按图像特征分组本身是正确的,但它赋予这两组的实验身份与参考答案恰好相反。因此,Astra 根据菌落 PCR 结果选错了菌落,这会导致后续纯化得到错误的质粒。 忽视与自身倾向的解释相矛盾的数据 Astra 忽视了与自身倾向的解释相矛盾的观察结果。 它得出结论,认为液泡这种细胞内部区室通常比周围的细胞区域更暗,尽管同一图像中有些液泡看起来更亮。两种现象都很重要:改变显微镜焦点可能使明暗对比反转,因此较暗的例子并不能确立普遍规律。 较暗形态 较亮形态 Astra 将液泡概括为较暗,忽略了同一视野中可见的较亮液泡。 这一答案遗漏了什么 部分细胞的明暗对比恰好相反。这两种现象都会出现,因为不同的焦平面深度可能使明暗对比反转。 Astra 检查了多个区域,甚至指出对比度会随焦点变化。但随后,它更看重那些被它认为对焦更清晰的细胞,并在最终答案中只保留了这些细胞的液泡较暗这一描述。它虽然检查了与这一判断矛盾的较亮区域,却未在结论中考虑这些观察。 在常规实验室测量中错计菌落 Astra 的计数标记无法可靠地与单个菌落对应:它无法分辨距离很近的相邻菌落,会漏掉可见菌落,还会标记空白琼脂区域。 最终,这块平板的计数结果比基准测试的参考值高出约 12%。 A. 间距很小的菌落 原图 Astra 的计数标记 B. 可见菌落未被标记 原图 Astra 的计数标记 C. 将空白琼脂区域误计为菌落 原图 Astra 的计数标记 A:相邻菌落之间只有一个计数标记。B:两个可见菌落未被标记。C:空白琼脂区域被误计为菌落。红圈表示 Astra 的计数位置。黑色箭头是编辑添加的指示标记。 菌落计数不准确,会直接影响对 DNA 导入细胞效率的估算。当涂板体积和稀释倍数固定时,多计的菌落会使估算效率按相同比例偏高。 迈向可靠的实验室辅助 要加速生物学研究,必须先把日常工作做好。BioBasicsBench 将这些工作确立为改进目标:解读原始实验数据、核查对照,以及识别缺乏证据支持的结论。这些任务上的进步,有望帮助科学家减少排查问题所花的时间,把更多精力用于决定下一步开展哪些实验。持续跟踪这些能力,也将帮助我们理解它们对生物安全与生物安保的影响。 2026 年 生命科学 作者 OpenAI 继续阅读 查看全部 通往 root 的路径,减少一千条 安全 2026年11月4日 加速物理世界的工程开发 研究 2026年11月3日 LifeVal 研究 2026年11月2日