首个针对生物医药LLM智能体的全流程过程级评测框架

发布时间:2026/8/29 9:53:59

首个针对生物医药LLM智能体的全流程过程级评测框架
摘要当前大语言模型智能体已可开展实际生物医药研究但对其开展严谨评测存在较大难度。仅依托最终结果的评测基准存在大缺陷❶ 智能体得出正确答案可能依靠模型记忆、刷分行为或是错误推理偶然得到正确结果❷ 部分科学有效的差异化分析方案仅因与参考方案不一致就被判定为错误。为此本文提出过程级评测框架BiomniBench依托领域专家定制的任务专属评分细则对智能体的完整分析链路进行打分。本框架首发版本为BiomniBench-DA包含100项数据分析任务覆盖17类分析任务、5大疾病领域及普通生物学范畴所有任务均源自Nature/Cell/Science等顶刊论文由原论文作者或领域专家联合构建。研究基于类智能体框架对主流闭源前沿模型与开源模型开展评测得到项核心结论闭源与开源基础模型得分差距较小所有模型仍存在较大性能提升空间智能体框架对得分的影响超过模型代际迭代带来的差距智能体可规范引用真实文献支撑结论但在分析方法选择、生物学解读与科学推理方面普遍存在短板。BiomniBench是首个面向生物医药领域大语言模型智能体的过程级评测基准可实现多维度能力诊断弥补了结果导向评测的不足。huggingface.co/datasets/phylobio/BiomniBench-DAyuanhaophylo.bio#大语言模型智能体 #过程级评测 #结果导向评测 #生物医药研究 #评测基准数据集 #数据分析 #评分细则 #智能体框架 #科学推理 #生物学解读引言图1 过程级评测与结果导向评测对比(A) 结果导向评测仅将智能体最终答案与标准答案进行比对(B) 过程级评测依托专属评分细则对智能体完整分析链路开展多维度打分可定位智能体的具体缺陷。评测维度包含数据处理质量、分析方法选取、统计严谨性、生物学解读、科学推理及文献可靠性并给出综合得分。BiomniBench-DA基准设计专家主导的数据集构建流程图2 BiomniBench-DA数据集整体概览共100项任务上图数据集5阶段构建流程依次为用户行为分析、文献筛选、专家定制任务、参考真值生成、评分细则设计左下任务类型与疾病领域的交叉覆盖矩阵勾选代表该类别下设有对应任务右下数据集按疾病领域、分析任务的分布统计。实验与结果固定智能体框架下基础大模型性能表1 基于Terminus-2框架的9款大模型评测结果表格统计100项任务3轮重复实验的平均得分、单任务标准差、单任务运行时长、调用成本及交互轮次得分、标准差、运行耗时、成本、交互轮次均为统计均值/中位数。不同大模型与智能体框架组合性能表2 多智能体框架 大模型组合的交叉评测结果统计3类框架Claude Code、Codex CLI、Gemini CLI搭配对应大模型的综合得分、稳定性、运行时长、调用成本与交互轮次统计规则与表1一致。图3 不同模型-框架组合的成本-性能帕累托分布图横轴为单任务调用成本对数坐标单位美元纵轴为评测平均得分误差棒代表3轮重复实验的标准差虚线为帕累托前沿前沿上方的组合在性能与成本上更具优势本图未纳入Gemini系列组合无成本数据。智能体性能拆解分析图4 智能体多维度性能拆解分析(a) 不同模型-框架组合在各类分析任务上的平均得分按任务难度由高至低排序仅展示样本≥3的任务类别(b) 6大评测维度下各组合的得分占比维度包含数据处理、分析方法选择、统计严谨性、生物学解读、科学推理、文献可靠性。详细总结思维导图参考BiomniBench: Process-level Evaluation of LLM Agents for Real-world Biomedical Researchdoi: https://doi.org/10.64898/2026.05.12.724604260512BiomniBench.pdf注AI辅助创作如有不当欢迎指出。内容仅供参考不构成任何建议。

相关新闻

商用烤盘定制厂家怎么选

商用烤盘定制厂家怎么选

2026/8/29 10:49:07

做过食品厂、中央厨房或者连锁烘焙采购的都知道,商用烤盘定制看起来是小事,实则直接影响整条生产线的效率和产品品质——要么定制的尺寸和现有隧道炉、台车不兼容卡产线,要么用不了两三个月就变形翘边、涂层脱落,要么交期一拖再拖…

Privazer源码级避坑指南:从编译排错、定制开发到打包分发全流程实战

Privazer源码级避坑指南:从编译排错、定制开发到打包分发全流程实战

2026/8/26 3:50:21

Privazer源码级避坑指南:从编译排错、定制开发到打包分发全流程实战 摘要:Privazer是Windows平台轻量化系统隐私清理神器,开源特性支持开发者二次开发与功能定制。但其官方文档简陋、依赖配置隐晦、编译报错隐蔽,大量开发者卡在环…

使用更有意义的命名

使用更有意义的命名

2026/8/22 19:54:30

在大部分编程活动中,我们都是在给各种各样的元素来命名,如果你取了一个好名字,不仅能让元素的职责马上清晰起来,而且能使代码更好维护。在命名的时候,注意尽量使用声明方式的词语,不要用实现来命名&#xf…

Caddy选择性mTLS认证:3步改动,只让指定客户端过证书大门!

Caddy选择性mTLS认证:3步改动,只让指定客户端过证书大门!

2026/8/29 10:50:10

Caddy选择性mTLS认证:3步改动,只让指定客户端过证书大门! 【免费下载链接】caddy Fast and extensible multi-platform HTTP/1-2-3 web server with automatic HTTPS 项目地址: https://gitcode.com/GitHub_Trending/ca/caddy 还在纠结…

从本地表到虚拟表,读懂 SAP HANA 创建表、加载数据与远程访问的完整逻辑

从本地表到虚拟表,读懂 SAP HANA 创建表、加载数据与远程访问的完整逻辑

2026/8/29 10:50:10

今天打开最新的 SAP HANA Cloud 文档,会发现「创建表」这件事已经很难再单纯理解成执行一条 CREATE TABLE 语句。 在传统关系型数据库的使用习惯里,我们通常会把工作流想成这样,设计表结构,把数据装进去,再执行 SELECT 查询。数据在哪里并不是一个特别复杂的问题,因为大…

Syncthing跨平台部署教程:安装自启与排障

Syncthing跨平台部署教程:安装自启与排障

2026/8/29 10:50:10

Syncthing跨平台部署教程:安装自启与排障 【免费下载链接】syncthing Open Source Continuous File Synchronization 项目地址: https://gitcode.com/GitHub_Trending/sy/syncthing 假设你有一台 Windows 办公本、一台 MacBook 和一台 Linux 小服务器&#x…

MATLAB优化函数实战:fminunc、fminsearch与fmincon从入门到精通

MATLAB优化函数实战:fminunc、fminsearch与fmincon从入门到精通

2026/8/29 10:50:10

1. 项目概述:从“能用”到“用好”的优化函数实战指南 在工程计算、数据分析乃至机器学习模型调参的日常里,我们总会遇到一个核心问题:如何找到一组参数,让某个指标(比如成本、误差、性能)达到最优&#xf…

激活函数原理与实战:从ReLU到Swish的深度解析与选型指南

激活函数原理与实战:从ReLU到Swish的深度解析与选型指南

2026/8/29 10:50:10

1. 从“开关”到“调音台”:重新理解激活函数的核心角色 在神经网络的世界里,如果权重和偏置是构成乐谱的音符,那么激活函数就是决定每个音符最终如何发声的“调音台”或“效果器”。它远不止是一个简单的“开关”,决定神经元是否…

单片机无线粮仓监控系统设计:从传感器到云端的物联网实践

单片机无线粮仓监控系统设计:从传感器到云端的物联网实践

2026/8/29 10:40:09

简介:本资源是一套面向电子类专业学生与嵌入式初学者的单片机实践项目,聚焦粮仓环境智能监控这一典型农业物联网应用场景,解决传统粮仓温湿度监测依赖人工、响应滞后、缺乏远程干预的问题。资源包含完整硬件设计与软件实现:含2块独…

[光学原理与应用-521]:对光的错误理解与纠偏

[光学原理与应用-521]:对光的错误理解与纠偏

2026/8/27 11:10:02

首先光是一种能量的载体和形态,宏观上观察到的光是由无数个微观的光量子组成的,每个光子在产生的瞬间,其在真空的空间中以确定不变的速度沿着一个初始的方向一直向前,在微观层面,每个光量子的运动轨迹是以波函数所展现…

SIP通话转接原理与REFER方法实战解析

SIP通话转接原理与REFER方法实战解析

2026/8/29 10:22:10

1. 通话转接不是“挂断再拨号”,而是SIP会话的动态重定向你有没有遇到过这样的场景:客服坐席A正在和客户通电话,突然需要把这通对话无缝转给专家坐席B,客户完全感知不到中间的断连——既没听到忙音,也没被要求重新拨号…

Kolla-ansible单节点OpenStack部署实战:从环境准备到排坑指南

Kolla-ansible单节点OpenStack部署实战:从环境准备到排坑指南

2026/8/28 7:34:42

1. 为什么选择Kolla-ansible来部署单节点OpenStack?如果你正在寻找一种能把OpenStack从“概念”快速变成“可用的实验环境”的方法,那么Kolla-ansible几乎是当前最主流、最省心的选择。我见过太多人卡在手动编译依赖、配置服务、处理版本冲突的泥潭里&am…

四款热门降AI工具测评:研究生和本科生怎么选?

四款热门降AI工具测评:研究生和本科生怎么选?

2026/8/29 0:09:39

马上要交论文了,最近真的被论文ai率折磨的够呛。 明明查重都没问题了,但是ai率就是居高不下,崩溃了,明明都是我自己写的,天杀的,明明都是我亲生的啊 改来改去,终于给我搞出一套完美的降ai方案…

论文降AI率免费攻略:自查、提示词与工具推荐

论文降AI率免费攻略:自查、提示词与工具推荐

2026/8/29 0:09:39

马上要交论文了,最近真的被论文ai率折磨的够呛。 明明查重都没问题了,但是ai率就是居高不下,崩溃了,明明都是我自己写的,天杀的,明明都是我亲生的啊 改来改去,终于给我搞出一套完美的降ai方案…

北京GEO优化服务商推荐:预算型企业如何选北京GEO优化服务商?

北京GEO优化服务商推荐:预算型企业如何选北京GEO优化服务商?

2026/8/29 0:09:39

前言:预算有限的企业更关心投入能否形成可持续的品牌资产。评估北京GEO优化服务商时,不能只比较单篇内容或单月报价,还要看是否能够把问题词、官网、信源和监测串成完整链路。本期重点放在预算配置、试点范围和交付边界,帮助企业先…

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

摆脱论文困扰!盘点2026年全网爆红的的AI论文写作工具

2026/8/28 7:35:26

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂、实测能大幅提速的AI论文写作工具,覆盖选题构思、文献整理、内容生成、格式排版等核心场景,真正帮你高效搞定论文难题。 一、全流程王者:一站式搞定论文全链路(一天定稿首…

导师推荐!2026最新AI论文工具测评与实用推荐

导师推荐!2026最新AI论文工具测评与实用推荐

2026/8/28 7:34:51

2026年真正好用的AI论文工具,核心看生成的论文质量、低AI味、格式正确、学术适配四大指标。综合实测,千笔AI、ThouPen、豆包、DeepSeek、Grammarly 是当前最值得推荐的梯队,覆盖从免费到付费、从中文到英文、从文科到理工的全场景需求。 一、…

告别游戏崩溃:XCOM 2模组管理器的智能革命

告别游戏崩溃:XCOM 2模组管理器的智能革命

2026/8/28 7:34:35

告别游戏崩溃:XCOM 2模组管理器的智能革命 【免费下载链接】xcom2-launcher The Alternative Mod Launcher (AML) is a replacement for the default game launchers from XCOM 2 and XCOM Chimera Squad. 项目地址: https://gitcode.com/gh_mirrors/xc/xcom2-lau…