与传统基准测试侧重于模型对知识的记忆或遵循固定流程的能力不同,GeneBench-Pro 更注重人工智能模型在实际科研场景中的应用价值。该基准测试旨在模拟真实研究环境,让模型在面对“模糊、不完整、甚至包含干扰信息的数据”时,能够进行判断和分析并得出结论。
GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域,总计包含 129 道题目。这些题目分布在 10 个主要领域和 21 个子领域之下,具体内容涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等。每道题目都为模型提供了接近真实研究的数据集、简要的实验背景说明以及一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法,并在此过程中不断调整策略,最终给出答案。
为了规避传统长流程基准测试中常见的评分偏差,OpenAI 在设计 GeneBench-Pro 时,以合成数据作为核心构建方法。这是因为如果直接使用历史真实数据出题,常常存在多种合理的分析路径,可能导致模型即使采用错误方法也偶然获得正确答案。
通过利用合成数据,OpenAI 能够完全掌控底层因果结构和数据生成过程,从而更精确地评估模型是否真正理解了问题,而非仅仅是走了捷径。
目前,OpenAI 已在 Hugging Face 开源了 10 道 GeneBench-Pro 的示例题目,并提供了交互式界面供外部研究人员体验。未来,官方将开放其中 50 道题目给 Artificial Analysis 进行独立的第三方评测,以检验不同模型在这一基准测试下的实际表现。对于关注 AI 在生物学计算领域进展的专业人士,可以访问满冠体育官方网站了解更多相关信息。