当前位置:首页 >> 出版物 >> 情况交流

 
    首页 * 出版物 * 情况交流

    规范科学名词 提高科学基金评审效率——辅助指派试点工作的启示

    日期 2012-12-17   来源:地球科学部   作者:冷疏影  【 】   【打印】   【关闭

    第30期
    (总第636期)

      国家自然科学基金以学科方向分类为基础展开申请、受理和评审程序。申请代码(学科代码)既表明申请书科学问题归属的学科方向,同时也代表项目受理、评审和资助程序运行所在的部门;信息系统中同行评议专家研究方向和熟悉领域既体现个人专长,同时也一定程度反映所属学科的发展趋势;对申请项目合理分组并遴选适合的同行评议专家,既体现学科工作人员对每个项目基本科学问题的认识和把握能力,同时也体现对研究方向归纳和对科学家群体的了解程度。随着申请数量的逐年增多、申请书研究内容学科交叉跨度的加大、以及对同行评议人要求的提高,科学基金项目管理面临新的挑战。作为科学基金核心工作内容的项目评审,如何科学、高效地完成相关程序,同时充分发挥不同主体(申请人、同行评议人、科学基金管理人员)在学科体系建设中的作用,是摆在科学基金管理人员面前的普遍课题。针对上述诸多新情况新问题,国家自然科学基金委近两年来资助专项基金开展辅助指派试点工作,力求以同行评议专家遴选过程为核心,探索出科学基金在项目管理上的新思路。

      在以往申请书信息填报和同行评议专家个人信息填写过程中,由于缺乏规范通用的科学名词引导,部分申请人和评议人对学科方向(申请代码)的认识不一致,对项目关键词、个人研究领域和方向等描述也有较大差异,这是造成智能辅助指派评议困难的根本原因。文章介绍了试点单位之一地球科学一处在编制关键词、完善专家信息、研发辅助指派平台方面的阶段性工作成果,分析了辅助指派试点工作带来的启示。

      一、 编制学科方向分类与关键词,提供申请书研究内容表述标准。

      地球科学一处管理的主要学科分支和研究领域包括自然地理学、人文地理学、土壤学、遥感科学与地理信息科学、资源环境与可持续发展研究,在科学基金的一级申请代码为D01。地球科学一处组织编制工作组自2011年3月起查阅了大量文献,包括专业技术辞典、国内外近3年相关学科领域权威学术期刊、近3年国家自然科学基金(D01)申请书等。在梳理科学基金管理需求、学科发展趋势和重要研究方向、学科通用科学名词及专业研究名词的表达方式等基础上,经过全国64个单位的233位同行专家参与讨论和修改、109位科学基金项目评审人和167位科学基金项目申请人参与试用情况抽样调查,于2011年11月提出了《地理学学科方向分类与关键词》(试用版2012)(以下简称《试用版2012》)。后经主管委领导批准试用于2012年科学基金(D01)项目申请。

      地球科学一处提出的“研究方向”是在国家自然科学基金地球科学一处受理的一级申请代码、4个二级申请代码、以及34个三级申请代码下分别设置的。在每一个设置了研究方向的申请代码下,为了满足开展综合与交叉研究的需要,以及弥补研究方向设置的局限,还设置了“其它方向”。《试用版2012》目前共设置研究方向253个,关键词4 922个。地球科学一处提出的学科方向分类与关键词主要服务于科学基金管理过程,具有较强的实用目的。因此,没有完全遵循相关学科的科学体系对关键词进行全面整理。编制过程中,关键词的功能把握力图在引导申请人规范表达项目核心研究内容以及引导同行评议人规范描述个人研究领域之间平衡,并以引导评议人信息填写作为关键词的首要功能。

      通过向615家依托单位邮寄《试用版2012》纸质版本以及在国家自然科学基金网页的“2012申请受理栏目”(http://www.nsfc.gov.cn/nsfc/cen/2012sqsl/index.html)加挂可以阅读、下载和拷贝的研究方向和关键词的电子版全文,及时宣传了科学基金的管理新举措,为广大申请人填写2012年申请书提供了重要参考资料。从2012年申报D01申请代码的5 575份申请书所填写的关键词看,4 617份选择了《试用版2012》中的关键词,占82.82%;3 131份选择了所选“研究方向”下的关键词,占56.16%。初步表明关键词设置较全面地反映学科的研究内容,基本满足智能辅助指派需求;同时地球科学一处研究方向和关键词的设置体系被多数申请人了解。

      二、完善同行评议专家信息,拓展交叉方向评议队伍。

      科学基金现有同行评议专家系统中共有专家近11万人。专家个人信息基本依照其本人所认为的领域描述方式填写,因此对所熟悉的领域和研究方向的描述千差万别,为智能推荐专家带来极大困难。地球科学一处提出的研究方向和关键词为全面搜集和更新同行评议专家信息奠定了基础。根据《试用版2012》提出的研究方向和关键词,地球科学一处开展了同行评议专家学科方向和关键词信息采集和更新工作,共向12569位相关领域同行评议专家发送《试用版2012》以及学科方向和关键词信息评议表。扣除无效评议表、同行评议专家信息重复、邮件退信以及退休专家不评等因素,实际回收率在85%以上。共有8930位同行评议专家信息在系统中得到更新或增加,其中交叉方向专家占45%。在学科方向和关键词填写过程中,绝大部分同行评议专家都能在《试用版2012》中找到合适的学科方向和关键词。广大同行评议专家还表现出对这项工作的高度热情。许多专家提供了一些新的关键词,供未来进行补充和完善。

      三、 研发辅助指派实验研究系统,为智能推荐和遴选同行评议专家探索出路

      国家自然科学基金委在用的评议系统平台ISIS已运行近10年,为科学基金从纸质评审全面走向电子化评审发挥了巨大作用。面对10年间科学基金管理出现的诸多新情况,信息系统虽不断调整和完善各种功能,但总感到在智能推荐专家,提供更多辅助信息和决策支持方面需要加强。2012年正值ISIS开始全面改版,全委辅助指派试点在3个学科刚刚起步,探索一套基于规范的信息表达体系,能够贯彻科学基金管理人员遴选专家策略的辅助指派系统非常重要,将为ISIS系统辅助指派功能的全面提升探索出路。

      经过对系统整体设计思路、系统界面表达、数据导入方式、项目分组实现、关键词匹配流程及匹配策略、以及与ISIS接口等诸多环节的多次研讨,地球科学一处于2012年2月基本完成辅助指派实验研究系统NSFC_GEO的功能设计及运行测试,4月开始应用于地球科学一处2012年申请项目同行评议专家辅助指派工作。实验研究系统NSFC_GEO以研究方向和关键词规范表述的申请书和同行评议专家信息为数据基础,已实现的核心功能主要包含两部分:一是项目分组,可根据关键词的组合情况引导分组;二是提供推荐遴选专家的辅助信息与策略,主要包括计算了专家匹配度,区分了专家类型和等级,提供了根据不同项目类型的差异化专家检索和遴选策略,提供了回避信息提醒功能等。

      2012年地球科学一处基于NSFC_GEO系统共指派202个研究方向的4 347份申请项目,占科学处申请总量的79.8%。从面上、青年、地区基金项目分组遴选同行评议专家看,约75%的项目被分为3~8项大小的组,得益于指派平台对动态分组的支持,分组指导思想取得了比较好的结果。从评议专家总数和人均评议项目数看,虽然2012年(3 187人,4.7份/人)和2011年(3 018人,4.2份/人)相比没有太大变化,但2012年评议1~3份申请书的专家比2011年明显下降,其中评议1项评议人由2011年的1083人减少到2012年的587人;评议11~15份申请书的专家也明显减少。2012年和2011年参加同行评议的单位数量分别为459个和400个,但其中325个单位为两年共有的核心评议单位,超过总数的2/3。相比2011年地球科学一处人均每天指派面上、青年、地区基金项目35项的工作量而言,2012年地球科学一处人均每天指派51项,工作效率提高46%。2012年被指派的同行评议专家的拒评率为1.3%.从辅助指派系统发挥的作用看,规范通用的关键词使专家“匹配度”的量化计算成为可能;基于“匹配度”遴选专家,可以有效提高遴选专家的速度和准确性,保证指派成功率;辅助指派实验研究系统是一个能够贯彻科学基金管理人员遴选专家策略的、灵活的、有一定效率的指派平台。

      四、 辅助指派试点工作的启示

      辅助指派试点工作表明,基于学科体系设置研究方向、编制关键词是辅助指派工作的核心;建设、完善和更新专家系统是辅助指派工作的重要支撑;动态分组、专家有序遴选是提高匹配质量的关键;辅助指派系统平台建设是高效实现匹配策略的技术保障。

      辅助指派实验研究系统不仅辅助了2012年地球科学一处约80%的项目指派工作,而且在ISIS系统辅助指派功能改造过程中发挥了积极作用。从地球科学一处将编制的研究方向和关键词、已更新的8930位专家信息融入ISIS系统,测试2012新版申请书,测试ISISN系统(ISIS系统2012年改造后的英文缩写),试用ISISN系统辅助指派功能等诸多方面,实验研究系统NSFC_GEO已经为ISISN系统的学科工作人员权限设置、项目分组策略、检索方式等核心功能的改进提出了大量有效的建议。不仅如此,2012年地球科学一处还基于基金委ISISN系统指派51个研究方向的1 097份申请项目,占科学处申请总量的20.2%。

      毫无疑问辅助指派系统在2012年同行评议专家遴选过程中发挥了重要作用,但是完善关键词体系和专家系统是一项长期工作,而且需要形成良好的机制。在实现辅助指派过程中仍然存在许多值得进一步探索和完善的环节。在申请书方面,如何引导申请人准确认识研究方向和关键词体系并自愿准确选择、进一步规范信息表述仍需引导;在项目分组和匹配专家过程中,如何进一步提高分组效率和匹配精度仍需探讨;在评议专家方面,专家个人填写关键词的准确程度需要更多相关信息校准,如其主持的项目、发表的文章等;在对待交叉学科专家意见方面,如何看待交叉学科专家的评议结果仍有待探讨,使得既尊重交叉学科专家对科学问题的判断,同时也考虑项目本身的学科定位;在试点学科实验研究平台与ISIS系统连接方面仍未找到可以实现的衔接办法。

      除了上述侧重于技术层面的问题以外,从长远发展看,一个不容忽视的问题就是国家自然科学基金委评议系统的专家资源共享及合理使用问题,这也是“试点” 走向“应用”的关键问题之一。评议系统的目标应该是既能实现“智能”地“辅助”指派,同时又必须满足科学性、动态性、开放性、可更新性和安全性需要。为此,ISISN作为国家自然科学基金委遴选和指派同行评议专家的平台,在面向全委实时更新与共享专家个人信息、实时提供专家被指派信息的基础上,应及时考虑如何完善辅助指派信息,提供算法平台或系统衔接,以满足不同学科差异化的匹配策略和遴选专家需求。




版权所有:国家自然科学基金委员会 京ICP备05002826号 文保网安备1101080035号