EN中文

Remote Sensing for Natural Resources >

2025 , Vol. 37 >Issue 6: 10 - 21

DOI: https://doi.org/10.6046/zrzyyg.2022412

Global sharing system of Earth simulation data in the Coupled Model Intercomparison Project

  • LIU Yufu , 1 ,
  • BAI Yuqi , 1, 2
Expand
  • 1. Department of Earth System Science, Ministry of Education Ecological Field Station for East Asian Migratory Birds and Their Habitatses, Institute for Global Change Studies, Tsinghua University, Beijing 100084, China
  • 2. Tsinghua Urban Institute, Tsinghua University, Beijing 100084, China

Received date: 2022-10-26

  Revised date: 2023-12-27

  Online published: 2026-06-03

Fold

Abstract

Remote sensing-based Earth observation and Earth system numerical simulation serve as two significant technical means in revealing the Earth’s environmental changes and predicting its future states. Hence, they assist in enhancing the capacity of human society to mitigate and adapt to global change and in ensuring the sustainable development of the natural environment and human society. The Coupled Model Intercomparison Project (CMIP) is a large-scale international collaboration project in the field of Earth system numerical simulation, aiming to coordinate various countries to complete the simulations of the Earth’s historical environment and the predictions of its future states. The Earth simulation data generated in the CMIP directly support the global climate change assessments of the Intergovernmental Panel on Climate Change (IPCC), United Nations, providing a solid scientific basis for global climate negotiations and governance. The CMIP Phase 6 (CMIP6) has generated up to 30 petabytes (PB) of Earth simulation data. The management and sharing of these data are achieved through the Earth System Grid Federation (ESGF). This study elucidates the CMIP organizational scheme, the ESGF system architecture, and the sharing and interoperability progress of Earth simulation data. It can provide a reference for planning, designing, and operating large-scale networks for sharing remote sensing science data.

Key words： Coupled Model Intercomparison Project (CMIP); Earth System Grid Federation (ESGF); climate model data; data sharing

Cite this article

LIU Yufu , BAI Yuqi . Global sharing system of Earth simulation data in the Coupled Model Intercomparison Project[J]. Remote Sensing for Natural Resources, 2025 , 37(6) : 10 -21 . DOI: 10.6046/zrzyyg.2022412

0 引言

为深入理解全球气候与环境变化的现象、过程和机理,提升气候变化应对能力,以保障自然环境和人类社会的可持续发展,人类亟须发展先进的地球观测能力,以洞察地球环境的历史演变,同时亦需发展地球模拟能力,以预测和预估其未来可能状态。国际耦合模式比较计划(Coupled Model Intercomparison Project,CMIP)作为一项以“推动气候模式发展、增进对地球气候系统的科学认知”为宗旨的大型国际合作计划,在此背景下发挥着关键作用。CMIP所产生的地球系统模拟数据,直接支撑了联合国政府间气候变化专门委员会(Intergovernmental Panel on Climate Change,IPCC)的气候变化评估报告,为全球气候谈判与治理体系奠定了坚实的科学基础。
国际耦合模式比较计划已顺利完成5个阶段,目前第六阶段(CMIP6)正在全面推进。该计划所产生的地球模拟数据将在未来5~10 a内持续支撑全球气候变化研究[1]。CMIP6致力于回答若干关键科学问题,包括: 地球系统如何响应外部强迫; 当前气候模式系统性偏差的成因及其影响; 以及在内部气候变率、可预报性与情景不确定性的背景下,如何科学评估未来的气候变化趋势[2]。
随着地球系统模拟能力的持续提升以及参与国家与组织数量的显著增加, CMIP所产生的数据规模呈现爆炸式增长。从首次计划的约1 GB总量,迅速增长至第五阶段(CMIP5)的约3.5 PB,而当前CMIP6生成的数据总量已突破25 PB[3-5]。如何在全球范围内高效、科学地管理并利用如此海量的地球模拟数据,以满足全球科研人员在气候变化研究中的需求,已成为一项亟待解决的关键技术挑战。
为应对这一挑战,美国能源部牵头推动了地球系统网格联盟(Earth System Grid Federation, ESGF),形成一项跨部门、跨国家的协同合作计划。参与机构包括美国国家航空航天局、美国国家海洋和大气管理局、美国国家科学基金会、德国马克斯·普朗克气象研究所、德国气候计算中心、澳大利亚国立大学国家计算基础设施、法国皮埃尔-西蒙·拉普拉斯研究所和英国环境数据分析中心等国际知名科研与计算机构。ESGF的使命在于开发、部署和维护一套用于管理、传播与分析地球模拟数据及相关观测数据的软件基础设施。该联盟采用对等网络(peer-to-peer,P2P)软件架构,专门用于实现全球分布式的大规模地球模拟数据、卫星观测数据及气候再分析数据的协同管理,为CMIP等国际科学合作计划提供关键数据支撑[6]。
ESGF软件体系源于早期的地球系统网格(Earth System Grid, ESG)项目。在美国能源部气候模式诊断与比对计划(Program for Climate Model Diagnosis and Intercomparison, PCMDI)的支持下,该软件为CMIP3提供了科学数据共享服务能力。随着CMIP5的推进,新版本ESGF的研发工作得以启动,并引起了多个科学数据共享组织的广泛关注[7]。
2013年,世界气候研究计划(World Climate Research Programme,WCRP)联合科学委员会正式推荐ESGF作为CMIP系列计划数据存档与传播的核心平台[8]。2018年,耦合模式工作组下属的地球模拟数据基础设施管理委员会进一步规划了CMIP6阶段ESGF的设计与功能需求,内容涵盖数据复制与版本控制、使用许可管理、数据质量保证、科学数据引用机制、长期存档策略及数据集全生命周期跟踪等关键方面[5]。模式中心(modeling center,MC)指具备地球气候模式或地球系统模式研发能力、并参与CMIP计划的研究机构,该类机构依据CMIP实验设计方案选择参与的试验项目,在大型超级计算设备上运行气候或地球系统模式以生成试验结果,继而根据CMIP规定的文件内容、格式与组织规范对结果进行后处理,完成地球模拟数据的生产流程。
本文将从MC与科研用户这2类关键参与方的角度,系统介绍ESGF软件的概念设计、网络架构、数据管理核心方法及其实现机制,分析该软件在CMIP6数据全生命周期管理中所发挥的作用,并总结ESGF平台目前取得的数据共享成果,以期深入剖析其支撑全球气候研究的核心服务能力与关键技术实现,为我国构建大规模科学数据基础设施提供关键经验与实践路径,并为下一代系统的演进提供参考。

1 ESGF架构

1.1 ESGF网络与服务

如图1[9]所示,CMIP6采用3层实验结构,由内向外依次为核心气候诊断、评估与表征实验(diagnosis, evaluation and characterization of klima,DECK)、历史气候模拟实验以及经批准的模式比较子计划。其中,DECK实验是参与CMIP6必须完成的基础内容,涵盖多种数值实验情景。在此基础上,历史模拟实验同为CMIP6的强制参与部分,模拟时段覆盖1850—2014年。除上述2类必做实验外,CMIP6还正式批准了23个由领域专家自主组织和设计的模式比较子计划[3],共同构成完整的多层级比较研究体系。
图1 CMIP6实验示意图

Fig.1 Levels of CMIP6 experiments

CMIP5/6计划中的数据流图如图2所示。MC通过部署ESGF软件,实现对地球模拟数据及其元数据的管理与发布,并接入ESGF国际数据共享网络,最终达成全球范围内数据的可发现与可访问。全球科研用户可通过PCMDI数据门户网站查询相关模拟数据与辅助资料,在完成数据筛选后,利用ESGF提供的下载工具从各MC的数据服务器(或ESGF骨干备份节点)获取所需数据,并在本地计算环境中开展地球模拟数据的分析工作。
图2 CMIP5/6数据流图

Fig.2 Data Stream of CMIP5/6

ESGF软件系统构建于多个自治的分布式节点之上,各对等节点之间通过基于联合信任关系的协议与接口实现互操作。数据存储于不同节点,并借助本地数据服务(如THREDDS)与元数据服务(如Publishing API)实现数据的统一发现。节点之间会相互交换其存储数据与服务能力的相关信息。
在ESGF软件框架中,各节点通过P2P协议互联,每个节点均部署核心数据服务模块,其他类型的信息服务模块则可按需安装。节点中的部分模块由ESGF独立开发,其余则整合了第三方开源软件,如Tomcat,LAS,THREDDS等。
在数据服务方面,节点采用分布式环境数据服务器THREDDS,能够对NetCDF格式的气候模式数据进行高效分发与共享,支持数据发布及基于文件传输协议(file transfer protocol,FTP)等协议的下载,同时提供数据授权服务与基于OpenID的访问控制。在索引服务方面,ESGF具备强大的数据检索功能与用户友好的Web界面。在计算服务方面,ESGF集成LAS,该系统基于海洋气象领域的交互式可视化和分析工具Ferret,为用户提供远程数据访问与制图服务。
如图3[10]所示,当用户通过任一数据门户提交检索请求时,该节点会将请求分发至联盟内其他节点,启动分布式检索流程。ESGF通过全局元数据库,根据用户搜索条件获取匹配结果,并将来自各节点的检索结果进行汇总后返回给用户。用户可通过Web浏览器或桌面客户端连接至任意ESGF节点,并在整个联盟范围内无缝地查找和访问数据[3]。
图3 ESGF的多节点网络示意图

Fig.3 Multi-node Network of ESGF

1.2 ESGF节点

ESGF节点是用于共享和发布地球模拟数据及其元数据的基础功能单元。如图4[11]所示,一个标准的ESGF节点可包含数据存储、索引服务、数据验证和计算服务等多个子节点模块,共同构成完整的地球科学数据管理与服务能力。
图4 ESGF的节点包含的服务

Fig.4 Services Included in ESGF Node

其中,数据节点负责数据发布与服务提供,其软件栈主要包括:
1)数据发布器。将科研机构产生的原始CMIP模式数据进行标准化处理,添加丰富的元数据,并将其发布到ESGF节点上,使其能够被全球用户在ESGF联盟中搜索、访问和下载。
2)THREDDS数据服务器。THREDDS是一个专门为地球科学领域数据设计的分布式数据服务系统,提供了CMIP模式数据的发现和访问能力。
3)GridFTP服务器。GridFTP 是一种专为网格计算环境设计的高性能、安全、可靠的文件传输协议,是标准FTP协议的扩展,用于CMIP文件的大规模文件传输。
4)OpenID依赖方。指ESGF门户网站本身或其他面向用户的服务,它们依赖OpenID 提供方服务所提供的身份信息,来为用户提供服务。
5)授权服务。指所有负责执行访问控制决策的组件和逻辑,根据用户的身份和访问策略,决定是否允许其对特定数据或资源执行特定操作(如读取、下载等)。
6)实时访问服务器和Ferret。Ferret是一个命令驱动的交互式数据可视化与分析环境,专门为海洋学和大气科学等科学数据设计,可用于探索和分析NetCDF等格式数据; 实时访问服务器则基于Ferret,提供了一个基于网络的数据可视化与子集提取的网页界面,帮助用户快速对远程数据生成图表和提取子集。
7)索引服务。基于Apache Solr搜索平台,从分散的数据集中提取、收集并组织元数据,构建一个高速、可查询的中央索引,使用户能够通过ESGF门户网站进行快速、复杂的搜索。
8)搜索服务。使用户能够通过多种维度快速定位到所需的数据集,并获取数据的访问信息。
9)Apache Solr搜索平台。基于Apache Lucene软件构建的高性能搜索平台,能够接收、存储和索引来自全球所有ESGF节点的海量数据集的元数据信息,并提供高性能的查询服务,满足用户的复杂查询请求。
10)Web门户用户界面。提供一个直观、强大且集成的界面,以发现、访问、管理(在许可范围内)和了解分布式的CMIP气候模拟数据。
11)仪表盘。为已认证的用户提供一个集中化的视图,用于查看和管理其与ESGF系统交互的各种信息、凭证和任务。
12)CIM查看器。通用信息模型(common information model,CIM)是一种元数据标准,旨在用一种统一的结构化语言来描述气候模拟和预测实验、模型、模型组件及其产生的数据。CIM 查看器是一个Web应用程序,它读取并可视化以CIM标准编码的元数据,为用户提供一个清晰、直观的界面来理解数据背后的完整科学背景。
13)OpenID提供方。负责对用户的身份进行认证,并在认证成功后,向其他应用提供该用户的基本身份信息。
14)MyProxy服务器。用于安全地存储和管理用户的X.509证书代理,并签发短期的证书,配合其他组建解决数据的安全访问控制。
15)属性服务。属性服务是ESGF安全架构的核心,主要任务是管理用户身份和权限信息,并在用户访问数据时,与其他组件协作进行访问控制决策。
16)注册服务。通过“注册-同步-发现”的机制,在ESGF联盟中完成元数据信息的同步。
17)节点管理器。通过P2P协议实现节点间配置管理,并在ESGF联盟中完成节点注册。

2 ESGF数据管理

2.1 数据生产和发布流程

针对模式数据开发机构,ESGF所支持的数据生产与发布流程如图5所示,具体如下:
图5 ESGF数据处理和发布流程

Fig.5 ESGF data processing and publishing process

1)提交CMIP6数据请求。模式机构首先向WCRP注册模式基本描述等元数据信息。
2)设计并运行模式实验。根据CMIP6科学目标设计数值试验方案,并在高性能计算环境中执行模式运行。
3)进行数据处理。利用气候模式输出重写器(climate model output rewriter, CMOR)软件,按照CMIP6约定的数据集结构与输出字段规范,对原始模式结果进行标准化处理与格式转换。
4)实施质量检查。使用PrePARE软件对模式输出结果进行规范性检查,确保数据符合CMIP6归档要求。
5)部署ESGF节点。安装并配置ESGF软件堆栈,将本地系统设置为数据节点。
6)目录重组与数据准备。重组输出目录结构,运行esgprep工具完成本地数据集的完整性校验与发布前预处理。
7)数据发布。将本地数据目录信息录入节点本地的PostgreSQL数据库,同时发布至本地THREDDS数据服务器,并将元数据同步推送至ESGF索引节点,完成数据的全局可发现与可访问。

2.2 数据请求

CMIP6数据请求整合了大多数经CMIP6认可的模式比较项目(model intercomparision project, MIP)所需的基础变量,同时也包含仅适用于特定MIP的专用变量[4]。该数据请求明确定义了各实验应输出的变量及其对应的时间输出频率[5]。
相较于CMIP5,CMIP6需从300余项实验中分别保存高度定制化的变量集合。其数据请求共涵盖23个MIP的综合输出规范,为模式模拟输出的配置、软件基础设施的开发以及数据目录内容的预构建提供了统一依据。数据请求的设计结构包含3个层面: 请求框架、属性配置与具体内容。每个层面均设有信息组件(如模式定义与实例描述)及相关代码,以支持信息的实际使用[12]。
CMIP6数据请求设有专门的信息发布网页,支持用户检索变量与实验信息。例如,在搜索“tas”(近地表气温)变量时,页面不仅提供该变量的详细定义,还会链接至该变量在各个MIP表格中的具体实例。

2.3 数据处理

模式数据的标准化处理主要由CMOR软件实现。当前版本的CMOR3采用C语言编写,同时提供Fortran 90与Python接口。该工具主要用于生成符合气候与预报(climate and forecast,CF)公约标准的NetCDF文件,其生成的文件结构与内置元数据能够满足多种气候模式比较实验的输出要求[13]。
CMOR输出具有以下特点:
1)单一变量存储。每个文件仅包含来自单一模式与单一模拟的一个主输出变量,同时附带坐标/网格变量、属性及其他元数据。
2)灵活时间组织。支持自定义单个文件中存储的时间片段数量,既可在一个文件中包含某变量和实验的全部时间样本,也可拆分为多个文件存储。
3)基于MIP表的元数据管理。输出至NetCDF文件的大部分元数据均在特定MIP表中定义。这些表格为CMOR可读取的JSON文件,通常从MIP官方网站获取。
4)多MIP兼容性。尽管不同MIP对元数据内容的要求存在差异,CMOR能够在CF公约的约束下,依据相应MIP表(如CMIP6_MIP表)的规定满足各类输出需求。
CMOR运行通常需要以下输入文件:
1)用户输入文件(如CMIP6_input_example.json)。包含用户提供的元数据与配置指令。
2)受控词汇表文件(如CMIP6_CV.json)。整合了CMIP6大部分受控词汇,并随新增模式与机构注册而动态更新。
3)CMOR表(如CMIP6_Amon.json)。为每个变量提供CMOR写入所需的主要元数据,并包含辅助数据正确写入与质量控制的附加信息。
4)垂直坐标公式术语表(如CMIP6_formula_terms.json)。定义垂直坐标相关的公式术语。
5)坐标表及相关网格文件(如CMIP6_coordinate.json与CMIP6_grids.json)。提供坐标系统信息,其中网格文件在处理非结构化网格时尤为必要。

2.4 数据检查与质量控制

在将CMIP6数据发布至ESGF之前,需使用PrePARE软件对数据文件进行规范性验证。该工具通过调用受控词汇表文件并结合正则表达式,对输入文件中的所有属性进行存在性及合规性检查,确保其符合CMIP6标准要求。
具体验证内容包括:
1)机构与模式信息。机构名称及其ID必须已在受控词汇表中注册,否则无法通过验证并发布至ESGF节点。同样,气候模式的来源信息、实验名称与ID、网格定义与标称分辨率等也需与词汇表中注册内容一致。
2)实验属性完整性。若实验中缺少必要属性或属性设置错误,系统将发出警告提示。
3)时间格式规范性。所有时间信息必须严格遵循ISO 8601标准进行编码。
4)信息链接有效性。相关URL属性需按照CMIP6模板构建为正确可访问的链接。
5)变量属性准确性。PrePARE依据CMIP6表格对变量的长名称、短名称、单位及缺失值等关键属性进行校验,确保其符合约定规范。
通过上述多维度验证,PrePARE为CMIP6数据的质量可控与标准统一提供了关键保障。

2.5 全局属性与文件目录

在包含CMIP模式模拟输出的数据文件中,全局属性用于描述数据来源、实验条件、文件内容、使用许可限制以及其他有助于数据分析的元信息。根据《CMIP6全局属性与数据引用语法规范》[6],所有CMIP6输出文件均需包含一组明确定义的全局属性,分为必须项与可选项,具体内容如表1所示。这些全局属性为数据解释提供了必要的信息基础。其中,多数属性的取值必须来源于CMIP6受控词汇表,以确保术语的一致性与语义的规范性。
表1 CMIP6数据的全局属性

Tab.1 Global attributes of CMIP6 data

CMIP6全局属性 属性缩写 示例 是否需要
活动ID activity_id “CMIP”,“PMIP” 总是
分支方法 branch_method “standard”,“noparent” 当父元素存在时
子模拟的分支时间 branch_time_in_child 365.0D0,0.0D0 当父元素存在时
父模拟的分支时间 branch_time_in_parent 3 650.0D0 当父元素存在时
注释 comment — 从不
联系人 contact — 从不
约定版本 Conventions “CF-1.7CMIP-6.2” 总是
创建日期 creation_date 总是
数据规范版本 data_specs_version 01.00.00,01.00.01,…01.00.xx 总是
实验 experiment “pre-industrialcontrol” 总是
实验ID experiment_id “historical”,“abrupt4xCO2” 总是
外部变量 external_variables “areacella”,“areacello” 合适时
强迫指数 forcing_index 1,2,82,323 总是
频率 frequency “mon”,“day”,“6 h” 总是
详细信息网址 further_info_url — 总是
网格 grid — 总是
网格标签 grid_label “gn”,“gr”,“gr1”,“gr2”,“grz”,“gm” 总是
历史记录 history — 从不
初始化指数 initialization_index 1 总是
机构 institution “Meteorological Research Institute” 总是
机构ID institution_id “IPSL” 总是
许可协议 license — 总是
MIP阶段 mip_era “CMIP5”,“CMIP6” 总是
标称分辨率 nominal_resolution “50 km”,“100 km”,“250 km”,“1x1degree” 总是
父活动ID parent_activity_id “CMIP”,ScenarioMIP 当父元素存在时
父实验ID parent_experiment_id “piControl” 当父元素存在时
父模拟MIP阶段 parent_mip_era “CMIP5”,“CMIP6” 当父元素存在时
父模拟源ID parent_source_id “CanCM4” 当父元素存在时
父模拟时间单位 parent_time_units “dayssince1850-1-1”,“dayssince1000-1-1(noleap)” 当父元素存在时
父模拟变体标签 parent_variant_label “r1i1p1f1”,“r1i2p223f3”,“noparent” 当父元素存在时
物理指数 physics_index 3 总是
产品类型 product “model-output” 总是
实现指数 realization_index 5 总是
领域 realm “atmos”,“ocean” 总是
参考文献 references — 从不
源描述 source — 总是
源ID source_id “GFDL-CM2-1” 总是
源类型 source_type “AGCM”,“OGCM”,“AOGCM”,“ISM”, AOGCMISM” 总是
子实验 sub_experiment — 总是
子实验ID sub_experiment_id “s1960”,“s1965”,“none” 总是
表格ID table_id “Amon”,“Oday” 总是
标题 title — 从不
追踪ID tracking_id — 总是
变量ID variable_id “tas”,“pr”,“ua” 总是
变体信息 variant_info “forcing: black carbon aerosol only” 从不,但是推荐
变体标签 variant_label “r1i1p1f1”,“f1i2p223f3” 总是
部分全局属性被用于构建CMIP6数据引用语法(data reference syntax, DRS),该语法用于唯一标识实验、模拟、实验集合及数据集。DRS组件被广泛应用于文件名生成、目录结构组织、信息链接构建以及检索工具中的筛选条件设定。
CMIP6的DRS依赖于以下关键属性: 活动ID(activity_id)、机构ID(institution_id)、源ID(source_id)、实验ID(experiment_id)、变量ID(variable_id)、表格ID(table_id)、变体标签(variant_label)、版本号(version)、子实验ID(sub_experiment_id)、网格标签(grid_label)、MIP阶段(mip_era)、成员标识(member_id)、输出频率(frequency)、领域(realm)、产品类型(product)、标称分辨率(nominal_resolution)及源类型(source_type)。
基于这些属性,CMIP6输出文件的命名遵循如下模板:
<variable_id>_<table_id>_<source_id>_<experiment_id>_<member_id>_<grid_label> [<time_range>].nc。
例如: tas_Amon_GFDL-CM4_historical_r1i1p1f1_gn_196001-199912.nc。
同时,CMIP6数据的目录结构按照以下路径组织:
<mip_era>/<activity_id>/<institution_id>/<source_id>/<experiment_id>/<member_id>/<table_id>/<variable_id>/<grid_label>/<version>。
例如: CMIP6/CMIP/NOAA-GFDL/GFDL-CM4/1pctCO2/r1i1p1f1/Amon/tas/gn/v20150322。
在通过数据验证后,将使用ESGF软件中的esgdrs命令,将文件目录自动重组为符合DRS规定的标准结构。

2.6 数据标识

每个ESGF数据集均以“vYYYYMMDD”格式分配版本号,该版本可在发布前预设,或在发布流程中自动生成。作为数据集标识符的重要组成部分,版本号与其他CMIP6受控词汇共同构成以点分隔的术语列表,从而实现对每个数据集的唯一标识与引用。采用日期型版本控制机制,使MC能够撤回存在错误的数据,并通过分配新版本号发布更新版本。这一机制不仅增强了数据管理的灵活性,也使用户在分析中能够明确所使用数据的版本信息,从而有效保障科学分析的可重复性。
同时,每个CMIP6文件在其元数据的“tracking_id”元素中记录了持久标识符(persistent identifier,PID),其格式为“hdl: 21.14100/<UUID>”,其中UUID由CMOR基于通用开源UUID库生成。PID为数据提供了包括版本与副本信息在内的持久化引用能力。PID服务旨在为CMIP6数据构建分层组织的标识符体系,并实现引用信息的注册、查询与解析3项核心功能。
无论是持续更新的数据,还是纳入IPCC-DDC长期存档的静态CMIP6数据集,均需基于数字对象标识符(digital object identifier,DOI)实现规范引用。专注于为学术资源提供PID注册服务的国际非营利联盟DataCite已授权ESGF作为CMIP6数据的正式发布者生成DOI,为便于识别,其前缀统一为“10.22033”。如图6所示,CMIP6基于DOI的引用工作流程涉及数据创建者、生产者与查看者3类角色: 数据创建者负责上传引用信息,数据生产者通过引用服务获取数据引用链接; 数据查看者则借助登录页面中的DOI信息定位数据,并通过访问链接从ESGF节点下载相应内容。
图6 ESGF中通过DOI引用CMIP6数据的工作流

Fig.6 Workflow for citing CMIP6 data via DOI in ESGF

2.7 数据集元数据

与CMOR写入的文件内部元数据不同,CMIP6数据集在上传至共享节点时还需提供描述数据集整体特征的元数据。ESGF为此定义了3层元数据结构: ESGF核心元数据、ESGF地球科学元数据及气候模式元数据,这些元数据在数据检索过程中发挥关键作用。
其中,ESGF核心元数据包含在整个ESGF系统中进行数据搜索与下载所必需的字段(包括必填与可选),其设计不依赖特定学科,适用于所有利用ESGF基础设施的领域。ESGF地球科学元数据则专门用于支持跨分布式地球科学数据集的精准高效检索。而气候模式元数据是一组用于描述和检索由气候模式生成数据的专用字段,涵盖如CMIP5,CMIP6等国际计划的相关信息。
3层元数据的具体字段列表及示例见表2。
表2 ESGF的元数据内容

Tab.2 ESGF Metadata

元数据 字段 名称 示例
核
心
元
数
据		 必需
字段		 id cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1.v20110323|pcmdi9.llnl.gov
title project=CMIP5/IPCCFifthAssessmentReport,model=InstituteforNumericalMathematics,experiment=1percentperyearCO2,time_frequency=day,modelingrealm=atmos,ensemble=r1i1p1,version=20110323
type Dataset
project CMIP5
dataset_id cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1.v20110323|pcmdi9.llnl.gov
index_node pcmdi9.llnl.gov
data_node pcmdi11.llnl.gov
可选
版本
和镜
像字
段		 version 20110323
master_id cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1
replica FALSE
latest TRUE
shard localhost: 8982
checksum 7fcd959a4bb57e4079c8e65a7a5d0499
checksum_type SHA256
可选
通用
字段		 description inmcm4modeloutputpreparedforCMIP51percentperyearCO2
url http://pcmdi9.llnl.gov/thredds/esgcet/1/cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1.v20110323.xml#cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1
access THREDDS,LAS
timestamp 2012-01-13T01: 34: 15Z
schema cmip5
format NetCDF
可选
下载
字段		 size 2874053764
number_of_files 2
number_of_aggregations 2
地
球
科
学
元
数
据		 可选
地球
科学
通用
字段		 variable ta
variable_long_name AirTemperature
variable_units K
cf_standard_name air_temperature
可选
时空
搜索
字段		 datetime_start 2090-01-01T12: 00: 00Z
datetime_stop 2229-12-31T12: 00: 00Z
north_degrees 89.25
east_degrees 358
south_degrees -89.25
west_degrees 0.0
height_bottom 100000.0
height_top 1000.0
height_units Pa
气
候
模
式
元
数
据		 必需
DRS
字段		 model INM-CM4
experiment 1pctCO2
product output1
realm atmos
time_frequency day
tracking_id bbf37d89-fd8a-4aa6-b42b-eb4adfe6504b
可选
元数
据字
段		 ensemble r1i1p1
experiment_family Historical
cmor_table Amon
dataset_id_template cmip5.%(product)s.%(valid_institute)s.%(model)s.%(experiment)s.%(time_frequency)s.%(realm)s.%(cmor_table)s.%(ensemble)s
drs_id cmip5.output1.INM.inmcm4.1pctCO2.day.atmos.day.r1i1p1
forcing Nat

2.8 ESGF节点运行支持机构

2016年,地球模拟数据基础设施管理委员会决定成立CMIP数据节点运营团队(CMIP Data Node Operations Team,CDNOT),并邀请所有ESGF数据节点的代表参与其中。CDNOT的核心目标是推动各ESGF节点有效联合,以稳定可靠的方式分发CMIP6数据,并灵活响应CMIP项目不断演进的需求。
CDNOT的主要职责涵盖以下方面:
1)节点合规监督。确保所有参与节点遵循ESGF软件栈的安全策略要求。
2)软件运维保障。所有必需软件需维持在最低支持级别以上,保持版本更新并及时安装安全补丁。
3)数据管理规范。推动各节点建立完善的数据管理政策与流程,覆盖数据获取、质量保证、引用管理、版本控制、发布流程及访问服务等环节。
4)基础设施资源保障。确保硬件与网络等基础设施资源满足节点运行要求。
5)沟通机制建设。维持数据节点与地球模拟数据基础设施管理委员会之间的有效沟通渠道。

3 ESGF数据服务和业务化运行

3.1 用户界面

ESGF的用户界面提供了数据集交互式下载或使用脚本批量下载等多种数据下载方式ESGF用户界面支持用户在整个ESGF联盟节点网络中检索并下载数据。用户可通过网页左侧的数据集筛选字段构建查询条件,右侧将动态显示匹配的数据集列表。用户可进一步查看数据集的元数据详情或调整查询条件,以精准定位所需数据。ESGF提供交互式下载与脚本批量下载2种方式,满足不同场景下的数据获取需求。
目前,新版ESGF搜索界面——Metagrid已进入测试阶段。该应用旨在替代现有搜索界面,在保留原有搜索功能与数据集信息完整性的基础上,采用基于ReactJS的JavaScript平台进行重构,显著提升了交互体验,新增自由文本输入、搜索条件保存、结果链接共享等功能,使用户在数据发现与获取过程中操作更为便捷高效。

3.2 文档和勘误

ES-DOC[14]是一项标准化文档服务,专门用于系统记录各类气候模式、实验方案及CMIP6认可的MIP表格等,旨在协助科研人员以明确且参数化的方式对比分析不同气候模式中的运行过程与结构特征。各MC需向ES-DOC团队提交模式配置的详细描述,包括空间分辨率、物理过程与参数化方案、所使用的计算平台等信息。
此外,ES-DOC服务在每个CMIP6 NetCDF文件中嵌入了“further_info_url”元数据属性,该链接指向ESGF搜索页面,并最终解析至对应的ES-DOC服务网页,为用户提供模型结构、实验设置、模拟参数、MIP表内容及数据来源等扩展元数据。模拟描述信息均从CMIP6 NetCDF文件内嵌的元数据中提取,从而确保了整个CMIP6数据模拟记录的一致性与完整性。
由于CMIP6实验协议及项目结构本身的高度复杂性,系统记录和追踪数据集版本变更的原因显得尤为重要。为此,CMIP6专门引入了勘误服务(https://errata.es-doc.org/),并将其整合至ESGF数据发布流程中,以确保元数据质量的完整性与透明度。
模式机构在发布数据时,需详细记录版本更新的具体原因,并说明数据被修订、撤回或删除的合理依据。尽管错误难以完全避免,勘误服务仍要求数据提供方在发现问题后,通过公共网页及时发布问题描述,并以简洁的界面向用户展示已知问题清单。
ESGF用户可通过勘误服务页面浏览当前已知问题,或借助PID查询功能获取文件及数据集的完整版本历史与修订信息,从而有效跟踪数据的变更过程与更正状态。

3.3 数据引用

为遵循科学文献出版界对数据引用的规范要求[15],CMIP6规定各MC必须通过数据引用服务[14]注册完整的引用信息,包括数据标题、作者列表及其ORCID标识、相关出版物等关键元数据[16]。该服务依托DataCite的元数据模型与词汇表体系,为CMIP6数据集注册DOI。
注册后的引用信息不仅可在ESGF用户界面及ES-DOC的“further_info_url”页面中查看,还能被Google数据集搜索、OpenAIRE和Scholix等主流元数据索引平台收录,显著提升数据的可发现性与引用透明度。数据引用支持不同聚合粒度,以适应各类学术文献的差异化引用需求。
借助此项服务,科研人员可在数据被正式纳入IPCC数据分发中心长期存档之前,即可规范引用CMIP6数据,待数据完成存档后,再通过IPCC-DDC获取最终版本的数据文件参考信息。

3.4 信息仪表盘

ESGF为整个节点联盟提供统一的数据下载与发布指标集成、可视化及报告功能。其信息仪表盘系统可帮助科研人员清晰掌握数据下载的总量与文件数量,目前已在生产环境中稳定运行。如图7[17]所示,该仪表盘的统计信息采集基于Elastic公司发布的行业标准工具Filebeat与Logstash实现。具体流程为: Filebeat负责采集各ESGF数据节点中记录用户下载行为的Apache日志,过滤敏感信息后通过安全连接发送至中央日志收集器; Logstash对来自不同节点的日志条目进行初步处理并存入数据库; 分析器组件进一步提取日志中的关键信息,生成聚合统计结果,以满足仪表盘对数据下载与发布指标的展示需求。
图7 ESGF 信息仪表盘架构

Fig.7 Design of ESGF dashboard

4 ESGF运行现状

在ESGF网络的支持下,CMIP数据共享体系实现了从CMIP3时期单一数据节点(PCMDI)到CMIP5全球节点联盟的演进,并在CMIP6阶段进一步发展为集数据发布、管理及信息服务于一体的复杂软件生态系统。目前,CMIP6数据共享平台已收录来自全球44家机构、121个气候模式版本的超过600万条数据集记录。
我国在ESGF网络中扮演着重要角色。以中国气象局北京气候中心为例,其CMIP6数据共享平台有效支撑了BCC模式数据的存储与发布,为来自亚洲、欧洲、美洲等多个地区的用户提供服务,累计数据下载量已达50.97 TB。该平台的稳定运行显著降低了科研人员获取数据的成本,为我国气候模式的国际应用推广提供了坚实支撑。
然而,基于ESGF的共享网络在性能方面仍存在显著的不均衡性。测试表明,在配置良好的硬件环境下可实现不低于300 Mb/s的传输速度,即每日约25 TB[8]的数据吞吐能力。然而,受网络与安全策略差异、本地互联网流量与路由质量、基础设施条件及专业能力不足等因素影响,目前仅有少数节点能够完全遵循CDNOT的最佳实践建议,难以持续维持理想传输性能。对CMIP6下载速度的实际监测结果也显示,不同国家节点之间的数据服务能力差异可达百倍以上(图8)。为应对这一挑战,ESGF计划在未来软件架构中增强在线分析能力,使用户无须下载完整数据即可完成分析任务与结果制图,从而减轻对网络传输性能的依赖。
图8 不同国家CMIP6数据节点的数据下载平均速度

Fig.8 Average data download speed of CMIP6 data nodes in different countries

5 总结

CMIP6作为支撑全球气候研究与IPCC评估的核心科学计划,其数据规模对数据管理基础设施提出了前所未有的要求。ESGF作为CMIP6官方指定的数据共享平台,构建了一套覆盖数据全生命周期的分布式软件生态系统,实现了从模式输出到全球分发的完整技术链条。
在架构设计上,ESGF采用去中心化的对等节点网络,集成数据、索引、验证与计算4类功能节点,通过统一元数据模型与安全协议实现跨机构协同。在数据管理层面,CMIP6建立了以CMOR为核心的数据标准化流程、以PrePARE为工具的质量控制体系、基于DRS的文件与目录规范,以及融合版本控制、PID与DOI的溯源引用机制,共同保障数据的可发现、可访问、可互操作与可重用。
ESGF在业务化运行中提供了包括Metagrid搜索界面、ES-DOC模式文档服务、勘误服务、数据引用注册与全局信息仪表盘在内的多项服务,显著提升了数据的透明度、可信度与使用效率。我国通过中国气象局北京气候中心等节点深度参与ESGF联盟,在CMIP6数据发布与国际服务中发挥了重要作用。
尽管ESGF已成功支撑CMIP6实现从单一节点到全球联盟的跨越,但其网络性能仍存在显著的区域不均衡,部分节点受基础设施与网络条件限制难以实现最优服务能力。未来,ESGF将通过增强在线分析与近数据计算能力,逐步推进从“数据分发”向“分析服务”的范式转变,以构建更加公平、高效、可持续的地球科学数据共享基础设施。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
周天军, 邹立维, 陈晓龙. 第六次国际耦合模式比较计划(CMIP6)评述[J]. 气候变化研究进展, 2019, 15(5):445-456.

Zhou T J, Zou L W, Chen X L. Commentary on the coupled model intercomparison project phase 6 (CMIP6)[J]. Climate Change Research, 2019, 15(5):445-456.

[2]
Eyring V, Bony S, Meehl G A, et al. Overview of the Coupled Model Intercomparison Project Phase 6 (CMIP6) experimental design and organization[J]. Geoscientific Model Development, 2016, 9(5):1937-1958.

DOI

[3]
赵宗慈, 罗勇, 黄建斌. CMIP6的设计[J]. 气候变化研究进展, 2016, 12(3):258-260.

Zhao Z C, Luo Y, Huang J B. Design of CMIP6[J]. Climate Change Research, 2016, 12(3):258-260.

[4]
马强, 颜京辉, 魏敏, 等. 北京气候中心CMIP6数据共享平台及应用[J]. 应用气象学报, 2022, 33(5):617-627.

Ma Q, Yan J H, Wei M, et al. Implementation and application of BCC CMIP6 experimental data sharing platform[J]. Journal of Applied Meteorological Science, 2022, 33(5):617-627.

[5]
Balaji V, Taylor K E, Juckes M, et al. Requirements for a global data infrastructure in support of CMIP6[J]. Geoscientific Model Development, 2018, 11(9):3659-3680.

DOI

[6]
Cinquini L, Crichton D, Mattmann C, et al. The Earth System Grid Federation:An open infrastructure for access to distributed geospatial data[J]. Future Generation Computer Systems, 2014,36:400-417.

[7]
Williams D N, Taylor K E, Cinquini L, et al. The Earth System Grid Federation:Software Framework Supporting CMIP5 Data Analysis and Dissemination[J]. CLIVAR Exchanges, 2011, 16(2):40-42.

[8]
Petrie R, Denvil S, Ames S, et al. Coordinating an operational data distribution network for CMIP6 data[J]. Geoscientific Model Development, 2021, 14(1):629-644.

DOI

[9]
Climate Europe. European Earth System Modelling for Climate Services[EB/OL]. https://www.climateurope.eu/european-earth-system-modelling-for-climate-services/ (Accessed on 24 May 2024).

[10]
Earth System Grid Federation, Federation Design. ESGF GitHub Documentation[EB/OL].https://esgf.github.io/federation-design.html.

[11]
Balaji V. CPMIP:Measurements of real computational performance of earth system models in CMIP[J]. Future Generation Computer Systems, 2013, 29 (7),1889-1896.

[12]
Juckes M, Taylor K E, Durack P J, et al. The CMIP6 data request (DREQ,version 01.00.31)[J]. Geoscientific Model Development, 2020, 13(1):201-224.

DOI

[13]
Stockhause M, Lautenschlager M. CMIP6 data citation of evolving data[J]. Data Science Journal, 2017,16:30.

[14]
Pascoe C, Lawrence B N, Guilyardi E, et al. Documenting numerical experiments in support of the Coupled Model Intercomparison Project Phase 6 (CMIP6)[J]. Geoscientific Model Development, 2020, 13(5):2149-2167.

DOI

[15]
Stall S, Yarmey L, Cutcher-Gershenfeld J, et al. Make scientific data FAIR[J]. Nature, 2019, 570(7759):27-29.

DOI

[16]
Stockhause M, Lautenschlager M. Data citation in climate sciences:Improvements in CMIP6 compared to CMIP5[J/OL]. AGU Fall Meeting Abstracts, 2017, 42.http://adsabs.harvard.edu/abs/2017AGUFMIN42C.05S.

[17]
Durack P J, Taylor K E, Eyring V, et al. A CMIP6-based multi-model outlook on future steric dynamic sea level change[J]. Geoscientific Model Development,14:629-667.

Options
Outlines

/

〈 〉