Учёные-климатологи приняли участие в общенациональном мероприятии по анализу и сравнению модельных результатов по архивным данным о климатической системе Земли и подготовке материалов для предстоящего доклада МГЭИК об изменении климата.

Прошлым летом учёные из Министерства энергетики США собрались в шести центрах по всей территории Соединённых Штатов, чтобы принять участие в «хакатоне» сравнения климатических моделей. Они объединили вычислительные ресурсы и опыт, а также провели совместную работу лично и посредством видеоконференций. Объединив усилия, эти учёные получили результаты быстрее, сократили дублирование усилий и тратили меньше времени на решение проблем с программным обеспечением, чем если бы они работали самостоятельно.

Их выводы будут использованы в широком обзоре, выпускаемом каждые шесть лет Межправительственной группой экспертов по изменению климата (МГЭИК). В этом отчёте рассматривается состояние науки об изменении климата, документируются его социально-экономические последствия и определяются эффективные стратегии реагирования. На данный момент МГЭИК подготовила пять оценочных докладов, и в настоящее время готовится шестой (AR6).

Анализ климатической системы Земли, основанный на данных наблюдений, полученных с помощью датчиков на земной поверхности, в океанах и в космосе, составляет основу этих отчётов. Но исследования с численными моделями земной системы предоставляют важную дополнительную информацию, поскольку они дают представление о будущих условиях состояния окружающей среды и помогают приписать наблюдаемые изменения конкретным причинам.

Каждая модель (а их много) включает в себя собственный массив исходных данных, предположений и алгоритмов. Таким образом, наилучшая общая картина климата Земли получается при сравнении результатов нескольких моделей, принимая во внимание сильные и слабые стороны каждой модели. Тем не менее, этот тип сравнения создаёт проблемы для отдельных исследователей.

Ансамблевая роль моделей

Модели описывают основные процессы в климатической системе Земли в сложных компьютерных кодах. Несмотря на все усилия исследователей, ни одна модель не является идеальной, поскольку учёным приходится делать трудный выбор, чтобы сбалансировать физический реализм с разумными вычислительными характеристиками. Поэтому опасно основывать важные выводы об изменении климата на базе результатов какой-либо одной модели.

Признавая это, Всемирная программа исследований климата организовала проекты взаимных сравнений моделей (Coupled Model Intercomparison Projects, CMIP) в середине 1990-х годов. В этих проектах центры моделирования запускают свои модели в соответствии с общим протоколом моделирования, используя общий набор воздействий (например, предписанные концентрации углекислого газа в атмосфере).

Вскоре учёные поняли, что сравнение модельных результатов с наблюдаемым климатом, а также с результатами других моделей является эффективным способом накопления знаний. Диапазон будущих результатов, полученных с помощью различных моделей с использованием различных входных данных, даёт оценки как внутренней изменчивости климатической системы Земли, так и структурных неопределённостей моделей. Модели можно использовать для изучения различных откликов будущих ответных действий человека на изменение климата, от сценариев высоких выбросов парниковых газов до активных мер по смягчению последствий, снижающих темпы выбросов почти до нуля.

CMIP6: работа в процессе

Учёные-климатологи приняли участие в общенациональном мероприятии по анализу и сравнению модельных результатов по архивным данным о климатической системе Земли и подготовке материалов для предстоящего доклада МГЭИК об изменении климата.

Прошлым летом учёные из Министерства энергетики США собрались в шести центрах по всей территории Соединённых Штатов, чтобы принять участие в «хакатоне» сравнения климатических моделей. Они объединили вычислительные ресурсы и опыт, а также провели совместную работу лично и посредством видеоконференций. Объединив усилия, эти учёные получили результаты быстрее, сократили дублирование усилий и тратили меньше времени на решение проблем с программным обеспечением, чем если бы они работали самостоятельно.

Их выводы будут использованы в широком обзоре, выпускаемом каждые шесть лет Межправительственной группой экспертов по изменению климата (МГЭИК). В этом отчёте рассматривается состояние науки об изменении климата, документируются его социально-экономические последствия и определяются эффективные стратегии реагирования. На данный момент МГЭИК подготовила пять оценочных докладов, и в настоящее время готовится шестой (AR6).

Анализ климатической системы Земли, основанный на данных наблюдений, полученных с помощью датчиков на земной поверхности, в океанах и в космосе, составляет основу этих отчётов. Но исследования с численными моделями земной системы предоставляют важную дополнительную информацию, поскольку они дают представление о будущих условиях состояния окружающей среды и помогают приписать наблюдаемые изменения конкретным причинам.

Каждая модель (а их много) включает в себя собственный массив исходных данных, предположений и алгоритмов. Таким образом, наилучшая общая картина климата Земли получается при сравнении результатов нескольких моделей, принимая во внимание сильные и слабые стороны каждой модели. Тем не менее, этот тип сравнения создаёт проблемы для отдельных исследователей.

Задача мультимодельного анализа

Для отдельных учёных выполнение мультимодельного анализа может быть сложной задачей. Во-первых, аналитику необходим доступ к локальному хранилищу, которое может содержать много терабайт данных, к программному обеспечению для анализа и визуализации, которое может обрабатывать большие наборы данных, и к мощной вычислительной платформе для выполнения сложных вычислений. Во-вторых, многие задачи обработки данных утомительны и требуют много времени: определение необходимых файлов данных в онлайн-каталоге, загрузка и проверка данных, учёт особенностей каждой модели, последовательная предварительная обработка данных с помощью десятков моделей (например, извлечение данных для временного окна и интересующего региона и вычисление среднегодовых значений или временных рядов аномалий), вычисление релевантных метрик и осмысленная визуализация результатов. Эти задачи повторяются аналитиками во всем мире, иногда даже несколькими коллегами в одной группе, что представляет собой дублирование усилий и, зачастую, потерянное время.

Весной 2019 г. учёные, финансируемые RGMA, решили, что анализ CMIP можно было бы значительно ускорить, если бы эти технические узкие места были обработаны группой. Если бы часто используемые данные CMIP6 были доступны большой группе сотрудников, напрямую подключённых к мощной вычислительной платформе с предустановленным и специализированным программным обеспечением для анализа и визуализации, тогда команды могли бы с самого начала сосредоточиться на научных проблемах.

Из этого осознания возникла идея «хакатона». «Хакатоны» - это обычные события в мире разработки программного обеспечения, когда программисты собираются, чтобы интенсивно сотрудничать для решения конкретной задачи. Желательно было обеспечить, чтобы данный «хакатон» стал возможностью быстро продвинуться в обработке и анализе данных CMIP6. Преследовались следующие цели: (1) собрать общий кэш данных, быстро доступный (с малой задержкой) для многих учёных с помощью мощной аналитической платформы, (2) создать общую среду анализа, способную обрабатывать большие объёмы данных, и (3) создать сообщество учёных, сотрудничающих для достижения общей цели создания научной политики.

1. Необходимость собрать общий кэш данных, вызвана тем, что большинство участников этой работы высоко ценили легкий доступ к данным CMIP6. Сотрудники Национального научно-вычислительного центра по энергетическим исследованиям (NERSC), основного научного вычислительного центра для Управления науки Министерства энергетики США, предоставили дисковый массив объемом 2,25 петабайта. В этот большой дисковый массив было загружено подмножество модельных результатов DECK и SSP (Shared Socioeconomic Path) из архива данных CMIP6, размещённого на сайте ESGF (Earth System Grid Federation).

Загрузка данных длилась круглосуточно в течение нескольких месяцев, в результате на дисковом массиве были размещены разнообразные данные наблюдений и климатического повторного анализа для использования при оценке, валидации и сравнительном анализе производительности моделей CMIP6. Был распространён опрос, в котором участники могли указать свои потребности в данных, что позволило определить приоритеты загрузки данных.

2. Для того, чтобы создать общую среду анализа, было использовано программное обеспечение Community Data Analysis Tools (CDAT), разработанное коллегами в рамках Программы диагностики и взаимного сравнения климатических моделей (Program for Climate Model Diagnosis and Intercomparison (PCMDI)). В преддверии «хакатона» было организовано несколько возможностей обучения, чтобы участники могли ознакомиться с программным обеспечением для анализа, завершившимся 4-часовым учебным занятием, представленным разработчиком CDAT Чарльзом Дутрио. Несмотря на это, казалось, что время проведения было слишком коротким для многих участников, чтобы ознакомиться с уникальными возможностями CDAT, поэтому, в конце концов, большинство аналитиков придерживались инструментов, с которыми они были наиболее знакомы: Python, Matlab, NCL (National Center for Atmospheric Research Command Language) и другие.

3. Что касается создания сообщества учёных, несколько проектов, финансируемых RGMA, обычно проводят взаимные сравнения моделей, но другие команды имеют меньший опыт. Укрепление взаимодействие между учёными из различных проектов RGMA, облегчало обмен полезной информацией и возможность начать новое сотрудничество. За несколько дней до «хакатона» была организована телеконференция, в ходе которой учёные могли представить и обсудить свои планы анализа. Эта сессия дала людям возможность узнать о планах своих коллег, координировать задачи анализа и запросить помощь. Это событие положило начало нескольким новым сотрудничествам.

Удачный «хакатон»

«Хакатон» проводился с 31 июля по 6 августа 2019 г. Учёные работали в совместной и целенаправленной обстановке из шести центров, распределённых по всей стране. Возможности видеоконференций позволили центрам оставаться на связи круглосуточно. Участники обменивались информацией с помощью программного обеспечения Slack для обмена сообщениями, а также обменивались сценариями анализа с использованием платформы разработки программного обеспечения GitHub.

Приблизительно 50 учёных участвовали в «хакатоне» в любое время, и около 100 учёных RGMA подписались на доступ к учебным материалам, постоянным обсуждениям Slack, репозиторию кода GitHub и кешу данных, созданному в NERSC. Ежедневно в 1 час дня по восточному времени участники «хакатона» обсуждали свои успехи и проблемы. Эта ежедневная регистрация привела к конструктивным обсуждениям и предложениям по улучшению анализа и графической диагностики.

Скоординированная деятельность по анализу CMIP6 позволила многим пользователям быстро достичь значимых научных результатов, используя архив CMIP6 и высокопроизводительные вычислительные ресурсы. В течение трёх месяцев первые анализы, начатые во время «хакатона», были завершены и представлены для публикации, а результаты были переданы ведущим авторам AR6 МГЭИК. Многие другие документы находятся в стадии подготовки. Одно исследование, проведённое ведущим автором этой статьи, документирует, как модели CMIP6 единодушно прогнозируют значительное замедление Атлантического меридионального опрокидывания, важного игрока в климатической системе, к 2100 году. Другие команды изучают такие процессы, как ураганы и циклоны; муссоны; экстремальные явления осадков, засухи и волны тепла; арктический морской лед; тропические леса и углеродный цикл.

Отзывы участников показали, что «хакатон» и связанные с ним мероприятия были очень хорошо приняты теми, кто принимал в них участие. Один участник отметил, что мероприятие «помогло мне более эффективно анализировать данные CMIP6 и быстро решать проблемы программного обеспечения и программирования». Другой отметил, что «хакатон» «сэкономил много времени, которое я бы потратил на изучение самостоятельно». После явного успеха этого мероприятия планируется организовать аналогичные мероприятия по анализу и синтезу данных в будущем.

Ссылка: https://eos.org/science-updates/hackathon-speeds-progress-toward-climate-model-collaboration