Большие данные о Земле накапливаются быстрыми темпами, что создаёт проблемы для их понимания и использования, но новые инструменты и приложения позволяют проводить анализ и повышают удобство использования для политиков. 

 

Накапливается постоянно увеличивающийся объём данных о планете Земля. Эти данные «большие» не только по размеру, но и по сложности, разным форматам и разным научным дисциплинам. Новые методы и платформы, такие как облако, используются для обработки, анализа и обмена большими данными. В новой книге «Аналитика больших данных в науках о Земле, атмосфере и океане», недавно опубликованной в серии специальных публикаций AGU, рассматриваются новые инструменты, используемые для анализа и отображения быстро растущего объёма данных о Земле. Ведущие редакторы подробнее рассказали о больших данных в контексте наук о Земле и описали некоторые достижения и проблемы в их анализе.  

Как бы вы объяснили «большие данные» и «большие данные о Земле» неспециалисту? 

Большие данные можно найти в каждой академической области. В нашей области науки «большие данные о Земле» — это данные о планете: океане, суше, атмосфере и климате. 

Зачем нам нужны большие данные о Земле? 

Земля представляет собой сложную систему, и она постоянно меняется. Например, в последнем отчёте Межправительственной группы экспертов по изменению климата (МГЭИК) описывается беспрецедентная скорость глобального потепления климата за последние 200 лет, что привело к росту температуры океана, повышению уровня моря, усилению осадков и наводнений, новым рекордам волн тепла, засухам и постоянно растущему дефициту пресной воды. 

Многие учёные во всём мире изучают эти изменения — проводят наблюдения, анализируют данные и создают модели. При этом они генерируют огромное количество информации. 

Аналитика данных Big Earth — это применение всё более сложных инструментов для анализа и отображения данных. Это может позволить исследователям и лицам, принимающим решения, быстро понять текущее состояние нашего изменяющегося климата и сделать действенные прогнозы для спасения жизней и изменения курса нашего ухудшающегося климата. 

Какие типы больших данных о Земле анализируются? 

Анализируемые данные варьируются от спутниковых до сейсмических, изучающих структуру Земли. Анализ этих данных заимствован как из традиционных научных анализов, так и из инструментов, разработанных для бизнес-приложений. Эти типы анализа данных разрабатываются университетскими и исследовательскими группами, и они всё больше вызывают интерес у компаний. От Google Earth Engine до 10 лучших тенденций науки о данных Zuci System на 2022 год и до Программы распространения открытых данных NOAA — всё больше внимания уделяется большим данным о Земле и их анализу. Эти типы анализа всё больше полагаются на возможности облачного хранения и обработки, поскольку объём данных и необходимые вычислительные ресурсы выходят за рамки локальных. 

Какие инструменты или методы используются для анализа больших данных о Земле?  

Анализ системы Земли является многогранной и многовариантной задачей. Он включает в себя высокомасштабируемые решения для обработки данных, позволяющие быстро преобразовывать необработанные телеметрические данные со спутников наблюдения Земли в продукты научного качества, оптимизированные для анализа и гармонизирующие рамки для совместного анализа, ассимилировать их по запросу для передовых численных моделей и прогнозов на основе машинного обучения. 

Облачные и высокопроизводительные вычисления стали повсеместными для решения проблемы больших данных. Многие традиционные методы анализа были усовершенствованы, чтобы продвигать параллельные вычисления с общей памятью и методологии множественных вычислений. Отрадно видеть постоянные инвестиции со стороны агентств и университетов в решение различных аспектов системы Земли с использованием широкого спектра данных науки о Земле для демонстрации и проверки их методов. 

Наука с открытым исходным кодом имеет жизненно важное значение для разработки воспроизводимых, устойчивых и проверенных сообществом решений для анализа больших данных. Большая часть данных, в том числе спутниковых, бортовых, наземных, сейсмических и модельных, распространяется через официальные архивы, такие как NASA, NOAA, Геологическая служба США, ЕSА и различные академические организации.

Как продвинулась аналитика больших данных о Земле за последние годы?  

Аналитика больших данных стала ответом на возможность сбора более крупных и сложных данных и запуска более крупных и подробных моделей в более длительных временных масштабах путём разработки анализов для более крупных и сложных наборов данных. Многие из этих анализов используют преимущества расширенного доступа к вычислениям через облачные сервисы. Благодаря Интернету вещей* и таким концепциям, как граничные и туманные вычисления, расширяются возможности анализа данных ближе к месту их сбора. 

Какие проблемы возникают при попытке полностью внедрить аналитику больших данных Земли?  

Потоки данных с новых платформ и датчиков, таких как недавно выпущенный GOES-T, ясно показывают, что количество больших данных о Земле будет только увеличиваться.

В последние годы произошёл значительный прогресс в области управления и обработки больших данных о Земле, но эти всё более крупные наборы данных по-прежнему остаются сложными для анализа. В конечном счёте, способность извлекать знания из этого изобилия данных будет напрямую зависеть от способности разрабатывать и применять методы для их анализа.

Кому будет полезна эта книга?  

Большие данные о Земле полезны широкому кругу учёных-экологов, от географов до океанографов и климатологов. 

Разработчики политики могут использовать полезные данные для принятия решений и их реализации. Эта книга может быть использована профессионалами в области геоинформатики, работающими над обеспечением обработки больших данных о Земле, а также учёными или инженерами, которым требуется обработка больших данных о Земле для поддержки их исследований и разработок. 

Это также будет полезно для неспециалистов, которые ищут введение в тему, например, для компаний, занимающихся анализом больших данных о Земле. 

Глава 1 находится в свободном доступе. Посетите страницу книги на Wiley.com и нажмите «Прочитать отрывок» под изображением обложки.

* Интернет вещей — это множество физических объектов, подключённых к интернету и обменивающихся данными.

 

Ссылка: https://eos.org/editors-vox/analyzing-big-earth-data-progress-challenges-opportunities