Тема Мониторинг Разработка методов и технологий спутникового мониторинга для научных исследований глобальных изменений и обеспечения безопасности

Гос. Регистрация № 01.20.0.2.00164

Тема выполняется в следующих приоритетных направлениях

5.27, 5.28, 6.17,6.20, 6.21, 6.23, 6.24,6.26

Научные руководители:

д.т.н. Е.А. Лупян

д.т.н. С.А. Барталев

Ответственный исполнитель:

к.ф.-м.н. А.А. Мазуров

 

Настоящая тема посвящена разработке научных основ, методов и автоматизированных технологий спутникового мониторинга для исследования глобальных изменений и обеспечения безопасности. В том числе:

§       Созданию научных основ, методик и алгоритмов для автоматизированного анализа  долговременных рядов спутниковых наблюдений.

§       Созданию и ведению долговременных архивов данных спутниковых наблюдений.

В 2009  году в рамках темы работа выполнялась по следующим основным направлениям:

           

16.1. Развитие методик построения и базовых элементов автоматизированных систем сбора, хранения и распространения спутниковых данных. В том числе, создание научно-методических основ и технологий построения  интерфейсов, обеспечивающих интерактивный анализ информации долговременных архивов данных спутниковых наблюдений для решения различных научных задач.

 

По данному направлению в ИКИ РАН в 2009 году были проведены следующие работы:

Разработка архитектуры и опытного образца системы сбора обработки и хранения данных для системы дистанционного мониторинга земель агропромышленного комплекса (СДМЗ АПК)

СДМЗ АПК создается для обеспечения информационной поддержки работы министерства сельского хозяйства РФ. Планируется, что система будет предоставлять информацию о состоянии сельскохозяйственных земель и культур региональным министерствам и ведомствам, а также районам и муниципальным органам управления и производителям сельскохозяйственной продукции. Система должна обеспечивать работу с достаточно разнородной информацией (в том числе с данными дистанционных наблюдений, данными наземных наблюдений, метеорологическими данными). Данные должны поступать в систему из различных источников, проходить в ней полный цикл обработки до получения различных информационных продуктов, необходимых для решения задач контроля и управления сельскохозяйственным производством. Полученные информационные продукты должны оперативно предоставляться различным группам пользователей.

Следует учитывать, что одной из основных задач системы является получение объективной информации, максимально независящей от субъективных мнений специалистов, обеспечивающих обработку и анализ данных. Поэтому система должна в основном быть ориентирована на использование полностью автоматизированных технологий анализа данных. Кроме того, должна иметься возможность достаточно простого расширения системы как для обеспечения работы с новыми типами данных, так и для включения в нее дополнительных процедур обработки и методов представления и анализа данных.

Чтобы решить поставленные задачи, необходимо было реализовать специальную систему работы с данными. В качестве базовой для ее создания была использована технология построения автоматизированных систем сбора, обработки, архивации и представления данных дистанционного зондированная, созданная в ИКИ РАН, в том числе в рамках темы «Мониторинг». На основе данной технологии была реализована система сбора, обработки, архивации и представления данных, архитектура которой представленная на рис. 16.1.1. Основной особенностью данной архитектуры является  то, что блоки  представления данных  пользователям максимально отделены от блоков сбора и обработки данных. Это обеспечивает построение различных информационных продуктов, необходимых для работы пользователей, на основе информации, находящейся в архивах системы, не связывая процессы построения данных продуктов с процессами сбора и обработки данных.


Рис. 16.1.1 Архитектура построения системы сбора, обработки, архивации и представления данных СДМЗ АПК

Комплекс сбора и обработки данных обеспечивает автоматическое получение данных из различных источников, их предварительную обработку и подготовку для занесения в архивы и базы данных СДМЗ АПК. Комплекс также обеспечивает  тематическую обработку данных для получения базовых информационных продуктов, таких, например, как карты вегетационных индексов, маски используемых полей, наборы различных индексов, осредненных по территории различных административных единиц, и территориям, занятым различными типами растительности. В комплексе имеются блоки, ориентированные на проведение обработки по мере поступления в систему новых данных; они обеспечивают оперативное получение продуктов, предназначенных, например, для оценки текущего состояния посевов. В комплексе также реализованы блоки, обеспечивающие обработку накопленных в архивах данных за достаточно продолжительный период времени; они, в частности, обеспечивают возможность оценки долговременной динамики сельскохозяйственных земель, например, проведение оценок, связанных с контролем использования земель.

Комплекс ведения архивов данных обеспечивает хранение различной информации, поступившей в СДМЗ АПК, прошедшей первичную и тематическую обработку. Комплекс обеспечивает автоматическое погружение данных в архивы и базы данных, автоматическую выборку наборов данных и предоставление их для обработки, а также автоматическое оперативное обслуживание запросов, поступающих от комплекса представления данных.

Следует отметить, что различные блоки системы сбора, обработки, архивации и представления данных СДМЗ АПК являются распределенными. Входящие в нее комплексы и блоки работают на различных информационных узлах СДМЗ АПК. В настоящее время информационные узлы СДМЗ АПК расположены в Москве (ГВЦ МСХ РФ, ИКИ РАН, ГУ НИЦ «Планета»), Новосибирске (ЗапСибРЦПОД), Хабаровске (ДВРЦПОД). Поэтому для обеспечения постоянной непрерывной работы элементов системы создан специальный комплекс удаленного контроля работоспособности и управления системы. Комплекс обеспечивает удаленный контроль состояния различных блоков  сбора, обработки и представления данных, а также контроль состояния архивов и баз данных. Одной из существенных функций комплекса является также контроль использования ресурсов СДМЗ АПК и поддержка системы санкционированного доступа к ресурсам СДМЗ АПК различных групп пользователей.

В настоящее время система ориентирована на работу со спутниковыми данными низкого, среднего и высокого пространственного разрешения. В системе организовано оперативное получение и обработка данных приборов AVHRR (спутники серии NOAA), MODIS (спутники Terra и Aqua) и SPOT VGT (спутники серии SPOT). Эти данные поступают в систему по территории всех сельскохозяйственных регионов России. Данные поступают в систему из центров приема ГУ НИЦ «Планета», ЗапСибРЦПОД, ДВРЦПОД (AVHRR, MODIS), архивов USGS (MODIS – продукт MOD09)  и архивов центра VITO (SPOT VGT – десятидневные безоблачные композиты).

В системе накоплены многолетние архивы данных приборов MODIS (2001г.-по настоящее время) и SPOT VGT (2000г. – по настоящее время). Это позволяет проводить не только анализ данных одномоментных наблюдений, но и анализ долговременных рядов данных. В частности, это позволяет проводить оперативное сравнение динамики растительности, наблюдаемой в текущем году и состояния растительности, наблюдавшиеся в различные годы. Такое сравнение, в частности, позволяет выявить годы- аналоги для построения оценок урожайности, провести сравнительный анализ состояния растительности по отношению к наблюдающейся многолетней норме, в том числе для выявления случаев гибели посевов.

Сегодня пользователи СДМЗ АПК  имеют возможность работать не только с исходными спутниковыми данными низкого и среднего пространственного разрешения, но и с результатами их обработки. В частности пользователи могут получать:

·       оперативные карты вегетационных индексов;

·       оперативные карты изображений облачности;

·       осредненные значения вегетационных индексов по различным типам регионов и различным типам растительности;

·       безоблачные композитные карты NDVI;

·       информацию о сельскохозяйственных полях;  

·       маски используемых сельскохозяйственных земель;

·       маски земель, занятых озимыми культурами;

·       маски земель, находящихся под паром;

·       различные отчетные формы и бюллетени;

·       и другие продукты.

В системе также организована работа с данными высокого пространственного разрешения, в основном получаемыми приборами LANDSAT ETM (спутники LANDSAT) и HRV, HRVIR (спутники SPOT). В частности, в системе накоплен архив безоблачных данных HRV, HRVIR за 2008 год, насчитывающий более 10 000  сцен. В системе также организована возможность оперативного получения этих данных из центров приема в Самара-Информспутник, ЗапСибРЦПОД, ДВРЦПОД. Данные высокого разрешения сегодня используются в системе в основном для определения границ полей и коррекции информации, получаемой на основе оперативных данных среднего пространственного разрешения.

В 2009 году основные блоки и элементы системы сбора и обработки данных, созданные в  ИКИ РАН, были введены в опытную эксплуатацию. Работы в данном направлении выполнялись, в том числе при поддержке программ Министерства сельского хозяйства Российской Федерации (МСХ РФ).

 

Разработка базовых элементов системы представления данных для СДМЗ АПК

Информация, создаваемая в рамках СДМЗ АПК, может в настоящее время использоваться для решения различных задач оперативного мониторинга состояния сельскохозяйственного производства. В том числе:

·       анализа и контроля использования земель сельскохозяйственного назначения, в том числе учета пахотных земель;

·       осуществления оперативного контроля состояния посевов сельскохозяйственных культур;

·       оценки и прогнозирования урожайности сельскохозяйственных культур;

·       выявления и прогнозирования неблагоприятных экологических явлений, связанных с сельскохозяйственным производством.

Следует отметить, что СДМЗ АПК ориентирована на обеспечение информацией достаточно широкого круга пользователей от  специалистов МСХ РФ до отдельных сельхозпроизводителей. Информацию системы можно разделить по территориальному признаку на уровни: федеральный, региональный и локальный. В зависимости от уровня состав и детальность данных изменяется. Для федерального уровня подготавливаются данные на уровне округов и субъектов РФ, для регионального уровня характерны данные о субъектах РФ и административных районах. Локальный же уровень может содержать данные, как об административных районах, так и об отдельных хозяйствах и в перспективе может детализироваться до уровня отдельных полей.

Кроме территориального признака деления доступность и состав информации определяется функциональным назначением, рассчитанным на определенные категории пользователей:

·       специалисты и руководители АПК, использующие информацию, поставляемую системой, для оценок текущего состояния с/х земель и культур и принятия управленческих решений. В основном эта группа ориентирована на получение готовых информационных продуктов по определенным территориям;

·       исследователи и разработчики, ориентированные на детальный анализ информации, предоставляемой системой, для развития и решения различных научных и прикладных задач. В основном данная группа ориентирована на получение детальной информации и проведение ее анализа (построение рядов, расчет различных характеристик, заказ дополнительной обработки);

·       администраторы системы, которым необходимо получение  информации для контроля состояния и работоспособности СДМЗ АПК и управления различными ее элементами.

В настоящее время в системе формируются следующие основные типы информации, обеспечивающие проведение анализа состояния и оценки динамики  сельскохозяйственных земель и культур:

·       спутниковые данные, прошедшие первичную обработку;

·       тематические продукты, построенные на основе спутниковых данных;

·       картографические слои (в том числе полученные на основе обработки спутниковых данных, в частности, различные маски культур и используемых земель);

·       официальные статистические данные (урожайность, площади и т.п.);

·       метеоданные.

Хранение всей  информации, которая используются в СДМЗ АПК, осуществляется в различных специализированных архивах и базах данных (БД). Для работы с информацией существуют различные модули, которые позволяют динамически получать информацию из архивов и БД, обрабатывать ее и формировать результаты обработки данных в виде, необходимом для передачи пользователям или в систему представления данных СДМЗ АПК. Использование таких модулей позволяет создавать различные интерфейсы с произвольным наполнением и различным представлением данных. Общая схема получения и представления данных представлена  на рис. 16.1.2.

 

Рис. 16.1.2. Общая схема потоков данных

 

Таким образом, работу с данными можно разделить на четыре уровня:

·       анализ данных и пополнение БД;

·       хранение информации;

·       выборка, обработка и форматирование данных;

·       предоставление информации (интерфейсы, сервисы).

Модули анализа, контроля и пополнения БД построены на однотипных решениях, что позволяет максимально отделить процесс пополнения и контроля от типа информации, с которой оперирует модуль. Это позволяет просто и быстро конфигурировать и контролировать процесс поступления информации в БД.

Модули доступа к данным позволяют формировать массивы данных и дополнительно их обрабатывать, а также форматировать их в различных видах в зависимости от необходимости. Данные могут быть представлены как в виде массива данных, так и в виде таблиц, графиков, карт и форм. Поддержка различного вида представления информации и различных уровней дополнительной обработки позволяет разрабатывать базовые интерфейсы для работы с различными типами данных, сконфигурированные под решение задач представления данных различным группам пользователей. В качестве примера на рисунке 16.1.3. представлен общий вид интерфейса работы с картографической информацией для произвольного региона. Интерфейс позволяет наблюдать за изменением состояния растительности с помощью карт и картограмм индекса NDVI, композитных псевдоцветных изображений, построенных за разные промежутки времени, а также оперативных данных MODIS, поступающих со станций. В интерфейсе имеются карты пахотных земель, карты озимых и чистых паров и другие базовые картографические слои. Интерфейс позволяет работать с произвольным регионом и масштабом и любым набором картографических слоев.

 

Рис. 16.1.3. Общий вид интерфейса анализа картографической информации

Таким образом, СДМЗ АПК имеет сегодня достаточно развитую систему интерфейсов работы с данными, рассчитанными на различные группы пользователей.

В 2009 году основные блоки и элементы системы представления данных, созданные в  ИКИ РАН, были введены в опытную эксплуатацию. Работы в данном направлении выполнялись, в том числе, при поддержке программ Министерства сельского хозяйства Российской Федерации (МСХ РФ).

Развитие технологии ведения распределенных архивов спутниковых данных и результатов их обработки.

    Одной из ключевых и до конца не решенных задач ведения архивов спутниковых данных, использующихся для решения различных научных и прикладных задач, связанных с мониторингом окружающей среды, природных и антропогенных объектов, является организация удобной и простой работы с ресурсами, накопленными в различных организациях. Решение данной задачи позволяет существенно сократить время на поиск необходимой информации и на ее получение. Сложность решения данной задачи связана прежде всего с тем, что в различных организациях могут осуществляться различные подходы к организации хранения и работы с данными. В то же время, в ряде случаев, когда различные центры используют для работы с данными одинаковые технологии, удается достаточно просто разработать и организовать схему «виртуального» объединения каталогов данных и  их совместной работы.

В 2009 году специалистами ИКИ РАН совместно со специалистами Западносибирского регионального центра приема и обработки спутниковых данных (ЗапСибРЦПОД, Новосибирск), Дальневосточного регионального центра приема и обработки спутниковых данных (ДВРЦПОД,  Хабаровск) была разработана схема и программное обеспечение, которые позволили объединить каталоги архивов спутниковых данных высокого пространственного разрешения, которые ведутся в этих организациях и обеспечить возможность удаленного доступа к ним пользователей.

Объединенный каталог разработан на базе технологии построения информационных систем доступа к спутниковым данным, созданной в ИКИ РАН. Эта технология обеспечивает полный цикл автоматической обработки спутниковых данных, начиная от первичной обработки, создания продуктов и заканчивая формированием каталогов  и организацией удаленного доступа к данным. Каталог позволяет получать доступ как к прореженным данным, так и к данным исходного разрешения и полученным на их основе информационным продуктам.

Рассматриваемый объединенный каталог содержит информацию о данных, полученных  со спутников SPOT  в  центрах приема ЗапСибРЦПОД и ДВРЦПОД, и данных, полученных  со спутников LANDSAT и накопленных в ИКИ РАН. Архитектура построенной системы архивации и реализация единого каталога позволяют получить доступ к информации, расположенной физически в удаленных центрах приема спутниковых данных. Особое внимание при разработке системы было  уделено вопросам, связанным с организацией удаленного доступа пользователей к каталогу и возможностям удобного поиска и выборки данных, находящихся в архивах. Для обеспечения работы каталога создан специализированный картографический WEB-интерфейс, обеспечивающий работу  с информационными продуктами, хранящимися в архивах различных центров.

            Пример интерфейса объединенного каталога приведен на рис. 16.1.4. Доступ к каталогу можно получить по адресу http://satcatalog.infospace.ru


Рис. 16.1.4. Пример интерфейса доступа к объединенному каталогу данных

 

Разработка системы динамических интерфейсов к объединенному каталогу Научного центра оперативного мониторинга земли

В 2009 году совместно со специалистами НЦ ОМЗ и ИРЭ РАН разработана система динамических интерфейсов к объединенному каталогу данных центра. Система обеспечила возможность предоставления удаленным пользователям доступа к каталогам данных различных приборов дистанционного зондирования и результатам их обработки.

В настоящее время система обеспечивает возможность представления информации, поступающей со спутников Terra и Aqua, Ресурс-ДК, Монитор, планируется также ее адаптация к работе с перспективными российскими системами.

Система обеспечивает возможность сравнительного анализа информации, находящейся в каталогах, с различной картографической информацией. Система позволят совместно отображать и анализировать данные различного пространственного разрешения. См. пример приведенный на рис.  16.1.5


Рис. 16.1.5. Иллюстрация возможности одновременного представления слоев данных ДЗЗ высокого и низкого пространственного разрешения

 

            Для обеспечения работы системы разработан специальный блок авторизации пользователя. Созданы также модули управления системой, которые, в частности, обеспечивают возможность добавления в систему различных картографических слоев. Система введена в опытную эксплуатацию; доступ к системе можно получить по адресу: http://catalog.ntsomz.ru/login/login.pl

Система создавалась при поддержке Федерального космического агентства.

Развитие системы контроля работоспособности распределенных систем дистанционного мониторинга.

Крупные информационные системы дистанционного мониторинга  обычно включают в себя десятки серверов и станций обработки спутниковых данных, расположенных в территориально разнесенных центрах приема и обработки спутниковых данных. При этом в каждом из центров оперативно обновляются данные более чем в десяти различных базах данных. Для надежного функционирования таких сложных распределенных программно-аппаратных комплексов должен быть реализован максимально автоматизированный контроль за различными показателями его работы и оперативное оповещение операторов о возникших неполадках и документирование возникших сбоев и реакций на них. 

Для решения задач контроля за функционированием распределенных информационных систем мониторинга ИКИ РАН совместно с партнерами был создан специализированный программный пакет PMS (Process Monitoring System). Пакет позволяет контролировать правильность и своевременность выполнения программ на серверах и станциях обработки. В дополнение к этому пакету была разработана система контроля за наличием поступления данных в системы хранения. Использование этой системы позволяет повысить надежность детектирования сбойных ситуаций и предоставляет дополнительную диагностическую информацию, необходимую для их устранения. Для работы с данными о состоянии различных элементов систем мониторинга был также разработан базовый WEB интерфейс. В этом интерфейсе отображается информация о работе каждой из компонент системы контроля. Для документирования сбойных ситуаций и отслеживания их устранения была разработана система ведения сбоев.

Программный пакет PMS (Process Monitoring System), в основном, предназначен для контроля за правильностью и своевременностью выполнения программ на серверах и станциях обработки. Для контроля за процессами, запускаемыми на UNIX серверах, и для запуска этих процессов используется специальная программа, которая сохраняет в БД протоколы их выполнения и возвратные коды. В пакете реализован также механизм контроля за указанными группами процессов. Доступ к информации о выполнении программ реализован при помощи специализированного WEB интерфейса, позволяющего, в частности, задать критерии детектирования ошибок для каждого процесса.

Для проверки своевременного поступления информационных продуктов в базы данных разработана система контроля за наличием данных. Доступ к информации о системе контроля за наличием данных осуществляется при помощи специализированного WEB интерфейса, позволяющего задать для каждого из типов продуктов допустимую «давность».  Контроль за наличием данных наряду с контролем за выполнением процессов, осуществляемым при помощи системы PMS, позволяет существенно повысить надежность детектирования сбоев в работе комплекса, а также предоставляет важную диагностическую информацию, необходимую для их устранения. На рисунке 2 приведен пример работы с WEB интерфейсом системы. В левом фрейме приведены базы данных выбранного информационного центра, а в правом -  информация о «давности» данных продуктов, относящихся к выбранной БД. Красным цветом помечены продукты, для которых не обнаружены «свежие данные». Получение информации о наличии заданных информационных продуктов в базах данных производится при помощи специальной программы, автоматически запускаемой по расписанию через небольшие интервалы времени.


Рис. 16.1.6. Пример работы интерфейса системы контроля за наличием данных.

 

В системе также организован блок ведения сбоев, предназначенный для документирования сбоев, детектированных как автоматически, так и в результате визуальных проверок, а также для отслеживания их устранения. В процессе документирования сбоя оператор указывает специалистов, ответственных предположительно за устранение данного сбоя; после этого им автоматически направляется соответствующее электронное письмо. После успешного устранения неполадок специалист помечает сбой как исправленный и заносит информацию о принятых им мерах.

            Принципиальная схема организации контроля за функционированием системы мониторинга приведена на рисунке 16.1.7. В верхней части на ней показаны основные источники поступления информации о неполадках в работе системы, в нижней части – система ведения информации о сбоях.

 

Рис. 16.1.7. Принципиальная схема организации контроля за работой ИСДМ Рослесхоз.

 

Разработанные методы контроля за функционированием различных систем мониторинга, как правило, позволяют своевременно выявлять сбойные ситуации в работе систем  и отслеживать процесс их устранения.

Разработка эффективных высокопроизводительных решений для создания систем динамической обработки спутниковых данных и результатов их анализа

Для построения архивов спутниковых данных, ориентированных на доступ к динамически формируемым «на лету» изображениям, в ИКИ РАН была разработана специальная технология.  В соответствии с этой технологией в ИКИ РАН реализованы архивы спутниковых данных, в которых изображения хранятся в виде гранул небольшого размера, формирующих «пирамиду» разрешений. Такой подход позволяет эффективно решать задачу доступа к динамически формируемым информационным продуктам по заданным пользователем географической области и проекции.

Следует отметить, что получение результирующих продуктов «на лету» требует довольно большой производительности сервера, особенно если изображение необходимо перевести в другую проекцию и предварительно обработать. В случаях, когда производимая обработка является затратной, мощности одного сервера может быть недостаточно, поэтому результирующее изображение будет получено с большой временной задержкой, что, естественно, затрудняет работу пользователя. Еще одним «узким местом» системы, реализованной в рамках одного сервера, является ограниченное дисковое пространство и скорость работы дисковой подсистемы.

Естественным путем для устранения вышеперечисленных недостатков является масштабирование системы для работы на группе компьютеров. Важно отметить, что разработанная в ИКИ РАН технология построения архивов, обеспечивающих динамическое получение информационных продуктов, хорошо подходит для распараллеливания. Естественным путем распараллеливания обработки, необходимой для получения результирующего изображения, является обработка каждой из задействованных для его получения гранул на отдельном компьютере. После этого изображения, полученные на основе отдельных гранул, должны быть «склеены» на отдельном, незадействованном в обработке гранул компьютере. При этом, на наш взгляд, наиболее оптимальным вариантом с точки зрения скорости доступа к файлам в архиве является обработка гранул изображения именно на тех компьютерах, на дисковых подсистемах которых они расположены. Использование дисковых подсистем всех задействованных в работе компьютеров также позволяет уйти от ограничения размера дискового пространства, используемого под архив спутниковых данных.

Естественно, что при использовании группы компьютеров для динамического формирования результирующего изображения необходимо обеспечить эффективное взаимодействие между задействованными в этом процессе компьютерами. Такое взаимодействие может быть реализовано, в частности, на основе использования современных кластерных технологий. В рамках настоящего проекта была поставлена задача адаптации технологии построения спутниковых архивов, разработанной в ИКИ РАН, к использованию возможностей кластерной системы «СКИФ-ГРИД», установленной в ИПС РАН.

В рамках работ 2009 года был создан действующий макет интерфейсов доступа к данным системы дистанционного мониторинга земель агропромышленного комплекса (СДМЗ АПК), который позволил провести тестирование предлагаемых решений и подтвердить их работоспособность. Принципиальная схема действующего макета приведена на рисунке 16.1.8.

Рис. 16.1.8. Принципиальная схема действующего макета.

Данные работы были выполнены в рамках проекта: «Разработка и использование программно-аппаратных средств Грид-технологий  перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ» (головной исполнитель ИПС РАН)

 

 

 

16.2. Ведение и поддержка архивов спутниковых данных, результатов их обработки для научных исследований глобальных изменений и обеспечения экологической безопасности и контроля состояния природных и антропогенных объектов.

 

По данному направлению в 2009 году в ИКИ РАН были выполнены следующие работы:

·       

В рамках различных проектов, выполняемых в ИКИ РАН, для расширения возможностей ведения долговременных архивов данных проведена модернизация серверной группы, обеспечивающей работу  со спутниковыми данными и результатами их обработки. В настоящее время серверная группа обеспечивает возможность предоставления в непосредственном доступе более 100 Тбт данных. Расширены возможности системы автоматической обработки данных. В группу автоматической обработки, архивации и представления данных входят около 30 рабочих станций и более 30 серверов. Общий вид  серверной приведен на рис. 16.2.1.

Рис. 16.2.1 Общий вид серверной,  обеспечивающей выполнение работ по теме «Мониторинг»

 

·       Продолжалось накопление архивов данных, поступающих со спутников серии NOAA по европейской территории России и Западной Сибири (http://smisdata.iki.rssi.ru/noaa-cgi/cat_reg.pl?db=noaa&lang=russian);

·       Осуществлялось ведение архивов данных прибора MODIS (спутники TERRA и AQUA) по различным регионам России (http://smis.iki.rssi.ru/dataserv/rus_ms/modis_tlm.htm);

·       Продолжалось накопление информации о состоянии облачности, температуры морской поверхности и ледовой обстановки в районах Баренцева, Белого, Балтийского, Черного, Каспийского, Японского, Охотского и  Берингова морей,  полученной по данным приборов AVHRR и MODIS (http://x4n9.iki.rssi.ru/noaa-cgi/cat_all_prod.pl?db=center_noaa_products );

·        Продолжилось ведение многолетнего архива спутниковых данных, получаемых прибором SPOT-Vegetation на всю территорию бореального пояса Земли (включая Северную Евразию и Северную Америку), в виде стандартных продуктов данных S10, представляющих собой синтез наблюдений, выбранных за десятидневный период по критерию максимума NDVI;

·        Совместно с ФГУ «Авиалесоохрана», ИСЗФ СО РАН, ЦЭПЛ РАН и различными центрами приема и обработки спутниковых данных накоплен архив информационных продуктов спутникового мониторинга лесных пожаров на территории России в 2009 году; 

·        Создана технология автоматической обработки данных спутников LANDSAT и сформирован архив данных LANDSAT по территории России за 2009. Доступ к архиву можно получить по адресу: http://satcatalog.infospace.ru;

·        Продолжено ведение и развитие архивов метеоданных по территории России (http://meteo.infospace.ru/wcarch/html/index.sht); 

·        В рамках проектов по эксплуатации и развитию системы мониторинга лесных пожаров совместно с ООО НТЦ «Инфокомплекс» осуществлялось ведение архива данных системы грозопеленгации, покрывающей практически всю территорию России.

·        Для анализа состояния растительности на территории Северной Евразии продолжено накопление архивов продуктов обработки данных MODIS. Доступ к каталогу архива можно получить по адресу http://193.232.9.113/;

·        В рамках различных проектов осуществлялась поддержка систем сбора, обработки, архивации и представления данных в следующих центрах приема:  ГУ НИЦ «Планета» (г. Москва), ЗапСибРЦПОД (г Новосибирск), ДВРЦПОД (г, Хабаровск),  ИЛ СО РАН (г. Красноярск), ГНТЦ «Природа» (г. Москва), ФГУ «Авиалесоохрана» (г. Пушкино, г. Иркутск), ФГУП КЦСМ (г. Петропавловск-Камчатский), ОАО «Самара-Информспутник» (г. Самара);

 

16.3. Разработка автоматического метода и технологии динамического картографирования наземных экосистем по данным спутниковых наблюдений. Создание карты наземных экосистем Северной Евразии по данным среднего пространственного разрешения.

За отчетный период проведено усовершенствование технологии локально-адаптивной обучаемой классификации типов наземных экосистем по спутниковым данным. В частности, внедрено использование детальных баз данных априорных вероятностей встречаемости типов наземных экосистем. Это обеспечило возможность на этапе классификации по композитным изображениям MODIS в полной мере использовать тематические продукты, полученные с помощью специализированных алгоритмов выявления некоторых типов земного покрова. Созданные базы данных получены методами анализа временных рядов спутниковых наблюдений (выявление пройденных огнем территорий) и с помощью средств ГИС-анализа (границы зон тундры, степи, участки повреждения лесов насекомыми и др.), а также на основе экспертных знаний о пространственном распределении наземных экосистем.

Вычислительный комплекс локально-адаптивной обучаемой классификации был оптимизирован для многократной классификации исследуемой территории. Данная возможность необходима для эффективной организации работы по совершенствованию продукта картографирования путем экспертного поиска ошибок, модификации обучающих данных и повтора классификации. Удалось сократить затраты времени на классификацию путем выделения участков изменений и ограничения объема вычислений, что сделало возможным регулярное получение текущих версий продукта картографирования. Для управления классификацией и доступа к результатам вычислительный комплекс оснащен web-интерфейсом.

Завершена работа над первой версией карты растительности России с пространственным разрешением 250 м, полученной по данным прибора Terra-MODIS 2005 г. При классификации использованы очищенные от влияния облачного и снежного покрова помесячные композитные изображения. В качестве источников для обучения использованы карта наземных экосистем Северной Евразии, полученная по спутниковым данным прибора SPOT-Vegetation с пространственным разрешением 1 км, карта лесов СССР, циркумполярная карта арктической растительности и другие источники. Легенда новой карты состоит из 21 типа земного покрова, в том числе 8 типов лесной растительности.

Рис. 16.3.1 Карта растительности России по данным MODIS

 

Проведена экспериментальная оценка возможности картографирования многолетней динамики растительного покрова территории России. С использованием обучающих баз данных, подготовленных в рамках разработки карты растительности России 2005 г., было проведено ретроспективное картографирование растительности на основе классификации композитных изображений MODIS 2002 г. Исследование подтвердило принципиальную возможность повторения результата картографирования на многолетних временных сериях спутниковых изображений. В настоящее время ведется разработка методики дифференциации обнаруженных изменений по основным категориям, включая процессы повреждения, восстановления и замещения типов растительности, а также детектирования ложных изменений, связанных с вариациями условий спутниковых наблюдений.

 

 

Развитие методов оценки деструктивных воздействий на растительный покров на основе комплексного использования временных серий данных спутниковых наблюдений среднего и высокого пространственного разрешения

 

 

Развитие методов выявления пройденных огнем площадей по данным MODIS

 

В рамках данного направления были выполнены работы по развитию методов оценки деструктивных воздействий на растительный покров на основе комплексного использования временных серий данных спутниковых наблюдений.  Основные усилия были направлены на разработку технологии выявления пройденных огнем площадей по данным MODIS на основе адаптивного порогового алгоритма детектирования повреждений растительности. Метод, лежащий в основе технологии, использует в качестве опорных данных многолетнюю статистическую «норму» сезонной динамики коротковолнового вегетационного индекса SWVI.  В качестве исходных данных используется многолетний архив ежедневных композитных изображений MODIS с пространственным разрешением 250 м и 500 м.

Главное отличие от стандартного жесткого порогового детектирования повреждений пожарами заключается в использовании в качестве статистической «нормы» сезонной динамики среднего значения индекса по данным многолетних наблюдений участка поверхности в заданную дату. Алгоритм позволяет вычислять адаптивные во времени и пространстве значения порогов, используя оценки стандартного отклонения вегетационного индекса в произвольный момент сезонного развития растительности, и обладает высоким уровнем чувствительности, что дает возможность детектировать относительно слабые повреждения растительности пожарами, не выявляемые ранее разработанными методами. Также, достигается более точное детектирование пожаров за счет устранения изменений растительности, вызванных иными факторами, связанными с межгодовыми различиями сезонной динамики роста.

Разработанный метод апробирован для территории России по результатам горения в 2009 году с использованием многолетнего архива данных спутниковых наблюдений Terra-MODIS за период 2002-2009 годов.

 

Рис. 16.3.2. Сравнение результатов работы метода выявления пройденных огнем площадей по данным Terra-MODIS с использованием жесткого порогового критерия (слева) и усовершенствованного метода (справа).

 

 

Исследование возможностей оценки характеристик состояния лесов по данным высокого пространственного разрешения

 

Проведена теоретическая и экспериментальная работа, направленная на развитие методов оценки состояния насаждения, и, в частности, оценки степени повреждения по дистанционным данным высокого разрешения. В качестве спутниковых данных использовались современные данные прибора HRVIR-SPOT4 с разрешением 20 метров и исторические данные прибора Landsat-TM/ETM+ с разрешением 30 метров. Был проведен анализ спектрально-отражательных свойств поврежденной растительности и построены уравнения связи  между характеристиками состояния насаждений, получаемыми при наземном лесопатологическом обследовании, и характеристиками, построенными по спутниковым данным.

В рамках первой задачи для нескольких тестовых участков Центральной Сибири и Дальнего Востока были исследованы взаимосвязи характеристик полога исследуемых насаждений, оцененных по наземным данным, таких, как степень усыхания и средневзвешенная категория состояния лесов, с характеристиками, построенными по дистанционным данным. Характеристики, полученные по спутниковым данным, включали следующие величины: значения отражательных характеристик в зеленой, красной, ближней и средней ИК областях спектра, их разновременных разностей, спектральных индексов NDVI (нормализованного относительного индекса растительности) и NDWI (нормализованный относительный индекс влагосодержания), а также соответствующих им разностей разновременных измерений. Корреляционный анализ показал наличие существенных связей между исследуемыми характеристиками для некоторых типов чистых насаждений ели, сосны, лиственницы, березы и дуба. Было обнаружено, что средневзвешенная категория состояния насаждений связана со спутниковыми показателями гораздо сильнее, чем степень усыхания. Кроме того, из перечисленных характеристик наиболее сильно с наземными данными коррелируют характеристики среднего ИК канала, разности этих каналов и NDWI, что хорошо согласуется с тем фактом, что при усыхании растений прежде и сильнее всего изменяется уровень влагосодержания. Это  подтверждается при исследовании корреляций между наземными и спутниковыми характеристиками для точек, где происходит значительное усыхание (более 20%).

Для типов насаждений, для которых были получены достаточно высокие значения коэффициентов корреляции (выше 0,5), а значит обосновано наличие линейной статистической связи, были построены уравнения одномерной и многомерной регрессии. Регрессии строились для  чистых типов насаждений, а именно еловых, лиственничных, дубовых и березовых древостоев, с помощью метода наименьших квадратов. Чтобы устранить явление мультиколлинеарности, то есть взаимозависимости объясняющих переменных, для выбора наилучшего числа  переменных при оценке уравнения многомерной регрессии была использована пошаговая процедура подбора переменных с помощью оптимизации критерия информативности регрессии Акаике.  Высокий выборочный коэффициент (выше 0,5-0,6) детерминации позволяет использовать полученные прямые для прямого пересчета значений спутниковых переменных в характеристики состояния насаждений.

Полученные результаты дают возможность выработать рекомендации по сбору наземных данных для лесопатологического мониторинга и служат основой для разработки автоматизированных методов оценки характеристик усыхания насаждений.

 

Рис. 3. Сравнение линейных регрессий средневзвешенной категории состояния по нормализованному разностному индексу влагосодержания для различных типов лесных насаждений

 

 

16.4. Разработка научно-методических основ и элементов для построения региональных интегрированных систем мониторинга в интересах природопользования и охраны окружающей среды.

В 2009 году в рамках этого направления выполнены следующие основные работы:

 

16.5. Развитие методов и автоматизированных технологий спутникового мониторинга сельскохозяйственных земель. В том числе, разработка методов оценки состояния сельскохозяйственной растительности на основе анализа межгодового сравнения динамики вегетационных индексов.

Оценка урожайности

 

Разработка методов оценки урожайности сельскохозяйственных культур на основе спутниковых данных велась по трем направлениям:

·       оценка урожайности на основе поиска года-аналога для развития растительности пахотных угодий в текущем сезоне вегетации для временных серий вегетационного индекса, полученного по данным MODIS;

·       прогнозирование урожайности на основе построения регрессионных зависимостей между официальными статистическими данными и величинами вегетационного индекса по данным MODIS;

·       моделирование накопления биомассы сельскохозяйственных растений по спутниковым и метеорологическим данным.

 

В рамках первого направления разработаны методы автоматизированного определения года-аналога для временной серии NDVI текущего сезона вегетации. Проведен анализ соответствия урожайности выявляемого года-аналога данным официальной статистики. Установлено, что метод позволяет получать предварительную информацию о состоянии растительности пахотных угодий на уровне областей или административных районов. Использование его для оценки урожайности возможно лишь для отдельных регионов и отдельных культур. Для повышения надежности оценки урожайности этот метод должен использоваться в сочетании с другими методами. Разработаны рекомендации по использованию данного подхода и определены основные направления исследований по его усовершенствованию.

При разработке второго направления были использованы данные об индексе NDVI по показаниям спутниковых аппаратов SPOT-VEGETATION и MODIS. Также использовались климатические данные о температуре и осадках,  карта пахотных земель, созданная по базе данных GLC 2000 и карта земель с посевами озимых культур, построенная на основе данных MODIS. Для каждого региона (области) строились различные наборы предикторов урожайности, например:

–       сезонный максимум NDVI, осредненный для регионов по пахотным землям и по землям с посевами озимых культур;

–       значение NDVI во время цветения озимой пшеницы, осредненное как в предыдущих примерах;

–       значения NDVI за каждую декаду в году, осредненные как в предыдущих примерах;

–       различные климатические параметры, такие как средняя температура воздуха за октябрь-ноябрь предыдущего года, средняя температура за март-апрель, абсолютный минимум температур в мае, сумма осадков за период август-сентябрь.

Используя значения этих предикторов за текущий год и уравнение парной линейной регрессии, построенное по значениям этого предиктора за прошлые годы,  предсказывалось значение урожайности культуры в текущем сезоне. Из множества всех построенных регрессий для предсказания урожайности выбирались наиболее качественные регрессии. Критерием качества являлся квадрат корреляции между значениями предиктора и урожайности за прошлые годы. Все регрессии, для которых этот показатель меньше 0,8 не рассматривались.

Подход был апробирован на примере прогнозирования урожайности озимой яровой пшеницы для всех регионов России. По данным предикторам почти в каждом регионе России удалось построить приемлемые уравнения регрессии, по которым можно предсказать урожайность. Для регионов, где не удалось построить приемлемое уравнение парной регрессии, были построены множественные регрессии с использованием тех же предикторов, по которым также можно предсказать значение урожайности в регионе.

Для каждого региона была составлена таблица, в которой описано, насколько качественную регрессию удалось построить для каждого момента времени. В соответствии с этой таблицей, для каждого региона в определенный момент времени можно сделать предсказание с некоторой точностью, а затем, по ходу вегетационного сезона, постепенно улучшать его.

В результате исследований был разработан простой подход прогнозирования урожайности пшеницы на уровне областей, основанный на использовании преимущественно спутниковой информации. Данный подход позволяет прогнозировать урожайность озимой пшеницы с приемлемой точностью и хорошей заблаговременностью. Точность прогнозирования и заблаговременность потенциально еще может быть улучшена путем подбора более информативных предикторов урожайности.

В дальнейшем этот алгоритм предсказания урожайности можно применить к другим сельскохозяйственным культурам, выбрав предикторы в наибольшей степени учитывающие специфику вегетации и агротехники этих культур.

В рамках работ третьей группы разработан метод прогнозирования урожайности риса на основе моделирования накопления его биомассы. В основе метода лежат расчеты, основанные на учете приходящей солнечной радиации, ее доли, поглощенной посевами, а также учете воздействия на продуктивность фотосинтеза неоптимальных температурных условий, избытка радиации и потерь ассимилированных веществ на респирацию растений. Расчеты накопленной биомассы ведутся ежедневно на основе метеорологических данных и информации о faPAR, получаемой сенсором MODIS.

Разработанный метод протестирован на примере мониторинга посевов риса в Калмыкии, где моделирование накопления биомассы осуществлялось для полей с посевами риса, маска которых также была построена на основе данных MODIS. Результаты тестирования показали высокую перспективность данного подхода для прогнозирования урожайности риса. Прогноз урожайности удается получать в середине сезона вегетации. Преимуществом данного подхода является его полная независимость от статистических данных, качество которых многими специалистами часто ставится под сомнение, а также отсутствие необходимости регулярного сбора полевых данных или приобретения спутниковых данных высокого пространственного разрешения. Разработанный подход может быть адаптирован к прогнозированию урожайности риса и для других рисосеящих регионов России.

 

Развитие методов и автоматизированных технологий спутникового мониторинга пахотных земель

 

Использование многолетних временных рядов вегетационного индекса по данным MODIS позволяет строить многолетние признаки распознавания, значения которых зависят от особенностей динамики временных рядов. Эти признаки используются при обучаемой классификации на два класса (пашня и естественная растительность) методом максимального правдоподобия. В основе алгоритма построения многолетних признаков распознавания лежит учёт особенностей динамики развития растительности, связанных с наличием севооборота.

В настоящее время карты используемых пахотных земель строятся на основе анализа временных рядов спутниковых данных длиной шесть лет. Полученные оценки точности карт позволяют говорить о выявлении более 85% используемых пахотных земель России в целом. Выполненная на основе границ полей в Южном федеральном округе валидация карты показала, что сумма ошибок классификации первого и второго рода составила около 12%.

Такая точность распознавания используемых пахотных земель на территории основного зернового пояса России, автоматизация метода построения карты пахотных земель на всю территорию России и достаточная точность географической привязки спутниковых данных позволяют выявлять вновь распаханные и вышедшие из сельскохозяйственного оборота земли.

По данному направлению были проведены следующие работы:

–       Проведено исследование признаков, используемых для классификации пахотных земель. Проанализированы и описаны их свойства, оценена разделимость классов «пашня»-«естественная растительность». Проведен анализ пространственной изменчивости вероятности верного детектирования классов.

–       Проведена валидация карты используемых пахотных земель для регионов ЮФО с использованием векторных карт границ сельскохозяйственных полей. Сумма ошибок первого и второго рода составила 12%.

–       С использованием метода картографирования используемых пахотных земель была построена карта пахотных земель по спутниковым данным за 2003-2008 годы.

–       Сравнение текущей карты и карты, построенной по данным за 2002-2007 годы, позволило выявить заброшенные в 2003 году земли сельскохозяйственного назначения (не обрабатываемые более 5 лет) и вновь распаханные в 2008 году земли.

–       Разработан и апробирован алгоритм оперативного выявления посевов озимых культур в весенне-летний период вегетации на основании итеративного алгоритма классификации методом максимального правдоподобия.

Рис. 4  Результаты выявления заброшенных и вновь распаханных сельскохозяйственных земель по данным MODIS

 

16.6 Развитие информационной системы предоставления результатов обработки для проведения исследовательских работ  по мониторингу состояния и динамики наземных бореальных экосистем Северной Евразии (Развитие системы TERRA NORTE).

Произведено обновление и пополнение банка данных информационной системы TerraNorte. Обеспечен доступ в режиме on-line для широкого круга пользователей к новым тематическим продуктам, характеризующим состояние и динамику наземных экосистем Северной Евразии, в том числе:

–       Добавлена карта растительности России, полученная по данным прибора MODIS 2005 г. с пространственным разрешением 250 м. Карта получена в результате использования локально-адаптивной обучаемой классификации. Легенда карты состоит из 21 типа земного покрова;

–       Добавлена карта пройденных огнем площадей в 2003-2009 гг., полученная на основе анализа данных ежедневных наблюдений прибора MODIS. Впервые представлена карта пройденных огнем площадей, имеющая пространственное разрешение 500 м;

–       Обновлена карта пахотных земель по данным MODIS. Новая версия карты разработана для всей территории России с использованием локально-адаптивной классификации признаков, полученных на основе анализа временных рядов данных спутниковых наблюдений за последние шесть лет.

Возможности программного обеспечения web-сайта  TerraNorte обеспечивают интерактивную демонстрацию спутниковых и картографических данных непосредственно в окне web-браузера. Это дает пользователю возможность ознакомиться, проанализировать и сопоставить между собой имеющиеся в системе данные, не загружая в свой компьютер данные полностью и не устанавливая специальное программное обеспечение. Аналитические средства web-сайта позволяют наглядно отображать динамику пожаров в наземных экосистемах, площади экосистем в разрезе административных единиц.

Информационные продукты, представленные на web-сайте TerraNorte, являются результатом обработки данных спутниковых приборов наблюдения Земли,  проводимой ИКИ РАН в рамках научных проектов, выполняемых совместно с рядом партнерских организаций. Банк данных информационной системы включает характеристику типов земного покрова бореальной зоны, повреждений экосистем пожарами, данные мониторинга сельскохозяйственных угодий и лесных вырубок. Помимо просмотра информационных продуктов в окне Интернет-браузера, пользователю предлагается загрузить данные в свой компьютер для самостоятельной дальнейшей обработки.

 

Рис. 5 Информационные продукты на web-сайте системы TerraNorte