SentinelDownloader.py – Программа закачки спутниковых данных Sentinel-1, 2, 3, 5P
дистанционное зондирование мониторинг Земли Sentinel Sentinelsat Python SAR SLC спутниковые данные NRTI сцены и тайлы
Программа автоматической закачки данных Sentinel на базе библиотеки python sentinelsat, предназначена для автоматического поиска данных на сервере sentinel-hub по заданному фильтру и закачке найденных сцен. Фильтр состоит из двух частей – с общими параметрами для спутников Sentinel и с характерными параметрами для каждого спутника. Общая часть фильтра может включать диапазон дат приема, шаблон имени файла или географическую область поиска данных, признак сортировки и количество и смещение отбираемых сцен из отсортированного списка для закачки. Во второй части фильтра можно отбирать данные по проценту облачности сцены, уровню обработки данных, поляризации, и другим характерным для каждого спутника параметрам. Наборы фильтров данных формируются в задания закачки, а задания описываются в файле конфигурации. Такой подход позволяет гибко настраивать систему закачки данных Sentinel.
Для задания диапазона дат приема могут использоваться лексемы – NOW, -NDAYS и другие. Таким образом, с их помощью можно отслеживать плавающий диапазон дат, например сцены за последний месяц.
Работа программы начинается с запроса данных по заданным фильтрам. Запрошенные данные сохраняются во временный файл на диске для того, чтобы уменьшить количество запросов к серверу и далее для закачки используется список сцен из этого файла, пока все данные из него не будут закачаны. После завершения закачки всех сцен из временного файла программа повторно запрашивает данные с сервера и сравнивает их с закачанными, если за время закачки на сервере появились новые данные, программа повторяет процесс закачки и затем также повторяет запрос новых данных на сервере. Этот процесс завершается, когда список сцен на сервере совпадает с сохраненным списком данных.
Данные Sentinel делятся на доступные (online) и архивные (offline). Алгоритм работы программы настроен так, что программа сначала запрашивает максимально возможное количество offline сцен, а потом начинает процесс закачки online сцен. Закачка online сцен ведется очередями в два потока. Первая очередь закачки определяется из файла настроек (6 сцен), а дальше меняется в зависимости от фактической скорости закачки, так чтобы время закачки очереди было немного больше 30 минут. Это время, за которое offline сцены обычно переходит в состояние online. После завершения закачки очереди программа проверяет статус запрошенных offline сцен, если среди этих сцен есть online сцены, они попадают в очередь закачки, а программа делает запрос на новый список offline сцен не превышающий максимально разрешенное количество. Сцены, не сменившие статус на online в течение суток, помечаются как Broken, так же помечаются сцены, для которых произошла ошибка закачки, не связанная с сетевыми ошибками, или количество сетевых ошибок превысило заданный предел.
В программе реализована настройка хранения закачанных сцен через файл настроек с помощью шаблона пути хранения сцен. В качестве параметров для шаблона формирования пути хранения может использоваться: имя задания, название спутника, уровень обработки данных, код/имя сцены или название инструмента/продукта, дата и время приема данных.
Серверная часть (back-end) сетевых геоинформационных систем различного назначения на основе клиент-серверной архитектуры в сетях интернет или интранет с использованием данных дистанционного зондирования спутников Sentinel, доступных для скачивания по сети Интернет.
Исследовательские и технологические базы данных ДЗЗ в области исследования Земли с космических аппаратов Sentinel.
Закачка сцен Sentinel по заданным параметрам вручную и в автоматическом режиме с помощью cron в Linux или планировщика задач в Windows.
Олег
Якубайлик
Эдуардович
в.н.с.
Кандидат физико-математических наук
Доцент
G-8361-2016
6506033363
99904
https://ksc.krasn.ru/scientific-innovative-activity/laboratories-and-research-departments/employee/oleg-yakubailik-e/?sphrase_id=8574
РОССИЯ
Александр
Шпедт
Артурович
Директор
РОССИЯ
89.57.35
Обработка данных исследований Земли из космоса
02.07.SR
REMOTE SENSING
Евгений
Павличенко
Александрович
РОССИЯ
МИНОБРНАУКИ РОССИИ
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
1187746579690
Петр
Мордовской
Григорьевич
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные казенные учреждения
ФИЦ КНЦ СО РАН; КНЦ СО РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ НАУЧНОЕ УЧРЕЖДЕНИЕ "ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР "КРАСНОЯРСКИЙ НАУЧНЫЙ ЦЕНТР СИБИРСКОГО ОТДЕЛЕНИЯ РОССИЙСКОЙ АКАДЕМИИ НАУК"
1022402133698
АЛЕКСАНДР
ШПЕДТ
АРТУРОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения