Программный модуль для автоматического краулинга ФЭБ "Русская литература и фольклор" с динамически формируемым деревом содержания
Краулер сохранение материалов ФЭБ сканер
Программный модуль предназначен для автоматического извлечения веб-страниц с портала ФЭБ, имеющего динамически формируемое содержание, реализованное на основе технологии ASP.NET.
Программный модуль может использоваться любым пользователем, перед которым стоит задача автоматизации сохранения данных с портала ФЭБ. Тип ЭВМ: PC. ОС: Windows 7 и выше, Linux-совместимые ОС (Astra Linux, Ubuntu/Debian, Redhat, и др.).
Функциональные возможности программного модуля: Осуществляется автоматическое рекурсивное сканирование страниц портала на предмет поиска ссылок, содержащих текст. По результатам сканирования формируется полный индекс доступных ссылок. По составленному индексу страницы сохраняются на устройстве, с которого была запущена программа в виде html-документа. В дополнение к индексу сохраняется структура портала для сохранения иерархии организации документов.
Разработанный программный модуль может быть использована для сохранения в локальном хранилище данных материалов с портала ФЭБ «Русская литература и фольклор» с сохранением иерархии организации материалов.
Николай
Тесля
Николаевич
старший научный сотрудник
Кандидат технических наук
Отсутствует
A-3585-2015
56946917500
РОССИЯ
Андрей
Ронжин
Леонидович
И.о.директора
РОССИЯ
28.23.01
Общие вопросы искусственного интеллекта
01.02.00
Computer and information sciences
Арсений
Витязев
Павлович
РОССИЯ
Николай
Тесля
Николаевич
РОССИЯ
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения