Программное ядро автоматизированного сбора данных на основе анализа структуры сайтов с возможностью визуального редактирования сгенерированных задач (IntelliCraw)
АВТОМАТИЗИРОВАННЫЙ СБОР ДАННЫХ, АНАЛИЗ СТРУКТУРЫ САЙТА
Программное ядро предназначено для сбора данных в виде наборов сущностей с некоторым набором атрибутов с произвольных сайтов, относящихся к категории медиа, в сети Интернет. Программа реализует функции: формирования запросов на сбор html-, js- и других исходников сайтов; воспроизведение js скриптов для рендеринга расширенного html-содержания сайта; анализа html-структуры сайта и выделения повторяющихся паттернов; формирования стратегии парсинга для выделения сущностей и их атрибутов; генерацию задач сбора, в т.ч. содержащих сформированные стратегии парсинга; cохранения выделенных сущностей в хранилище. Кроме  того, программа предоставляет  веб интерфейс для просмотра результатов автоматического выделения сущностей, их  корректировки при необходимости, а также запуска и остановки  сгенерированных задач сбора данных с проанализированных сайтов. Веб-интерфейс программы в том числе обеспечивает возможности просмотра текущего состояния сбора, включая количество выполненных задач.
Сбор данных в виде наборов сущностей с некоторым набором атрибутов с произвольных сайтов, относящихся к категории медиа, в сети Интернет.
Бухановский А.В.
Зав. кафедрой
Васильев В.Н.
Ректор
20.53.19
Средства обработки и поиска информации
28.23.39
Интеллектуальные базы знаний
01.02.ET
COMPUTER SCIENCE, INFORMATION SYSTEMS
01.02.EX
COMPUTER SCIENCE, THEORY & METHODS
Максим
Петров
Владимирович
Проектирование и разработка основной части программы, включая бизнес-логику.
Николай
Бутаков
Алексеевич
Проектирование и разработка модуля вэб-интерфейса программы.
Денис
Насонов
Александрович
Проектирование логики формирования стратегий парсинга.
Минобрнауки России
Министерство образования и науки Российской Федерации
1047796287440
Организация
Министерство образования и науки Российской Федерации
Федеральные государственные казенные учреждения
УНИВЕРСИТЕТ ИТМО; НИУ ИТМО; ИТМО
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ ИТМО"
1027806868154
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные автономные учреждения