Программа для автоматического сбора текстов с новостных рубрик сайтов ВУЗов
нейронные сети синтаксический анализ текста анализ текста парсинг сайтов датасет
Программа позволяет автоматически собирать тексты статей с новостных рубрик сайтов. Программа использует библиотеки BeautifulSoup и requests для парсинга сайтов, а также стандартные библиотеки Python3. В процессе обработки из html-страниц сайтов извлекается текст, заголовок и другая полезная информация. Результатом работы программы является два вида файлов - data - чистый текст без дополнительных элементов и файл meta - информация о заголовке, вузе и т.д. Подобный подход позволяет формировать большие объемы текстов, которые далее могут используются в создании датасетов для нейронных сетей, позволяющих обрабатывать тексты.
Обработка текстов, цифровая лингвистика, обучение нейронных сетей
Анна
Рубцова
Владимировна
Директор ВШЛиП
Доктор педагогических наук
Профессор
U-7051-2017
57210912692
509241
0000-0002-0573-0980
РОССИЯ
Юрий
Клочков
Сергеевич
Проректор по научно-организационной деятельности
РОССИЯ
20.19.27
Автоматизация знаковой обработки текста
20.53.19
Средства обработки и поиска информации
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
06.02.OT
LINGUISTICS
Валерия
Ракова
Владимировна
Программная реализация алгоритма
РОССИЯ
Алина
Черкас
Владимировна
Разработка данных программы
РОССИЯ
Марина
Коган
Самуиловна
Разработка алгоритма
РОССИЯ
Екатерина
Козина
Дмитриевна
Написание исходного текста программы
РОССИЯ
Анна
Рубцова
Владимировна
Формализация задачи
РОССИЯ
МИНОБРНАУКИ РОССИИ
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
1187746579690
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные казенные учреждения
ФГАОУ ВО СПБПУ,СПБПУ,ФГАОУ ВО "СПБПУ", САНКТ-ПЕТЕРБУРГСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ПЕТРА ВЕЛИКОГО
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "САНКТ-ПЕТЕРБУРГСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ПЕТРА ВЕЛИКОГО"
1027802505279
АНДРЕЙ
РУДСКОЙ
ИВАНОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные автономные учреждения