Система определения отношения целевых текстов к текстам на естественном языке
ARTIFICIAL INTELLEGENCE NAMED ENTITY RECOGNITION RELATION EXTRACTION TEXTUAL ENTAILMENT
Задача по определению отношения целевых текстов к текстам на естественном языке является сложно формализуемой задачей анализа естественного языка. Решение этой задачи имеет применение в большом количестве областей, связанных с семантическим анализом текстов. Такими задачами являются, например, автоматическое создание краткого содержания текста (суммаризация), машинный перевод, извлечение знаний из текстов на естественном языке, вопросно-ответные системы, классификация текстов и многие другие.
Настоящая система позволяет давать численную оценку проявленности смыслов целевого текста в отношении к другим текстам на русском языке. В тестах на оценки проявленности заданных целевых дидактических единиц в школьных сочинениях было достигнуты показатели качества метрики F1 не ниже 30%.
Автоматическая система определения отношения целевых текстов к текстам на естественном языке позволяет давать численную оценку проявленности целевого текста в другом тексте на естественном языке. Решение базируется на математической модели к задаче определения следования (textual entailment) одного предложения на естественном языке из другого предложения. Алгоритм использует многоязыковую модель ruRoBERTa-large, которая была обучена на корпусе размером 250Гб. ruRoBERTa-large является модификацией модели BERT.  BERT — модель с архитектурой «трансформер», которая использует механизм внимания. BERT и производные от него модели обучаются на больших массивах неразмеченных текстов с целью моделирования языка (или нескольких языков), затем для решения конкретных задач применяется перенос обучения: модель дообучается на небольшом размеченном корпусе.
Новизна Системы состоит в разработке и применении таких алгоритмов, которые обеспечивают возможность производить тонкую настройку (fine-tuning) модели на небольшом объёме размеченных данных, достигая высоких показателей обобщающей способности в режиме эксплуатации.
Система позволяет 
1. Принимать и обрабатывать запросы для определения отношения целевых текстов к текстам на естественном языке.
2. Принимать и обрабатывать запросы на проверку работоспособности системы.
3. Решать задачи классификации текста посредством обученной модели.
4. Сопоставлять исходный и целевой текст для проверки на наличие связи между ними с помощью обученной модели.
5. Отправлять клиенту результаты в специальном формате.
Баир
Тучинов
Николаевич
Младший научный сотрудник
Отсутствует
Отсутствует
-
57215120683
-
0000-0002-8931-9848
РОССИЯ
Михаил
Федорук
Петрович
ректор
РОССИЯ
28.23.13
Инженерия знаний.
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
05.08.NU
INFORMATION SCIENCE & LIBRARY SCIENCE
Баир
Тучинов
Николаевич
50 %
РОССИЯ
Виктор
Суворов
50 %
КАЗАХСТАН
Новосибирский государственный университет; НГУ
Федеральное государственное автономное образовательное учреждение высшего образования "Новосибирский национальный исследовательский государственный университет"
1025403658565
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения