Способ разметки и верификации текстовых данных
разметка данных сценарии разметки обработка естественного языка глубокие нейронные сети transformer датасет корпус данных
Изобретение относится к средствам интерактивной разметки текстовых данных. Способ реализуют в несколько последовательных этапов, при этом на первом этапе осуществляют предварительное обучение языковой модели глубокого обучения на подготовленном корпусе данных, включающем в себя коллекции текстов широкой тематической направленности, на втором этапе осуществляют разметку релевантных решаемой задаче текстовых данных при помощи программного интерфейса путем выделения фрагментов текста произвольной длины, присвоения размеченным данным различных произвольно определяемых пользователем категорий, которые  используют в качестве дополнительной обучающей выборки для языковой модели, на третьем этапе осуществляют  предварительную обработку размеченных данных, на четвертом этапе осуществляют обучение языковой модели с учетом вновь размеченных данных и векторизацию размеченных данных, на  пятом этапе производят предсказание категорий на множестве неразмеченных данных при помощи модели классификатора, сопряженного с языковой моделью, при этом  формируют метрики, отражающие степень неуверенности модели для каждой категории, используют стратегию отбора объектов из выборки, каждому объекту на основе метрик присваивают степень  информативности, после чего для экспертной оценки выбирают наиболее информативные объекты, при этом в качестве метрик неуверенности используют максимальную энтропию и минимальную уверенность, а также метрику  “дубли категорий”, отражающую степень неуверенности при отнесении данных, принадлежащих одной категории  к другой категории, при этом расчет данной метрики производят при помощи  расчета средней уверенности модели для одного типа категорий по разметке для другого типа категорий, после чего последовательность действий со второго по пятый этапы повторяют до достижения консенсуса между оценкой эксперта и метриками неуверенности по всем предоставляемым для оценки объектам и их предсказанным категориям, при этом выбор момента консенсуса определяет эксперт. Обеспечивается  возможность выделения произвольных фрагментов текста,  возможность предварительной разметки документа при помощи решения на основе языковой модели глубокого обучения, возможность гибкой ролевой модели (асессор, эксперт) для двухступенчатой проверки результатов разметки и возможность дополнительного взаимодействия с системами интеллектуализации на основе машинного обучения.
Изобретение может использоваться в составе информационных систем в сфере обработки естественного языка
28.23.29
Программная реализация интеллектуальных систем
Алексей
Пантин
Иванович
"Отсутствует"
"Отсутствует"
"нет"
"нет"
"нет"
"нет"
РОССИЯ
Алексей
Коробейников
Андреевич
"Отсутствует"
"Отсутствует"
"нет"
"нет"
"нет"
"нет"
РОССИЯ
ООО "ЭМБЕДИКА"
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЭМБЕДИКА"
1197746242319
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Общества с ограниченной ответственностью
МИСиС, НИТУ "МИСиС"
Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский технологический университет "МИСиС"
1027739439749
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения