Способ обработки длинных входных последовательностей рекуррентным генеративным трансформером с памятью
Искусственный интеллект Машинное обучение Глубокое обучение Трансформеры Рекуррентый трансформер на основе памяти Обработка длинных входных последовательностей
Способ обработки длинных входных последовательностей рекуррентным генеративным трансформер с памятью, характеризующийся тем, что включает в себя следующие этапы: 
а) входная последовательность разбивается на сегменты;
б) к каждому сегменту добавляется идентичные друг другу память чтения в начале и память записи в конце;
в) токены памяти и токены сегмента последовательно обрабатываются;
г) полученная на выходе обработанная память добавляется к следующему сегменту и обрабатывается вместе с ним;
д) способ продолжается, пока не будут обработаны все сегменты.
Обеспечивается возможность уменьшения вычислительной сложности и сохранения информации между сегментами без смешивания разнородной информации в представлениях памяти, т.е. заявляемое изобретение позволяет уменьшить вычислительную сложность обработки длинных контекстов за счет разбиения входа на сегменты и их последовательной обработке. 
РИД создан в рамках выполнения мероприятия 2021 г. Общего плана деятельности ИЦ прикладных систем искусственного интеллекта: «1.1.1  Разработка концепции программного обеспечения для набора программных модулей платформы разговорного искусственного интеллекта для русскоязычных персональных цифровых ассистентов. Этап 1» и мероприятия 2022 года ОПД «1.1.4 НИР по теме «Управление диалогом, персонализация, эмоциональность и мультимодальность для русскоязычных цифровых ассистентов. Этапы 1, 2»
 по направлению развития искусственного интеллекта и тематике Программы ИЦ прикладных систем искусственного интеллекта «Анализ естественного языка методами искусственного интеллекта»
Изобретение может быть использовано в системах автоматической обработки текстов или других типов данных с линейной структурой для увеличения общей длины обрабатываемой последовательности.
Михаил
Бурцев
Сергеевич
Заведующий лабораторией нейронных систем и глубокого обучения
Кандидат физико-математических наук
Отсутствует
G-6293-2010
6603556673
126835
https://scholar.google.com/citations?user=t_PLQakAAAAJ&hl=en
0000-0003-1614-1695
РОССИЯ
Сергей
Гаричев
Николаевич
Директор по исследованиям, разработкам и коммерциализации
РОССИЯ
20.19.27
Автоматизация знаковой обработки текста
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Айдар
Булатов
Салаватович
РОССИЯ
Михаил
Бурцев
Сергеевич
РОССИЯ
Дарья
Мороз
Николаевна
РОССИЯ
Юрий
Куратов
Михайлович
РОССИЯ
АНАЛИТИЧЕСКИЙ ЦЕНТР ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ
АВТОНОМНАЯ НЕКОММЕРЧЕСКАЯ ОРГАНИЗАЦИЯ "АНАЛИТИЧЕСКИЙ ЦЕНТР ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ"
1157700000655
КОНСТАНТИН
КАЛИНИН
МИХАЙЛОВИЧ
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Автономные некоммерческие организации
МФТИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)"
1027739386135
ДМИТРИЙ
ЛИВАНОВ
ВИКТОРОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные автономные учреждения