«ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПОДСИСТЕМЫ ОЦЕНКИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ КОНТРОЛИРУЕМОГО ОБОРУДОВАНИЯ В ЧАСТИ МОДУЛЯ ПРЕДИКТИВНОЙ ДИАГНОСТИКИ С ИСПОЛЬЗОВАНИЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»
ИИ Предиктивная
АО «ТМ1» был разработан прототип Программного Обеспечения (далее ПО) в части модуля предиктивной диагностики с использованием Искусственного Интеллекта (далее ИИ).
Программное обеспечение в части модуля предиктивной диагностики с использованием ИИ представляет собой программную обертку над унифицированным механизмом Apache Spark для обработки крупномасштабных данных.
Программное обеспечение в части модуля предиктивной диагностики с использованием ИИ работает как на Windows, так и на UNIX-подобных системах (например, Linux, Mac OS) и должно работать на любой платформе, на которой поддерживается версия Java. Необходима JVM на платформах x86_64 и ARM64. Приложение легко запустить локально на одном компьютере - все, что нужно для установки java в вашей системе, это переменная окружения PATH или JAVA_HOME, указывающая, что Java установлена.
Программное обеспечение в части модуля предиктивной диагностики с использованием ИИ работает на Java 11.08.17, Scala 2.12/2.13.
Работа в кластере:
Элементы программного обеспечения ОТС в части модуля предиктивной диагностики с использованием ИИ запускаются как независимые наборы процессов в кластере, координируемые объектом SparkContext в вашей основной программе (называемой программой-драйвером). 
В частности, для работы в кластере SparkContext может подключаться к нескольким типам менеджеров кластера (собственный автономный менеджер кластера Spark, Mesos, YARN или Kubernetes), которые распределяют ресурсы между приложениями. После подключения программного обеспечения в части модуля предиктивной диагностики с использованием ИИ через Spark оно получает исполнителей на узлах кластера - процессы, которые выполняют вычисления и хранят данные для вашего приложения. Затем он отправляет код вашего приложения (определенный файлами JAR или Python, переданными в SparkContext) исполнителям. Наконец, SparkContext отправляет задания исполнителям для выполнения.
Программное обеспечение в части модуля предиктивной диагностики с использованием ИИ использует концепцию отказоустойчивого распределенного набора данных (RDD), который представляет собой отказоустойчивый набор элементов, которые могут обрабатываться параллельно. Существует два способа создания RDD: распараллеливание существующей коллекции в программном обеспечении драйвера или ссылка на набор данных во внешней системе хранения, такой как общая файловая система, HDFS, HBase или любой источник данных, который предлагает формат ввода Hadoop.
Программное обеспечение в части модуля предиктивной диагностики с использованием ИИ с помощью Spark может создавать распределенные наборы данных из любого источника хранения, поддерживаемого Hadoop, включая локальную файловую систему, HDFS, Cassandra, и т.д. Spark поддерживает текстовые файлы, SequenceFiles и любой другой формат входных данных Hadoop.
Программное обеспечение модуля программного обеспечения \в части модуля предиктивной диагностики с использованием ИИ, обеспечивает масштабируемую, высокопроизводительную и отказоустойчивую обработку потоковых данных в реальном времени. Данные могут быть получены из различных источников, таких как Kafka, Kinesis или TCP-сокеты, и могут быть обработаны с помощью сложных алгоритмов, выраженных высокоуровневыми функциями, такими как map, geodatabase и join. Обработанные данные могут быть переданы в файловые системы, базы данных и интерактивные приборные панели. Алгоритмы машинного обучения могут быть применены к потокам данных.
Внутри системы это работает следующим образом. Программное обеспечение получает потоки входных данных в режиме реального времени и разбивает данные на пакеты, которые затем обрабатываются движком Spark для создания конечного потока результатов в пакетах.
Программное обеспечение предоставляет высокоуровневую абстракцию, называемую дискредитированным потоком или DStream, который представляет собой непрерывный поток данных. DStreams могут быть созданы либо из входных потоков данных из таких источников, как Kafka и Kinesis, либо путем применения высокоуровневых операций к другим DStreams. Внутренне DStream представлен как последовательность RDD.
Программное обеспечение в составе модуля предиктивной диагностики с использованием AI может выполнять большинство своих вычислений в памяти, но все же использует локальные диски для хранения данных, которые не помещаются в оперативной памяти, и для хранения промежуточных результатов между этапами. рекомендуется иметь 4-8 дисков на узел, настроенных без RAID (просто как отдельные точки монтирования). 
Использование памяти:
В целом, "Программное обеспечение модуля диагностики предиктивного ИИ" может хорошо работать при использовании от 8 Гб памяти до сотен гигабайт на машину. 
Рекомендуется использовать машины с большим объемом оперативной памяти, а также запускать несколько исполнителей на одном узле. В автономном режиме рабочий процесс программного обеспечения отвечает за запуск нескольких исполнителей в соответствии с доступной памятью и ядрами, и каждый исполнитель будет работать в отдельной виртуальной машине Java.
Сеть:
Программное обеспечение в части предиктивной диагностики модуля с поддержкой ИИ привязано к сети. Использование сети 10 Гбит/с или выше - лучший способ ускорить работу программной части модуля предиктивной диагностики с использованием ИИ. 
В программной части можно увидеть, сколько данных перемещается по сети из пользовательского интерфейса мониторинга приложений.
Ядра процессора:
Программное обеспечение модуля предиктивной диагностики с использованием ИИ хорошо масштабируется до десятков ядер процессора на машине, поскольку оно выполняет минимальное разделение потоков. Обычно следует выделять не менее 8-16 ядер на машину.
Веб-интерфейсы модуля:
"Программное обеспечение ОТС модуля диагностики предиктивного ИИ" запускает веб-интерфейс по умолчанию через порт 5455, который отображает полезную информацию о приложении. К ней относятся:
1.	Список шагов и задач планировщика.
2.	 Сводка размеров RDD и использования памяти.
3.	Информацию об окружающей среде.
4.	 Информация об активных исполнителях.
Вы можете получить доступ к этому интерфейсу, просто открыв его в веб-браузере. 
Сериализация данных:
Сериализация играет важную роль в производительности любого распределенного приложения. Форматы, которые медленно сериализуют объекты или потребляют большое количество байт, значительно замедляют вычисления. Зачастую это первое, что необходимо настроить для оптимизации конкретного приложения. Программное обеспечение в части предиктивной диагностики модуля с поддержкой ИИ стремится найти баланс между удобством (позволяя вам работать с любым типом Java в ваших операциях) и производительностью. 
Используется два вила сериализации: 
Сериализация Java: по умолчанию программное обеспечение сериализует объекты, используя фреймворк Java ObjectOutputStream, и может работать с любым созданным вами классом, реализующим java.io.Serializable. Вы также можете более точно контролировать производительность сериализации, расширив java.io.Externalizable. Сериализация в Java является гибкой, но часто довольно медленной и приводит к большим форматам сериализации для многих классов.
Сериализация Kryo: Программы на Spark также могут использовать библиотеку Kryo (версия 4) для более быстрой сериализации объектов. Kryo намного быстрее и компактнее, чем сериализация Java (часто до 10 раз быстрее), но она не поддерживает все Serializable типы и требует, чтобы вы заранее зарегистрировали классы, которые будете использовать в программе, для лучшей производительности.
ИСПОЛЬЗУЕТСЯ КАК МОДУЛЬ «ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПОДСИСТЕМЫ ОЦЕНКИ ТЕХНИЧЕСКОГО СОСТОЯНИЯ КОНТРОЛИРУЕМОГО ОБОРУДОВАНИЯ"
Федор
Петренко
Александрович
Генеральный директор
Отсутствует
Отсутствует
"_"
"_"
РОССИЯ
Федор
Петренко
Александрович
Генеральный директор
РОССИЯ
20.23.17
Информационно-поисковые массивы. Базы данных. Манипулирование данными и файлами
20.23.21
Информационно-поисковые системы. Банки данных
20.23.25
Информационные системы с базами знаний
02.01.IM
ENGINEERING, CIVIL
Федор
Петренко
Александрович
РОССИЯ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ "ФОНД СОДЕЙСТВИЯ РАЗВИТИЮ МАЛЫХ ФОРМ ПРЕДПРИЯТИЙ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ"
1027739479734
СЕРГЕЙ
ПОЛЯКОВ
ГЕННАДЬЕВИЧ
Организация
Федеральное государственное бюджетное учреждение "Фонд содействия развитию малых форм предприятий в научно-технической сфере"
Федеральные государственные бюджетные учреждения
АО "ТМ1"
АКЦИОНЕРНОЕ ОБЩЕСТВО "ТМ1"
1127746413508
ФЕДОР
ПЕТРЕНКО
АЛЕКСАНДРОВИЧ
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Непубличные акционерные общества