Модульная система сбора данных
разработка информационной системы CSV файл целостность логирование скрипт сравнение директорий
Назначение: Разработанная система подключается к любому скрипту и является неким набором инструментов. Каждый из модулей является полноценным скриптом и выполняет свою задачу. Именно такая модульная система позволяет с легкостью добавлять или редактировать функции без риска повреждения какого-либо из основных скриптов.
Область применения: Программа может быть использована в коммерческих целях при развертке систем сбора данных.
Функциональные возможности: 
Модульная система сбора данных состоит из нескольких модулей:
1. “check”
Используется в большинстве скриптов системы, собирающих готовые дата сеты, проверяет целостность CSV файла.	
2. “check_dirrectory”
Функция проверяет доступ к директории, поскольку работа по сбору данных осуществляется на сервере, иногда могут возникать проблемы с правами. Чтобы избежать проблем с нормальным функционированием “Фермы данных”, этот модуль проверяет, и в случае ошибки, пишет ошибку в лог файл.
3. “check_size”
Модуль сравнивает размеры директории до получения данных и после. Это нужно для того чтобы узнать об обновлении или иных изменениях в источнике.
4. “clogs”
Настройка лог файла для последующего использования.
5. “connect”
Модуль проверяет подключение к источнику и пишет результат в лог файл.
6. “copyrate”
Модуль копирует файлы из одной директории в другую.
7. “makedir”
Модуль создает новую директорию.
8. “rewriting”
9. “xls_convert_to_csv”
Перевод xls формата в csv. Для некоторых источников, используемых в ферме данных.
Язык программирования: Python.
Объем программы: 27,6 КБ. 
Версия операционной системы: MS Windows 7 – 10.
Коммерческая реализация в области систем сбора данных
Оксана
Захарова
Игоревна
Доцент кафедры информационных систем и технологий
Кандидат технических наук
Доцент
L-6601-2018
57224360101
847541
РОССИЯ
Вадим
Ружников
Александрович
Ректор
РОССИЯ
20.23.17
Информационно-поисковые массивы. Базы данных. Манипулирование данными и файлами
20.23.21
Информационно-поисковые системы. Банки данных
20.23.25
Информационные системы с базами знаний
20.53.19
Средства обработки и поиска информации
20.53.21
Средства выдачи информации
01.02.ET
COMPUTER SCIENCE, INFORMATION SYSTEMS
01.02.EV
COMPUTER SCIENCE, INTERDISCIPLINARY APPLICATIONS
Артем
Воробьев
Владимирович
РОССИЯ
Сергей
Левашкин
Павлович
РОССИЯ
Константин
Иванов
Николаевич
РОССИЯ
Оксана
Захарова
Игоревна
РОССИЯ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "ПОВОЛЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ И ИНФОРМАТИКИ"
1026301421992
ВАДИМ
РУЖНИКОВ
АЛЕКСАНДРОВИЧ
Организация
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации
Федеральные государственные бюджетные учреждения
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "ПОВОЛЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ И ИНФОРМАТИКИ"
1026301421992
ВАДИМ
РУЖНИКОВ
АЛЕКСАНДРОВИЧ
Организация
Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации
Федеральные государственные бюджетные учреждения