Введение

1. Обзор существующих технических решений

1.1 1 С:Предприятие

1.2 Cybermonitor

2. Требования к подсистеме и отчетам

3. Инструментальные и программные средства реализации

4. Архитектура веб-приложения

5. База данных

5.1 Описание сущностей

6. Серверная часть подсистемы

6.1 Main.java

6.2 Парсеры

6.3 JDBC и работа с БД

6.4 Построитель отчетов

7. Клиентская часть подсистемы

7.1 Асинхронные запросы

7.2 W2ui-библиотека

8. Экспорт проекта и развертывание на виртуальной машине

9. Порядок работы с подсистемой

10. Полученные результаты

Заключение

Список использованных источников

Введение

В современном мире информационных технологий важность автоматизации процессов в разных сферах жизни играет большую роль. Основной целью автоматизации является повышение качества исполнения процесса. Автоматизированный процесс обладает более стабильными характеристиками, чем процесс, который выполняется в ручном режиме [1]. Чаще всего автоматизация процессов позволяет повысить уровень производительности, сократить время выполнения процесса, увеличить стабильность и точность выполняемых операций и снизить расходы на осуществление процесса. Тем не менее, самая главная цель автоматизации процессов - увеличить скорость выполнения повторяющихся (аналогичных) задач (Рис. 1). Благодаря автоматическому режиму одни и те же задачи выполняются быстрее, в связи с тем, что автоматизированные системы точнее в действиях и не подвержены снижению работоспособности от времени работы.

Рис. 1. Режимы процессов

Целью данной работы является разработка приложения, осуществляющего автоматизацию создания отчетов. Данное приложение является подсистемой в системе автоматизированного нагрузочного тестирования. Отчет формируется на основе типовых файлов различных форматов, содержащих данных о показателях работоспособности системы нагрузочного тестирования. Главной задачей работы является обеспечение возможности автоматизировано получать диаграммы и таблицы основных показателей, в том числе сравнительные с результатами ранее проведенных испытаний. Для достижения этой задачи необходимо спроектировать графический интерфейс пользователя, создать базу данных результатов испытаний, загружаемых пользователем, и непосредственно разработать модули по представлению данных в виде графиков и таблиц.

Основной вклад этой работы заключается в том, что она представляет готовое решение для формирования отчетности в автоматизированном режиме. Раздел комментарии и рекомендации сформированного отчёта доступен для редактирования пользователям. Результаты работы будут способствовать дальнейшему развитию автоматизации ведения отчетности, в частности за счет внедрения алгоритмов машинного обучения, с помощью которых можно будет формировать аналитическую составляющую отчетов в зависимости от набора данных.

Первым шагом работы подсистемы является сбор набора данных, состоящего из типовых файлов RMF, Tivoli, Perflogs и файлов с данными по запросам к БД о прикладной производительности. Затем весь этот набор данных загружается в БД системы нагрузочного тестирования. После этого, вызывается модуль построения отчета по заданным конфигурациям для данных. Последний шаг работы подсистемы - это сохранение пользователем сформированного отчета посредством графического интерфейса. Сформированный отчет состоит из графиков и таблиц; в раздел рекомендации и комментарии доступен для редактирования конечным пользователям.

Актуальность

В настоящее время разработка программного обеспечения по автоматизации формирования отчетности является значимой и востребованной областью. Автоматизированный процесс имеет особую значимость в отношении процессов, выполняемых человеком по определенному алгоритму действий, который можно запрограммировать.

Для формирования отчета в ручном режиме требуется значительно больше времени и детальной проверки его качества ввиду человеческого фактора. В то время как, отчет, сформированный без участия человека, в автоматизированном режиме, позволит сократить расходы на оплату труда, существенно сократить время формирования отчета и повысить его качество и точность выполненных операций.

Автоматизированное формирование отчета актуально во всех производственных сферах. В данной работе рассматривается автоматизация формирования отчетов по результатам нагрузочного тестирования. В конечном счете, пользователям представляется возможность настраивания параметров формирования отчетов и получение документа, в котором наглядно отражены данные, собранные в ходе тестирования, в виде таблиц и графиков.

Цели и задачи

Целью данной работы является автоматизация формирования отчета, содержащего графики и таблицы, отражающие различные статистические данные, собранные в результате нагрузочного тестирования.

Для достижения поставленной цели необходимо разработать веб-приложение, с помощью которого пользователи смогут получать сгенерированные отчеты. Данное приложение является подсистемой в системе автоматизированного нагрузочного тестирования.

Приложение должно реализовывать следующие методы:

- сбор данных о тестировании;

- парсинг всех типовых файлов тестирования;

- хранение обработанных данных в базе данных системы автоматизированного нагрузочного тестирования;

- формирование отчета на основе шаблонного файла.

Осуществление взаимодействие пользователя с вышеперечисленными методами реализовать в виде графического интерфейса.

Объект и предмет исследования

Объектом исследования является процесс обработки данных о результатах тестирования. Данные представлены в виде файлов различных форматов.

Предметом исследования является автоматизация формирования отчета по результатам тестирования.

1. Обзор существующих технических решений

Серверная часть подсистемы написана на языке программирования Java с использованием набора спецификаций Java Enterprise Edition (EE) в среде разработки Eclipse Neon 3. Динамический веб-проект был создан для развертывания приложения, в качестве веб-сервера, который хранит веб-ресурсы приложения и предоставляет доступ к ним пользователям, выбран Apache Tomcat 9.

6.1 Main.java

Java Database Connectivity - стандарт пакет взаимодействия Java-приложений с базами данных, реализующийся через строку соединения с локальной БД, логином и паролей от БД [4].

Ниже представлены восемь основных интерфейсов в JDBC API, с которыми можно работать:

- Driver (драйвер БД);

- Connection (соединение);

- Statement (выражение);

- PreparedStatement (заготовленное выражение);

- CallableStatement (процедурное выражение);

- ResultSet (результат выполнения);

- DatabaseMetaData (метаданные).

DriverManager -- это синглтон, содержащий данные о всех зарегистрированных драйверах баз данных. Метод getConnection() с помощью параметра URL находит java.sql.Driver соответствующей БД и вызывает у него метод connect().

Пример реализации соединения:

Class.forName( "oracle.jdbc.driver.OracleDriver" );

Locale.setDefault(Locale.ENGLISH);

Connection connection = DriverManager.getConnection(

parser.IConstans.URL, parser.IConstans.USER,

parser.IConstans.PASSWORD );

stmt = connection.createStatement(

ResultSet.TYPE_SCROLL_SENSITIVE,

ResultSet.CONCUR_READ_ONLY );

ResultSet - объект, который является результатом выполнения запроса.

String sql = "SELECT * FROM TBC_RELEASES WHERE RELEASE='"

+ releaseName + "'";

ResultSet rs;

rs = stmt.executeQuery(sql);

while (rs.next()) {

String day1 = rs.getString("day1");

String begintime1 = rs.getString("begintime1");

String endtime1 = rs.getString("endtime1");

}

6.4 Построитель отчетов

Построение отчета осуществляется на основе шаблонного файла в формате Word (.docx), в который с помощью программных модулей добавляются графики и таблицы. За считывание и редактирование Word-документа отвечает библиотека Apache POI, библиотека позволяющая работать с документами Microsoft Office [5]. Скачать библиотеку можно с официального сайта в виде архива, который следует поместить в каталог /lib проекта в Eclipse Neon 3. Для подключения и использования классов библиотеки необходимо все .jar файлы добавить в Build Path проекта.

Word-документ, cчитанный в память, представляет из себя экземпляр класса XWPFDocument, который разбивается на следующие составляющие:

Подклассы XWPFHeader и XWPFFooter предназначены для работы (считывания/редактирования) верхнего и нижнего колонтитулов соответственно. С помощью специального класса XWPFHeaderFooterPolicy осуществляется доступ к этим классам.

Класс XWPFParagraph необходим для работы с параграфами документа.

Класс XWPFWordExtractor - для парсинга содержимого всей страницы .docx документа. Этот класс рассматривает весь документ как единую страницу, без привязки к конкретным страницам. Ниже приведен фрагмент кода, реализующий чтение Word-файла.

Класс XWPFTable - для работы с таблицами в Word-файле. Класс XWPFTableCell реализует работу с ячейками таблицы, их можно наполнять содержимым и редактировать их отображение в таблице.

Ниже представленный фрагмент кода реализует получение параграфа документа с заданным содержимым в нём:

public static int GetParagraphNum(String text) {

XWPFDocument document;

try {

if (new File(fileName).exists())

document = new XWPFDocument(new FileInputStream(fileName));

else

document = new XWPFDocument();

for (int p = 0; p < document.getParagraphs().size(); p++) {

XWPFParagraph para = document.getParagraphs().get(p);

if (para.getText().contains(text)) {

return p;

}

}

return document.getParagraphs().size();

} catch (IOException e) {

System.out.println(e.getMessage());

}

return -1;

}

Создание таблицы внутри документа и заполнение её данными, полученными из БД:

XWPFTable table =

para.getBody().insertNewTbl(para.getCTP().newCursor());

for (int i = 0; i < rs.getMetaData().getColumnCount(); i++) {

XWPFTableCell cell = table.getRow(0).getCell(i);

XWPFParagraph cellPara = cell.getParagraphs().get(0);

XWPFRun cellRun = cellPara.createRun();

if (!tableStyle.get("HeaderColor".isEmpty()) {

cell.setColor(tableStyle.get("HeaderColor").substring(1));

}

cellPara.setAlignment(ParagraphAlignment.CENTER);

cellRun.setBold(true);

String ruCN =

Application.GetRuColumnName(rs.getMetaData().getColumnName(i+1));

if (ruColumnName != null)

cellRun.setText(ruColumnName);

else

cellRun.setText(rs.getMetaData().getColumnName(i+1));

if (i + 1 < rs.getMetaData().getColumnCount())

table.getRow(0).addNewTableCell();

}

JFreeChart является бесплатной java-библиотекой диаграмм, которая позволяет отобразить диаграммы в приложении. Jfreechart обширный набор функций включает в себя:

- последовательный и хорошо документированный API, поддерживающий широкий спектр типов диаграмм;

- гибкая конструкция, легко расширяемая и предназначенная как для серверных, так и для клиентских приложений;

- поддержка многих видов продукции, в том числе качели и компоненты javafx-приложения, файлы изображений (включая PNG и JPEG) и векторные форматы графических файлов (включая PDF, EPS и SVG);

Диаграммы, построенные с помощью данной библиотеки, сохраняются в JPEG-файл и добавляются в отчет.

7. Клиентская часть подсистемы

7.1 Асинхронные запросы

Веб-интерфейс приложения разработан посредством JavaScript UI библиотеки W2ui, основанной на JQuery [7]. Данная библиотека состоит из 8 компонент: layout, grid, формы, тулбар, вкладки, формы, меню, дерево. Для реализации пользовательского интерфейса были задействованы layout, form и grid.

Пример использования:

layoutReportView: {

name: 'layoutReportView',

panels: [

{ type: 'main',size: 500, resizable: true, style: pstyle2 },

{ type: 'bottom',size: 200, resizable: true, style: pstyle2, title: 'Загрузить

отредактированный отчёт'}

]

},

formLoadReport: {

name : 'formLoadReport',

formHTML:

'<form action="/TomcatTest//LoadServlet" method="get">'+

'<div class="w2ui-field w2ui-span8" style="clear: both">'+

'<label>Путь к файлу</label>'+

'<div>'+

'<input name="current_file" type="text" maxlength="100" style="width:

700px; height: 25px;">'+

'</div>'+

'</div>'+

'<div class="w2ui-buttons">'+

'<input type="submit" value="Загрузить"/>'+

'</div>'+

'</form>'+

'<br>'+

'',

fields: [

{ field: 'current_file', type: 'text', required: true }

],

}

Данный фрагмент кода демонстрирует создание вкладки по просмотру отчетов в системе.

8. Экспорт проекта и развертывание на виртуальной машине

Итоговый веб-проект в среде разработчики Eclipse Neon 3 должен быть экспортирован в war-файл.

Файл веб-архива (WAR) -- это упакованное веб-приложение, которое можно экспортировать для тестирования, публикации и развертывания ресурсов, разработанных в веб-проекте.

Чтобы экспортировать war-файла из веб-проекта, следует выполнить нижеуказанные действия.

Правой кнопкой мыши щелкнуть каталог веб-проекта и выбрать во всплывающем окне пункт “Экспорт”. Затем следует выбрать war-файл в окне экспорта и нажать кнопку “Далее”.

Следующим шагов является выбор веб-проекта, который требуется экспортировать (это поле заполняется, если пользователь воспользовался всплывающим меню для открытия мастера), и указание местоположение для нового war-файла. Дополнительно можно указать параметры экспорта war-файла, например, следует ли включать исходные файлы Java в war-файл и следует ли перезаписывать существующие ресурсы в процессе экспорта. Исходные файлы обычно не включаются в war-файл, поскольку они не нужны серверу для запуска веб-приложения (Рис. 11).

Рис. 11. Экспорт проекта разработки подсистемы

Виртуальная машина, на которой будет развернуто веб-приложение, должна обладать следующими техническими характеристиками:

- Процессор Intel Core i5/i7 с тактовой частотой 2,4 ГГц или выше;

- Жесткий диск объемом не менее 100 Гб;

- Оперативная память объемом не менее 4 Гб;

- Операционная система Windows 7 и выше.

Для развертывания веб-приложения на виртуальной машине необходимо установить веб-сервер Apache Tomcat 9 [8]. Затем перейти в каталог установки веб-сервера, в каталог /webapps скопировать war-файл.

Запустить файл startup.bat в каталоге /bin. В итоге веб-приложение будет доступно на порту, указанному при установке веб-сервера.

9. Порядок работы с подсистемой

Перед формированием отчета пользователь должен задать перечень конфигураций технических средств и системного ПО для ЦОД -1 и ЦОД-2.

Следующий этап - это загрузка архива с файлами, которые были получены в результате тестирования. Пользователь указывает интервалы проведения тестирования и его название для отображения в БД.

После загрузки результатов тестирования пользователь имеет возможность формировать отчет. Для этого он выбирает из списка тестирование ПО, выбирает установки, указывает названия отчета.

В конечном итоге, сформированный отчет доступен для сохранения на диск. На вкладке “Отчеты” - “Загрузка” загружает в систему архив с данными прогона, задает название выпуска и указывает временные интервалы: дата и время начала испытания, а также дата и время конца испытания (Рис. 12). На основе данного выпуска ПО пользователь может построить отчет, в том числе сравнительный.

Рис. 12. “Загрузка”

На вкладке “Отчеты” - “Настройка ЦОД-1” пользователь задаёт перечень основных параметров конфигурации технических средств и системного программного обеспечения для ЦОД-1, который сохраняется в базу данных (Рис. 13).

Рис. 13. “Настройка ЦОД-1”

На вкладке “Отчеты” - “Настройка ЦОД-2” пользователь задаёт перечень основных параметров конфигурации технических средств и системного программного обеспечения для ЦОД-2, который сохраняется в базу данных (Рис. 14).

Рис. 14. “Настройка ЦОД-2”

На вкладке “Отчеты” - “Создание” пользователь выбирает выпуск ПО для построения отчета, тестирование для сравнения является опциональным пунктом. Далее следует указать название отчета, которое будет указано за ним в системе, и полное название, которое будет отображаться непосредственно в отчете (Рис. 15). По умолчанию, название отчета обозначается текущими датой и временем генерации отчета. Заключительный пункт - это выбор установок.

Процесс формирования занимает достаточное время и зависит от технической оснащенности рабочей станции. По завершению формирования отчета пользователь увидит всплывающее окно с соответствующей информацией.

Рис. 15. “Создание”

На вкладке “Просмотр” пользователь получает таблицу с информацией о всех отчетах, хранящихся в системе (Рис. 16). В данной таблице представлены поля:

- Название отчета;

- Тип отчета (сгенерированный или отредактированный);

- Дата создания.

При наведении курсом мыши на запись об отчете в таблице и нажатии кнопки “Сохранить на диск” осуществляется скачивание файла с отчетом.

На текущей вкладке графического интерфейса пользователь может загружать отредактированный отчеты. Для этого необходимо выбрать файл и указать название отчета.

Рис. 16. “Просмотр”

10. Полученные результаты

Результатом работы является автоматизация процесса формирования отчета по итогам нагрузочного тестирования. Сформированный отчет доступен для редактирования конечным пользователям в разделе рекомендации и комментарии, а также состоит из графиков и таблиц.

Формируемые разработанной подсистемой отчёты в настоящее время используются для оценки показателей производительности и работоспособности системы многорейсовой и непрерывной обработки платежей, а также осуществляют сравнительный анализ параметров производительности процесса обработки информации в ЦОД на текущем выпуске ПО и предыдущем (Рис. 15).

Реализованные при разработке подсистемы методы, алгоритмы и библиотеки могут быть полезны сторонним разработчикам, автоматизирующим процессы формирования отчётности.

На рисунке 17 представлена диаграмма загрузки процессоров в ЦОД-1.

Рис. 17. Визуализация показателей производительности системы

Заключение

1. Автоматизация формирования отчетов является актуальной и практически значимой задачей. Разработанная подсистема позволяет справится с поставленной задачей. С помощью подсистемы пользователи могут сформировать отчет по результатам тестирования и сравнительный отчет для текущего и предыдущего выпуска ПО.

2. Подсистема формирования отчетов визуализирует:

- динамику поданные сообщений и документов;

- изменения общих загрузок CP и IFL процессоров на стендах нагрузочных испытаний в процентах;

- изменения загрузки процессоров криптосерверов, контура контроля и обработки в процентах;

- изменения общей производительности системы,

В сравнение двух последовательных результатов тестирования:

- продолжительность формирования реестров в рейсах установок;

- изменения средних и максимальных времен обработки сообщений заданных типов на всех установках;

- продолжительность выполнения программных рейсов и программных процедур.

Работа подсистемы формирования отчетов протестирована на нижеперечисленных параметрах.

Продолжительность проведения тестирования заняло 10 часов, интервал фиксирования состояния показателей системы равнялся 5 минутам, соответственно количество интервалов фиксирования состояния показателей - 120.

Количество криптосерверов, задействованных в тестировании, равнялось 12, CP-процессоров - 5, IFL-процессоров - 4. Количество поданных сообщений варьировалось от 200 до 500. Подсистема обработала порядка 42 000 сообщений каждого типа, а также 960 000 документов.

Подсистема является масштабированной и может обрабатывать данные без определенного ограничения количества процессоров и криптосерверов.

3. В результате проделанной работы были разработаны 7 парсеров на языке программирования Java, обрабатывающие данные прогона за конкретный выпуск. Обработанные данные хранятся в БД Oracle Database Express Edition 11g системы автоматизированного нагрузочного тестирования. Модель базы данных состоит из 5 сущностей. Веб-интерфейс подсистемы разработан с помощью JavaScript W2ui-библиотеки и состоит из 5 вкладок. Приложение подсистемы развернуто на веб-сервере Apache Tomcat 9 на виртуальной машине, доступ к приложению пользователи могут получить через веб-браузер с помощью IP-адреса машины и порта сервера. Сформированный отчет состоит из результатов испытаний (графиков и таблиц, иллюстрирующих параметры производительности процесса обработки информации в ЦОД-1 и ЦОД-2) и выводов и рекомендаций, доступных для редактирования конечному пользователю.

4. В рамках выпускной квалификационной работы был проведен анализ существующих технических решений для реализации поставленной задачи. Обоснован выбор инструментальных и программных средств, а также специализированных библиотек для создания отчетов. Проведено исследование и разработана структура программного обеспечения формирования отчетов. Подсистема протестирована на 2 последовательных экспериментах по отдельности и в сравнении, внедрена в промышленную эксплуатацию.

Список использованных источников