В системе должно быть предусмотрено несколько вариантов входных данных, это: пара текст-текст, пара текст-корпус, пара корпус-корпус, несколько текстов, несколько корпусов. Такой принцип даст пользователю больше возможностей для исследований. Результатом работы системы является либо процентное соотношение соответствия стилей, либо визуальное представление результата сравнения (Рис.1.1). Представление результата работы системы может быть, как простым выводом данных в интерфейс системы, так и выгрузкой файла.



Рисунок 1.1.Схема взаимодействия системы с входящими и выходящими данными

Полученная оценка не является окончательной, так как может быть скорректирована при ручной проверке экспертом, на основании каких-либо других критериев (например, грамматика, лексика, синтаксис и т.д.).

1.5 Выводы по первой главе

В первой главе проанализирована предметная область проектируемой системы, рассмотрена задача идентификации стиля и инструменты, используемые для ее решения в схожих исследованиях. Понимание того, как бизнес-процесс выполняется в текущий момент дало возможность сформировать модель AS-IS, в которой по результатам анализа выявлены недостатки. Недостатки текущей модели выполнения процесса стали подтверждением необходимости автоматизации.

В п. 1.2.1. и п. 1.2.2.рассмотрены понятия стиля и стилеметрии, приведены исследования, решающие задачу идентификации стиля текстов. В вышеупомянутых исследованиях широко применялись методы представления текстовой информации, которые и рассмотрены далее в анализе сферы применения проектируемой системы.

Среди рассмотренных методов представления текстовой информации превалируют те, которые используют некоторые численные характеристики для описания текста. Такие характеристики, речевые обороты называемые маркеры стиля, также рассмотрены.

Метод представления текстовой информации вместе с набором стилистических маркеров не могут дать возможности сравнить тексты на предмет соответствия стилей без использования какого-либо механизма сравнения. Таким образом, в п. 1.2.5. проведен обзор и сравнительный анализ моделей сравнения текстовых характеристик.

Обзор реализованных систем идентификации стиля описан в п. 1.3., в первую очередь такой анализ необходим для подтверждения необходимости реализации функциональной возможности сравнения стилистических характеристик, а также рассмотрения недостатков систем-аналогов для учета в формируемых требованиях.

На основе проведенного выше анализа в п. 1.4. сформулирована задача автоматизации, а также указаны условия и ограничения системы.



Глава 2. Формирование функциональных требований к системе сравнения стилистических характеристик

В предыдущей главе на основе анализа бизнес-процесса и предметной области были выявлены недостатки текущего варианта сравнения стилистических характеристик текстов. В данной главе производится постановка задачи автоматизации и моделирование проектируемой системы с учетом вышеупомянутых недочетов.

2.1 Анализ вариантов использования системы сравнения стилистических характеристик

Последующая детализация требований и поставка задачи на реализацию требует рассмотрения сфер и ситуаций использования системы, определения дополнительных требований, которые могут улучшить функциональная возможностьсистемы.

Ниже на рис. 2.1 представлена UseCase диаграмма, которая отображает варианты использования системы и формализует функциональные возможности, которые доступны пользователям.

Рисунок 2.1. Диаграмма вариантов использования системы



С помощью проектируемой системы пользователь может провести 5 типов операций - сравнение стилистических характеристик двух корпусов, двух текстов, текста и корпуса, нескольких корпусов, нескольких текстов. Каждый процесс включает в себя подпроцесс визуализации результата сравнения, который соответственно подразумевает сбор статистических данных и их сравнение. Частным случаем визуализации результатов сравнения является экспорт полученных данных в формате, выбранном пользователем. Первые три варианта использования системы подразумевают конкретный численный результат, в то время как последние два лучше отобразить наглядно. Пользователь, который использует систему для лингвистических исследований, скорее всего будет заинтересован в табличном и графическом отображении результатов сравнения стилистических характеристик текстов.

Каждый вариант использования системы может быть применен в различных сферах. Так, например сравнение стилистических характеристик текста и корпуса может быть использовано для автороведческой экспертизы, а близость стилей корпусов отображать динамику развития языка в разные эпохи.

2.2 Формирование требований к системе сравнения стилистических характеристик текстов

На основе рассмотренных особенностей применения системы представляется возможность составить требования к проектируемому программному продукту. Взяв за основу бизнес-процесс AS-IS, проанализированный в п. 1.1, были сформулированы следующие требования к системе:

1. Система должна позволять сравнивать стилистические характеристики текстов.

2. Пользователю должна быть предоставлена возможность сравнивать не только тексты, но и корпусы текстов, а также комбинации этих двух объектов.

3. Система должна требовать минимального вмешательства пользователя. Участие пользователя в работе системы должно сводиться к загрузке входных данных и получению результата сравнения стилистических характеристик текстов.

4. Оценка соответствия стилей исследуемых объектов должна быть представлена в численной форме, а именно как процентное соотношение. Данное требование должно применяться как к итоговому результату, так и к промежуточным данным о собранной статистике использования маркеров стиля.

5. Система должна предоставлять пользователю возможность загрузки файлов разных форматов, таких как *.txt, *.rtf, *.pdf, *.doc, *.docx, *.html и другие.

6. Система должна предоставлять возможность хранения результатов сравнения текстов, загруженных ранее.

7. Результат сравнения стилистических характеристик текстов должен отображаться в интерфейсе системы, в доступном для прочтения виде.

8. Пользователю должна быть доступна такая функциональная возможностькак экспорт результатов работы системы.

9. Формат экспортируемого файла должен быть выбран пользователем через интерфейс системы. К выбору должны быть доступны такие форматы как *.doc, *.docx, *.xls, *.pdf и другие.

10. Система обладать свойством интегрируемости в другие системы, такие как системы рецензирования.

Вышеуказанные требования покрывают недостатки бизнес-процесса AS-IS, а также учитывают особенности использования системы.



2.3 Описание бизнес-процесса сравнения стилистических характеристик TO-BE

В п. 1.1. первой главы данной работы, был рассмотрен и проанализирован бизнес-процесс AS-ISсравнения стилистических характеристик текстов. Такой метод сравнения текстов, несомненно, дает возможность получить экспертное мнение относительно соответствия стилей, но обладает недостатками, обозначенными ранее. Разработка модели процесса TO-BEпомогает определить, как именно система будет использоваться пользователем и на какие особенности процесса ориентироваться при дальнейшем проектировании системы.Схема модели бизнес-процесса TO-BE представлена на рис. А.2.

Процесс инициируется необходимостью сравнить стилистические характеристики нескольких объектов. Пользователю необходимо загрузить файлы для сравнения, а также маркеры на основе которых будет происходить сбор статистики. Когда все необходимые атрибуты загружены, пользователь запускает процесс сравнения нажатием соответствующей кнопки. Так как пользователю должны быть доступны разные форматы загрузки файлов, первым этапом процесса является их конвертирование в формат *.txt, пригодный для дальнейшей обработки. Далее происходит сбор статистики использования маркеров стиля, загруженных пользователем. На основе полученных статистических данных производится сравнение стилистических характеристик текстов, после чего результаты выводятся в интерфейс системы. Ознакомившись с результатами, пользователь может либо закончить работу с системой, либо выгрузить полученные данные в выбранном формате.

Одним из недостатков процесса AS-IS являются высокие трудозатраты эксперта при проведении сравнения текстов. За счет использования системы, время, затрачиваемое на процесс, сократится, так как вмешательство пользователя потребуется только в момент загрузки необходимых параметров и получения и анализа результатов обработки. Другим недостатком процесса сравнения стилистических характеристик текстов вручную является неточность результирующей оценки. Система же выдает точный численный результат, который может быть проанализирован и использован в дальнейших исследованиях. Бизнес-процесс AS-ISне имеет временных ограничений ввиду человеческого фактора и неопределенного количества итераций для получения точного результата. Использование проектируемой системы дает исследователям понимание какое количество времени понадобится на произведение обработки текстов и подсчет результата, что является важным аспектом планирования работы. Также, за счет сокращения участия эксперта и сокращения общего времени выполнения процесса, понижается вероятность ошибок ввиду человеческого фактора.

2.4 Формирование модульной архитектуры системы

Выделенные выше требования к системе позволяют выделить функциональные блоки, которые должны быть реализованы как отдельные системные компоненты - модули. На рис. 2.2 ниже представлена схема архитектуры системы, элементами которой являются функциональные модули системы и хранилища данных. Стрелки между элементами системы показывают направления передаваемых данных.

Функциональные возможностисистемы, выделенные на основе требований, описанных в п.2.2. распределены между модулями:

1. Модуль обработки вызовов предназначен для обработки действий пользователей, передачи управления между модулями и управления элементами интерфейса.

2. Модуль конвертирования документов должен содержать в себе инструмент для приведения файлов, загруженных пользователем к единому формату *.txt. Обработанные файлы сохраняются в файловом хранилище.

3. Модуль аннотирования текста представляет собой компонент по разметке *.txt документа. Разметка текста необходима для дальнейшей обработки и представляет собой разбиение текста на конечные лексические единицы - слова, и маркирование их определенными тегами в соответствии с набором маркеров стиля, загруженным пользователем в систему. Аннотированные тексты сохраняются в файловое хранилище в формате XML-файлов.

Рисунок 2.2. Модульная архитектура системы сравнения стилистических характеристик текстов



4. Модуль сбора статистики использования маркеров стиля использует размеченные файлы для подсчета стилистических показателей текста. Полученные данные сохраняются в базе данных.

5. Модуль сравнения стилистических характеристик использует данные из базы данных по определенному тексту и корпусу и сравнивает с другим. Результат сравнения также сохраняется в базу данных.

6. Модуль визуализации и формирования отчетов предназначен для отображения результатов работы системы пользователю, а также для формирования экспортируемых файлов.

Вышеперечисленные модули должны взаимодействовать с базой данных и файловым хранилищем системы, которое является выделенным сегментов в файловом хранилище компьютера пользователя.

Функциональные возможности, реализованные в других системах и модулях можно применить в системе сравнения стилистических характеристик посредством интеграции, равно как и предоставить другим системам возможность использовать функции проектируемой системы.

2.5 Описание требований к внешним взаимодействиям

Система сравнения стилистических характеристик содержит в себе функциональные возможности, которые могут быть применимы в различных случаях. Проектируемая система может выступать в роли подсистемы и интегрироваться со сторонними приложениями. Таким образом, в системе должны быть предусмотрены интеграционные методы, через которые системы «извне» смогут получать информацию о сравнении стилистических характеристик текстов. Подобные интеграции могут быть применимы для систем определения авторства или различных систем рецензирования текстов. Примером такой системы является система PaperCat[41], разработанная научно-учебной группой НИУ ВШЭ Пермь. которая осуществляет аннотирование и анализ текстов на английском языке. Система применяется прежде всего в образовательных целях, а именно для анализа работ студентов на английском языке. Использование проектируемой системы может выгодно дополнить функциональные возможности PaperCat, что позволит давать экспертную оценку студенческих текстов, которая является результатом сравнения стилистических характеристик двух наборов данных. Если принять корпус академических «эталонных» статей на английском языке за первый объект, а работу студента за второй, то результат сравнения будет показывать насколько стиль текста работы студента НИУ ВШЭ близок к академическому стилю английского языка.

Помимо интеграций направленных «наружу», система должна предусматривать использование данных и функций других систем. Одной из таких функциональных возможностей является экспорт результатов сравнения стилистических характеристик текстов. В рамках вышеупомянутой системы PaperCatбыл реализован плагин[6] для формирования отчетных форм.

В интерфейсе проектируемой системы должен быть предусмотрен элемент, инициирующий экспорт полученных результатов сравнения. При нажатии на него, система должна выводить модальное окно выбора способа загрузки шаблона отчета. Пользователь должен иметь возможность загрузить готовый шаблон, либо выбрать стандартный шаблон отчета, дополнительно указав нужный формат. Эти требования должны быть учтены при подготовке макетов экранных форм.

В рассматриваемом контексте под шаблоном понимается структура отчета. При обращении к плагину для формирования отчета, посредством интеграции должно вызываться окно создания и редактирования шаблонов отчетов (см. рис.2.3.).



Рисунок 2.3. Окно создания шаблона отчета в системе BIRT

Работа с шаблоном начинается с его создания, которое может быть двух типов - шаблон (.rpttemplate) или дизайн(.rptdesign). В созданном шаблоне отчета следует перейти на вкладку DataExplorerи с помощью контекстного меню вызвать окно создания источника данных (см. рис. 2.4).



Рисунок 2.4. Модальное окно выбора типа источника данных в системе BIRT

Следующим шагом является выбор ресурса «XMLDataSource»(см.рис.2.5.) и указание пути до него. Необходимо предусмотреть возможность скачивания XML-схемы данных в интерфейсе пользователя. Схему данных программа после загрузки определяет автоматически.

Рисунок 2.5. Модальное окно загрузки XML-файла источника данных в системе BIRT



Создание DataSet, с помощью контекстного меню, позволяет прикрепить загруженную схему данных к разрабатываемому шаблону отчета. После того как заданы название и другие настройки набора данных, необходимо создать структуру колонок, выбрав их из структуры xml-файла (см. рис. 2.6).

Рисунок 2.6. Окно выбора структуры данных отчета в системе BIRT

Добавив данные, пользователю доступны такие действия как добавление формул и вставка графических элементов в шаблон отчета. В конце работы необходимо сохранить шаблон в формате*.rpttemplate (или *.rptdesign).

На рис.2.7 представлен пример шаблона. На нем можно увидеть функциюAggregation, которая позволяет выполнять дополнительные математические операции над обрабатываемыми данными, например, суммирование по какому-либо параметру.

Рисунок 2.7. Окно редактирования шаблона отчета в системе BIRT

Разработанный шаблон отчета пользователь загружает в систему сравнения стилистических характеристик с помощью модального окна экспорта. Загрузив шаблон, или же выбрав стандартную форму, и указав формат выгрузки, на компьютер пользователя должна быть произведена выгрузка отчета с результатами работы системы.

2.6 Выводы по второй главе

Поставленная в п. 1.4. первой главы задача позволила определить и проанализировать варианты использования системы в сфере ее эксплуатации. На основании области применения выделена основная функциональная возможность проектируемой системы, которая легла в основу составленных требований.

Во второй главе данной работы проанализирован и формализован бизнес-процесс TO-BE, на основе недостатков бизнес-процесса AS-ISвыявленных в п. 1.1. первой главы. На основании сформированной модели бизнес-процесса описаны функциональные требования к системе сравнения стилистических характеристик текстов.

По результатам анализа предметной области, проведенном в первой главе данной работы, а также анализа вариантов использования системы сформулированы требования. Помимо основных функций системы, в требованиях указаны дополнительные возможности, которые могут повысить удобство пользования системой.

На основе выделенной в требованиях функциональной возможности построена модульная архитектура системы. В системе предусмотрено файловое хранилище и база данных, которые наполняются в результате работы 6 функциональных компонент.

Также в ходе работы над второй главой сформулированы требования к внешним взаимодействиям системы со сторонними приложениями и плагинами. Интеграции являются хорошей возможностью для системы повторно использовать уже реализованные функции других систем. Сформулированные требования позволяют описать нефункциональные требования, предъявляемые к системе и более детально рассмотреть средства и методы ее реализации.



Глава 3. Описание нефункциональных требований к системе сравнения стилистических характеристик

Описанные во второй главе функциональные требования, позволяют продолжить проектирование системы и рассмотреть ее с точки зрения методов реализации. Основным требованием к системе является возможность сравнивать стилистические характеристики текстов. Выше, в п. 1.2.3. и п. 1.2.5. выбраны модель представления текстовой информации и метрика сравнения текстов, подходящие под задачу идентификации стиля текста. На основании данных инструментов необходимо сформировать модель сравнения стилистических характеристик объектов, которая будет использоваться в системе. Модульная архитектура системы, описанная в п. 2.4. позволяет выбрать методы и инструменты реализации системы.

3.1 Формирование модели сравнения стилистических характеристик объектов

Модуль сравнения стилистических характеристик, указанный выше в архитектуре системы, должен производить сравнение статистических данных, полученных из модуля сбора статистики. Модуль сбора статистики в свою очередь обрабатывает размеченные документы и передает набор статистических данных на обработку в компонент сравнения текстов. Для лучшего понимания алгоритма расчета процента соответствия стилистических характеристик текстов, необходимо сформировать модель, в соответствии с которой данный расчет будет производиться. Стоит отметить, что данная модель применима только в случае парного сравнения объектов.

В п. 1.2.3 с помощью сравнительной характеристики моделей представления текстовой информации векторная модель представления выбрана как наиболее предпочтительная для решения рассматриваемой задачи идентификации стиля текста. В свою очередь в п. 1.2.5 проанализированы метрики сравнения текстовых характеристик, в результате которого косинусная мера была принята за наиболее подходящую в контексте проектируемой системы.

Таким образом, сравнение стилистических характеристик текстов происходит следующим образом:

1. Осуществляется сбор статистики использования маркеров стиля. Каждому маркеру каждого текста соответствует подсчитанное модулем значение.

2. Текст представляется в виде вектора значений, где каждый элемент соответствует маркеру стиля.

3. Посредством вычисления косинусной метрики, рассчитывается расстояние между векторами текстов.

Данный алгоритм расчета может быть применим не только в случае сравнения двух текстов, но и для вычисления соответствия стиля корпуса другому корпусу или тексту. В случае обработки корпуса текстов, вектор является набором значений средних величин по текстам корпуса в разрезе каждого стилистического маркера. Также же должно осуществляться сравнение в случае, если корпус является совокупностью нескольких корпусов.

3.2 Разработка серверной архитектуры системы

Диаграммы развертывания предназначены прежде всего для отображения первого приближения системы «изнутри». Ранее, в п. 2.4 система рассмотрена с точки зрения составляющих ее функциональных компонентов. Диаграмма развертывания представляет собой серверный вид системы, что позволяет описать, на каких именно узлах будут находиться те или иные части системы.



Рисунок 3.1. Cерверная архитектура системы сравнения стилистических характеристик

Как можно видеть на диаграмме (см. рис.3.1.), система расположена на 5 узлах - сервер приложений, сервер работы с документами, сервер бизнес-логики, файловое хранилище и сервер базы данных. Описание серверов представлено в табл.3.1. ниже. Модули системы были распределены в соответствии с выполняемыми функциями, так, например, под модули работы с документами выделен отдельный вычислительный узел. Для каждой из машин выбрана операционная система - для серверов, обеспечивающих работу вычислительных модулей, модулей для работы сдокументами и базы данных, подойдет любая операционная система семейства Linux, а для сервера, который будет служить файловым хранилищем - WindowsServer [42].



Таблица 3.1. Требования к серверам системы

Наименование сервера	ОС	Функция	Оперативная память	Жесткий диск
Сервер работы с документами	Linux	Модуль конвертирования документов, Модуль аннотирования текста	16 GB	50 GB
Сервер приложений	Linux	Модуль обработки вызовов, Модуль визуализации и формирования отчетов	8 GB	50 GB
Файловое хранилище	Windows Server 2008/2012	Хранение файлов и предоставление доступа к ним	8 GB	1 TB
База данных	Linux	База данных системы	16 GB	50 GB
Сервер логики	Linux	Модуль сбора статистики использования маркеров стиля, Модуль сравнения стилистических характеристик	8 GB	50 GB

Сформировав поверхностное понимание структуры системы, необходимо выбрать средства для ее реализации. Инструменты реализации системы могут также быть включены в требования к разворачиванию системы, в качестве дополнительных требований к предустановленному программному обеспечению. Прежде чем выбрать инструментарий для реализации системы сравнения стилистических характеристик, необходимо спроектировать базу данных так как выбор средства ее реализации напрямую зависит от объёма хранимых данных и сложности связей между ними.

3.3 Проектирование базы данных истории операций сравнения стилистических характеристик

База данных системы сравнения стилистических характеристик предназначена для хранения истории операций пользователей. Эти сведения представлены информацией о пользователе, данными о загруженных файлах, результате сравнения текстов и показателях каждого текста. Так как между всеми типами сведений существуют отношения, можно сделать вывод, что база данных - реляционная.

Сведения о пользователях содержат в себе имена пользователей и их идентификаторы для связи с операциями, другой информацией о пользователях система не располагает. Каждый пользователь связан с операцией, инициатором которой был. Операция обладает такими атрибутами как дата выполнения, результат сравнения стилистических характеристик текстов в процентном соотношении (параметр не обязателен для заполнения, так как для множественного сравнения может быть не подсчитан) и поле с идентификатором пользователя.

Сведения об объектах сравнения, загруженных в систему представленытакими атрибутами как наименование, формат и путь до документа на сервере файлового хранилища, идентификатор операции для которой файл был загружен и идентификатор корпуса. Таблица с информацией об объектах содержит сведения о файлах и корпусах, которые являются объектами сравнения. Так как каждый файл может быть привязан к корпусу, а каждый корпус также может входить в состав другого корпуса - таблица является рекурсивной и ссылается сама на себя.Необходимо предусмотреть справочник стилистических маркеров на основе которых происходит сравнение. Для хранения связи объекта сравнения и набора маркеров которые были использованы в расчете процента соответствия текстов необходимо отобразить таблицу связей. Идентификатор маркера, идентификатор файла и поле величины показателя маркера позволяют определить измерения стилистических характеристик в разрезе каждого файла. На рис 3.2. представлена схема базы данных проектируемого приложения. Как показано на рисунке, хранение данных об истории операций предполагает использование 5 таблиц. Стрелками обозначены связи между таблицами. В заголовке каждой таблицы указано какие именно сведения она содержит.



Рисунок 3.2. Схема базы данных исторических сведений системы сравнения стилистических характеристик

Обладая сведениями об объеме хранимых данных и количестве связей между ними необходимо выбрать инструмент для реализации базы данных.

3.4 Выбор средств реализации системы

На данный момент существует огромное количество языков программирования, фреймворков, модулей и библиотек, выбрать из которых порой становится трудно. Для реализации проектируемой системы необходимо выбрать языки программирования для серверной и клиентской частей приложения, базу данных, а также определить специализированные библиотеки, которые будут использоваться в ходе реализации. Проектируемая система обладает требованиями, которые ограничивают выбор инструментария:

1. В системе предполагается работа с текстовой информацией, поэтому особое внимание при выборе языка программирования необходимо обратить на наличие определенных библиотек и модулей, которые могут облегчить задачи обработки текстов.

2. При выборе средств реализациинеобходимо обратить внимание на то, что результаты сравнений статистических данных необходимо будет визуализировать различными способами, поэтому наличие возможности работы с элементами интерфейса является ключевым при выборе технологий для разработки front-end части приложения.

3. Реализация модулей для работы с документами должна производиться с помощью технологий, обеспечивающих быструю работу с файлами.

4. Модули для работы со статистическими данными подразумевают применение методов математического анализа и статистики. Применение специальных модулей или библиотек реализованных для решения подобных задач, может значительно облегчить работу специалистов, а также сократить трудозатраты на реализацию собственных средств. Данное ограничение должно быть учтено при выборе языка программирования для реализации модулей.

По данным различных источников, наиболее популярными языками программирования backend-частей приложений являются Java, C# и Python[45,46]. В табл. Б.2. приведена сравнительная характеристика языков программирования с учетом вышеупомянутых ограничений, а также степени развития сообщества технологии. В ходе анализа языков программирования указанных выше было выявлено, что Javaобладает большим количеством возможностей для обработки естественного языка по сравнению с Pythonи C#. В рамках проектируемой системы язык программирования Javaбыл выбран как основной язык реализации backend части приложения. Обзор возможностей языков программирования по обработке естественного языка выявил наиболее мощные и популярные инструменты, например, Gate[2]. Данная технология является средой разработки программного обеспечения для обработки естественного языка и помимо заявленных критериев обладает дополнительными функциями, которые могут повысить качество разрабатываемого продукта и повысить скорость разработки. Также стоит отметить что язык программирования Javaпредоставляет разработчикам встроенный инструментарий для решения математических и статистических задач. Основным преимуществом Javaв контексте решаемой задачи является широкая степень освещенности задачи обработки текстов, а также спектр возможностей доступных библиотек.

Наиболее популярным языком для реализации клиентской части приложения вот уже в течение многих лет является JavaScript[43]. Для проектируемой системы, данная технология была выбрана как основная для разработки frontendчасти приложения.

Система сравнения стилистических характеристик предполагает использование базы данных для хранения информации о предыдущих операциях пользователя, которая представляет собой несколько связанных сущностей, как было описано в п. 3.3. Соответственно, для применения в системе необходимо рассматривать реляционные базы данных. По данным нескольких источников[44-48], можно выделить 4 наиболее используемых СУБД - MySQL[49], PostgreSQL [50], OracleDatabase [51] и Microsoft SQL Server[52]. Основными критериями для выбора СУБД являлись возможность взаимодействия с Java и простота конфигурирования, особых требований не предъявляется так как не предполагается хранение больших объемов данных и высокие нагрузки.

MySQL является одной из самых популярных СУБД для веб-приложений, которая распространяется бесплатно в определенной конфигурации. Данных настроек хватает чтобы покрыть большую часть потребностей приложений. СУБД является простой в настройке и имеет низкий порог вхождения разработчиков. Данное программное обеспечение не предназначено для больших нагрузок, но отлично справляется с регулярными пользовательскими задачами.

СУБД PostgreSQLявляется одной из самых старых инадежных систем среди рассматриваемых. Она распространяется бесплатно с открытым исходным кодом и имеет возможность выдерживать большие нагрузки. Конфигурирование данной СУБД может быть не так просто, как для MySQL, что также осложняет разработку системы.

OracleDatabase и Microsoft SQL Server- это прежде всего корпоративные решения для высоконагруженных систем. Стоит отметить, что данные СУБД не распространяются бесплатно, и покупка лицензии на такие технологии может быть нецелесообразной в рамках проектируемой системы.

Таким образом, наиболее подходящей СУБД для системы сравнения стилистических характеристик текстов является MySQL, как наиболее простое решение, с обширной документацией и русскоязычным сообществом.

3.5 Проектирование пользовательских интерфейсов

Проектирование системы также предполагает подготовку макетов экранных форм системы. Ранее были описаны требования, предъявляемые к функциональным возможностям, которыми должна располагать система. На основании этих требований можно спроектировать пользовательский интерфейс.

Прежде всего система должна реализовать возможность сравнения стилистических характеристик текстов. В случае если объектами сравнения являются 2 элемента (2 текста, текст и корпус, 2 корпуса), результатом сравнения является процентное соотношение. Необходимо иметь возможность выгрузить данные полученные в результате операции. На основе этих требований был реализован макет страницы сравнения стилистических характеристик двух объектов (рис. 3.3.).



Рисунок 3.3. Пустой макет страницы сравнения стилистических характеристик двух объектов

Личный кабинет пользователя представляет с собой экранную форму, в левой части которой располагается имя пользователя, а также доступные разделы - «История сравнений» и «Сравнение текстов». В правой верхней части меню располагается иконка, щелкнув по которой пользователь может свернуть меню. В левом нижнем меню экрана располагается кнопка «Выход», для выхода пользователя из системы.

При первом входе в систему, пользователь видит пустую форму сравнения с информационными сообщениями. Для того чтобы начать работу, необходимо загрузить файлы в систему из файловой системы компьютера пользователя нажав кнопку «Загрузить с компьютера» или перетащив файлы в область Drag&Drop. После загрузки файлов, они отобразятся в области над кнопкой «Пуск» (рис. 3.4.), где их можно будет при необходимости удалить. Также в этой области можно прикрепить тот или иной файл к корпусу, как показано на рис. 3.4. Наименование корпуса можно ввести в поле над выпадающим списком и сохранить, если такого корпуса еще нет, либо выбрать из предложенных. Нажав на кнопку «Пуск» можно запустить процесс сравнения стилистических характеристик. Результат сравнения в процентном соотношении отобразится в поле под заголовком, справа от которого обработанные данные будут выведены в графическом виде. В нижнем правом углу страницы содержится таблица с показателями каждого маркера в разрезе обработанных текстов. Результаты операцииможно экспортировать, нажав на кнопку экспорт.

Рисунок 3.4. Макет страницы с результатом сравнения стилистических характеристик двух объектов

В случае если пользователь производит сравнение нескольких объектов (3 и более текстов и/или корпусов), форма сравнения приобретает вид, показанный на рис.3.5. Также, как и для сравнения 2 объектов, для начала работы пользователю необходимо загрузить файлы и нажать на кнопку «Пуск». Результаты обработки текстов выводятся в графическом и табличном виде. Отображение результатов операции в графическом виде требует произвести выбор измерений, с помощью выпадающего списка находящегося под заголовком страницы.В источниках упоминается, что человеческому глазу легче воспринимать три измерения нежели пространства с большей размерностью [51], поэтому пользователь может выбрать не более трех осей для отображения. Файлы на диаграмме отмечены точками, в соответствии с цветами заголовков таблицы, размещенной под областью диаграммы.

Рисунок 3.5. Макет результатов сравнения стилистических характеристик нескольких объектов

Результаты каждой операции сохраняются и могут быть просмотрены пользователем в разделе «История сравнений» в меню слева.

Рисунок 3.6. Макет страницы истории операции сравнения стилистических характеристик двух объектов

На рис. 3.6. представлена страница историй операций, в левой части которой размещена панель со списком проведенных пользователем операций. Операции идентифицируются датой и временем выполнения и поддерживают поиск, поле которого расположено вверху списка операций. Файлы, загруженные для сравнения можно скачать, щелкнуть по иконке скачивания рядом с наименованием файла. Исторические сведения об операциях также доступны для экспорта.Страница истории операции множественного сравнения приведена на рис. 3.7.

Рисунок 3.7. Макет страницы истории операции сравнения стилистических характеристик нескольких объектов

Как было сказано в п. 2.6, для экспорта должны быть предусмотрены специальные элементы в интерфейсе пользователя. Как было указано выше, на каждой из экранных форм присутствует кнопка экспорта. При нажатии на эту кнопку пользователь должен видеть модальное окно, представленное на рис. 3.8., всплывающее поверх активной страницы.



Рисунок 3.8. Макет страницы истории сравнения стилистических характеристик с модальным окном экспорта

Если пользователю необходимо произвести экспорт результатов сравнения, то сначала необходимо указать будет ли использоваться для этого стандартная форма отчета, под которой подразумевается выгрузка страницы операции в формат, выбранный пользователем. При открытии модального окна все кнопки являются доступными для нажатия. Если пользователь нажал чекбокс «Использовать стандартный шаблон выгрузки», кнопки «Скачать XML-схему структуры данных» и «Загрузить шаблон отчета» должны быть заблокированы. В случае, когда пользователь хочет разработать свой собственный тип отчета, необходимо скачать XML-схему структуры данных путем нажатия соответствующей кнопки и следовать инструкциям описанным в п.2.6. После того как шаблон подготовлен пользователем, его можно загрузить с файловой системы компьютера с помощью кнопки «Загрузить шаблон отчета». Для любого варианта отчетов необходимо дополнительно выбрать формат выгружаемого файла, после чего нажать на кнопку «Экспорт» - экспортируемый файл должен выгрузиться на компьютер пользователя. Для отмены операции, в модальном окне экспорта также присутствует кнопка «Отмена».

3.6 Выводы по третьей главе

Третья глава данной работы была посвящена формированию нефункциональных требований к системе сравнения стилистических характеристик. На основе анализа, проведенного в первой главе и функциональных требований, описанных во второй главе, сформирована модель сравнения стилистических характеристик текстов.

Исходя из модульного деления системы, описанного в п. 2.4., функциональные блоки системы распределены и сформированы в серверную архитектуру системы в п. 3.2. Функциональные требования к системе содержат описание возможности пользователя обращаться к истории операций, выполненных с помощью системы. Для хранения сведений о предыдущих сеансах пользователя в п 3.3. спроектирована структура базы данных.

Функциональные возможности, предъявляемые к системе, определяют требования к их технической реализации. Поэтому на основании требований, описанных в п. 3.4. проанализированы и выбраны инструменты для реализации системы.

Основываясь на вариантах использования системы описанных в первой главе, а также возможностях, которые должны быть доступны пользователям в системе, в п. 3.5. спроектирован и описаны экранные формы системы.



Заключение

Исследования в сфере компьютерной лингвистики являются значимыми не только в академическом контексте, но также могут быть использованы в практических разработках. Подводя итоги работы, можно сказать что проектируемая система может использоваться как в научных целях, например, для вышеупомянутой системы PaperCat, так и для коммерческих разработок, таких как системы автороведческой экспертизы.

Исследование задачи идентификации стиля позволило изучить предметную область проектируемой системы и подготовить теоретическую базу для дальнейшей работы. Идентификация стиля текста подразумевает представление текста в виду удобном для дальнейшей математической обработки. Методы, которыми можно представить текстовую информацию, рассмотрены при анализе предметной области. Маркеры стиля являются, установленными экспертным путем, речевыми конструкциями, на основе которых собирается статистика использования, необходимая для сравнения стилистических характеристик текстов. Модели для сравнения подобных характеристик также рассмотрены в ходе работы.

На основе собранной о предметной области информации сформулирована задача разработки, которая являлась отправным пунктом для рассмотрения процессов применения системы. Варианты использования системы, рассмотренные в работе, предназначены в большей степени для применения в исследовательской деятельности, но также могут быть использованы на практике. Для выявления необходимости реализации проанализированы системы-аналоги, а также выявлены их ключевые достоинства и недостатки, которые были учтены в процессе формирования требований к системе сравнения стилистических характеристик текстов.

Примеры процессов, в которых проектируемая система может эксплуатироваться помогла сформировать список требований, которым система должна удовлетворять чтобы покрыть потребности пользователей. Также был выявлен процесс использования системы, при моделировании которого были учтены вышеупомянутые требования и недостатки текущего варианта выполнения процесса AS-IS. В ходе работы составлена модель сравнения стилистических характеристик текстов на основе инструментов, выбранных на этапе анализа.

Сформулированная задача автоматизации позволила разработать модульную архитектуру системы, каждый компонент которой отвечает за определенный блок требований. Также помимо модулей, в системе предусмотрены хранилища данных, такие как файловое хранилище и база данных. Последняя спроектирована в третьей главе и определена как хранилище сведений об операциях пользователей.

На основе требований, выявленных на этапе анализа, а также условий, обозначенных во второй главе, сформирована модель сравнения стилистических характеристик, а также выбраны средства реализации системы. Экранные формы системы и сценарии поведения элементов интерфейса смоделированы и описаны, в том числе для случаев множественного сравнения.

Стоит отметить, что данная работа выполнялась в рамках гранта № 17-05-0020 «Разработка программного обеспечения для проведения стилистического исследования письменной научной речи на английском языке» [54], результаты исследования представлены на конференции «Математика и междисциплинарные исследования -2019» [55]. В дальнейшем система может быть реализована и протестирована, на основании представленной работы.



Библиографический список

1. Anthony L., Ph D. AntConc ( Windows , Macintosh OS X , and Linux ) Getting Started ( No installation necessary ) // AntConc[Электронныйресурс] URL: https://www.laurenceanthony.net/software/antconc/releases/AntConc350/help.pdf (датаобращения: 27.05.2019)

2. GATE.ac.uk // GATE[Электронный ресурс] URL: https://gate.ac.uk/ (дата обращения: 27.05.2019).

3. Sketch Engine | language corpus management and query system [Электронныйресурс]// Sketch EngineURL: https://www.sketchengine.co.uk/ (датаобращения: 27.05.2019).

4. Hardie A. CQPweb and other Web GUIs for CWB // CWB The IMS Open Corpus Workbench [Электронныйресурс] URL: http://cwb.sourceforge.net/cqpweb.php (датаобращения: 27.05.2019)

5. Поспелова Г.Б. Характеристики научного стиля в английском языке // Иностранные языки: теория и практика. 2012. № 2 (15). С. 8-14.

6. Горбунова М.А. Разработка метрик сравнения стилистических характеристик научных текстов//Кафедра информационных технологий в бизнесе НИУ ВШЭ Пермь. 2018.

7. Prasithrathsint A. Linguistic markers and stylistic attributes of hedging in english academic papers written by native and non-native speakers of english. // MANUSYA: Journal of Humanities Regular. 2015. № 18.1. С. 1-22.

8. Резанова З.И., Романов А.С., Мещеряков Р.В. О выборе признаков текста, релевантных в автороведческой экспертной деятельности // Вестн. Том. гос. ун-та. Филология. 2013. № 6 (26). C. 38-52.

9. Мартыненко Г.Я., Гребенников А.О. Основы стилеметрии. Л., ЛГУ, 1988. - 170 с.

10. Дягилев В.В., Цхай А.А., Бутаков С.В. Надежное обнаружение плагиата малым числом поисковых запросов // Бизнес-информатика. 2013. №1 (23).

11. Turtle H.R., Croft W.B. A comparison of text retrieval models // The Computer Journal. 1992. № 35. С. 279-290.

12. Литвинова Т.А. Лингвистические основы неидентификационной судебно-автороведческой экспертизы // Вестник Челябинского государственного университета. 2012. № 20 (274). Филология. Искусствоведение. Вып. 67. С. 74-78.

13. Романов Александр Сергеевич Методика идентификации автора текста на основе аппарата опорных векторов // Доклады ТУСУР. 2009. №1-2 (19).

14. Суркова А.С. Идентификация авторства текстов на основе информационных портретов // Вестник Нижегородского университета им. Н.И. Лобачевского. 2014. № 3 (1). С. 145 -149.

15. Батура Т.В. Методы определения авторского стиля текстов и их программная реализация // Программные системы и вычислительные методы. 2014. №2 (7). С. 197-216.

16. ЛингвоАнализатор [Электронный ресурс] // Лингвоанализатор URL: http://www.rusf.ru/books/analysis/ (дата обращения: 27.05.2019).

17. Атрибутор. Версия 1.01. [Электронный ресурс] // Текстология.ru URL: http://www.textology.ru/atr_resum.html (дата обращения: 27.05.2019).

18. СМАЛТ [Электронный ресурс]. URL: http://smalt.karelia.ru/ (дата обращения: 27.05.2019).

19. Антиплагиат [Электронный ресурс]. URL: https://www.antiplagiat.ru/ (дата обращения: 27.05.2019).

20. Система «Авторовед» [Электронный ресурс]. URL: http://www.swsys.ru/index.php?page=article&id=3703 (дата обращения: 27.05.2019).

21. Воробьева А.А., Гвоздев А.В. Идентификация анонимных пользователей Интернет-порталов на основании технических и лингвистических характеристик пользователя // Науч.-техн. вестн. информ. технологий, механики и оптики. 2014. № 1 (89). С. 139-144.

22. Mao W., Chu W.W. The phrase-based vector space model for automatic retrieval of free-text medical documents // Data & Knowledge Engineering. 2007. № 61 (1). С. 76-92.

23. Bдr D., Zesch T., Gurevych I. Composing Measures for Computing Text Similarity // Technical Report TUD-CS-2015-0017. 2015. С. 1-30.

24. Крейнес М.Г. Модели текстов и текстовых коллекций для поиска и анализа информации // Труды МФТИ. 2017. Т. Том 9. №3. С. 132-142.

25. Моченов С.В., Бледнов А.М., Луговских Ю.А. Векторная модель представления текстовой информации // Материалы международной научной конференции. 2006. С. 131-139.

26. Математические модели текста [Электронный ресурс]. URL: http://lab314.brsu.by/kmp-lite/kmp2/JOB/CModel/BoW-Q.htm (дата обращения: 27.05.2019).

27. The HTML DOM (Document Object Model) [Электронныйресурс]. URL: https://www.w3schools.com/js/js_htmldom.asp (Дата обращения: 27.05.2019)

28. Разработка модели структурного представления и метода тематического анализа текста [Электронный ресурс]. URL: http://www.gotai.net/documents/doc-art-007-03.aspx (дата обращения: 27.05.2019).

29. Fomin S.A., Belousov R.L. Detecting semantic duplicates in short news items // Business Informatics. 2017. № 2 (40). С. 47-56.

30. Федоренко В.И., Киреев В.С. Использование методов векторизации текстов на естественном языке для повышения качества контентных рекомендаций фильмов // Современные наукоемкие технологии. 2018. № 3. С. 102-106.

31. Антонова А.Ю., Клышинский Э.С. Об использовании мер сходства при анализе документации // Труды 13й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». 2011. С. 134-138.

32. Мера расстояния [Электронный ресурс]. URL: http://www.aiportal.ru/articles/autoclassification/measure-distance.html (дата обращения: 27.05.2019).

33. Long-term storage for Google Code Project Hosting // Google Code Archive [Электронныйресурс]. URL: https://code.google.com/archive/p/word2vec/ (дата обращения: 27.05.2019).

34. Половикова О.Н., Фокина В.В. Использование евклидова и манхэттенского расстояний в качестве меры близости для решения задачи классификации // Известия АлтГУ. 2010. №1-1.

35. Тимошина Е.В., Семенчев Е.А. Автоматизация процесса выбора товара с использованием метода рассуждений на основе прецедентов // Известия ТулГУ. Технические науки. 2014. № 11.2. С. 245-253.

36. Черняк Е. Л., Миркин Б. Г. Использование мер релевантности строка-текст для автоматизации рубрикации научных статей // Бизнес-информатика. 2014. №2 (28).

37. Казанцева А.Г. Идентификация человека по походке с использованием носимых сенсоров. Обзор исследований // Математические структуры и моделирование. 2013. №2 (28). С. 103-111.

38. Задача о редакционном расстоянии // Утиверситет ИТМО [Электронный ресурс]. URL: https://neerc.ifmo.ru/wiki/index.php?title=Задача_о_редакционном_расстоянии,_алгоритм_Вагнера-Фишера (дата обращения: 27.05.2019)

39. Состав базы // Лингвоанализатор[Электронный ресурс]. URL: http://www.rusf.ru/books/analysis/list.htm (дата обращения: 27.05.2019)

40. Атрибутор Версия 1.01. Описание // Текстология.ru [Электронный ресурс]. URL: http://www.textology.ru/web.htm(дата обращения: 27.05.2019)

41. PaperCat [Электронный ресурс]. URL: http://pcat.azurewebsites.net/(дата обращения: 27.05.2019)

42. Файловый сервер // Записки IT специалиста. [Электронный ресурс]. URL: https://interface31.ru/tech_it/2010/08/fajlovyj-server-kakuyu-os-i-fajlovuyu-sistemu-vybrat.html (дата обращения: 27.05.2019)

43.READY TO TRY JavaScript? // JavaScript.com[Электронныйресурс]. URL: https://www.javascript.com/(дата обращения: 27.05.2019)

44. ?SQLitevsMySQLvsPostgreSQL: сравнение систем управления базами данных // Devacademy[Электронный ресурс]. URL: https://devacademy.ru/article/sqlite-vs-mysql-vs-postgresql/ (дата обращения: 27.05.2019)

45. Сравнение современных СУБД // Drach[Электронный ресурс]. URL: http://drach.pro/blog/hi-tech/item/145-db-comparison (дата обращения: 27.05.2019)

46. Рассуждение на тему, какую базу данных выбирать [Электронный ресурс]. URL: https://habr.com/ru/post/348220/ (дата обращения: 27.05.2019)

47. Выбор надежной БД в высоконагруженном проекте [Электронный ресурс]. URL: https://habr.com/ru/post/346166/ (дата обращения: 27.05.2019)

48. SQLite, MySQL и PostgreSQL[Электронный ресурс]. URL: https://tproger.ru/translations/sqlite-mysql-postgresql-comparison/ (дата обращения: 27.05.2019)

49. MySQL Enterprise Edition // MySQL [Электронныйресурс]. URL: https://www.mysql.com/(дата обращения: 27.05.2019)

50. PostgreSQL: The World's Most Advanced Open Source Relational Database // PostgreSQL [Электронныйресурс]. URL: https://www.postgresql.org/(дата обращения: 27.05.2019)

51. База данных от Oracle // Oracle[Электронный ресурс]. URL: https://www.oracle.com/ru/database/ (дата обращения: 27.05.2019)

52. SQL Server 2017 Edition // Microsoft [Электронныйресурс]. URL: https://www.microsoft.com/ru-ru/sql-server/sql-server-2017-editions (дата обращения: 27.05.2019)

53. Клышинский Э.С., Рысаков С.В., Шихов А.И. Обзор методов визуализации многомерных данных // Новые информационные технологии в автоматизированных системах. 2014. С.519-530.

54.Научно-учебная группа «Разработка программного обеспечения для проведения корпусных исследований английского языка» // НИУ ВШЭ [Электронный ресурс]. URL: https://perm.hse.ru/bi/sfcr/(дата обращения: 27.05.2019)

55.Всероссийская научно-практическая конференции молодых ученых с международным участием «Математика и междисциплинарные исследования 2019»// Пермский естественнонаучный форум 2019 «Наука и глобальные вызовы 21 века». [Электронный ресурс]. URL: http://math.psu.ru/matematika-i-mezhdistsiplinarnye-issledovaniya-2019/ (дата обращения: 27.05.2019)

...