Лингвистическая модель обучаемого

При вычислении параметров оптимальной гиперплоскости остальные неопорные векторы можно отбросить, т.к. их значения никак на нее не влияют.

Нелинейный случай. Если предполагать, что тексты все же линейно неразделимы, необходимо воспользоваться несколько иной формой метода опорных векторов. Отличие заключается в том, что теперь мы предполагаем невозможность построения оптимальной разделяющей гиперплоскости в пространстве признаков типа VSM, зато в некотором пространстве большей размерности разделение документов на классы возможно таким же линейным методом [6]. Для этого необходимо перевести наблюдения (документы) в пространство признаков с помощью некоторого нелинейного отображения:

где . Тогда очевидно, что прообразом в оптимальной в гиперплоскости будет в общем случае нелинейная поверхность, задаваемая уравнением:

Здесь функция называется ядром.

Метод SVM работает с абстрактной векторной моделью предметной области. Это позволяет применять SVM для решения различных задач машинного обучения. SVM используется для задач распознавания образов, распознавания речи, классификации текстов.

1.3.5 Выводы по предложенной модели

Предложенная реализация Лингвистической модели «обучаемого» позволит отбирать студентов по следующим категориям:

· Для одного студента по всем предметам:

o По оценкам

o По показателю интересов

o По оценкам и показателю интересов одновременно

· Для всех студентов по одному предмету:

o По оценкам

o По показателю интересов

o По оценкам и показателю интересов одновременно

В данной работе интересы студентов ограничены лишь изучаемыми дисциплинам, разработанное программное обеспечение позволяет выявлять любые интересы, путем анализа посещаемых сайтов. Для этого необходимо лишь выбрать интересующие темы, добавить их в БД (на текущий момент используется список предметов по программе обучения), собрать коллекции текстов определенным темам и произвести переобучение аппаратно-программной системы. После этого помимо сайтов, относящихся к изучаемым дисциплинам, будут выявляться и сайты на добавленные темы. Поэтому данная система универсальны и позволяет классифицировать тексты по различным тематикам. Необходимо лишь заранее выбрать тематические подборки и переобучить систему.

Для выявления тем, которыми интересуются студенты необходимо проводить различные исследования и невозможно сразу охватить все существующие темы, в данной работе были рассмотрены лишь те интересы, что связаны получаемой специальностью, т.е. с изучаемыми ими дисциплинами.



2. ПРАКТИЧЕСКАЯ ЧАСТЬ

2.1 Постановка задачи

Предлагается реализовать модель по технологии клиент-сервер. В виде HTTP-клиента и HTTP-сервера.

Специализированный HTTP-сервер будет построен на базе SOAP-протокола, посредствам которого будет происходить обмен данными между HTTP-клиентом и HTTP-сервером. Для хранения данных на сервере будет использоваться реляционная база данных, состоящей из общей и индивидуальной части.

Общая часть включает следующие компоненты:

· Справочник дисциплин.

· Словарь терминов.

· Справочник Web-ссылок.

· Список пользователей.

Индивидуальная часть включает следующие компоненты:

· Таблица показателей интересов студента по каждому предмету.

· Таблица посещаемых студентом сайтов.

· Таблица успеваемости студента.

Индексацию контента и анализ данных будет построен на базе метода машинного обучения и классификации.

HTTP-клиент будет реализован в виде выполняемого exe-файла, выполняющего следующие функции:

· Производить регистрацию пользователей в системе.

· Производить установку специальной службы Windows.

Специальная служба выполняет следующие функции:

· Перехват WEB-ссылок, посылаемых пользователем в реальном масштабе времени, посредством WEB-браузера.

· Отправку перехваченных WEB-ссылок посредством протокола HTTP/HTTPS специализированному WEB-сервису в режиме реального времени.

Серверная часть выполнена в виде WEB - сервиса на базе IIS. Сервис выполняет следующие функции:

· Загрузку сформированной модели классификации в оперативную память.

· Регистрацию студентов в системе.

· Прием WEB - ссылок от клиента.

· Индексацию и классификацию загруженных WEB - страниц по указанным ссылкам.

· Начисление баллов за каждый сайт, который соответствует программе обучения.

2.2 Необходимые сведения

2.2.1 Сетевые топологии

Топология - физическая или электрическая конфигурация кабельного хозяйства и соединений сети.

Топология - это скелет сети.

Существует несколько основных типов

· Общая Шина ( Bus )

· Звезда ( Star )

· Кольцо ( Ring )

· Древовидная ( Tree )

· Топология, когда все элементы напрямую соединены друг с другом

Рассмотрим подробнее некоторые из них:

Общая шина:

Все компьютеры подключаются к одному кабелю. На его концах должны быть расположены терминаторы. По такой топологии строятся 10 Мегабитные сети 10Base-2 и 10Base-5. В качестве кабеля используется коаксиальный кабель. Нарушение общего кабеля или любого из двух терминаторов приводит к выходу из строя участка сети между этими терминаторами (сегмент сети). Отключение любого из подключенных устройств на работу сети никакого влияния не оказывает.

Звезда:

Каждый компьютер (и т.п.) подключен отдельным проводом к отдельному порту устройства, называемого концентратором или повторителем (репитер), или хабом (Hub) .

Концентраторы могут быть как активные, так и пассивные. Если между устройством и концентратором происходит разрыв соединения, то вся остальная сеть продолжает работать. Правда, если этим устройством был единственный сервер, то работа будет несколько затруднена. При выходе из строя концентратора сеть перестанет работать. Данная сетевая топология наиболее удобна при поиске повреждений сетевых элементов: кабеля, сетевых адаптеров или разъемов. При добавлении новых устройств "звезда" также удобней по сравнению с топологией общая шина. Также можно принять во внимание, что 100 и 1000 Мбитные сети строятся по топологии "Звезда".

Выбор используемой топологии зависит от условий, задач и возможностей. Или же определяется стандартом используемой сети.

Свои компьютеры и другие устройства вы можете соединить любым наиболее подходящим для вас способом, но в этом случае вам придется использовать вполне определенный стандарт, поддерживающий эту топологию.

Если вам удобно, вы даже можете часть компьютеров соединить в сеть с одной топологией, а часть в сеть с другой топологией, затем соединить сети между собой, при помощи еще какого-либо способа.

Основные топологии показаны на рис. 2.2.1.1 - 2.2.1.3

Основные топологии сетей.

2.2.2 Адресация в IP-сетях

2.2.2.1 Порты компьютерных сетей

Порт -- цифровой номер, который является программным адресом, используемым для взаимодействия различных конечных точек (сетевых устройств, хостов) в современных компьютерных сетях на транспортном уровне модели OSI. Порты используются в транспортных протоколах TCP, UDP, SCTP, DCCP и позволяют различным программам и сетевым службам на одном хосте получать данные в IP-пакетах независимо друг от друга.

Всякое взаимодействие двух хостов подразумевает использование как минимум одного порта получателя, и, как правило, порта источника. Номер порта, добавленный к IP-адресу компьютера, завершает идентификацию возможного сеанса связи. То есть, пакеты данных направляются по сети к определенному IP-адресу назначения, а затем, по достижении конечного компьютера, далее направляется конкретному процессу, связанному с номером порта назначения. Принцип использования портов зависит от протокола, который их использует. Порт хоста назначения конкретного сетевого взаимодействия обычно известен приложению заранее. Порт хоста-источника сетевого пакета может назначаться как динамически для каждого нового сеанса связи, так и быть постоянным, статическим. Для TCP-соединения порт хоста-отправителя особенно важен, так как именно на него должен прийти ответ и подтверждение доставки пакета от хоста-получателя.

Номер порта является 16-разрядным целым двоичным числом, таким образом, порты возможны в диапазоне от 1 до 65535 (для TCP, номер порта 0 зарезервирован и не может быть использован).

2.2.2.2 Стек протоколов TCP/IP

Стек протоколов TCP/IP широко применяется во всем мире для объединения компьютеров в сети Internet. TCP/IP -- это общее название, присвоенное семейству протоколов передачи данных, используемых для связи компьютеров и другого оборудования в корпоративной сети.

Протоколы стека TCP/IP предоставляют механизм передачи сообщений, описывают детали форматов сообщений и указывают, как обрабатывать ошибки. Протоколы позволяют описать и понять процессы передачи данных, не учитывая тип оборудования, на котором эти процессы происходят.

Стек протоколов TCP/IP предоставляет пользователям два основных сервиса, которые используют прикладные программы:

· Дейтаграммное средство доставки пакетов. Это означает, что протоколы стека TCP/IP определяют маршрут передачи небольшого сообщения, основываясь только на адресной информации, находящейся в этом сообщении. Доставка осуществляется без установки логического соединения. Такой тип доставки делает протоколы TCP/IP адаптируемыми к широкому диапазону сетевого оборудования.

· Надежное потоковое транспортное средство. Большинство приложений требует от коммуникационного программного обеспечения автоматического восстановления при ошибках передачи, потере пакетов или сбоях в промежуточных маршрутизаторах. Надежное транспортное средство позволяет устанавливать логическое соединение между приложениями, а затем посылать большие объемы данных по этому соединению.

Основными преимуществами стека протоколов TCP/IP являются:

· Независимость от сетевой технологии. Стек протоколов TCP/IP не зависит от оборудования конечных пользователей, так как он только определяет элемент передачи - дейтаграмму - и описывает способ ее движения по сети.

· Всеобщая связанность. Стек позволяет любой паре компьютеров, которые его поддерживают, взаимодействовать друг с другом. Каждому компьютеру назначается логический адрес, а каждая передаваемая дейтаграмма содержит логические адреса отправителя и получателя. Промежуточные маршрутизаторы используют адрес получателя для принятия решения о маршрутизации.

· Межконцевые подтверждения. Протоколы стека TCP/IP обеспечивают подтверждение правильности прохождения информации при обмене между отправителем и получателем.

· Стандартные прикладные протоколы. Протоколы TCP/IP включают в свой состав средства для поддержки наиболее часто встречающихся приложений, таких как электронная почта, передача файлов, удаленный доступ и т.д.

Структура стека протоколов TCP/IP приведена на рис. 2.2.2.2.1

Рис. 2.2.2.2.1 Структура стека протоколов TCP/IP.

Рис. 2.2.2.2.2 Путь передачи сообщений.

Теоретически посылка сообщения от одной прикладной программы к другой означает последовательную передачу сообщения вниз через соседние уровни стека у отправителя, передачу сообщений по уровню сетевого интерфейса (уровню IV) или, в соответствии с эталонной моделью OSI, по физическому уровню, прием сообщения получателем и передачу его вверх через соседние уровни протокольного программного обеспечения. На практике взаимодействие уровней стека организовано гораздо сложнее. Каждый уровень принимает решение о корректности сообщения и производит определенное действие на основании типа сообщения или адреса назначения. В структуре стека протоколов TCP/IP имеется явный «центр тяжести» -- это сетевой уровень и протокол IP в нем. Протокол IP может взаимодействовать с несколькими модулями протоколов более высокого уровня и несколькими сетевыми интерфейсами. То есть на практике процесс передачи сообщений от одной прикладной программы к другой будет выглядеть следующим образом: отправитель передает сообщение, которое на уровне III протоколом IP помещается в дейтаграмму и посылается в сеть (сеть 1). На промежуточных устройствах, например маршрутизаторах, дейтаграмма передается вверх до уровня протокола IP, который отправляет ее обратно вниз, в другую сеть (сеть 2). Когда дейтаграмма достигает получателя, протокол IP выделяет сообщение и передает его на верхние уровни. Рис. 1.2 иллюстрирует данный процесс.

Структуру стека протоколов TCP/IP можно разделить на четыре уровня. Самый нижний -- уровень сетевого интерфейса (уровень IV) -соответствует физическому и канальному уровню моделиOSI. В стеке протоколов TCP/IP этот уровень не регламентирован. Уровень сетевого интерфейса отвечает за прием дейтаграмм и передачу их по конкретной сети. Интерфейс с сетью может быть реализован драйвером устройства или сложной системой, которая использует свой протокол канального уровня (коммутатор, маршрутизатор). Он поддерживает стандарты физического и канального уровня популярных локальных сетей: Ethernet, Token Pang, FDDI и т.д. Для распределенных сетей поддерживаются проколы соединений РРР и SLIP, а для глобальных сетей - протокол Х.25. Предусмотрена поддержка использования развивающейся технологии коммутации ячеек -- ATM. Обычной практикой стало включение в стек протоколов TCP/IP новых технологий локальных или распределенных сетей и регламентация их новыми документами RFC.

Сетевой уровень (уровень III) -- это уровень межсетевого взаимодействия. Уровень управляет взаимодействием между пользователями в сети. Он принимает от транспортного уровня запрос на посылку пакета от отправителя вместе с указанием адреса получателя. Уровень инкапсулирует пакет в дейтаграмму, заполняет ее заголовок и при необходимости использует алгоритм маршрутизации. Уровень обрабатывает приходящие дейтаграммы и проверяет правильность поступившей информации. На стороне получателя программное обеспечение сетевого уровня удаляет заголовок и определяет, какой из транспортных протоколов будет обрабатывать пакет.

В качестве основного протокола сетевого уровня в стеке TCP/IP используется протокол IP, который и создавался с целью передачи информации в распределенных сетях. Достоинством протокола IP является возможность его эффективной работы в сетях со сложной топологией. При этом протокол рационально использует пропускную способность низкоскоростных линий связи. В основе протокола IP заложен дейтаграммный метод, который не гарантирует доставку пакета, но направлен на ее осуществление.

К этому уровню относятся все протоколы, которые создают, поддерживают и обновляют таблицы маршрутизации. Кроме того, на этом уровне функционирует протокол обмена информацией об ошибках между маршрутизаторами в сети и отправителями.

Следующий уровень -- транспортный (уровень II). Основной его задачей является обеспечение взаимодействия между прикладными программами. Транспортный уровень управляет потоком информации с обеспечением надежной передачи. Для этого использован механизм подтверждения правильного приема с дублированием передачи утерянных или пришедших с ошибками пакетов. Транспортный уровень принимает данные от нескольких прикладных программ и посылает их более низкому уровню. При этом он добавляет дополнительную информацию к каждому пакету, в том числе и значение вычисленной контрольной суммы.

На этом уровне функционирует протокол управления передачей данных TCP (Transmission Control Protocol) и протокол передачи прикладных пакетов дейтаграммным методом UDP (User Datagram Protocol). Протокол TCP обеспечивает гарантированную доставку данных за счет образования логических соединений между удаленными прикладными процессами. Работа протокола UDPаналогична работе протокола IP, но основной его задачей является выполнение функций связующего звена между сетевым протоколом и различными приложениями.

Самый верхний уровень (уровень I) -- прикладной. На нем реализованы широко используемые сервисы прикладного уровня. К ним относятся: протокол передачи файлов между удаленными системами, протокол эмуляции удаленного терминала, почтовые протоколы и т.д. Каждая прикладная программа выбирает тип транспортировки -- либо непрерывный поток сообщений, либо последовательность отдельных сообщений. Прикладная программа передает данные транспортному уровню в требуемой форме.

2.2.2.3 Протокол HTTP

HTTP (англ. HyperText Transfer Protocol -- «протокол передачи гипертекста») -- протокол прикладного уровня передачи данных (изначально -- в виде гипертекстовых документов в формате HTML, в настоящий момент используется для передачи произвольных данных). Основой HTTP является технология «клиент-сервер», то есть предполагается существование потребителей (клиентов), которые инициируют соединение и посылают запрос, и поставщиков (серверов), которые ожидают соединения для получения запроса, производят необходимые действия и возвращают обратно сообщение с результатом.

Основным объектом манипуляции в HTTP является ресурс, на который указывает URI (Universal Resource Identifier) в запросе клиента. Обычно такими ресурсами являются хранящиеся на сервере файлы, но ими могут быть логические объекты или что-то абстрактное. Особенностью протокола HTTP является возможность указать в запросе и ответе способ представления одного и того же ресурса по различным параметрам: формату, кодировке, языку и т. д. (В частности для этого используется HTTP-заголовок.) Именно благодаря возможности указания способа кодирования сообщения клиент и сервер могут обмениваться двоичными данными, хотя данный протокол является текстовым.

Программное обеспечение

Всё программное обеспечение для работы с протоколом HTTP разделяется на три большие категории:

· Серверы как основные поставщики услуг хранения и обработки информации (обработка запросов).

· Клиенты -- конечные потребители услуг сервера (отправка запроса).

· Прокси для выполнения транспортных служб.

Один и тот же программный продукт может одновременно выполнять функции клиента, сервера или посредника в зависимости от поставленных задач. В спецификациях протокола HTTP подробно описывается поведение для каждой из этих ролей.

Структура протокола

Структура протокола определяет, что каждое HTTP-сообщение состоит из трёх частей (рис. 1), которые передаются в следующем порядке:

· Стартовая строка (англ. Starting line) -- определяет тип сообщения;

· Заголовки (англ. Headers) -- характеризуют тело сообщения, параметры передачи и прочие сведения;

· Тело сообщения (англ. Message Body) -- непосредственно данные сообщения. Обязательно должно отделяться от заголовков пустой строкой.



Рис. 2.2.2.3.1

Стартовая строка HTTP

Стартовые строки различаются для запроса и ответа. Строка запроса выглядит так:

GET URI -- для версии протокола 0.9.

Метод URI HTTP/Версия -- для остальных версий.

Здесь:

· Метод -- название запроса, одно слово заглавными буквами.

· URI определяет путь к запрашиваемому документу.

· Версия -- пара разделённых точкой цифр. Например: 1.0

Стартовая строка ответа сервера имеет следующий формат: HTTP/Версия КодСостояния Пояснение, где:

· Версия -- пара разделённых точкой цифр как в запросе.

· Код состояния -- три цифры. По коду состояния определяется дальнейшее содержимое сообщения и поведение клиента.

· Пояснение -- текстовое короткое пояснение к коду ответа для пользователя. Никак не влияет на сообщение и является необязательным.

Методы

Метод HTTP (англ. HTTP Method) -- последовательность из любых символов, кроме управляющих и разделителей, указывающая на основную операцию над ресурсом. Обычно метод представляет собой короткое английское слово, записанное заглавными буквами. Обратите внимание, что название метода чувствительно к регистру.

Каждый сервер обязан поддерживать как минимум методы GET и HEAD. Если сервер не распознал указанный клиентом метод, то он должен вернуть статус 501 (Not Implemented). Если серверу метод известен, но он неприменим к конкретному ресурсу, то возвращается сообщение с кодом 405 (Method Not Allowed). В обоих случаях серверу следует включить в сообщение ответа заголовок Allow со списком поддерживаемых методов.

Кроме методов GET и HEAD, часто применяется метод POST.

GET. Используется для запроса содержимого указанного ресурса. С помощью метода GET можно также начать какой-либо процесс. В этом случае в тело ответного сообщения следует включить информацию о ходе выполнения процесса.

Клиент может передавать параметры выполнения запроса в URI целевого ресурса после символа «?»:

GET /path/resource?param1=value1&param2=value2 HTTP/1.1

Согласно стандарту HTTP, запросы типа GET считаются идемпотентными.

Кроме обычного метода GET, различают ещё условный GET и частичный GET. Условные запросы GET содержат заголовки If-Modified-Since, If-Match, If-Range и подобные. Частичные GET содержат в запросе Range. Порядок выполнения подобных запросов определён стандартами отдельно.

POST. Применяется для передачи пользовательских данных заданному ресурсу. Например, в блогах посетители обычно могут вводить свои комментарии к записям в HTML-форму, после чего они передаются серверу методом POST и он помещает их на страницу. При этом передаваемые данные (в примере с блогами -- текст комментария) включаются в тело запроса. Аналогично с помощью метода POST обычно загружаются файлы на сервер.

В отличие от метода GET, метод POST не считается идемпотентным, то есть многократное повторение одних и тех же запросов POST может возвращать разные результаты (например, после каждой отправки комментария будет появляться очередная копия этого комментария).

При результате выполнения 200 (Ok) в тело ответа следует включить сообщение об итоге выполнения запроса. Если был создан ресурс, то серверу следует вернуть ответ 201 (Created) с указанием URI нового ресурса в заголовке Location.

Сообщение ответа сервера на выполнение метода POST не кэшируется.

PUT. Применяется для загрузки содержимого запроса на указанный в запросе URI. Если по заданному URI не существовало ресурса, то сервер создаёт его и возвращает статус 201 (Created). Если же был изменён ресурс, то сервер возвращает 200 (Ok) или 204 (No Content). Сервер не должен игнорировать некорректные заголовки Content-*, передаваемые клиентом вместе с сообщением. Если какой-то из этих заголовков не может быть распознан или не допустим при текущих условиях, то необходимо вернуть код ошибки 501 (Not Implemented).

Фундаментальное различие методов POST и PUT заключается в понимании предназначений URI ресурсов. Метод POST предполагает, что по указанному URI будет производиться обработка передаваемого клиентом содержимого. Используя PUT, клиент предполагает, что загружаемое содержимое соответствует находящемуся по данному URI ресурсу. Сообщения ответов сервера на метод PUT не кэшируются.

2.2.2.4 Служба DNS

DNS (Domain Name System) - это распределенная база данных, поддерживающая иерархическую систему имен для идентификации узлов в сети Internet. Служба DNS предназначена для автоматического поиска IP-адреса по известному символьному имени узла. Спецификация DNS определяется стандартами RFC 1034 и 1035. DNS требует статической конфигурации своих таблиц, отображающих имена компьютеров в IP-адрес. Протокол DNS является служебным протоколом прикладного уровня. Этот протокол несимметричен - в нем определены DNS-серверы и DNS-клиенты. DNS-серверы хранят часть распределенной базы данных о соответствии символьных имен и IP-адресов. Эта база данных распределена по административным доменам сети Internet. Клиенты сервера DNS знают IP-адрес сервера DNS своего административного домена и по протоколу IP передают запрос, в котором сообщают известное символьное имя и просят вернуть соответствующий ему IP-адрес.

Если данные о запрошенном соответствии хранятся в базе данного DNS-сервера, то он сразу посылает ответ клиенту, если же нет - то он посылает запрос DNS-серверу другого домена, который может сам обработать запрос, либо передать его другому DNS-серверу. Все DNS-серверы соединены иерархически, в соответствии с иерархией доменов сети Internet. Клиент опрашивает эти серверы имен, пока не найдет нужные отображения. Этот процесс ускоряется из-за того, что серверы имен постоянно кэшируют информацию, предоставляемую по запросам. Клиентские компьютеры могут использовать в своей работе IP-адреса нескольких DNS-серверов, для повышения надежности своей работы.

База данных DNS имеет структуру дерева, называемого доменным пространством имен, в котором каждый домен (узел дерева) имеет имя и может содержать поддомены. Имя домена идентифицирует его положение в этой базе данных по отношению к родительскому домену, причем точки в имени отделяют части, соответствующие узлам домена.

Корень базы данных DNS управляется центром Internet Network Information Center. Домены верхнего уровня назначаются для каждой страны, а также на организационной основе. Имена этих доменов должны следовать международному стандарту ISO 3166. Для обозначения стран используются трехбуквенные и двухбуквенные аббревиатуры, а для различных типов организаций используются следующие аббревиатуры:

· com - коммерческие организации (например, microsoft.com);

· edu - образовательные (например, mit.edu);

· gov - правительственные организации (например, nsf.gov);

· org - некоммерческие организации (например, fidonet.org);

· net - организации, поддерживающие сети (например, nsf.net).

Каждый домен DNS администрируется отдельной организацией, которая обычно разбивает свой домен на поддомены и передает функции администрирования этих поддоменов другим организациям. Каждый домен имеет уникальное имя, а каждый из поддоменов имеет уникальное имя внутри своего домена. Имя домена может содержать до 63 символов. Каждый хост в сети Internet однозначно определяется своим полным доменным именем (fully qualified domain name, FQDN), которое включает имена всех доменов по направлению от хоста к корню. Пример полного DNS-имени :

citint.dol.ru.

2.2.3 SOAP - протокол

SOAP (от англ. Simple Object Access Protocol) -- простой протокол доступа к объектам; вплоть до спецификации 1.2) -- протокол обмена структурированными сообщениями в распределённой вычислительной среде. Первоначально SOAP предназначался в основном для реализации удалённого вызова процедур (RPC). Сейчас протокол используется для обмена произвольными сообщениями в формате XML, а не только для вызова процедур. Официальная спецификация последней версии 1.2 протокола никак не расшифровывает название SOAP. SOAP является расширением протокола XML-RPC.

SOAP может использоваться с любым протоколом прикладного уровня: SMTP, FTP, HTTP, HTTPS и др. Однако его взаимодействие с каждым из этих протоколов имеет свои особенности, которые должны быть определены отдельно. Чаще всего SOAP используется поверх HTTP.

SOAP является одним из стандартов, на которых базируются технологии веб-служб.

2.2.4 Службы - Windows

Службы ОС Windows (англ. Windows Service, службы) -- приложения, автоматически (если настроено) запускаемые системой при запуске Windows и выполняющиеся вне зависимости от статуса пользователя.

Режимы работы

В большинстве случаев службам запрещено взаимодействие с консолью или рабочим столом пользователей (как локальных, так и удалённых), однако для некоторых служб возможно исключение -- взаимодействие с консолью (сессией с номером 0, в которой зарегистрирован пользователь локально или при запуске службы mstsc с ключом /console).

Существует несколько режимов для служб:

· запрещён к запуску;

· ручной запуск (по запросу);

· автоматический запуск при загрузке компьютера;

· автоматический (отложенный) запуск (введён в Windows 7 и Windows Server 2008);

· обязательная служба/драйвер (автоматический запуск и невозможность (для пользователя) остановить службу).

Фоновый режим

Windows предлагает диспетчер управления службами (Service Control Manager - SCM), с помощью которого можно управлять созданием, удалением, запуском и остановкой служб. Приложение, имеющее статус службы, должно быть написано таким образом, чтобы оно могло принимать сообщения от SCM. Затем имя службы и ее другие атрибуты, например, описание службы, регистрируются в диспетчере управления при помощи одного или нескольких вызовов API.

Запуск, остановка и изменение служб Windows

Службы и их атрибуты могут быть изменены в консоли управления MMC:

Панель управления Windows -> «Administrative Tools» -> «Services».

Управление запуском служб при старте Windows

Список служб находится в ветке Реестра Windows «HKEY_LOCAL_MACHINE \ SYSTEM \ CurrentControlSet \ Services». Значения параметра «Start» имеют тип «REG_DWORD» и могут принимать значения:

· 0 -- Низкоуровневые драйверы, например драйверы дисков, которые загружаются на самом раннем этапе загрузки -- загрузки ядра;

· 1 -- Драйверы, которые загружаются после инициализации ядра ОС;

· 2 -- Службы, которые должны быть загружены диспетчером управления службами (равен параметру -- «Авто»);

· 3 -- Службы, запускаемые диспетчером управления службами только в случае получения явной инструкции на загрузку (равен параметру -- «Вручную»);

· 4 -- Службы, которые не загружаются (равен параметру -- «Отключено»).

Управление работой служб из командной строки

Управление службами возможно с помощью командной строки: остановка службы -- net stop service_name, запуск службы -- net start service_name . Например, запуск службы «Диспетчер очереди печати» -- «net start spooler».

Удаление службы: sc delete "Имя службы" (кавычки необходимы, если имя службы содержит пробелы). С удалением нужно быть предельно осторожным, так как удалённую службу вернуть назад очень и очень трудно.

Установка режима запуска службы: sc config "Имя службы" start= параметр запуска. Параметры запуска: auto (автоматически), demand (вручную), disabled (отключена).

Режим просмотра состояния службы: sc qc "Имя службы".

Права пользователя и особенности реализации

Службы Windows по умолчанию запускаются от имени пользователя «LocalSystem», который обладает полными правами в системе (превосходящими права даже учётной записи «Administrator»). Рабочим каталогом будет каталог Windows (определяется переменной WinDir, которая обычно равна C:\WINNT или «C:\WINDOWS»), а каталог для хранения временных файлов будет «%WinDir%\TEMP».

Поскольку это не настоящий пользователь, а «системный», то появляются некоторые трудности, когда приложению необходимо сохранить данные, относящиеся к пользователю (user-specific data), поскольку домашней директории этого пользователя не существует.

Важно также то, что в случае, если служба работает от имени локального пользователя (реальный пользователь созданный для служебных целей), если пароль такого пользователя изменён, служба не будет запускаться до тех пор, пока пароль для службы тоже не будет изменён.

2.3 Программная реализация

2.3.1 Реализация лингвистической модели в виде базы данных

База данных состоит из следующих таблиц:

1. Справочник терминов (SL_Termin)

2. Cправочник стоп-слов (Standart)

3. Справочник предметов (SubjectList)

4. Справочник студентов (StudentList)

5. Справочник преподавателей (LecturerList)

6. Характеристики студентов (StudentCharacteristics)

7. Суммарная статистика посещаемых студентом сайтов по предметам за определенный период времени (StudentStatistics)

8. Статистика посещаемых студентом сайтов по предметам за каждый день (StudentWebSiteInfo)

9. Статистистика по WEB-ссылкам и принадлежность этих ссылок к предметам (WebReferences)

Так же существует отдельная база данных, состоящая из коллекций текстов по рассматриваемым предметам. Из этих текстов и формируется словарь терминов.

Диаграмма базы данных представлена на рисунке 2.3.1.1

Рисунок 2.3.1.1

Описание таблиц



SL_Termin

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
TERMIN	varchar(200)	Слово
SW_TERMIN	varchar(200)	Свертка слова

Standart

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
TERMIN	varchar(200)	Слово
SGF_WORD	varchar(2)	Тип стоп слова

SubjectList

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
Name	varchar(100)	Наименование

StudentList

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
Guid	varchar(100)	Уникальный код студента
LastName	varchar(100)	Фамилия
Name	varchar(100)	Имя
MiddleName	varchar(100)	Отчество
Email	varchar(100)	Ящик эл. Почты
Password	varchar(50)	Пароль
DateInset	Datetime	Дата регистрации

LecturerList

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
LastName	varchar(100)	Фамилия
Name	varchar(100)	Имя
MiddleName	varchar(100)	Отчество
Email	varchar(100)	Ящик эл. Почты
Password	varchar(50)	Пароль
DateInset	Datetime	Дата регистрации

SubjectList

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
IdStudentList	Bigint	Код студента
IdSubjectList	Bigint	Код предмета
Assessment	Int	Оценка по предмету
TotalInterest	Float	Показатель интереса

StudentStatistic

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
Date	Date	Дата посещения
IdStudentList	Bigint	Код студента
IdSubjectList	Bigint	Код предмета
Count	Bigint	Количество посещений

StudentWebSiteInfo

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
Date	Date	Дата посещения
IdStudentList	Bigint	Код студента
IdWebReference	Bigint	Код ссылки
Count	Bigint	Количество посещений

StudentWebSiteInfo

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
Date	Date	Дата посещения
IdStudentList	Bigint	Код студента
IdWebReference	Bigint	Код ссылки
Count	Bigint	Количество посещений

WebReferences

Наименование поля	Тип поля	Описание
Id	Bigint	Первичный ключ
WebReference	varchar(800)	WEB - ссылка
IdSubjectList	Bigint	Код предмета
IsClasification	Bit	Флаг классификации 1- классифицирован 0 - нет

2.3.2 Построение обучающей модели

Для построения обучающей модели было выбрано три предмета:

· Математический анализ.

· Линейная алгебра и Аналитическая геометрия.

· Дискретная математика.

Процесс обучения был разбит на три этапа. На первом этапе была произведена свертка всех слов, входящих в коллекции текстов по предложенным темам. Каждому слову был присвоен уникальный код в виде числа int (4 байта). Пример справочника слов представлен на рисунке 2.3.2.1



Рисунок 2.3.2.1

Как мы видим из рисунка, справочник состоит из трех полей, первое поле «Код» - содержит уникальный код свертки, второе поле «Термин» сюда заносится первое слово, которое встретилось в тексте, в дальнейшем используется только свертка, данное поле не является опорным и несет информационный характер. Третье поле «свертка термина» здесь хранится свернутый термин по определенному закону, данное поле является ключевым на основе, которого производится отсеивание дубликатов слов.

На втором этапе, на базе каждого файла, участвующего в обучении была построена кодовая карта кодов слов (карта сроится на базе справочника слов и коды слов соответствуют последовательности слов, встречающейся в исходном текстовом файле).

На третьем этапе мы применили для машинного обучения метод опорных векторов. Алгоритм и программный код по методу обучения опорных векторов был разработан профессором Корнельского университета Thorsten Joachims, в соответствии с рекомендациями при организации обучения им был предложен механизм посредствам которого необходимо представить текст в векторном виде, используя алгоритм IF*IDF, описанный в главе 1.3.3. В результате был сформирован файл tfidfTrain.txt. Этот файл необходим для построения модели обучения. В файле содержатся векторы признаков каждого обработанного текста для дисциплины. Для каждого текста формируется своя строка, которая содержит многомерный вектор признаков слов, соответствующих конкретному тексту. Каждая координата такого вектора соответствует статистической дисперсии конкретного слова текста. Формат файла представлен на рисунке 2.3.2.2

Рисунок 2.3.2.2

На рисунке 2.3.2.2 в поле под номером 1 указан код предмета в соответствии с справочником предметов. В нашем случае под номером 1 указан предмет математический анализ, под номером 2 Линейная алгебра и Аналитическая геометрия. В поле под номером 2 указаны коды сверток слов в соответствии со справочником терминов. А в поле под номером 3 указана статистическая дисперсия встречаемости слова в том или ином файле.

Для реализации алгоритма обучения была разработана программа SGF_Word.exe. Программа была разработана на языке C# с использованием NET Framework 3.5. Программа работает по алгоритму, который был изложен выше. В результате работы была получена модель классификации, которая будет использоваться для классификации загруженной текстовой информации со стороны WEB-сервиса на основе принятых WEB - ссылок.

Рисунок 2.3.2.3

На рисунке 2.3.2.3 указана блок-схема построения аппаратно-программного комплекса, как видно из рисунка аппаратно-программный комплекс состоит:

· WEB-сервера, который реализован на базе IIS версии 7.0.

· Сервера баз данных, реализованного на базе MS SQL 2008.

· Клиент по сбору и отправки WEB-ссылок - персональный компьютер пользователя (студента), участвующий в программе профориентации.

Далее рассмотрим основные узлы аппаратно программного комплекса более детально.

Рисунок 2.3.2.4



На рисунке 2.3.2.4 показана архитектура построения клиентской части по сбору WEB-ссылок на персональном компьютере пользователя, как мы видим из схемы программный компонент реализован в виде Windows службы. Служба устанавливает соединение и обмен данными с WEB-сервисом посредством HTTP/HTTPS протоколу используя Интернет сеть.

2.3.3 Реализация клиентской части

Реализация клиентской части показана на рисунке 2.3.2.5. Служба состоит из двух методов, метода сбора WEB-ссылок и метода отправки WEB-ссылок по средствам Интернет сети - серверу по сбору WEB-ссылок. Реализация данного программного компонента обусловлена тем, что программный компонент должен быть постоянно активен, с момента включения компьютера, без вмешательства пользователя для запуска данного процесса. Кроме того он должен иметь административные права доступа в операционной системе. Всеми этими свойствами в операционных системах семейства Windows обладают только Windows-службы, т.к. операционная система позволяет производить их запуск в автоматическом режиме с правами, указанными при установки службы на указанный компьютер.

Алгоритм перехвата ссылок построен на базе сетевого адаптера работающего в RAW-режиме. Данный режим позволяет подписаться на события по приему определенных размеров блоков данных, входящих и исходящих сетевых потоков. В нашем случае нас интересуют только исходящие потоки предаваемые по порту 80. 80 - порт используется для организации связи между WEB - браузером и WEB - сайтом.

Для перехвата WEB-ссылок мы использовали режим прослушивания сетевого адаптера и перехват сетевого протокола TCP, анализ заголовка TCP для выявления исходящих данных по 80 порту и дальнейшим анализом прикладного протокола HTTP, в частности поиск и обработку GET запросов:

GET /images/da3/dai_pax_prime_demo_news_top.jpg HTTP/1.1

Host: www.bioware.ru

Connection: keep-alive

Accept: image/webp,*/*;q=0.8

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36

Referer: http://www.bioware.ru/

Accept-Encoding: gzip, deflate, sdch

Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4

Cookie: __cfduid=de0408680c9ab19805736d054593c22ae1419154922; cf_clearance=9596a3f389de832493650dd75f9919ae85873afd-1419154928-604800; session_id=9376d9298.

Рисунок 2.3.2.5

После нахождения IP-адреса получателя и ссылки WEB-сайта мы должны по IP-адресу получить DNS-имя WEB-сервера. Для этого мы используем DNS-запрос в базе данных DNS. Запрос производится посредствам метода GET DNS, который реализован в сетевой библиотеке на языке C#. Получив ссылку и DNS-имя, мы их склеиваем в соответствии правилами WEB-ссылок и отправляем на сервер сбора WEB-ссылок. Отправка WEB-ссылок производится посредством метода PutReferens(). На этом функции программного компонента, расположенного на клиентском компьютере заканчиваются.

На рисунке 2.3.2.6 представлена форма программного компонента регистрации в системе и инсталляции службы перехвата WEB-ссылок и отправки их на сервер сбора и анализа даны.

Рисунок 2.3.2.6

На рисунке 2.3.2.6 изображена форма регистрации, а так же кнопки установки и удаления службы, данная форма загружается, только при первой инсталляции программного обеспечения на компьютер пользователя. Прежде чем произвести регистрацию пользователя в системе, пользователь должен установить службу перехвата WEB - ссылок, для этого нажать на кнопку: «Установить службу», если установка службы и запуск прошли успешно на экран будет выдано сообщение: «Служба установлена успешно».

После успешной установки, пользователю необходимо произвести регистрацию в системе указав свои данные, далее нажать на кнопку «Регистрация». Если регистрация прошла успешно на экран будет выдано сообщение: «Вы зарегистрированы, ваш пароль для доступа в личный кабинет: «qw3256». Если пользователь не хочет участвовать в программе он может удалить службу сбора WEB - ссылок нажав на кнопку «Удалить службу» в результате служба будет остановлена и удалена из систем. Далее пользователь должен произвести удаление программного обеспечения средствами операционной системы.

2.3.4 Реализация серверной части

Рисунок 2.3.4.1

Архитектура сервера по сбору WEB-ссылок построена в виде WEB-сервиса на базе протокола SOAP, который разработан под MS IIS 7.0. Состоит из трех методов:

1. Метод приема WEB - ссылок.

2. Метод скачивания и индексации WEB-страниц.

3. Метод классификации SVM.

Метод приема WEB-ссылок обеспечивает сбор и хранения WEB-ссылок в базе данных (Termin.db). Все ссылки записываются в таблицу WebReferens. Метод построен таким образом, что бы фильтровать повторные ссылки и исключить их запись в базу данных. Все новые записанные ссылки имеют статус неклассифицированных (поле IsClasification=false). Данный флаг в дальнейшем будет использоваться методом скачивания и методом классификации для рубрикации новых WEB-страниц.

Метод скачивания и индексации производит сканирование таблицы WebReferens и при обнаружении новых WEB-ссылок производит их скачивание и индексацию во временный репозиторий. Под индексацией мы понимаем свертку слов, которая производится по алгоритму сверки, описанном в главе 1.3, а так же присвоение свертке уникального кода, в соответствии со словарем сверток (см. таблицу SL_Termin).

Метод классификации SVM основан на алгоритме векторного анализа. Для работы данного метода необходимо провести машинное обучение на базе подготовленной выборки по всем предметам, которые будут учувствовать в классификации. В процессе обучения мы должны построить модель классификации текстовых данных. Модель должна состоять из множества векторов признаков, которые соответствую указанной выборке, а также функций классификации для каждой темы. Более подробно процесс обучения рассмотрен в главе 2.3.2. Для работы метода используется файл модели классификации (model), полученный на этапе обучения системы.

Далее модель классификации загружается в оперативную память WEB - сервиса. На основе этой модели будет приниматься решение по классификации того или иного сайта к той или иной тематики. Результаты классификации сайта сохраняются в таблице «WebReferens» с указанием кода темы на основании справочника тем (таблица SubjectList). Далее ссылка анализируется на принадлежность к тому или иному студенту, если ссылка относится к одному из указанных предметов, метод производит начисление 0,1 балла по указанному предмету студенту, который посетил данный WEB-сайт.



3. ЭКОНОМИЧЕСКАЯ ЧАСТЬ

3.1 Введение

В данной дипломной работе рассмотрены способы выявления интересов студента путем анализа его действий за ПК. В частности проводится анализ посещаемых им сайтов. Для достижения этой цели написан программный комплекс, позволяющий выявить интересы студента. Данный программный продукт, должен представлять интерес, как с экономической, так и с практической точки зрения.

В данном разделе будет подробно рассмотрена экономическая эффективность разработанного продукта.

3.2 Расчет затрат на разработку продукта

Себестоимость программного продукта вычисляется затратным методом, затраты распределяются следующим образом:

· Материальные затраты

· Затраты на оплату труда

· Затраты на социальные отчисления

· Затраты на амортизационные отчисления

· Накладные расходы

· Прочие расходы

3.2.1 Материальные затраты

Материальные затраты - это, согласно [30], часть издержек производства, затрат на производство продукции, товаров, услуг, в которую включаются затраты на сырье, основные и вспомогательные материалы, топливо, энергию и другие затраты, приравниваемые к материальным. Материальные затраты (расходы) образуют часть себестоимости продукции.

Для создания программного продукта были затрачены средства на технику, лицензию среды разработки, 4G модем, мебель и канцелярские товары. Общие расходы представлены в таблице 3.2.1.1 и таблице 3.2.1.2.

Таблица 3.2.1.1

Материальные затраты при реализации продукта

Товар	Цена ед., (руб.)	Кол-во	Срок службы (лет)	Период испол.	Итоговая стоимость (руб.)
				(мес.)	(%)
Компьютерный стол	9 450 [35]	1	20 [47]	4	1,7	115
Компьютерный стул	6 840 [36]	1	10 [47]	4	3,3	226
Бумага Снегурочка	153[33]	1		4	100	153
Ручка шариковая	2[34]	2		4	100	4
Итого:	498

Капитальные затраты - это, согласно [31], затраты, которые могут быть определены как любые затраты, понесенные при создании, приобретении, расширении или усовершенствовании актива, предназначенного для использования в компании.

Таблица 3.2.1.2

Капитальные затраты при реализации продукта

Товар	Цена ед., (руб.)	Кол-во	Срок службы (лет)	Период испол.	Итоговая стоимость (руб.)
				(мес.)	(%)
Персональный компьютер	26 910 (Табл. 3)	1	5 [48]	4	6,7	1 803
Серверный компьютер	35 500 (Табл. 4)	1	5 [48]	4	6,7	2 379
4G модем Yota	1 990 [53]	1		4	100	1 990
ПО Microsoft Visual Studio	15 693 [32]	1		4	100	15 693
Итого:	21 865

Основными критериями выбора пользовательского компьютера были: количество процессоров, объём жёсткого диска, размер оперативной памяти, тактовая частота процессора. Сравнительный анализ был произведен среди трех различных производителей. В результате выбрана модель с оптимальной стоимостью.

В таблице 3.2.1.3 приведены результаты сравниваемых производителей компьютеров.

Таблица 3.2.1.3

Сводная таблица по моделям персональных компьютеров, представленных в обобщенном каталоге товаров «Яндекс. Маркет» [49]

Модель ПК / Характеристики	DELL OPTIPLEX 3020	Lenovo LN H50-50	HP ProDesk 600 G1 MT
Марка процессора	IntelCorei3	IntelCorei5	IntelCorei5
Частота работы процессора (ГГц)	3	3,2	3,2
Объем оперативной памяти (Гб)	4	4	4
Объем жесткого диска (Гб)	1000	1000	500
Цена (руб)	19 510[49]	26 910 [50]	28 230[51]

В итоге выбран ПК Lenovo LN H50-50 стоимостью 26 910 руб., т.к. оптимально подходит по цене и тех. характеристикам.

Выбор серверного компьютера приведены в таблице 3.2.1.4.

Таблица 3.2.1.4

Сводная таблица по моделям серверных компьютеров, представленных в обобщенном каталоге товаров «Яндекс. Маркет»

Модель ПК / Характеристики	DELL OPTIPLEX 3020	HP ProLian ML310	Xeon 3070
Тип процессора	Intel XeonG2120	Intel Xeon E3-1225 v3	Intel Xeon 3070
Частота работы процессора (ГГц)	3,4	3,1	3,2
Объем оперативной памяти (Гб)	4	4	2
Процессор, кэш:	4	4	4
Цена (руб)	35 500[52]	22 850 [53]	36 240 [54]

В итоге выбран серверный компьютер от производителя DELL стоимостью 35 500 руб.

Требования к операционной системе

· ОС семейства Windows

· Версия: Windows 7, Windows 8

3.2.2 Оплата труда

В выполнении дипломной работы принимали участие 4 человека:

· Инженер;

· Программист;

· Научный руководитель;

· Научный консультант по разделу «Охрана труда и окружающей среда»;

· Научный консультант по разделу «Экономическая часть».

Оплата труда консультантов по экономической части и охране труда, а так же научного руководителя производится из следующего расчета: оклад доцента составляет 44026 рублей [37] при месячной нагрузке в 129 часов. Таким образом, стоимость одного академического часа составляет 341 рублей. Средняя заработная плата инженера, на основании статистики от компании Yandex ([39]), составляет 48000 тысяч рублей в месяц (статистика построена на основании 10005 вакансий) при месячной нагрузке в 168 часов (среднее число рабочих дней 21, длительн...