Размещено на http://www.allbest.ru/

МФ МГТУ им. Н.Э. Баумана

Модель взаимодействия с многоресурсными приложениями на основе видеопотока

УДК 004.042

Захаров С.Е., Оленюк А.А.

Email: sergeizaharov95@mail.ru, andrei.deer2@mail.ru

Аннотации

В настоящей работе была разработана и реализована модель взаимодействия с многоресурсными приложениями на основе видеопотока. Цель создания модели - перенос всех операций, которые выполняет программа, на сервер. Пользователь взаимодействует с клиентской частью модели, которая обрабатывает и пересылает на сервер поток команд, в зависимости от которых модули сервера проводят операции с находящимися у них данными. Затем создаётся видеопоток, содержащий результат выполнения операций, кодируется и высылается на сторону клиента. Впоследствии видеопоток декодируется на устройстве пользователя и демонстрируется в клиентском приложении. С помощью полученной системы можно проводить учебные и научные исследования

Ключевые слова: видеопоток, многоресурный, модель взаимодействия, приложение.

The model of interaction with multisource applications based on the video stream

Zaharov S.E., Olenjuk A.A.

In this paper, we developed and implemented a model of interaction with multi-resource applications based on the video stream. The purpose of creating the model is to transfer all the operations that the program performs to the server. The user interacts with the client part of the model, which processes and sends to the server a stream of commands, depending on which the server modules perform operations with their data. Then, a video stream is created that contains the result of the operations, is encoded and sent to the client's side. Subsequently, the video stream is decoded on the user device and displayed in the client application. With the help of the received system it is possible to conduct educational and scientific research.

Keywords: Video stream, multi-level, interaction model, application.

Введение

Задача создания математических моделей с большим количеством условий и параметров очень актуальна в наше время. Сущностью математического моделирования является замена изучаемого объекта исследования его образом - моделью - и изучении полученной модели с помощью математических алгоритмов, которые реализуют на персональных компьютерах. Такой способ изучения сочетает в себе как теоретические исследования, так и экспериментальные. Используя такой подход, стало возможным изучить не сам предмет исследования, а его модель, что позволяет исследовать всевозможные свойства и поведение объекта в разных ситуациях и без каких-либо рисков. Для исследования таких моделей требуется разработка многоресурсных приложений.

Многоресурсными приложениями называются приложения, для корректной работы которых недостаточно технических характеристик среднестатистической электронновычислительной машины. Это могут быть приложения моделирующие физические, химические и биологические процессы, сложные архитектурные объекты, транспортные системы. Такие приложения требуют большого количества ресурсов и требуют много времени на выполнение. Также для успешного получения данных требуется стабильное соединение с сервером, поддержка стандартных кодеков и наличие программы на устройстве клиента, которая способна воспроизвести полученный видеопоток.

Постановка задачи. Целью работы является создание модели взаимодействия с многоресурсными приложениями при помощи видеопотока. Созданная модель должна позволять на её основе создавать ресурсоёмкие приложения, которые могут быть расширены и обновлены, а также выполняться вне зависимости от вычислительных мощностей пользовательского устройства. Также составить методику использования полученной модели разработчиками и пользователями.

1. Описание разработанной модели взаимодействия с многоресурсными приложениями на основе видеопотока

В разработанной модели все операции были перенесены на удаленный сервер. Это связано с тем, чтобы пользователь не задумывался о вычислительных возможностях своего устройства, а только вводил через него команды. Сервер должен принимать эти команды, в соответствии с которыми модули сервера будут выполнять операции с использованием хранящихся на них данных. В дальнейшем создаётся видеопоток, который кодируется и пересылается на вычислительное устройство пользователя. Кодирование видеопотока производится с целью не нагружать сеть между клиентским приложением и сервером. В итоге, переданный видеопоток раскодируется устройством и отображается в клиентском приложении. Общая схема модели взаимодействия с приложениями на основе видеопотока представлена ниже (Рис.1).

Рисунок 1 Общая схема модели взаимодействия с приложениями на основе видеопотока.

Полученная модель разделена на две части: клиентскую (включает в себя клиентское устройство, на котором запущенно клиентское приложение) и серверную. Обе части соединены сетью интернет.

Клиентское приложение должно выполнять следующие задачи:

• Обработать команды, введенные пользователем, и пересылка их на сервер

• Получение закодированного видеопотока со стороны сервера

• Раскодирование видеопотока устройством пользователя

• Отображение видеопотока в клиентском приложении

Клиентское приложение обрабатывает команды управления, которые были введены пользователем, и на основе этих команд создаёт сообщения и пересылает их на сервер. Декодирование полученного от сервера видеопотока и его отображение в клиентском приложении являются самой важной задачей клиентского приложения. Кодирование позволяет уменьшить нагрузку сети, соединяющей клиентское приложение и сервер. При создании модели были изучены аппаратный кодек FGPA и кодеки, использующие многопроцессорные вычисления. Данные кодеки позволяют кодировать видео файлы с максимальным разрешением в 1920х1080 пикселей и частотой обновления 30 кадров в секунду. [1]

Исходя из требований к модели, в клиентском приложении должно быть использовано малое количество ресурсов, и оно должно запускаться на устройствах, имеющих различные технические характеристики. Это является важным условием при реализации клиентской части.

Серверная часть модели состоит из различных модулей, которые отвечают за определенные задачи.

Серверная часть модели включает в себя приложение, установленное на сервере, и отвечает за создание и кодирование видеопотока.

Серверное приложение включает в себя несколько модулей:

• Управляющий модуль контролирует передачу закодированного видео пользовательскому устройству, обработку сообщений, содержащих команды пользователя, и взаимодействие между всеми модулями системы.

• Кодирующий модуль создает и кодирует видео, которое будет отправлено клиентскому устройству.

• Вычислительный и графический модуль содержат в себе разработанное приложение, решающее поставленную задачу, и отвечает за его корректную работу.

Модульная схема модели взаимодействия с многоресурсными приложениями на основе видеопотока представлена ниже (Рис.2).

Рисунок 2 Модульная схема модели взаимодействия с многоресурсными приложениями на основе видеопотока.

Взаимодействие происходит только между модулями созданной системы, поэтому данные, использующиеся для правильной работоспособности приложения, не выходят за ей пределы. Каждый из модулей выполняет конкретную подзадачу. Это дает возможность ускорять вычисления приложения, так как, к примеру, кодирование созданного видеопотока происходит параллельно с обработкой новой части данных и отправкой на сторону клиента уже обработанного видеоряда.

Графический модуль позволяет балансировать нагрузку на систему. От количества необходимых вычислений, данный модуль может переключаться на неграфические вычисления. Графический модуль может выполнять математические вычисления, а также кодировать видео, в зависимости от нагрузки системы. Это осуществляется при помощи технологии Nvidia CUDA. С помощью данной технологии возможно производить неграфические вычисления на графическом процессоре видеокарты.

Разработанная модель взаимодействия с многоресурсными приложениями на основе видеопотока отличается от аналогов своей простотой, лёгкостью настройки и низкими материальными затратами на оборудование. С её помощью можно проводить измерения для каких-либо научных исследований. Данная реализация позволяет получить различные расчеты сложных задач и отобразить результат на маломощных устройствах, таких как мобильный телефон, лэптоп и других портативных устройств, способных поддерживать стабильное интернет соединение и воспроизведение видефайлов. Также студенты вузов на основе этой модели могут решать ресурсоёмкие учебные задачи.

2. Реализация модели взаимодействия с многоресурсными приложениями на основе видеопотока

Во время реализации модели было сделано некоторое количество упрощений. Серверная часть модели является компьютером, подключенным к сети интернет. Она включает в себя вычислительный, графический и управляющий модули.

Клиентская часть модели является программой для веб-браузера. Такой подход позволяет подключаться к серверу с пользовательских устройств, имеющих подключение к сети интернет. Также необходимо, чтобы пользовательское устройство поддерживало технологию HTML5.

При реализации модели взаимодействия с были использованы средства языка программирования Python [2], технологии Twisted [3][4], технологии HTML5 [5][6] и языка программирования JavaScript [7].

Python имеет минималистичный синтаксис, который удобен для чтения и быстрой оптимизации кода. Python имеет автоматизированное управление памятью, динамическую типизацию и удобный инструмент обработки исключений. Также у Python есть большое число библиотек, которые расширяют возможности синтаксиса. В библиотеке Python присутствуют различные инструменты для работы с протоколами и классическими форматами (MIME и HTTP). Python портирован на большую часть платформ и имеет поддержку соответствующих технологий, поэтому был выбран именно этот язык программирования для реализации поставленной задачи. [2]

Twisted это событийно-ориентированный сетевой инструмент, написанный на Python. Twisted работает с UDP, TCP, SSL, SSH и многими другими протоколами. Twisted имеет характерные особенности, которые играют важную роль для реализации модели взаимодействия:

• Открытый код Twisted позволяет использовать широкие возможности по расширению его персональными функциями.

• Так как Twisted написан на Python, а это язык высокого уровня. Это является некой страховкой для приложений от различных ошибок.

• Twisted задействует инструменты обработки ошибок, которые присутствуют в Python. [3]

HTML5 - это язык разметки, который позволяет разрабатывать сайты и веб-приложения в сети Интернет. Он является пятой версией языка HTML. HTML5 разработан с целью улучшить уровень современных технологий отображения информации в сети Интернет, обеспечить удобную читаемость кода для разработчиков и позволить упростить анализ с помощью парсеров. В данном языке программирования существуют некоторые синтаксические особенности. К примеру, в HTML5 были введены элементы <video>, и <audio>, которые позволяют размещать видео и аудиофайлы на страницах веб-приложений, а элемент <canvas> позволяет создавать двумерные растровые изображения. Такие нововведения позволяют упростить использование различных мультимедийных объектов в сети Интернет без обращения к посторонним библиотекам и плагинам. [5]

JavaScript -- это язык, который позволяет использовать различные стили программирования, например, функциональный или объектно-ориентированный. Такая особенность является причиной большой популярности данного языка среди разработчиков программного обеспечения. видеопоток многоресурсный приложение

JavaScript может быть использован как самодостаточный язык, позволяющий разрабатывать самостоятельные программы для реализации различных задач, но в основном его используют как вспомогательный, для обращения к объектам приложений. Главной задачей данного языка является придание интерактивности веб-ресурсам, Средства языка JavaScript позволяют наполнить веб-приложения функционалом, который делает эти приложения «живыми» и привлекательными для пользователей.

JavaScript используют в разработке веб-ресурсов. Эти ресурсы являются программами, в которых клиентом являются программы-интерфейсы, размещенные на страницах веб-браузера. Также в работе таких программ используются серверы, которые содержат основной функционал этих веб-ресурсов. Распределение данных, необходимых для корректной работы таких приложений происходит при помощи сети Интернет. Такой подход к программированию является большим преимуществом, потому что корректная работа клиентской части не зависит он технических характеристик электронно-вычислительных машин пользователя и особенностей каких-либо операционных систем. Это обеспечивает кроссплатформенность создаваемого программного обеспечения.

В языке JavaScript существует множество библиотек для реализации различных технических задач. Библиотеки содержат различный функционал, помогающий программистам создавать множество сложных программ и готовых решений. [7]

3. Методика использования модели взаимодействия с многоресурсными приложениями на основе видеопотока

Для разработчиков приложений и пользователей, которые собираются использовать модель, была составлена методика использования созданной модели. Она содержит несколько пунктов:

1) Необходимо определить задачу, которую будет решать разрабатываемое многоресурсное приложение.

2) Задача, которую будет решать разрабатываемое приожение, должна содержать несколько характеристик:

• Для решения задачи необходимо разработать многоресурсное приложение.

• Должна быть возможность разбить исследуемую задачу на элементы, которые будут распределены между узлами ситемы.

• Задача должна решаться в реальном времени.

3) Приложение может разрабатываться на любом языке программирования, в котором имеется библиотека для работы с графическими элементами. Функционал библиотеки должен поддерживать работу с пикселями. Результатом работы приложения должен являться видео файл, который будет обработан выбранным разработчиком кодеком и пересылаться на клиентское устройство в потоковом режиме. Команды, которые вводит пользователь не влияют на выбор языка программирования, из-за использования для их передачи формата JSON, так как он прост по своей структуре.

Для работы с клиентским приложением веб-браузер пользовательского устройства должен поддерживать работу с языком разметки HTML5 и языком программирования JavaScript. Впоследствии пользователь переходит по адресу веб-приложения, которое является интерфейсом взаимодействия пользователя и серверной части многоресурсного приложения.

Выводы

1. Была разработана модель взаимодействия с многоресурсными приложениями на основе видеопотока. На основе полученной модели возможно создавать приложения, для выполнения которых вычислительных мощностей имеющихся устройств недостаточно.

2. Предложена методика использования полученной модели разработчиками программ и пользователями.

3. Созданная модель может быть использована для выполнения различных ресурсоёмких математических и физических моделей. Её могут использовать студенты очного, заочного и дистанционного обучения для выполнения учебных и исследовательских задач.

Список литературы

1. Кодеки: вопросы и ответы. Интернет-ресурс: https://support.microsoft.com/ruru/help/15070/windows-media-player-codecs-frequently-asked-questions. Дата доступа 20.03.2018 г.

2. Документация Python. Интернет-ресурс: https://www.python.org/doc/. Дата доступа 21.03.2018 г.

3. Документация Twisted, Интернет-ресурс: https://twistedmatrix.com/trac/. Дата доступа 24.03.2018 г.

4. Twisted продвинутого уровня. Интернет-ресурс: https://twistedmatrix.com/pipermail/twisted-web/2008-April/003754.html. Дата доступа 20.03.2018 г.

5. Пилгрим М, Погружение в HTML5: перев. с англ. - СПб.: БХВ-Петербург, 2011-304с.:ил.

6. HTML5 Video. Интернет-ресурс: https://html5book.ru/html5-video/. Дата доступа 25.03.2018 г.

7. Документация JavaScript. Интеренет-ресурс: https://developer.mozilla.org/ru/docs/Learn/Getting_started_with_the_web/JavaScript_basics. Дата доступа 28.03.2018 г.

Размещено на Allbest.ru