Подходы к машинному обучению в когнитивном радио

Размещено на http://www.allbest.ru/

Целевая поисковая лаборатория прорывных технологий радиосвязи фонда перспективных исследований

ПОДХОДЫ К МАШИННОМУ ОБУЧЕНИЮ В КОГНИТИВНОМ РАДИО

Е.А. Балашова, С.В. Карамов

Воронеж, Россия

Аннотация

Радиостанции, способные воспринимать частично занятое пространство сигналов, определять альтернативы сосуществования сигналов в нем, мультиплексироваться с использованием частотного, кодового или временного разделения, использовать методы многопользовательского обнаружения с целью максимального использования этого пространства называются когнитивными. Для определения незанятого пространства сигналов целесообразно использование машинного обучения. В работе рассмотрены основные принципы обучения когнитивного радио, показано, что перспективным является обучение с помощью искусственных нейронных сетей, представлены примеры обучения.

Ключевые слова: когнитивное радио, нейронные сети, машинное обучение.

Radio stations capable of perceiving partially occupied signal space, defining alternatives for coexisting signals in it, multiplexed using frequency, code or time division, use multi-user detection methods to maximize the use of this space are called cognitive. To determine the unoccupied space of signals, the use of machine learning is required. The paper discusses the basic principles of learning cognitive radio, it is shown that promising is learning using artificial neural networks, presents examples of learning.

Keywords: cognitive radio, neural networks, machine learning.

Содержание

• Введение
• 1. Принципы обучения когнитивного радио
• 2. Применение нейронных сетей в обучении когнитивного радио
• Заключение
• Литература

Введение

С появлением технологии программно-определяемых радиостанций стало возможным изменение в реальном времени типа модуляции, частоты и времени передачи, гарантируя отсутствие помех для существующих сигналов. Это позволяет реализовать все больше услуг связи, использующих выделенный частотный спектральный диапазон без вмешательства одних служб в другие.

Когнитивные радиостанции [4, 7, 8] используют программно-определяемые радиоплатформы и анализируют радиоэфир ("радиосцену"), обнаруживая "дыры" в спектре (белое пространство), в котором сигналы могут передаваться без помех для других. Кроме белого (полностью не занятого) пространства в спектре существуют черные и серые пространства [1]. Черное - это пространство, которое вообще нельзя использовать, так как места для другого сигнала нет, и передача сигнала приведет к подавлению всех сигналов в этом пространстве. Серым называют частично занятое пространство сигналов, в котором возможна передача большего количества сигналов. Концепция серого пространства подразумевает, что данное пространство сигналов - это не просто спектр, а некое многомерное пространство, включающее время, частоту, код и местоположение.

Целью когнитивной радиосвязи является определение пространства сигналов и эффективное использование ресурсов для обеспечения надежной, незапланированной и бесструктурной связи. На основе анализа пространства сигналов осуществляется предсказание будущего поведения сигналов в нем и разделение окружающей среды на будущее белое и серое пространство. Затем выполнятся передача сигналов в незанятой части спектра. Причем передача сигнала не ограничивается белым или серым пространством в спектре, возможно использование частично занятого пространства. Кроме эффективного использования пространства сигналов когнитивная радиостанция может быть использована для подавления помех [1]. В этом случае пространство сигналов анализируется таким образом, что с учетом характера и прогнозируемой природы обнаруживаемых сигналов можно создавать сигналы помех, которые потребляют минимальное количество энергии и ресурсов.

1. Принципы обучения когнитивного радио

Работа системы может быть проиллюстрирована рисунком 1. Входной сигнал поступает на модуль подавления помех и выделения сигнала. У отфильтрованного сигнала оцениваются значения характеристик в модуле извлечения признаков и поступают в подсистему классификации сигналов, позволяющую определить где имеет место серое пространство. Установленный тип сигнала используется для расчета и применения ограничительных политик функционирования когнитивной радиостанции и параметров передачи. Для надежной классификации сигналов и прогнозирования серого пространства (анализа ширины полосы, времени и т.п.) требуется машинное обучение.

Рис. 1. Принцип работы когнитивного радио

Цикл работы когнитивного радио, состоит из следующих этапов [4, 7, 8].

1) Наблюдение. Осуществляются измерение и накапливание входных информационных потоков из пользовательского домена, домена радиосвязи, домена политики и самого радио. Информация о области применения и сетевых потребностях является пользовательской. Данные об окружающей среде и радиочастотах (например, источники распространения или помех), которые могут повлиять на производительность системы, относятся к информации домена радиосвязи. Информация о политике используется для принятия решения.

2) Ориентация. Оценивается значимость наблюдения на основе сравнения имеющихся данных (опыта работы) с вновь полученными. Если существует точное соответствие между текущей информацией и предшествующим опытом система повторяет однажды сделанный ею вывод и применяет предшествующий опыт к текущей ситуации, иначе требуется фаза планирования задачи.

3) Планирование. Если анализ входной информации не может оперативно выдать выработанное на основе предыдущего опыта решение, требуется генерация плана обработки, включающего в себя временной аспект. Инструменты планирования позволяют предложить альтернативы поведения когнитивного радио на основании полученной входной информации, правил и ранее изученных пользовательских предпочтений.

4) Решение. Выбирает решения из альтернатив, полученных на этапе планирования с целью повышения эффективности работы;

5) Действие. Включает как действия по отношению к внешней среде, так и изменения внутреннего состояния. Внешне ориентированные действия - настройка параметров и передача сигнала в соответствии с принятым решением и политикой передачи. Внутренне ориентированные действия включают в себя добавление новых и изменение существующих моделей поведения, политик передачи и т.п. Изменения внутреннего состояния тесно связано с обучением.

6) Обучение. Выполнятся анализ влияния принимаемых решений на степень достижения поставленных целей, на основании которого производится перенастройка алгоритма принятия решений. Обучение также происходит путем добавления к существующим моделям новых, связанных с конкретными случаями.

Алгоритм обучения предназначен для наблюдения за изменением состояния радиосистемы в результате предпринятых действий, сравнения наблюдаемого состояния с ожидаемым состоянием и изменения базы знаний с целью отражения успеха (или неудачи) выбранного действия. Изменение базы знаний может принимать различные формы, от изменения существующих знаний до создания новых знаний, которые будут применяться в последующих действиях.

Представление знаний в базе зависит как от их типа, так и от выбранного механизма рассуждения, определяющего процесс обучения системы. Чаще всего знания выражаются либо в декларативной, либо в поведенческой форме [4]. Декларативная форма утверждает описательные фактические знания об объекте, например, описание свойств радио и связей между ними. Знания о поведении связаны с влиянием действий радиостанции на систему знаний. Действия могут быть инициированы внутренними процессами в системе, или внешними событиями, изменяющими среду. При этом фиксируется начальное состояние до выполнения действия, конечное состояние по завершении действия и время действия.

Декларативная форма использует символическое представление на языках программирования высокого уровня (C++, Java и т.п.). Описательная информация образует символ или единицу знаний (свойства объекта или связь между объектами).

В поведенческой форме представления знания организованы в онтологию для поддержки рассуждений и обучения [5, 16, 17], образуя иерархию классов. При возникновении новых ситуаций ищется подходящая для них классификация среди существующих онтологий знаний. Обучение в системе (расширение набора знаний), осуществляется путем классификации новых знаний и включения их в существующие онтологии на основе сходства. Алгоритм обучения должен отслеживать результаты действий системы и усиливать решения, ведущие к достижению цели. Поведенческие системы для образования онтологий могут использовать как знания о текущей ситуации (обстоятельствах) (рисунок 2), так и знания в виде набора правил (рисунок 3).

Системы, принимающие решение на основе обстоятельств (рисунок 2), основаны на следующем принципе. Когда существует высокая степень сходства между текущей ситуацией и предшествующим опытом в памяти, ранее предпринятые действия обычно могут быть применены к текущей ситуации. Если сходство с предшествующим опытом частичное, может быть применимо только некоторое модифицированное подмножество предыдущих действий.

Рис. 2. Принцип работы систем на основе анализа текущей ситуации

Процесс сравнения текущих ситуаций с предыдущим опытом для принятия решения [10] состоит из следующих этапов

1. Классификация текущего состояния

2. Сравнение текущего состояния с предыдущим опытом (набором аналогичных сохраненных состояний).

3. Применение к текущей ситуации ранее предпринятых для наиболее похожих случаев действий. Выработка новых решений при отсутствии аналогов [9].

4. Сохранение текущей ситуации и осуществленных действий в базе знаний. когнитивный радиостанция сигнал мультиплексирование

Система, основанная на правилах (рисунок 3), имеет базу знаний, представленную в виде набора "правил" вида "если имеет место факт - то ". Текущее состояние системы представлено в виде набора фактов. Анализ заключается в сопоставлении этого набора с шаблонами правил. В случае совпадения правило помещается в набор правил, из которого специальный алгоритм выбирает одно. Затем выбранное правило активирует некоторое действие и данные в памяти обновляются. Однако в системе отсутствует механизм самоанализа знаний, позволяющий корректировать, добавлять и удалять правила в зависимости от эффективности принятого решения в конкретной ситуации.

Рис. 3. Принцип работы системы, основанной на правилах.

Отметим, что ни одна система представления и анализа знаний не способна воплотить все типы знаний и выразительность рассуждений, требуемые для всех возможных ситуаций, в которых должна работать радиосистема. Хотя алгоритм принятия решения предусматривает анализ ситуаций, не имеющих аналогов, возникновение совершенно новой ситуации, требующей дополнительного обучения, резко снижает эффективность принятия решения. Увеличение количества знаний в системе улучшает эффективность принятия решения, но требует увеличения памяти и вычислительных ресурсов.

Одним из важных аспектов обучения является контроль. В системе контролируемого обучения система обучается принимать решение связывая набор входных данных с известным результатом. Когда радиосистема может расширять свои знания с помощью алгоритма обучения и добавлять новые знания к существующей базе - имеет место неконтролируемое обучение. В этом случае процесс обучения может привести к неправильным решениям, прежде чем будет найдено приемлемое. Обучение на основе подкрепления увеличивает вес награды за действие, совпадающее (или близкое) к желаемому результату, тем самым усиливая выбор этого конкретного действия, если система окажется в том же состоянии в будущем. Механизм обучения может быть реализован в различных вариантах:

Запоминание. Фиксируется последовательность шагов принятия решений для определенного набора входных данных. В случае повторения набора исходной информации применяются сохраненные ответы. Эффективно, если диапазон ситуаций, с которыми сталкивается радиосистема, ограничен и четко определен.

Классификация. Определяют сходства или закономерности в структуре и содержании данных. Обеспечивают обучение, расширяя онтологию новыми концепциями, основанными на их сходстве с уже существующими в системе.

Вероятностный подход. Оцениваются вероятность исхода для заданного набора входной информации. Обучение осуществляется с помощью сравнения фактического результата с прогнозируемым и соответствующей корректировке весов. Необходимость проверки прогноза для корректировки вероятностей ограничивает применимость подхода.

Дерево решений. Представляет собой ориентированный граф в пространстве решений, каждый узел которого, содержит решение или действие. Система генерирует набор возможных альтернативных действий для данного состояния, вычисляет общий их вес и вероятность, обучаясь по-разному реагировать на различные состояния динамически корректируя веса, сравнивая наблюдаемое и ожидаемое состояния.

Теория игр. В обучении используется механизм подкрепления. Действие может быть выбрано на основе вероятности, случайной генерации или другого метода. Успех стратегии сохраняется для дальнейшего использования.

Нейронные сети и генетические алгоритмы. Генетические алгоритмы изменяют входной вектор (выполняют генетическую мутацию) в зависимости от эффективности выполненного действия, генерируя новые знания и оценивая их эффективность. Каждый узел нейронной сети принимает вектор входных данных и передает его на следующий уровень сети вплоть до выхода с учетом весов связей между нейронами. В зависимости от вида задачи, решаемой нейронной сетью возможны все три подхода к обучению: контролируемое, неконтролируемое и обучение с подкреплением.

2. Применение нейронных сетей в обучении когнитивного радио

Нейронные сети по своей сути - нелинейная функция отображения пространства входов в пространство выходов. Использование всех перечисленных подходов к обучению и широкий круг решаемых задач (диагностика состояния, классификация объектов, интерполяция, аппроксимация, фильтрация входных данных и т.п.) делают их удобным инструментом, обеспечивающим обработку сигнала на нескольких уровнях функционирования когнитивной радиостанции. В литературе освещены примеры применения аппарата нейронных сетей в различных подсистемах когнитивного радио.

Для контролируемого обучения когнитивного радио часто используются многослойные сети с прямой передачей сигнала и обратным распространением ошибки. Наиболее часто решаемая задача - классификация. На основе классификации может быть создана система онтологий. Например, система связи на основе шаблонов [14] классифицирующая сигналы в онтологии, на основе которых могут быть выбраны схема модуляции и кодирования, в соответствии с отношением сигнал/шум и спектральной эффективностью канала.

Как было показано на рисунке 1 этапу классификации типа сигнала предшествует извлечение значений признаков. Алгоритм извлечения может быть достаточно сложным, например, циклический спектральный анализ [3] (преобразование второго порядка сигнальной функции и связанных с ней спектральных частот). Полученные признаки являются входными данными многослойной нейронной сети прямого распространения сигнала для классификации схем модуляции (амплитудная модуляция, средняя манипуляция, квадратурная амплитудная модуляция, импульсная амплитудная модуляция и двоичная фазовая манипуляция).

Кроме классификации, многослойные нейронные сети могут быть использованы для прогнозирования. На основании значений частоты ошибок, величины отношения сигнал/шум, контрольной суммы ошибок и т.п. исходных данных с помощью нейронной сети может быть осуществлен прогноз пропускной способности, задержки и других характеристик. В [12] чтобы предсказать ожидаемые скорости передачи данных, экспериментировали с различными конфигурациями нейронных сетей, слоями и размером входной выборки. В качестве входных данных использовались наблюдаемые максимальные скорости, уровень сигнала и качество линии. Прогнозировалась будущая средняя максимальная скорость передачи данных. Кроме того, на основании имеющихся максимальных скоростей передачи данных и значений мощности принимаемого сигнала прогнозировалась пропускная способность канала в постоянно меняющейся среде.

На основе частоты ошибок, величины отношения сигнал/шум с помощью нейронной сети обратного распространения ошибки в [2] выполнили прогноз пропускной способности, задержи и надежности связи когнитивного радио.

Нейронные сети на основе алгоритма обратного распространения ошибки использовались для решения задачи сохранения энергии вторичного пользователя когнитивного радио за счет оптимизации сканирования состояния занятых слотов канала [13, 15]. В качестве входных данных использовались состояния каналов [13], закодированные как 1 для свободных и ?1 для занятых каналов. Выходом нейронной сети являлись номера слотов, которые будут незаняты. Прогноз позволил увеличить энергоэффективность вторичного пользователя на 50%, а спектральную эффективность на 60%. Предложенная [15] схема зондирования канала наряду с энергетическими и циклостационарными функциями для обучения нейронной сети зондирования спектра использует энергию и статистику Чжана предыдущего события зондирования. Полученные результаты превосходят схему классического обнаружения энергии.

Неконтролируемое обучение когнитивного радио чаще используется для классификации текущего состояния и прогнозирования поведения на этой основе. Примером использования самоорганизующихся нейронных сетей для прогнозирования частоты ошибки по битам на основе скорости передачи данных, мощности принимаемого сигнала, скорости передачи битов является работа [11].

Обучение с подкреплением получило развитие в глубоком машинном обучении, что позволяет успешно решать задачи классификации с большим количеством классов на основании выборок исходных данных, содержащих миллионы примеров. Задача классификации сигналов, принимаемых когнитивным радио была решена в [9]. Набор из 11 классов сигналов в слабых средах с относительно низкой плотностью информации и 24 классов сигналов с модуляциями высокого порядка в условиях канала с очень высоким отношением сигнал/шум и низким замиранием был успешно классифицирован с использованием глубоких сверточных сетей.

Заключение

Основной задачей когнитивной радиосвязи является определение пространства сигналов и передача сигналов в незанятой или частично занятой части спектра, либо генерирование/подавление помех. Для поддержания цикла функционирования когнитивного радио (Наблюдение - Ориентация - Планирование - Решение - Действие - Обучение) важен способ представления данных (декларативный или поведенческий) и механизм рассуждения, определяющий процесс обучения системы. Поскольку одной из основных отличительных особенностей когнитивного радио является принятие решений на основе собственного опыта, поведенческий способ представления знаний, расширяющий систему знаний за счет информации о последствиях собственных действий, является предпочтительным. Накопление знаний в системе возможно с помощью контролируемого, неконтролируемого обучения, и обучения с подкреплением. Все перечисленные способы обучения можно реализовать с помощью аппарата искусственных нейронных сетей, позволяющих решать задачи на каждом из этапов когнитивного цикла.

В настоящее время в Целевой поисковой лаборатории прорывных технологий радиосвязи Фонда перспективных исследований реализуется данный подход для формирования облика и построения перспективных систем радиосвязи основанных, в том числе, на принципах когнитивного радио.

Литература