Исследование параметров электроэнцефалографии при когнитивных нагрузках

Размещено на http://www.allbest.ru/

Содержание

электроэнцефалографический когнитивный выборка нагрузка

Введение

1. Теоретические основы электроэнцефалографического сигнала

1.1 Общие сведения об электроэнцефалографии

1.2 Основные параметры электроэнцефалографического сигнала

1.3 Оценка длительности событий как мера когнитивной нагрузки

2.1 Испытуемые, характер предъявляемых задач и ход эксперимента

2.2 Формирование обучающей и контрольной выборок данных для целей классификации

3.1 Результаты классификации когнитивных состояний по ЭЭГ с помощью ИНС

3.2 Частотно-временной анализ полученных ЭЭГ данных

3.3 Обсуждение результатов

Заключение

Список использованной литературы

Введение

Актуальность исследования. Интерес к исследованиям электрической активности мозга проявлялся еще в XIX веке. В 1849 году Д. Реймон впервые показал, что мозг, так же как нерв и мышца, обладает электрогенными свойствами. Через 30 лет в конце XIX века известный российский ученый И.М.Сеченов опубликовал свои знаменитые работы «Гальванические явления на продолговатом мозгу лягушки» и «Рефлексы головного мозга». Он впервые установил факт наличия ритмической электрической активности мозга. В начале ХХ века В.В. Правдич-Неминским с помощью струнного гальванометра была впервые проведена регистрация электрической активности мозга собаки. Регистрация биотоков мозга человека не заставила себя долго ждать. В 1929 году австрийский психиатр Ганс Бергер впервые осуществил запись электрических потенциалов с поверхности скальпа человека и предложил в дальнейшем называть такую запись «электроэнцефалограмма» (Berger, 1929). Метод получил широкое признание и по сей день является одним из основных методов регистрации мозговой активности.

С тех пор, как была получена первая ЭЭГ человека, ученые пытаются ее расшифровать. Спустя некоторое время после опытов Ганса Бергера английские ученые Эдриан и Мэттьюс описали так называемый «ритм Бергера» (Adrian, Mattews, 1934), ныне известный как альфа-ритм. Из этой, и впоследствии многих других работ (например, Lehman, 1980; Gath et al., 1983, Шишкин, 1997), стало ясно, что ритмы ЭЭГ обладают веретенообразным характером и весьма подвижной динамикой. В течение ХХ века для анализа ЭЭГ было разработано немалое количество различных математических методов, однако до сих пор функциональное значение многих ритмов, проявляющихся во время когнитивной деятельности, остается невыясненным.

Цель курсовой работы - исследовать параметры ЭЭГ при когнитивных нагрузках.

В ходе исследования предстояло выполнить следующие задачи:

1. Разработать экспериментальную модель и провести серию экспериментов для выявления характерных признаков ЭЭГ, возникающих при выполнении пространственно-образных и вербально-логических заданий.

2. На основе экспериментальных данных определить возможность распознавания принципиальных типов мышления по коротким отрезкам ЭЭГ с помощью искусственной нейросети.

3. Используя метод вейвлет-анализа, исследовать частотно-временную динамику ЭЭГ сигнала при выполнении пространственно-образных и вербально-логических заданий.

Объект исследования: проявления утомления в психике, поведении и психофизиологических показателях.

Предмет исследования: механизмы утомления в процессе когнитивной деятельности и их отражение в комплексе субъективных, поведенческих, психофизиологических и молекулярно-генетических показателей.

Методы исследования: спектральные методы, такие как преобразование Фурье и вейвлет-анализ, математические алгоритмы искусственных нейросетей для статистического и количественного анализа данных.

Структура курсовой работы. Работа состоит из введения, трех глав, заключения, списка использованной литературы.

1. Теоретические основы электроэнцефалографического сигнала

1.1 Общие сведения об электроэнцефалографии

Мозг человека, механизмы его деятельности привлекают внимание исследователей самых разных специальностей. Объективному изучению функций мозга человека положил начало И.М. Сеченов, опубликовавший в 1863 году книгу “Рефлексы головного мозга”, где впервые был поставлен вопрос о закономерности объективного физиологического подхода к механизмам психической деятельности. Электроэнцефалография как метод исследования головного мозга, основанный на регистрации его электрических потенциалов, зародилась в начале XX века. Начало эры электроэнцефалографии связывают с именем австрийского психиатра Ганса Бергера, который впервые осуществил в 1928 году регистрацию электрических потенциалов головного мозга у человека, используя скальповые игольчатые электроды. В его же работах было приведено описание основных ритмов электроэнцефалограммы (ЭЭГ) человека и их изменения при различных функциональных пробах и патологических проявлениях в мозге. Дальнейшие успехи электроэнцефалографии были связаны с разработкой многоканальных высокочувствительных чернильнопишущих электронных приборов, позволявших производить стандартные исследования у пациентов. А в наше время большой успех приобрели компьютерные системы, позволившие сделать качественно новый шаг в диагностике, и использующие для этого сложные математические методы [Виноградов, 2011, с. 407].

Между двумя точками мозга, а также между точками мозга и удаленными от него тканями организма возникают переменные разности потенциалов, регистрация и анализ которых и составляют задачу электроэнцефалографии. Возбуждение нервных элементов, согласно современным представлениям, возникает в результате процесса их поляризации и деполяризации. Благодаря избирательной проницаемости оболочки нервной клетки по отношению к возникающим потенциалам в состоянии покоя на наружной стороне оболочки нервной клетки устанавливается положительный заряд, а на внутренней - отрицательный.
Возникающие при непрерывно происходящей поляризации и деполяризации различных нервных элементов головного мозга биоэлектрические токи взаимодействуют между собой и дают сложную интерференционную кривую ЭЭГ. Пример ЭЭГ приведен на рис. 1.

Рис. 1 Пример электроэнцефалограммы

Основной задачей специалиста, проводящего электроэнцефалографическое обследование, является выделение на ЭЭГ значимых признаков, идентификация их параметров и, далее, составление на их основании заключения. Одним словом этот процесс называется анализом ЭЭГ.

1.2 Основные параметры электроэнцефалографического сигнала

Как для любого колебательного процесса, основными понятиями, на которые опирается характеристика ЭЭГ, являются частота, амплитуда и фаза. Поскольку ЭЭГ представляет собой случайный процесс, на каждом участке записи встречаются волны различных частот, и смыслом анализа является выделение так называемых частотных ритмов из энцефалографического сигнала. Под понятием частотный ритм ЭЭГ подразумевается определенный тип электрической активности, соответствующий некоторому состоянию мозга, для которого определены границы диапазона частот. Наиболее часто для анализа используются четыре основных ритма. Который представлено на

Рис. 2 Основные ритмы ЭЭГ

1. Дельта-ритм. Частота 0.5-3 Гц, амплитуда, как правило, превосходит 40мкВ, иногда при сильных патологиях может достигать 300мкВ.

2. Тета-ритм. Частота 4-6 Гц, амплитуда такая же, как и у дельта-ритма.

3. Альфа-ритм. Частота 8-13 Гц, амплитуда до 100мкВ. Является наиболее информативным и, в большинстве случаев, доминирующим при анализе ЭЭГ. Лучше всего выражен в затылочных отделах. По направлению к лобным отделам его амплитуда уменьшается. Наибольшую амплитуду альфа-ритм имеет в состоянии спокойного расслабленного бодрствования, особенно при закрытых глазах. В большинстве случаев достаточно регулярно наблюдаются спонтанные изменения амплитуды, так называемые модуляции альфа-ритма, выражающиеся в чередующемся нарастании и снижении амплитуды волн с образованием характерных «веретен» - амплитудно-модулированных колебаний ЭЭГ, длительность которых может быть от 2 до 8 секунд.

4. Бета-ритм. Частота 14-35 Гц, амплитуда в норме не более 15 мкВ.

Существуют еще так называемые Мю-ритм и Гамма-ритм, но они на данный момент не имеют диагностической ценности и в дальнейшем рассматриваться не будут.

Помимо понятия ритм в электроэнцефалографии используется термин феномен. Под ним подразумевается участок записи, отличающийся по своим параметрам от фоновой записи и имеющий диагностическую ценность при анализе. Наиболее известными и важными среди них являются эпилептическая активность, пики, или спайки, медленные волны, комплексы пик - волна и острая волна - медленная волна. Эпилептическая активность (иначе судорожная активность). Эти колебания подразумевают связь их с мышечными судорогами и судорожными приступами, возникающими при эпилепсии.

Одной из основных особенностей мозга при эпилепсии является свойство нейронов давать более активные реакции возбуждения и вступать в синхронизированную активность. Процесс синхронизации активности нейронов приводит к нарастанию амплитуды волн на ЭЭГ в результате суммации во времени амплитуд синфазных колебаний. В случае, если разряды отдельных нейронов очень плотно группируются во времени, помимо нарастания амплитуды наблюдается уменьшение длительности суммарного потенциала, что приведет к образованию высокоамплитудного, но короткого феномена - пика. Именно такого рода потенциалы и соответствуют эпилептической активности на ЭЭГ.

Пик, или спайк. Соответствуя названию, этот потенциал имеет пикоподобную форму. Длительность его 5-50 мс. Амплитуда, как правило, превосходит амплитуду фоновой активности и может достигать сотен и даже тысяч микровольт. Иногда пики группируются в короткие или более длинные пачки, образуя феномен, носящий название «множественные пики».

Близким по происхождению феноменом, свойственным эпилептическому синдрому, является острая волна. Внешне она напоминает пик и отличается от него только растянутостью во времени. Длительность острой волны более 50 мс. Амплитуда может достигать тех же значений, что и амплитуда пиков [Хомская, 2012, с. 382].

1.3 Оценка длительности событий как мера когнитивной нагрузки

Ряд экспериментов показал, что оценка времени (длительности события), мера выполнения дополнительной задачи, служит надёжной и обоснованной мерой когнитивной нагрузки. По этой причине исследователи-практики, начиная с Hart (1975) и Casali и Wierwille (1983, 1984), всё больше внимания уделяют исследованиям по оценке длительности событий. Считается, что когда человек работает над трудной или требующей большого внимания задачей, время для него проходит быстро, а если человек работает над задачей лёгкой или требующей меньшего внимания, ему кажется, что время идёт медленно (Block, George, & Reed, 1980; Block & Zakay, 2008; Brown, 2008). Хотя результаты исследований за прошедшее столетие и говорят в пользу этих интуитивных наблюдений, исследователям не удалось выяснить причины временных искажений такого рода. В нашем мета-аналитическом обозрении мы рассматриваем в основном первое столетие исследований по этой проблеме, которое ведёт свой отсчёт от основополагающей работы Yerkes и Urban (1906). В ней устанавливается относительный размер и направление этих изменений, а также проверяются различные модели, предложенные для объяснения лежащих в их основе явлений [Ильин, 2012, с. 328].

Причины исследования влияния когнитивной нагрузки на оценку человеком длительности событий кроются в нерешённых проблемах как фундаментального, так и практического свойства. Понимание влияния когнитивной нагрузки на оценку длительности событий может помочь развитию и усовершенствованию теорий человеческого восприятия длительности событий и, более глобально, обработки информации человеческим мозгом. Например, согласно одной из существующих в настоящее время гипотез, величина когнитивной нагрузки «зависит от доли времени, в течение которой данный вид деятельности завладевает нашим вниманием и тем самым затрудняет осуществление других центральных процессов» (Barrouillet, Bernardin, Portrat, Vergauwe, & Camos, 2007, p. 570). По аналогии с этим взглядом некоторые исследователи (e.g., Rammsayer & Brandler, 2007; Zakay, Block, & Tsal, 1999) высказали суждение, что оценки длительности можно считать надёжным и обоснованным показателем когнитивной нагрузки, поскольку при этом осуществляются центральные процессы, проходящие с разделением времени, в особенности процессы, связанные с использованием внимания, трудовых навыков или рабочей памяти. Исследования процессов оценки длительности, проводящиеся в последнее время, всё больше сосредотачиваются на вопросах, затрагивающих разделение ресурсов внимания между обработкой временной и невременной информации (недавние обзоры публикаций на эту тему см. у Block, 2003; Grondin, 2001, 2008; Zakay & Block, 1997) [Виноградов, 2011, с. 407].

Проводя свой метаанализ, мы полностью сосредоточились на влиянии когнитивной нагрузки на человеческую оценку продолжительности времени. Важнейшей его особенностью является чёткое определение значения термина «когнитивная нагрузка» и подробное описание его использования в специальной литературе. Мы определяем когнитивную нагрузку как количество психических ресурсов (главным образом ресурсов внимания и рабочей памяти), затрачиваемых на обработку информации за определённый период времени; то есть как количество психических усилий, требуемых для выполнения основной задачи. Для достижения этой цели могут также осуществляться некоторые перцептуально-моторные процессы, в большой степени управляемые сознанием. Мы используем термин «когнитивная нагрузка», или просто «нагрузка» (e.g., Barrouillet et al., 2007) вместо разнообразных почти синонимичных терминов, используемых другими исследователями, таких как «психическая нагрузка» (e.g., Hancock & Meshkati, 1988; Proctor & Van Zandt, 1994;Wierwille, Rahimi, & Casali, 1985), «когнитивная рабочая нагрузка» (e.g., Patten, Цstlund, Joakim, Nilsson, & Svenson, 2006) или просто «рабочая нагрузка» (e.g., Gopher & Donchin, 1986) [Ильин, 2012, с. 328].

Таким образом, многочисленные исследования, проведенные в области психофизиологии утомления, показали, что различные показатели ЭЭГ коррелируют с параметрами утомления. К таким показателям можно отнести увеличение мощностей медленных ритмов (тета- и альфа-ритмов), индивидуальный альфа-ритм, индекс утомления. Выявлены общие тенденции в динамике различных параметров (субъективных, поведенческих, электрофизиологических) в условиях длительных когнитивных нагрузок. Особенности сдвигов параметров, как правило, связаны со спецификой выполняемых заданий, их длительностью и вовлеченностью различных мозговых систем. Так, в ряде исследований показано, что утомление вызывает увеличение мощности альфа-ритма в теменных и затылочных областях и тета-ритма в лобных областях [Хомская, 2012, с. 382].

2. Материалы и методы исследования

2.1 Испытуемые, характер предъявляемых задач и ход эксперимента

В исследованиях приняли участие 9 испытуемых женского пола и 10 испытуемых мужского пола, из которых трое были леворукими, остальные праворукими. В большинстве случаев лица, участвовавшие в исследованиях, были студентами московских высших учебных заведений либо молодыми специалистами.

Во время исследований испытуемым предъявлялись на экране монитора 8 видов различных заданий, которые относились к двум типам мыслительной деятельности - пространственно-образному и вербально-логическому, по 4 вида каждого типа. В каждом исследовании предъявлялось 240 заданий, по 30 заданий каждого вида. Каждый испытуемый принимал участие в двух исследованиях, длительностью около 1.5 часов, которые проводились в разные дни. Такая схема проведения исследований была необходима для того, чтобы испытуемый не утомлялся в ходе чрезмерно длительного эксперимента. Условия проведения исследований в разные дни были одинаковыми. В исследованиях предъявлялись пространственно-образные задания следующих видов (см. рис. 1): 1) «Вращение фигур» (SP); 2) «Сложная фигура» (CF); 3) «Дорожная развязка» (RJ); 4) «Сечение куба» (CU). Вербально-логические задания были следующих видов (см. рис. 2): 1) «Петя и Вася» (PV); 2) «Рита и Таня» (RT); 3) «Анаграмма» (AN); 4) «Сложное слово» (CW).

Задания всех видов предъявляли в случайной последовательности с интервалами между предъявлениями, случайно распределенными в пределах от 1 до 3 с. В промежутке между предъявлениями заданий в центре экрана появлялся небольшой серый крестик на черном фоне. Испытуемые располагались в кресле в темной, электрически экранированной камере. Экран монитора находился на расстоянии 1,5 м от их глаз, уровень яркости изображения был минимальным. Решив задание, испытуемый нажимал кнопку мыши в соответствии с ответом или нажимал левую кнопку и давал ответ вслух. Время решения заданий было ограничено 30 с: если в течение этого времени ответа не было, то задание убиралось с экрана и предъявлялось следующее. Проводился систематический контроль правильности решения заданий в ходе эксперимента. Перед началом опыта проводили тренировочную серию в свободном режиме без записи электроэнцефалограммы; тренировку продолжали, пока испытуемый не начинал решать задачи достаточно уверенно.

Как говорилось выше, в основной серии экспериментов испытуемые принимали участие в исследованиях дважды, в разные дни. Время, через которое проходило второе исследование, строго не контролировалось, и было разным для разных испытуемых. Часть испытуемых участвовали в двух исследованиях, дни которых следовали друг за другом. Некоторые испытуемые приняли участие в двух исследованиях, промежуток времени между которыми составлял не меньше месяца, а иногда достигал и полугода.

1. Регистрация данных. Во всех исследованиях вели запись ЭЭГ от 31 электрода, расположенного по расширенной системе 10-20 (Fp1, Fp2, F3, F4, C3, C4, P3, P4, O1, O2, F7, F8, T3, T4, T5, T6, Fz, Cz, Pz, Oz, FPz, FT7, FC3, FCz, FC4, FT8, TP7, CP3, CPz, CP4, TP8) с референтными электродами на мочках ушей и электродом заземления в вертексе. Использовали электродную шапочку с залуженными железными электродами фирмы Electro-Саp (США) и усилитель Neurotravel-24D фирмы ATES Medica (Италия/Россия). Помимо биопотенциалов мозга записывали два канала электроокулограммы от двух пар электродов, расположенных перпендикулярно друг к другу (выше/ниже левого глаза и латерально от углов глаз), и один технический канал, в который помещались идентификационный номер и тип задания, информация о времени предъявления и снятия стимула, правильности решения и о том, уложился ли испытуемый в отведенное время. Данные оцифровывали в реальном времени и непрерывно записывали на жесткий диск персонального компьютера. Частота опроса во всех исследованиях была 250 Гц.

2. Отбор данных и отстройка от артефактов. Из непрерывной записи ЭЭГ с помощью специальной полуавтоматической программы вырезали отрезки, соответствовавшие решению задач в уме. Из ЭЭГ вырезались отрезки от момента 0,5 с после предъявления задания до нажатия кнопки мыши. Все вырезанные участки записи, в том числе и участки с движениями глаз и моргательными движениями, отфильтровывались в диапазоне частот 1 - 40 Гц. Затем все полученные отрезки ЭЭГ визуально проверяли на наличие в них артефактов, отличных от глазодвигательного, например мускульного или связанного с разрядом поляризованного электрода. Загрязненные артефактами отрезки отбраковывались. От глазодвигательного артефакта (ГДА) отстраивались с помощью процедуры, идея которой почерпнута из (Gratton et al., 1983).

1 2

3 4

Рисунок 1 Примеры заданий на пространственно-образный тип мышления

В задаче №1 необходимо подобрать к верхней фигуре одну из фигур в нижней части экрана так, чтобы они вместе образовали квадрат, и сообщить ответ. В задаче №2 необходимо в уме собрать одну из фигур, представленных в нижней части экрана, из элементов, представленных в верхней части экрана, и сообщить правильный ответ. В задаче №3 на экране предъявляется схема московской дорожной развязки. На ней указаны 4 точки: О, А, В, С. Необходимо найти единственно возможный вариант движения из точки О в одну из точек А, В, С согласно указанным на рисунке стрелкам разрешенного направления движения и сообщить правильный ответ. В задаче №4 на экране предъявляется куб с тремя точками на его ребрах. Необходимо в уме построить сечение плоскостью, проходящей через указанные три точки, и, сопоставив полученную фигуру с одной из предъявленных в нижней части экрана, сообщить правильный ответ.

Во всех случаях ответ сообщается нажатием кнопки мыши. Правильные ответы для данных примеров: 1 - левая фигура, 2 - фигура №2, 3 - точка С, 4 - правая фигура.

1 2

3 4

Рисунок 2 Примеры заданий на вербально-логический тип мышления

В заданиях №1 и №2 необходимо определить, правильно ли второе утверждение, если справедливо первое. Ответ в обоих заданиях сообщается нажатием кнопки мыши. В задании №3 необходимо решить анаграмму, т.е. подобрать слово (существительное), задействовав все предъявленные буквы. В задании №4 необходимо заменить буквами звездочки в скобках, так чтобы эти буквы стали окончанием первого слова и началом второго. В заданиях №3 и №4 испытуемый сообщает ответ вслух. Правильные ответы для данных примеров: 1 - да, 2 - нет, 3 - вопрос, 4 - ме(шок)олад.

2.2 Формирование обучающей и контрольной выборок данных для целей классификации

Полученные электроэнцефалографические данные подвергали классификации по типу решаемых задач. Эту процедуру проводили раздельно для разных испытуемых с помощью обучаемого классификатора, в качестве которого выступала простая искусственная нейронная сеть. Полученные от каждого испытуемого данные разбивали на обучающую и контрольную выборки. Как говорилось выше, каждый испытуемый принял участие в двух исследованиях.

Разбиение данных на обучающую и контрольную выборки осуществляли следующим способом: данные одного исследования, соответствовавшие решению заданий, разбивали случайным образом на две половины, одна из которых становилась половиной учебной, а другая - половиной контрольной выборки. Аналогично разбивались данные другого исследования того же испытуемого. Затем соответствующие половинные выборки объединялись, образуя окончательные учебную и контрольную выборки.

3. Предобработка. На вход обучаемого классификатора подавали не сами электроэнцефалографические кривые, а наборы чисел, полученные в результате предварительной обработки отрезков ЭЭГ и описывающие их свойства. Основным методом предобработки было вычисление спектров мощности единичных реализаций ЭЭГ сигнала (более конкретно - квадратов модуля быстрого преобразования Фурье, БПФ) для каждого электрода в заданном диапазоне частот. Временное окно БПФ имело длительность 16,384 с, или 4096 временных отсчетов. В случае, когда длина окна была больше времени решения задачи, лишние временные отсчеты дополняли нулями, в противном случае отбрасывали начало отрезка ЭЭГ. Полученные спектры сглаживали простым трехточечным фильтром в три прохода. На стадии обработки использовали только 14 каналов ЭЭГ из 31 первоначально записанных - переднелобные электроды Fp1, Fp2, Fpz, электроды вдоль средних линий Fz, Cz, Pz, Oz и дополнительные электроды FT7, FC3, FCz, FC4, FT8, TP7, CP3, CPz, CP4, TP8 не использовали. Таким образом, в результате предобработки каждый отрезок ЭЭГ сигнала оказывался представлен набором из четырнадцати спектров единичных реализаций сигнала в разных каналах. Такой набор описывал распределение ритмов ЭЭГ по поверхности скальпа, характерное для заданного отрезка времени, и состоял из N•m чисел, где N - число каналов, а m - количество спектральных отсчетов в заданном частотном диапазоне. Вектора длиной N•m, которые мы называли входными паттернами, служили входами обучаемого классификатора при анализе данных. Как уже упоминалось выше, использовались частоты от 5 до 20 Гц. При этом общее число величин, подаваемых на вход классификатора, составило 3374. В результате примененной предварительной обработки сигнала отрезок ЭЭГ описывается в частотной области максимально детально и по всем возможным параметрам - частоте, мощности и топографии.

4. Распознавание типа решаемой задачи с помощью обучаемого классификатора. В представленной работе проводили классификацию паттернов, полученных в результате предварительной обработки отрезков ЭЭГ, по типу мыслительной деятельности испытуемого. Классификацию осуществляли с помощью обучаемого классификатора, в качестве которого использовали двухслойную нелинейную нейросеть с обучением по дельта-правилу, описанную в (Rumelhart, 1986 б) под названием "The Pattern Associator". Сеть может работать в двух принципиально разных режимах - в режиме обучения правильному распознаванию на учебной выборке, т.е. некотором массиве данных, класс которых заранее известен, и в режиме тестирования контрольной выборки, т.е. новых данных, класс которых неизвестен.

Классификатор обучали на учебной выборке данных, после чего проводили распознавание типа выполняемой мыслительной операции по единичным реализациям ЭЭГ из контрольной выборки. Обучение классификатора и распознавание новых данных проводили раздельно для каждого испытуемого.

Показателем успешности распознавания служил процент правильно распознанных паттернов. Процент правильного распознавания (ППР) сравнивался с пороговой величиной достоверности неслучайного распознавания, которая зависела от объема контрольной выборки и числа классов и определялась следующим образом: вероятность того, что в результате случайной классификации ППР будет выше этой пороговой величины, равна некоторой заданной вероятности. Для выборки из 30 заданий каждого класса и двух классов (случай, имевший место в настоящем исследований) и принятом в биологии уровне достоверности p<0,05 порог достоверно неслучайной классификации равен 60%. Для р<0,01 - 67%; р<0,005 - 70%; р<0,001 - 73%.

5. Вейвлет-анализ полученных данных. В представленном исследовании также использовался метод вейвлет-анализа ЭЭГ данных с целью получить больше информации о частотно-временной структуре ЭЭГ сигнала при выполнении когнитивных заданий испытуемыми. По сравнению с Фурье-методом, метод вейвлет-преобразования дает более полную картину описания сигнала, а именно, предоставляет информацию не только о частотных составляющих сигнала, но и об их временном развитии.

В настоящем исследовании применялась методика вейвлет-преобразования с материнской функцией Морле, наиболее подходящей для описания короткоживущих ритмов ЭЭГ. С помощью данной методики были построены вейвлет-спектры ЭЭГ, которые затем были проанализированы на предмет выявления характерных ограниченных во времени ритмов ЭЭГ при выполнении когнитивных заданий.

3. Результаты и их обсуждение

3.1 Результаты классификации когнитивных состояний по ЭЭГ с помощью ИНС

Как уже упоминалось в разделе "Методы исследования", в качестве распознающей системы-классификатора принципиальных типов мышления использовалась искусственная нейросеть.

Вначале, обучение нейросети проводилось по заданиям двух видов, принадлежащих разным типам мыслительной деятельности (пространственный и вербально-логический), а тестирование - по другим реализациям тех же видов заданий. При таком варианте обучения и тестирования процент правильного распознавания (ППР) оказался больше порога достоверно неслучайной классификации, и это было справедливо для всех испытуемых, приявших участие в наших исследованиях, и всех видов заданий.

Затем обучение проводилось по заданиям двух видов, принадлежащих разным типам мыслительной деятельности (пространственный и вербально-логический), а тестирование классификатора проводилось по реализациям других видов заданий. При этом правильным распознаванием считалось правильное определение типа осуществляемого мышления. Значения ППР при такой классификации для большинства заданий оказались выше порога достоверно неслучайной классификации, что свидетельствует о возможности распознавать тип мышления инвариантно конкретных видов заданий.

На следующем этапе исследования обучение проводилось по заданиям двух видов, принадлежащих одному типу мыслительной деятельности, а тестирование классификатора проводилось по другим единичным реализациям ЭЭГ тех же видов заданий. Значения ППР при таком тестировании были на пороге достоверно неслучайной классификации. Дисперсия значений ППР оказалась достаточно высокой для разных видов заданий, что говорит о высокой индивидуальности испытуемых. Тем не менее, полученный результат свидетельствует о том, что во многих случаях распознавание конкретного вида заданий внутри одного базового типа мышления также возможно.

В табл. 1 приведены сводные данные по результатам классификации для всех 19 испытуемых, принявших участие в нашем исследовании. В представленной таблице отражены следующие значения ППР при классификации (по колонкам): 1. обучение - задания вербально-логического типа мыслительной деятельности, разных видов, тестирование - задания того же типа мыслительной деятельности, тех же видов, что и при обучении, но другие реализации ЭЭГ (сокращение в табл. 1 V+V=same); 2. обучение - задания пространственного типа мыслительной деятельности, разных видов, тестирование - задания того же типа мыслительной деятельности, тех же видов, что и при обучении, но другие единичные реализации ЭЭГ (сокращение в табл. 1 S+S=same); 3. обучение - задания пространственного и вербально-логического типов мыслительной деятельности, разных видов, тестирование - задания разных типов мыслительной деятельности, тех же видов, что и при обучении, но другие единичные реализации ЭЭГ (сокращение в табл. 1 S+V=same); 4. обучение - задания пространственного и вербально-логического типов мыслительной деятельности, разных видов, тестирование - задания разных типов мыслительной деятельности, других видов, чем были при обучении (сокращение в табл. 1 S+V=other). В последнем случае распознавался тип мышления инвариантно конкретного вида заданий. Представленные цифры - это средние значения ППР по всем типам и видам заданий, возможным при данном способе обучения/тестирования, и по всем испытуемым.

Из табл. 1 видно, что значения ППР при классификации по заданиям разных типов мыслительной деятельности (S+V=same и S+V=other) оказались выше порога достоверно неслучайной классификации (p<0,05) для всех испытуемых, что свидетельствует о принципиальном различии пространственного и вербально-логического мышления с точки зрения ритмов ЭЭГ. При классификации заданий разных видов одного типа мыслительной деятельности (S+S=same и V+V=same) значения ППР оказались в некоторых случаях ниже порога достоверно неслучайной классификации (p<0,05) (у двух и одного испытуемого, соответственно). Средние цифры ППР для ситуаций S+S и V+V оказались значительно ниже, чем для ситуации S+V.

По результатам анализа данных мы можем наблюдать, что для всех испытуемых, участвовавших в нашем исследовании, при обучении ИНС по заданиям разных типов мыслительной деятельности и разных конкретных видов и тестировании по тем же типам и видам заданий, что при обучении, но по другим единичным реализациям ЭЭГ, значения ППР были значительно выше порога достоверно неслучайной классификации (во всех случаях больше 73%, что соответствует p<0,001). Этот результат показывает очень высокую способность нейросети классифицировать единичные реализации ЭЭГ по двум конкретным видам заданий, относящимся к разным типам мыслительной деятельности. Более важным результатом, полученным в настоящем исследовании, является то, что обнаружена возможность классификации заданий по типам мыслительной деятельности безотносительно конкретного вида заданий. А именно, при обучении ИНС по заданиям разных типов мыслительной деятельности (и разных видов) и тестировании по заданиям тех же типов, но других видов (отличных от тех, что были использованы при обучении), ППР в большинстве случаев также был существенно выше порога достоверно неслучайной классификации. Он был выше 73% (p<0,001) для 12 испытуемых из 19 и выше 60% (p<0,05) для всех. Этот результат свидетельствует о принципиальном различии паттернов ЭЭГ при осуществлении двух разных типов мыслительной деятельности (вербально-логической и пространственной), что говорит, в свою очередь, о существовании принципиально различных процессов в мозге при выполнении заданий двух разных типов.

Таблица 1

Сводные данные по результатам классификации для испытуемых, принявших участие в исследовании. Звездочкой отмечены ППР ниже порога достоверно неслучайной классификации для p<0,05 (60%)

На рисунках с 4 по 7 приведены усредненные спектры при решении некоторых видов заданий для двух испытуемых (RM и KA).

Обращают на себя внимание различия в спектрах при решении заданий, относящихся к разным типам мыслительной деятельности. У испытуемого RM можно видеть мощный ритм нижнего альфа-диапазона (8,3 Гц) при решении пространственного задания «Сечение куба» практически во всех отведениях, особенно в центральных, фронтальных, височных и теменных (см. рис. 4). В то же время, при решении вербально-логического задания «Анаграмма» ритм на этой частоте не проявляется. Другой ритм альфа-диапазона на частоте 10,2 Гц проявляется в основном в центральных и париетальных отведениях при решении как пространственных, так и вербально-логических заданий (см. рис. 4). При этом амплитуды пиков на частоте 10,2 Гц различаются для двух заданий существенно в центральных и париетальных отведениях в левом полушарии (в правом амплитуды практически совпадают). Также можно отметить ритмы бета-диапазона на частотах 17 и 20,5 Гц. Ритм небольшой амплитуды на частоте 17 Гц проявляется в отведениях F3, F4 и С3 только при выполнении пространственных заданий, что также служит явным признаком различия ритмических свойств ЭЭГ при выполнении вербально-логических и пространственных заданий. Ритм на частоте 20,5 Гц проявляется как в задании «Анаграмма», так и в задании «Сечение куба», с небольшой разницей в амплитуде в отведении С3. У испытуемого RM присутствует также тета-ритм во фронтальных, центральных и теменных отведениях на частоте 6 Гц при решении заданий обоих типов.

Паттерны ритмов ЭЭГ, наблюдаемые при решении заданий разных видов, но одного типа мышления, оказались сходными. На рис. 5 представлены спектрограммы ЭЭГ при решении двух видов пространственных заданий «Дорожная развязка» и «Сечение куба» для испытуемого RM. Можно видеть их принципиальное сходство между собой. Небольшие различия видны, в основном, в амплитуде некоторых частотных компонент. Аналогично, мы наблюдали сходство ритмических паттернов при сравнении различных видов заданий внутри вербального типа мышления. Таким образом, мы можем сделать вывод, что паттерны ЭЭГ разных типов мыслительной деятельности хорошо различаются между собой инвариантно конкретного вида заданий, что подтверждается как визуальным сравнением спектрограмм, так и результатами классификации на нейросети. Виды заданий, принадлежащие одному типу мыслительной деятельности, визуально различимы хуже, что согласуется с относительно низким ППР при классификации (в среднем на пороге достоверно неслучайной классификации, см. табл. 1).

На рис. 6 и 7 представлены спектрограммы испытуемого KA для тех же пар заданий, что для испытуемого RM на рис. 4 и 5. Необходимо отметить сильное различие в спектрах между разными испытуемыми: у испытуемого KA совсем иная картина спектрограмм ЭЭГ, чем у RM. У испытуемого KA можно заметить два ритма альфа-диапазона (8 и 10,5 Гц) и слабовыраженный тета-ритм на частоте 6,5 Гц. При решении заданий вербально-логического типа усиливается ритм нижнего альфа-диапазона на частоте 8 Гц (см. рис 6), в то время как при решении заданий пространственного типа этот ритм слабо выражен. Ритм на частоте 6.5 Гц также проявляется сильнее в вербальных задачах, чем в пространственных. Наконец, ритм частотой 10,5 Гц имеет большую амплитуду в право-центральном отведении при решении пространственных задач. Различия в амплитуде перечисленных ритмов у испытуемого KA можно рассматривать как дискриминационные признаки различных когнитивных состояний. Весовые функции, полученные при классификации единичных реализаций ЭЭГ на нейросети, подтверждают значимость различий паттернов ЭЭГ для разных видов заданий, а, главное, устойчивость характерных признаков, т.е. их присутствие в большинстве единичных реализаций. Далее, на рис. 6 и 7 можно видеть, что ритм альфа-диапазона частотой около 10,5 Гц, проявляющийся в центральных отведениях при решении и пространственного, и вербального заданий, имеет свой максимум в этих двух случаях на несколько различной частоте, а именно 10,2 Гц в вербальном и 10,8 Гц - в пространственном задании. Таким образом, имеет место не только разница в мощности ритма при решении заданий двух разных типов, но и наблюдается смещение максимума спектрального пика по частоте, что тоже явилось дискриминационным признаком для нейросети [Виноградов, 2011, с. 407].

Подводя итоги анализа усредненных спектров для двух испытуемых RM и KA, можно отметить, что у испытуемого RM больше разнообразие ритмов, проявляющихся при решении когнитивных заданий, по сравнению с испытуемым КА. Это свидетельствует о межиндивидуальных различиях, что в очередной раз доказывает, что при усреднении данных по всем испытуемым может потеряться важная индивидуальная информация.

Как видно из табл. 1, у обоих испытуемых, RM и КА, наблюдается высокий ППР при классификации между заданиями, принадлежащими разным типам мыслительной деятельности, в то время как задания одного типа мыслительной деятельности классифицируется хуже (у КА на пороге достоверно неслучайной классификации, у RM выше этого порога, но существенно хуже, чем в случае заданий разного типа) [Платонов, 2010, с. 263].

Таким образом, на основании анализа данных всех 19 испытуемых (см. таб. 1), принявших участие в наших исследованиях, можно сделать уверенный вывод о том, что паттерны ритмов ЭЭГ для разных видов заданий и разных типов мышления хорошо различаются между собой (с ППР существенно выше порога достоверно неслучайной классификации). Паттерны ритмов ЭЭГ также хорошо различаются между базовыми типами мышления инвариантно конкретного вида заданий. Однако паттерны ритмов ЭЭГ для разных видов заданий внутри одного типа мышления различаются вблизи порога достоверно неслучайной классификации, при этом значения ППР имеют достаточно высокую дисперсию, что свидетельствует о неустойчивости результатов в этом случае.

3.2 Частотно-временной анализ полученных ЭЭГ данных

Как упоминалось в разделе «Методы исследования», мы использовал вейвлет-анализ для обработки полученных ЭЭГ данных. Вейвлет-анализ предоставляет нам возможность взглянуть на сигнал ЭЭГ с другой стороны, а именно проанализировать сигнал в частотно-временной плоскости. Для каждого случая решения задания мы построили вейвлет-преобразование соответствующего сигнала ЭЭГ, используя комплексный материнский вейвлет Морле. На рис. 8 представлены вейвлет-спектры для 14 каналов ЭЭГ при решении задания «Сечение куба» испытуемым RM. Как видно из спектров, характер возникновения тех или иных ритмов в разных отведениях не тонический, а фазический, то есть ритмы ЭЭГ то появляются, то исчезают в процессе решения задания.

Рисунок 4 Усредненные спектры для испытуемого RM при решении заданий «Анаграмма» и «Сечение куба»

Рисунок 5 Усредненные спектры для испытуемого RM при решении заданий «Дорожная развязка» и «Сечение куба»

Рисунок 6 Усредненные спектры для испытуемого KA при решении заданий «Анаграмма» и «Сечение куба»

Рисунок 7 Усредненные спектры для испытуемого KA при решении заданий «Дорожная развязка» и «Сечение куба»

Рисунок 8 Вейвлет-спектры сигнала ЭЭГ для испытуемого RM при решении задания «Сечение куба», для 14-ти отведений. Вейвлет-спектр изображен в двумерной плоскости - по оси абсцисс время в секундах, по оси ординат частота в Гц. Цветом изображена мощность сигнала: синим - нулевое значение мощности, красным - максимальное значение мощности

3.3 Обсуждение результатов

В литературных источниках существует множество данных о функциональной роли ритмов мозга. Это стробирование информационных потоков, удержание информационных паттернов в кратковременной памяти и интегрирование частной информации в целое. Наиболее доказаны эти функции ритмов для сенсорных систем. Вероятно, что три вышеперечисленные функции ритмов должны осуществляться в мозге и во время выполнения когнитивных заданий, причем на разных частотах. В зрительной коре эти процессы протекают при восприятии стимула, предъявляемого на экране. В ассоциативных областях коры - во время выполнения собственно когнитивных операций. В дополнительной моторной коре и в моторной коре - при планировании и осуществления испытуемыми ответов; в коре больших полушарий и в лимбической системе одновременно - при оценке биологической значимости стимула и задания, при включении внимания, активации среднесрочной памяти, и т.д. Таким образом, широкий спектр самых разных информационных процессов в мозге может быть связан с его ритмами [Платонов, 2010, с. 263].

Результаты настоящей работы не предоставляют нам возможности однозначно судить о том, какие именно психофизиологические механизмы лежат в основе наблюдаемых нами характерных воспроизводящихся ритмических паттернов, однако мы постараемся оценить степень участия тех или иных физиологических процессов в их формировании.

Значительный вклад в формирование ритмических паттернов вносит мю-ритм, а именно подготовка или планирование движения проявляется появлением мю-ритма на спектрах. Действительно, мысленное вращение и перемещение фигур, которые испытуемый производит во время решения пространственных задач, представляют собой скрытый моторный акт. Эти действия сходны с воображаемыми движениями, когда планирование движений в моторной коре осуществляется, но команды на их исполнение тормозятся другими отделами коры. Таким образом, при мысленном или реальном выполнении движения наблюдается десинхронизация мю-ритма, однако при планировании движения наблюдается синхронизация этого ритма [Виноградов, 2011, с. 407].

Также вклад мю-ритма в общий спектр Фурье может наблюдаться, когда испытуемый мысленно проговаривает ход рассуждений про себя. При этом активируется зона Брока, примыкающая к моторной коре, что тоже может вызывать изменение параметров мю-ритма.

В целом, можно упомянуть работу Форд и Маталона, где они высказывают свой взгляд на то, что такое мышление: «абстрактное мышление есть высший моторный акт» (Ford & Mathalon, 2004), и эта фраза находится в очень хорошем соответствии с результатами современных исследований.

Эмоциональные процессы играют, по-видимому, одну из ключевых ролей в формировании характерных ритмических паттернов. Согласно проведенному опросу испытуемых, разные типы заданий получали у них разную эмоциональную окраску. Задания одного типа мышления некоторым испытуемым решать интересно, а другого - скучно; другим же испытуемым - наоборот. По результатам психологических тестов проявляется индивидуальная эмоциональная окраска тех или иных заданий. Таким образом, возможно, что при выполнении определенных заданий конкретными испытуемыми, у них проявлялся вполне определенный эмоциональный фон, что отражалось в спектрах ЭЭГ.

Значительный вклад в формирование характерных ритмических паттернов вносят также ритмы тета- и альфа-диапазонов, отражающие процессы памяти и внимания [Николаева, 2013, с. 544].

В соответствии с данными В. Климеша, процессы внимания и активации процедурной памяти находят свое отражения в изменении ритмов верхнего тета- и нижнего альфа-диапазонов, а активация семантической памяти - в изменении параметров ритмов верхнего альфа- и нижнего бета-диапазонов (Klimesch, 1997). На спектрах и весовых функциях некоторых испытуемых мы можем видеть эти процессы. Вернемся к усредненным спектрам испытуемого RM (рис. 4). Ранее упоминались наиболее заметные ритмы у этого испытуемого: ритмы альфа диапазона 8,3 Гц и 10,2 Гц, а также ритм тета-диапазона 6 Гц. Можно предположить, что у данного испытуемого решение пространственной задачи было в большей степени связано с процессами внимания и процедурной памяти, а решение вербальной задачи - с семантической обработкой. Тета-ритм связывают с влиянием лимбической системы на кору больших полушарий мозга (Симонов, 1981; Miller, 1991), поэтому ритм 6 Гц на рис. 4 можно ассоциировать с мотивационными и эмоциональными процессами, которые у данного испытуемого оказались одинаково выражены при решении заданий обоих типов мышления.

Индивидуальные спектры, очевидно, отражают особенности индивидуальных схем вовлечения мотивационных, эмоциональных ресурсов, а также ресурсов памяти и внимания, которые вырабатываются у каждого человека в ходе его развития. Конкретные схемы вовлечения указанных ресурсов окончательно формируются и приобретают устойчивый характер в процессе выполнения заданий, предъявляемых испытуемым в течение эксперимента [Николаева, 2013, с. 544].

Фазический характер процессов, отраженных в характерных ритмах.

Характерная ритмическая активность носит фазический характер, т.е. предположение о том, что в процессе решения задания устанавливаются несколько ритмов и эта активность преобладает, пока задание не исчезнет с экрана монитора, неверно. Оказывается, ритмическая активность определенной частоты проявляется в какие-то моменты времени, а затем исчезает. Внимательно анализируя вейвлет-спектры, можно заметить, что большую часть времени решения задания наблюдается отсутствие какой-либо активности, и только в некоторые короткие интервалы времени мы наблюдаем мощную активность того или иного ритма. Таким образом, на спектрах Фурье мы наблюдаем усредненный по эпохе анализа индикатор какого-либо ритмического процесса, который, в свою очередь, является проявлением мозговой активности определенного рода в отдельные, короткие интервалы времени. Естественным образом возникает вопрос: в какие интервалы времени испытуемый совершает когнитивные операции, а в какие имеет место «отдых» от когнитивной нагрузки?

Возможно, ответ на поставленный вопрос таков: процесс выполнения когнитивного задания состоит из интервалов готовности к выполнению конкретных когнитивных актов (тогда мы наблюдаем всплеск активности ритмов определенных частот, их синхронизацию) и интервалов выполнения самих когнитивных актов (тогда ритмы десинхронизированы вследствие того, что порождающие их структуры мозга находятся под «нагрузкой» выполнения когнитивных операций). Моменты перехода между различными когнитивными операциями проанализировать без помощи дополнительных алгоритмов достаточно сложно. В работах А.Я. Каплана с соавторами был предложен принципиально новый подход к сегментному анализу, суть которого заключается в нахождении моментов резких перестроек ритмов мозга. Как было показано авторами, такие моменты часто проявляются синхронно в разных структурах мозга и при этом могут касаться ритмов разных частот (Каплан, 1999; Каплан & Борисов, 2003; Шишкин, 1998; Фингелькурц Ан. и Ал., 1998). Авторы вводят понятие операциональной синхронности, смысл которой можно представить следующим образом. Допустим, несколько структур мозга, являющихся источниками ритмической активности, осуществляют какую-либо конкретную когнитивную операцию. Для выполнения другой когнитивной операции этими же структурами необходимо сменить частоту генерации постсинаптических токов. Для этого источники ритмов на какое-то время должны быть инактивированы, а затем должны перейти в состояние готовности к выполнению следующей операции. Эти процессы сопровождаются резкими изменениями в локальной синхронизации ритмической активности и, как следствие, в амплитуде порождаемых источниками ритмов. При этом в процессе перехода к осуществлению следующей когнитивной операции несколько источников могут изменить параметры порождаемых ими ритмов одновременно. Такая картина взаимодействия источников ритмов, возможно, наблюдается и в наших исследованиях, что проявляется в форме полученных вейвлет-спектров. Мы наблюдаем появление ритмов различных частотных диапазонов в один и тот же момент времени в различных отведениях, иногда в одном отведении, что может говорить об операциональной синхронизации различных структур мозга.

Особенности метода классификации с помощью искусственной нейронной сети

Примененный нами обучаемый классификатор производит взвешенную оценку одновременно нескольких признаков, характеризующих ментальное состояние. Это придает методике помехоустойчивость, а помехоустойчивость, в свою очередь, позволяет различать когнитивные состояния по нескольким секундам записи ЭЭГ, т.е. практически в реальном времени.

Важно отметить, что классификатор с настраиваемыми в процессе обучения весами сам по себе может оказаться полезным исследовательским инструментом. Анализ графиков весовых функций позволяет выявить наиболее значимые для классификации (а, следовательно, и наиболее важные по существу) признаки состояний. Так, например, визуальный анализ позволяет выявить наиболее выраженные признаки на спектрах Фурье, такие как мощность ритма или его смещение по частоте, однако эти признаки не всегда могут быть значимыми. В некоторых случаях мало заметные на усредненных спектрах ритмы вносили значимый вклад в настройку весовых функций. Таким образом, для классификации важна не мощность ритма, а его повторяемость в одинаковых экспериментальных условиях.