Разработка и апробация лингвистической методики оценки когнитивной сложности научно-учебного текста

Размещено на http://allbest.ru

Московский государственный областной университет

Современная гуманитарная академия

Российский государственный социальный университет

Разработка и апробация лингвистической методики оценки когнитивной сложности научно-учебного текста

Development and approbation of the linguistic technique of cognitive complexity assessment for the educational text

Самсонов Н.Б., Чмыхова Е.В., Давыдов Д.Г.

Samsonov N.B., Chmykhova E.V., Davydov D.G.

Москва, Россия



Введение

В условиях продолжающегося роста учебной нагрузки [Чмыхова и др., 2014] требуется объективная оценка когнитивной сложности учебных текстов и их соответствия познавательным возможностям обучающихся. Такая оценка традиционно осуществляется путем экспертных заключений, что является трудоемким и субъективным средством. Существует подход к измерению когнитивной сложности текстов на основе субъективной оценки самими читателями возникающей нагрузки (например, NASA-Task Load Index) [Paas et al., 2003; Kalyuga, 2011]. Когнитивная нагрузка может оцениваться и как снижение темповых характеристик деятельности и качества выполнения «энергоемких» заданий [Агрис и др., 2014], что требует лабораторных испытаний. Другое направление, связанное с применением сложных программ инструментального наблюдения за психофизиологическими параметрами когнитивных процессов, обеспечивает объективность, однако является весьма затратным.

Альтернативный подход, предполагающий формализованную статистическую оценку текстов на основе лингвистических параметров, позволяет быстро и достаточно объективно оценить когнитивную сложность текста. Вместе с тем его применение ограничивают неспособность существующих критериев учесть все аспекты когнитивной сложности и отсутствие подтвержденной связи лингвистических параметров текста с вызываемой этим текстом когнитивной нагрузки обучаемого.

Задачей настоящего исследования является разработка комплексной методики лингвистической оценки, позволяющей количественно выразить когнитивную сложность текста, и ее валидизация на основе сопоставления с объективными психофизиологическими проявлениями когнитивной нагрузки.



Лингвистическая оценка когнитивной сложности текста

Идея определить лингвистические параметры когнитивной сложности научно-учебного текста (и, соответственно, его нагрузку на обучающегося) может быть реализована во множестве подходов. Наиболее простой и очевидный подход можно назвать статистическим.

По сути, он является сравнительным экстралингвистическим подходом и выглядит так: нужно сравнить количество слов в текстах с одноименными заголовками в различных учебниках одного уровня образования - например, в учебниках физики для обучаемых 8-го класса средней общеобразовательной школы. Исходя из предположения о том, что в каждом из сравниваемых учебников тема раскрыта полностью (другое ставило бы под сомнение возможность использования их в учебном процессе), можно сделать вывод о том, кому из авторов понадобилось меньше слов, чтобы раскрыть тему. Чем короче текст, тем меньше его когнитивная нагрузка. Такой вывод, однако, не является достоверным: короткий текст может быть перегружен, сложен для восприятия. Сравним три различных определения к физическому понятию удельный вес:

(1) Удельный вес определяется как отношение веса вещества к тому объему, который это вещество занимает (14 слов).

(2) Удельный вес - это отношение веса вещества к занимаемому им объему (10 слов).

(3) Удельный вес - отношение веса к объему вещества (7 слов).

Предложение (3) самое короткое, но его хочется пояснить, если иметь в виду учебную цель: дело в том, что здесь определение термина удельный вес почти полностью состоит из слов, которые используются в терминологических значениях, требующих от читателя специальных знаний - вес вещества (Р), объем вещества (V).

Предложение (1) длиннее других, в нем видно желание автора высказаться исчерпывающе полно и понятно, но это влечет за собой определенные издержки: повторяется слово вещество (тавтология), употреблено много местоимений - тому, который, это, - выступающих в роли перекрестных ссылок и затрудняющих восприятие необходимостью обращаться к разным частям предложения (тому объему отсылает читателя ко 2-й части, который и это - к 1-й части). В результате читатель ощущает избыточный характер представления информации в тексте.

Предложение (2) имеет оптимальный состав: оно не перегружено терминологией, не вызывает эффекта, который производит лапидарный стиль, не содержит лишних для представления научного знания слов и поэтому не сложно для понимания.

Можно провести параллель между понятием когнитивная сложность и рассмотренным нами в качестве языковой иллюстрации понятием удельный вес. На наш взгляд, когнитивную сложность текста можно представить именно как его удельный вес. Когнитивная сложность текста - это отношение его семантического веса к объему, то есть количеству используемых слов.

Таким образом, дальнейшая работа может заключаться в подсчете (формализации) семантического веса текста. Выше мы пытались эмпирически его определить при помощи понятий «простое / сложное», «оптимально / недостаточное / избыточное».

Определение семантического веса научно-учебного текста является проблемой, решение которой требует комплексного подхода, основывающегося на анализе всех уровней семантики текста. Общий показатель должен учитывать результаты анализа: 1) синтаксической семантики; 2) лексической семантики; 3) морфологической семантики.

Синтаксическая семантика складывается из диктумно-модусных значений и значений строевых синтаксических элементов предложения. Разделение семантики предложения на объективную и субъективную составляющие основано на концепции Ш.Балли (Bally) [Балли, 2009], в которой объективное содержание высказывания - предложения названо диктумом, а субъективные значения, выражающие мнение автора высказывания о том, что он говорит, - модусом.

Объективное (диктумное) содержание предложения выявляется путем пропозиционального анализа, который является отправной точкой нашего исследования. Достижения в этой области открывают новый взгляд на предложение: это не только коммуникативная, но и номинативная единица, то есть знак внеязыковой ситуации, положения дел - того, что в семантическом синтаксисе называют пропозицией [Апресян, 1995; Арутюнова, 1995].

Пропозиция - глубинная смысловая структура, которая в речи получает интерпретацию. Одна пропозиция может быть по-разному представлена в предложениях и словосочетаниях, например: Ветер отнес лодку в открытое море. - Лодка отнесена ветром в открытое море. - Лодку отнесло ветром в открытое море. - Отнесенная ветром в открытое море лодка.

Единство языковых интерпретаций определяется единством состава участников пропозиции, представленной в каждом предложении: везде один и тот же предикат, выраженный глаголом отнести, одни и те же актанты, субъект ветер и объект лодка, в роли сирконстанта словосочетание открытое море.

Применительно к проблеме нашего исследования сказанное позволяет сделать вывод: объективная (пропозитивная) семантика предложения может быть измерена через коэффициент отношения количества пропозициональных компонентов к количеству представляющих их слов - как видим, это тоже формула удельного веса.

Чтобы продемонстрировать сказанное, формализуем и сравним удельный семантический вес различных предложений, которые представляют одно и то же объективное содержание и могут быть употреблены в научно-учебном тексте любой отрасли знания:

(4) Компоненты имеют различные функции.

(5) Компоненты выполняют различные функции.

(6) Компоненты различаются в функциональном отношении.

(7) Функции компонентов различны.

(8) Функции компонентов различаются.

(9) Существуют различия в функциях компонентов.

(10) Имеются различия в функциях компонентов.

(11) Компоненты различаются по функции.

(12) Компоненты различаются функционально.

(13) Компоненты функционально различны.

(14) Компоненты разнофункциональны.

Соотношение 1:1 (далее - коэффициент К1) наблюдается в примерах (7), (8), (11), (12) и (13). Каждый пропозициональный компонент представлен в них одним словом.

Коэффициенту 0,75 (3/4) соответствуют предложения в примерах:

(4), (5) - глаголы имеют и выполняют не являются полнознаменательными и образуют единое семантическое целое с существительным функции;

(6) - оборот речи (штамп) в функциональном отношении = в отношении функций, где в отношении не существительное, а предложное сочетание;

(9), (10) - то же в отношении глаголов имеются, существуют, они могут быть заменены синонимом - глаголом-констататором есть.

Коэффициент семантического веса 1,5 (3/2) в предложении (14): предикатив разнофункциональны является полисемным. Больший семантический вес этого высказывания ощущается и эмпирически: вряд ли такое предложение может быть употреблено в школьном учебнике, оно уместно в строгих научных жанрах (диссертация, научная статья и т.п.).

Модальные (модусные, по Ш. Балли) значения не изменяют пропозициональный состав: например, в конструкции Очевидно, что функции компонентов различны употреблено больше слов (модальный компонент очевидно, что), но ее объективное семантическое содержание не изменилось. Субъективные синтаксические значения, представляющие мнение автора высказывания, должны быть учтены при определении семантического веса высказывания наряду с объективными (пропозитивными) и тем же способом.

Выше мы рассматривали примеры простых неосложненных предложений, в которых были представлены различные языковые интерпретации одной и той же пропозиции. Однако научно-учебный текст, как правило, включает в себя и другие конструкции: простое осложненное предложение, сложные предложения разных типов. Несомненно, сложность структуры должна быть учтена при определении семантического веса предложения.

Примером оценки сложности структуры текста являются индексы удобочитаемости (readability), предназначенные для определения сложности восприятия текста читателем. Наиболее часто такую оценку осуществляют на основе анализа соотношения длин слов и длин предложения, количество слогов, состав предложения, редкость слов и т.д.

Иными словами, индексы удобочитаемости можно считать статистическими тестами сложности текста. В их качестве часто используются индекс Флеша и индекс Фога [Mailloux et al., 1995]. Оба этих показателя адаптированы для русского языка и встроены в популярный текстовый редактор Microsoft World. Индекс Фога (от англ. fog - туман) показывает, какой образовательный уровень читателя требуется. Чем индекс меньше, тем большей аудитории он будет понятен. Значение 16-20 подходит для людей с высшим образованием, 9-10 - для восьмиклассника.

Если исходить из идеи, на которой основывается данный индекс, то писать нужно короткими словами и короткими предложениями. Тест Фога является чисто статистическим, не собственно лингвистическим и не позволяет адекватно оценить сложность текста.

Например: Узус - преграда для креатива - в переводе на русский это малопонятное наукообразие выглядит так: Норма препятствует свободе творчества. Исходный вариант короче, слогов в словах меньше, но когнитивная нагрузка, вызываемая этими двумя высказываниями, несравнима: первое просто непонятно, второе - вполне понятное.

Другой популярный метод - индекс Флеша (Flesch Reading Ease Score) гораздо более сложный и чуткий, и более приближен к языковой реальности. Значения индекса Флеша распределяются от 100 (текст очень легко читается: средняя длина предложения составляет 12 или менее слов; нет слов более чем из двух слогов) до 0-20 (очень трудно читать: в среднем предложение имеет 37 слов; слово имеет в среднем более двух слогов).

Проведенные нами опыты с использованием встроенного в MS World сервиса расчета индекса Фога показали, что этот тест опирается на данные частотного словаря русского языка, то есть учитывает частоту / редкость употребления слов. Так, если взять два абсолютно одинаковых текста и в один из них вставить слово вариативно, а в другой слово удивительно (в них одинаковое количество слогов, причем последнее слово на 1 букву длиннее), то результаты будут отличаться: текст со словом удивительно будет оценен как более простой (удобочитаемый).

Однако тест Флеша, так же как и индекс Фога, не способен адекватно оценить сложность, если объектом анализа является учебный текст. Для оценки возможностей этих индексов были составлены 2 текста по 50 слов каждый. Первый текст содержит почти пустые по содержанию, но очень сложные по форме фразы, а второй может быть понятен любому школьнику.

Текст 1 (индекс Фога - 10; индекс Флеша - 73)

Функции словоформ речевого синтаксиса сложнее. Падежные значения представлены вариативно: в поле зрения входят не учтенные в словарях единицы речи. Они употреблены здесь как окказионализмы, а ведь это не что иное, как представление речетворчества автора. Такая специфика наделяет данный предмет анализа особой ценностью: имеется в виду сама возможность обнаружения новых свойств.

Текст 2 (индекс Фога - 13; индекс Флеша - 52)

Порядок слов в русском предложении только кажется свободным. На самом деле законы языка строго регулируют место того или иного слова в зависимости от его важности, его актуальности для говорящего: оказывается, мы ставим в начало высказывания слова маловажные, известные говорящему из предтекста, а в конец - главное, то, ради чего создается высказывание.

Судя по индексам удобочитаемости, тексты отличаются незначительно. Хотя Индекс Флеша показывает, что первый текст сложнее второго, оба текста относятся к уровню средних по сложности. Вместе с тем очевидно, что первый текст значительно сложнее для понимания и требует развитых когнитивных навыков и высокой сосредоточенности. Таким образом, статистические показатели должны быть учтены, но они не могут стать единственными оценками когнитивной сложности текстов.

Для оценки сложности синтаксической структуры каждого типа предложения можно предложить установить коэффициенты (К2), используя следующие основания:

0 - простое неосложненное предложение (например, Приставка - это часть слова перед корнем);

1 - простое предложение, осложненное однородным(и) членом(ами) предложения (Суффикс - это часть слова между корнем и окончанием);

2 - простое предложение, осложненное полупредикативными компонентами (например, причастным оборотом: Приставка - это часть слова, находящаяся перед корнем); сложносочиненное, сложноподчиненное предложения, бессоюзное сложное предложение равнозначного состава, части которых ничем не осложнены (Приставка - это часть слова, которая находится перед корнем);

3 - сложносочиненное, сложноподчиненное предложения, бессоюзное сложное предложение равнозначного состава, хотя бы одна предикативная часть которых чем-либо осложнена (Если окончания в слове нет, оно является неизменяемым и поэтому не имеет непостоянных морфологических признаков); бессоюзное сложное предложение неравнозначного состава (Нет русских слов без корня: в нем заключено лексическое значение слова);

4 - многочленная сложная синтаксическая конструкция, части которой ничем не осложнены (Если существуют слова без окончания, то нет русских слов без корня: в нем заключено лексическое значение слова);

5 - многочленная сложная синтаксическая конструкция, хотя бы одна предикативная часть которой чем-либо осложнена (Если существуют слова без окончания, без приставок или суффиксов, то нет русских слов без корня: в нем заключено лексическое значение слова).

Лексико-стилистический аспект проблемы требует особого внимания. Научно-учебные тексты характеризуются строгой логикой, систематичностью описания, языковое своеобразие этого стиля определяется совокупностью нескольких черт - отвлеченности и обобщенности изложения, с одной стороны, и строгости, немногословности - с другой.

Лексико-стилистический аспект предполагает дифференцированный подход к нейтральной общеупотребительной лексике и к словарным единицам: 1) имеющим коннотативное значение и/или употребленным в переносном (метафорическом, метонимическом) значении; 2) с ограниченной сферой употребления (термины и слова, употребленные в терминологическом значении); 3) в устойчивых сочетаниях (фразеологизмах); 4) в стилистических штампах и клише.

Общеупотребительные слова, использующиеся в научном стиле, имеют нейтральную стилистическую окраску, например: объект, результативный, преобладать и т.п. Экспрессивно-оценочная лексика и метафоры употребляются редко, обычно в тех случаях, когда это помогает раскрыть мысль или привести удачное сравнение: Будучи разделом грамматики, синтаксис старался не выходить за пределы собственно грамматических категорий. Он отдавал дань семантике главным образом попытками вскрыть значение синтаксических связей и смысловым определением функций второстепенных членов предложения (обстоятельства места, времени, причины и пр.) [Арутюнова, 2007]. С точки зрения семантического веса слова или выражения, имеющие экспрессивно-стилистическую окраску (старался не выходить за пределы, отдавал дань), представляют собой, в отличие от нейтральных слов и выражений, сложный комплекс значений: синтаксис старался не выходить за пределы = синтаксические исследования ограничивались + коннотативное значение; он отдавал дань семантике = он соответствовал семантике + коннотативное значение.

Для определения семантического веса текста целесообразно регистрировать количество экспрессивно-оценочных слов относительно всех слов текста - К3. Так, в составленном с экспериментальной целью предложении Компоненты по функциям разношерстны (конечно, оно не может быть употреблено в научно-учебном тексте, но допустимо при неформальном профессиональном общении) это отношение составляет 1 : 3 = 0,33. Если сложить этот показатель с коэффициентом К1 (= 1), то получим комплексное значение 1,33.

Слова с ограниченной сферой употребления применительно к научному стилю - это, во-первых, специальная научная лексика: термины и понятия, которые употребляются в какой-либо отрасли научного знания, например анапест, амфибрахий, строфа в литературоведении. Во-вторых, это общеупотребительные слова, употребленные в терминологическом значении, например встречавшиеся выше вес, объем, другой пример - ср. окончание разговора (не терминологическое значение у выделенного слова) - окончание глагола (терминологическое).

При определении семантического веса предложений с терминами и словами в терминологическом значении считаем правомерным тот же подход, который применялся в отношении текста с эмоционально-оценочными компонентами. В предложении Компоненты различны по функциям существительное функция имеет терминологическое значение - следовательно, коэффициент тоже равен 1,33. Для сравнения: если заменить слово по функциям общеупотребительным не терминологическим по назначению или по роли, то семантический вес высказывания уменьшится и коэффициент будет равен 1, так как в этом случае уже не следует прибавлять 0,33 к коэффициенту семантического веса К1, полученному при семантико-синтаксическом анализе данного предложения.

Устойчивые обороты научного стиля являются либо составными терминами, либо специальными понятиями, которые применяются в различных отраслях и сферах научной и профессиональной деятельности: кровеносные сосуды, лимфатические узлы, кора головного мозга (медицина); запрещающий сигнал светофора, прилегающая территория (правила дорожного движения). В отношении устойчивых оборотов нужно учитывать следующее: 1) весь оборот приравнивается по весу к одной словарной единице при семантико-синтаксическом анализе, то есть, с одной стороны, это снижает семантический вес высказывания; 2) с другой стороны, при лексико-стилистическом анализе учитывается отнесение терминологического оборота к ограниченной сфере употребления, поэтому, он так же как слово-термин, является компонентом, повышающим семантический вес высказывания.

Сказанное на самом деле не противоречиво: это проясняет пример анализа предложения Ожидается демографический взрыв, в котором демографический взрыв является устойчивым терминологическим сочетанием. Семантико-синтаксический подход дает основания рассчитать коэффициент К1, равный 0,75. Приращение к нему происходит в связи с особым, терминологическим значением компонента демографический взрыв, который составляет половину данного двухкомпонентного высказывания (второй компонент - слово ожидается). Следовательно, к 0,75 нужно прибавить 0,5 (К3). Суммарный показатель будет равен 1,25.

Стилистические штампы и клише в научном стиле не являются недостатком речи, они помогают организовать изложение материала, «отформатировать» его, поскольку являются общепринятыми, узнаваемыми оборотами речи и носят нетерминологический характер.

Примеры: носят характер, играют роль, выполняет функцию, имеет значение и т.д. Такие обороты речи представляют собой в семантическом аспекте единое целое и при определении семантического веса высказывания должны быть приняты за один компонент, как и рассмотренные выше терминологические устойчивые сочетания, однако, в отличие от них, стилистические штампы и клише не повышают семантический вес высказывания. Подобные примеры - (4), (5), (6), (9), (10) - уже были проанализированы выше, коэффициент К1 в этих предложениях был определен 0,75. учебник тест когнитивный семантический

В отличие от других слов, указательные и личные местоимения, а также местоименные наречия не обладают лексической полнозначностью и вместо лексического реализуют дейктическое (указательное) значение, которое служит отсылкой к другой части предложения или текста. Мы наблюдали такое явление при анализе примера (1). Другой пример: Существует не только радуга от солнечного света, но и радуга от луны. Ее можно и не заметить, поскольку... Слово ее отсылает читателя к предтексту. Слова с дейктической семантикой - распространенное и необходимое средство связи частей предложения, а также самостоятельных предложений в тексте, которое увеличивает семантический вес высказывания. Коэффициент К4 покажет отношение количества слов с дейктической семантикой к количеству полнозначных слов высказывания.

Согласно основополагающему для нашего исследования структурно-семантическому подходу [Виноградов, 2001], каждая языковая единица выступает в единстве содержания и формы, и мы исследуем грамматическую форму языковой единицы, для того чтобы выявить специфику выражения ее значения. Исследование будет неполным, если при определении семантического веса текста не будут учитываться собственно грамматические значения слов. Речь идет о парадигматических словоизменительных значениях, зависимых от употребления слова в контексте, то есть о непостоянных морфологических признаках частей речи.

Постоянные признаки представляют те грамматические значения слов, которые «сосуществуют» с лексическим значением слова и не могут служить самостоятельным компонентом смысловой нагрузки, а непостоянные парадигматически противопоставленные признаки отражают согласование слова с другими словами в контексте и связанные с ними грамматические значения, актуальные для читателя, ср. примеры: Рассмотрим функции компонентов, описанные выше. - Рассмотрим функции компонентов, описанных выше. В 1-м предложении говорится, что выше были описаны функции, во 2-м предложении - что выше были описаны компоненты. Причина различий в изменении падежного окончания причастия.

Части речи различаются словоизменительными грамматическими признаками: так, у большинства существительных мы отмечаем значения числа и падежа; у прилагательных и причастий - те же и значение рода. Наиболее богат грамматическими значениями глагол: наклонение, время (однако показателем изъявительного наклонения является время, поэтому в форме изъявительного наклонения значения наклонения и времени не нужно разделять), а также число, род или лицо.

Анализ грамматических словоизменительных признаков слов показывает различия между похожими высказываниями. Сравним примеры (7) и (8). В (7) употреблен предикатив различны, имеющий два словоизменительных грамматических значения: настоящее время (выражено нулевой формой связки) и множественное число (окончание -ы). В предложении (8) глагол различаются имеет те же значения и еще значение 3-го лица (выражено окончанием -ют).

Следовательно, предложение (8) семантически сложнее на 1 позицию, чем (7). Других различий между ними в рассматриваемом аспекте нет: в каждом предложении, помимо охарактеризованных, дважды выражены значения числа и падежа существительных.

На данном этапе исследования не представляется возможным соотнести показатель выраженности грамматических значений в тексте с коэффициентом семантического веса текста: это разноплановые характеристики.

Несмотря на то что в языке лексические и грамматические значения неразрывно связаны друг с другом, обобщать (суммировать) их нельзя, а логических оснований для определения их соразмерности пока нет. Однако показатель выраженности грамматических значений (условно обозначим его G) интересен сам по себе: он характеризует «грамматическую емкость» авторского стиля изложения материала и при исчислении среднего арифметического представляет грамматическую нагрузку «среднестатистического предложения» в абсолютном (безотносительном) виде.

Итак, комплексный подход к анализу семантики текста на основе структурно-семантического метода позволил найти собственно лингвистический способ измерения когнитивной сложности текста и выразить его через коэффициенты:

К1 - семантико-синтаксический показатель отношения количества слов, представляющих объективное и субъективное содержание предложения, к количеству слов в нем;

К2 - показатель сложности синтаксической структуры предложения, определен условно, отражает принятую в лингвистической науке градацию простое неосложненное - простое осложненное - сложное предложение и некоторые разновидности;

К3 - показатель отношения количества стилистически маркированных лексических элементов и терминологической лексики к количеству полнозначных слов в предложении;

К4 - показатель отношения количества дейктических (указательных) слов - местоимений, местоименных наречий - к количеству полнозначных слов в предложении.

Среднее арифметическое приведенных коэффициентов отражает уровень когнитивной нагрузки научно-учебного текста на обучающегося;

Т_кс = К1 + К2 + К3 + К4,

где Т_кс - интегральный показатель когнитивной сложности текста.

Отличия между текстами с разными значениями интегрального показателя когнитивной сложности подтверждаются субъективными ощущениями простоты / сложности изложения материала. Для валидизации разработанной методики с помощью объективного психофизиологического критерия было проведено экспериментальное исследование.

Взаимосвязь когнитивной сложности текста и психофизиологических проявлений когнитивной нагрузки читающего

Известно, что когнитивная нагрузка, испытываемая обучаемым, отражается не только на эмоциональном и поведенческом уровнях, но и на уровне физиологических проявлений [Sweller, 1988; Brьnken et al., 2003].

Соответственно, возможна оценка когнитивной нагрузки при помощи таких параметров, как частота сердечных сокращений [Paas, Van Merriлnboer, 1994], движения глаз [Van Gerven et al., 2004], уровень гормонов [Wilson, Eggemeier, 1991], спектральные характеристики электроэнцефалограммы [Поликанова и др., 2012] или кожно-гальваническая реакция (КГР) [Грекова, 1975].

Среди психофизиологических методов оценки когнитивной нагрузки измерение КГР представляется наиболее доступным способом. В ряде экспериментов показано, что решение испытуемыми более сложных мыслительных задач сопровождается усилением КГР [Раевская и др., 1985; Савченко, 2012]. В случае относительно спокойной, монотонной работы КГР уменьшается, однако в момент умственного напряжения она вновь усиливается [Тараканов, 1982].

Таким образом, усиление КГР связано с увеличением трудности задачи и способно отражать такие последствия когнитивной нагрузки, как ослабление внимания, возрастание напряженности, возбуждения, проявления стресса и усталости от познавательной деятельности [Lustigova et al., 2010]. Соответственно, чтение более сложного текста сопровождается неспецифической активацией, показателем которой является КГР.

В ходе проведенного нами эксперимента КГР регистрировалась в момент чтения текстов с различными коэффициентами сложности. В качестве стимульного материала выступали фрагменты текстов двух тем (А и В) из учебной литературы, предназначенной для студентов вузов (см. табл. 1). Каждый из этих фрагментов был представлен в лингвистически сложном (А1 и В1) и лингвистически простом (А2 и В2) вариантах (сложность оценивалась по представленной выше методике).

Таблица 1

Характеристика текстов, используемых в эксперименте

Обозначение текста	Источник текста	Количество слов в тексте	Интегральный показатель когнитивной сложности (Ткс)
А1	Философия: Курс лекций. Учеб. пособ. для студ. вузов. Под. общ. ред. В.Л. Калашникова.	285	3,9
А2	Спиркин А.Г. Философия: учеб. для бакалавров	286	2,6
B1	История России с древности до наших дней: Пособие для поступающих в вузы. М.М. Горинов и др.; Под ред. М.Н. Зуева	199	3,4
B2	История России с древности до наших дней: Пособие для поступающих в вузы. М.М. Горинов и др.; Под ред. М.Н. Зуева. Адаптация Н.Б.Самсонова	199	1,9

Примечания. А1 и В1 - лингвистически сложный вариант текстов; А2 и В2 - лингвистически простой вариант текстов.

Процедура эксперимента

Выборку испытуемых составили 27 человек - студенты 2, 3 и 4-го курсов очной формы бакалавриата, из них 15 мужчин и 12 женщин.

Испытуемый находился в кресле в изолированной комнате с неярким освещением. Перед ним на уровне глаз на расстоянии 1,5 метра располагался компьютерный монитор с диагональю экрана 67 см, на котором отображался текст. Использовалась гарнитура экранного шрифта Times New Roman, 36 пт. Предварительно на нейтральном образце текста у испытуемого проверялись удобство восприятия и различимость текста. Для повышения мотивации к чтению испытуемому сообщалось, что после эксперимента будет проведено оценивание понимания прочтенного текста.

С помощью датчиков, зафиксированных на пальцах левой руки стандартным способом, у испытуемого периодически (с интервалами от 20 до 40 с) регистрировались показатели мощности КГР. Для анализа использовались записи первых 7 интервалов.

Показатели каждого испытуемого записывались в трех сериях. Первая серия - в состоянии спокойного бодрствования, а в двух других предъявлялись тексты для чтения. Часть испытуемых получала для чтения сначала простой текст на одну тему, затем сложный текст на другую тему. Другие испытуемые получали тексты в обратной последовательности. Всего было сформировано четыре комплекта стимульного материала. Данная схема эксперимента позволила избежать влияния на результаты таких внешних факторов, как утомление, порядок предъявления текста и степень знакомства испытуемого с конкретной темой.

В связи с тем что КГР имеет значительные индивидуальные различия, для дальнейшей обработки было выполнено нормирование путем вычитания из индивидуального значения КГР в сериях предъявления текста среднего значения КГР данного испытуемого в покое (нормирование по индивидуальному уровню КГР) и вычитание среднего арифметического отклонений индивидуальных значений КГР в покое (нормирование по индивидуальному уровню вариативности).

Методы обработки данных. Полученные данные, представляющие собой значения мощности КГР каждого испытуемого в семи последовательных временных интервалах, нормированные по уровню и вариативности КГР в состоянии покоя, были подвергнуты группировке по сложности предъявляемых текстов. Для обеих групп (реакция при чтении простого и сложного текста) рассчитывалось среднее значение КГР в каждом из 7 интервалов времени. Средние значения сравнивались, а значимость различий оценивалась с помощью критерия знаковых рангов Уилкоксона. Обработка данных проводилась с использованием пакета статистических программ IBM SPSS Statistics 20.

Результаты и обсуждение

Установлено, что кожно-гальваническая реакция монотонно снижается в процессе чтения как простых, так и сложных текстов (см. рис. 1). Это общее снижение, очевидно, обусловлено механизмом угашения ориентировочной реакции на предъявляемые стимулы. При этом наблюдается различие в среднем уровне КГР: на лингвистически сложные тексты амплитуда КГР выше, на лингвистически простые тексты - ниже.

Рис. 1. Сравнение кожно-гальванической реакции при предъявлении сложных и простых текстов.

Достоверность наблюдаемых на рис. 1 различий в уровнях КГР при чтении текстов разной сложности для каждого временного интервала подтверждается с помощью критерия знаковых рангов Уилкоксона (см. табл. 2), различия достоверны как минимум на уровне p ? 0,05. Это позволяет сделать вывод: тексты, имеющие более высокие показатели когнитивной сложности, рассчитанные с помощью разработанной лингвистической методики, вызывают более высокую когнитивную нагрузку и, соответственно, сложнее для восприятия.

Таблица 2

Статистика критерия Уилкоксона для оценки достоверности различий

Номер интервала фиксации	Показатели критерия	No.	Средний ранг	Значимость различий
1	Отрицательные ранги	18	16,39	p = 0,011
	Положительные ранги	9	9,22
2	Отрицательные ранги	18	16,44	p = 0,010
	Положительные ранги	9	9,11
3	Отрицательные ранги	18	16,11	p = 0,012
	Положительные ранги	9	9,78
4	Отрицательные ранги	18	16,33	p = 0,015
	Положительные ранги	9	9,33
5	Отрицательные ранги	20	14,55	p = 0,014
	Положительные ранги	7	12,43
6	Отрицательные ранги	20	14,20	p = 0,022
	Положительные ранги	7	13,43
7	Отрицательные ранги	17	13,06	p = 0,040
	Положительные ранги	7	11,14

Примечания. Отрицательные ранги означают уменьшение КГР при замене сложного текста простым, положительные ранги - увеличение КГР.

Таким образом, чтение текстов, имеющих различный уровень лингвистической сложности, сопровождается различным уровнем КГР. Это может служить подтверждением вывода о том, что отобранные в настоящем исследовании лингвистические критерии сложности текстов (К1, К2, К3, К4) и интегративный показатель - Т_кс являются предикторами когнитивной нагрузки при чтении текста.



Заключение

Оценка когнитивной сложности учебно-научных текстов может быть проведена на основе лингвистических параметров, отобранных исходя из структурно-семантического подхода: отношения количества слов, представляющих объективное и субъективное содержание предложения, к количеству слов в нем; сложности синтаксической структуры предложения; отношения количества стилистически маркированных слов и терминологической лексики к общему количеству полнозначных слов в предложении; отношения количества дейктических слов к количеству полнозначных слов. Указанные параметры являются предикторами когнитивной нагрузки, что подтверждается установленной в ходе эксперимента взаимосвязью между рассчитанным коэффициентом когнитивной сложности текста и величиной неспецифической активации головного мозга, показателем которой является КГР. Таким образом, разработанная комплексная методика лингвистической оценки позволяет быстро и объективно оценить когнитивную сложность текста. Полученные в ходе эксперимента данные соответствуют сложившемуся в современной науке пониманию феномена когнитивной нагрузки.

Методика оценки когнитивной сложности текста может быть использована в двух направлениях. Первое - оценка учебных продуктов по степени их влияния на когнитивную нагрузку обучаемых. Это позволит предупредить когнитивные перегрузки студентов, повысит удовлетворенность учебой и эффективность учебного процесса в целом. Маркирование учебных продуктов по когнитивной сложности позволит усовершенствовать процедуры построения индивидуальных образовательных траекторий. Второе направление использования методики связано с оценкой когнитивной сложности продуктов творчества студентов. Следует предположить, что по мере продолжения обучения когнитивная сложность текстов эссе, рефератов, курсовых работ и т.д., подготавливаемых студентами, будет повышаться. В случае подтверждения данного предположения будет открыта новая возможность оценивать эффективность образовательных технологий. Кроме того, соответствие когнитивной сложности подготовленного студентом текста групповым нормам и индивидуальной траектории будет являться дополнительным показателем самостоятельности выполненных работ.

Методика оценки когнитивной сложности текста может служить основой разработки автоматизированной системы оценки учебно-научных текстов. Для автоматизации потребуется алгоритмизировать процессы кодирования для каждого из рассчитываемых коэффициентов.



Литература

1. Агрис А.Р., Матвеева Е.Ю., Корнеев А.А. Состояние работоспособности у первоклассников в норме и при трудностях обучения (по данным компьютерных методик). Психологические исследования, 2014, 7(34), 5. http://psystudy.ru.

2. Апресян Ю.Д. Избранные труды. Интегральное описание языка и системная лексикография. М.: Языки русской культуры, 1995. Т. 2.

3. Арутюнова Н.Д. Предложение и его смысл. М.: Языки славянских культур, 2007.

4. Балли Ш. Язык и жизнь. М.: Едиториал УРСС, 2009.

5. Виноградов В.В. Русский язык: Грамматическое учение о слове. 4-е изд. М.: Русский язык, 2001.

6. Грекова Т.И. Кожно-гальваническая реакция как показатель изменений психического состояния. Физиология человека, 1975, 1(6), 993-997.

7. Поликанова И.С., Сысоева О.В., Тоневицкий А.Г. Связь серотонинового транспортера (5НТТ) с развитием утомления. Психологические исследования, 2012, 5(24), 7. http://psystudy.ru.

8. Раевская О.С., Джебраилова Т.Д., Кузнецов С.А. Кожно-гальваническая реакция при определении минутного интервала времени. Физиология человека, 1985, 11(5), 744-750.

9. Савченко В.В. Бортовая система мониторинга функционального состояния оператора транспортного средства. Механика машин, механизмов и материалов, 2012, 18(1), 20-25.

10. Тараканов П.В. Кожно-гальваническая реакция у детей дошкольного возраста при различных функциональных состояниях. Журнал высшей нервной деятельности, 1982, 32(5), 967-969.

11. Чмыхова Е.В., Давыдов Д.Г., Лаврова Т.П. Бюджет учебного времени современных школьников. Социология образования, 2014, No. 7, 54-70.

12. Brьnken R., Plass J.L., Leutner D. Direct measurement of cognitive load in multimedia learning. Educational Psychologist, 2003, 38(1), 53-61.

13. Kalyuga S. Cognitive Load Theory: How Many Types of Load Does It Really Need? Educational Psychology Review, 2011, 23(1), 1-19.

14. Lustigova Z., Dufresne A., Courtemanche F., Malach J., Malcik M. Acquiring Physiological Data for Automated Educational Feedback in Virtual Learning Environments. New educational review, 2010, 21(2), 97-109.

15. Mailloux S.L., Johnson M.E., Fisher D.G., Pettibone T.J. How reliable is computerized assessment of readability? Computers in nursing, 1995, 13(5), 221-225.

16. Paas F., Van Merriлnboer J. Variability of worked examples and transfer of geometrical problem solving skills: A cognitive-load approach. Journal of Educational Psychology, 1994, 86(1), 122-133.

17. Paas F., Tuovinen J., Tabbers H., Van Gerven P.W.M. Cognitive load measurement as a means to advance cognitive load theory. Educational Psychologist, 2003, 38(1), 63-71.

18. Sweller J. Cognitive load during problem solving: Effects on learning. Cognitive Science, 1988, 12(2), 257-285.

19. Van Gerven P.W.M., Paas F., Van Merriлnboer J.J.G., Schmidt H.G. Memory load and the cognitive pupillary response in aging. Psychophysiology, 2004, 41(2), 167-174.

20. Wilson G.F., Eggemeier F.T. Physiological assessment of workload in multi-task environments. In: D.L. Damos (Ed.), Multiple-task performance. Washington, DC: Taylor and Francis, 1991. pp. 329-360.



Аннотация

Разработка и апробация лингвистической методики оценки когнитивной сложности научно-учебного текста. Самсонов Н.Б., Чмыхова Е.В., Давыдов Д.Г.

Московский государственный областной университет, Москва, Россия. Современная гуманитарная академия, Москва, Россия. Российский государственный социальный университет, Москва, Россия

Разработана комплексная лингвистическая методика, позволяющая количественно оценить когнитивную сложность текста. Подтверждено, что рассчитанные индексы когнитивной сложности текстов соответствуют степени вызванной когнитивной нагрузки читателей (N = 27), измеренной как динамика кожно-гальванической реакции испытуемых.

Ключевые слова: текст, когнитивная нагрузка, когнитивная сложность, лингвистическая сложность, кожно-гальваническая реакция

Размещено на Allbest.ru

...