Cloze tests как средство изучения избыточности текста

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Cloze tests как средство изучения избыточности текста

Вводные замечания. Принято считать, что методика завершения, или дополнения (closure procedure, cloze¹ tests), впервые была использована американским исследователем У. Тейлором в 1953 году². Суть методики заключается в следующем: в тексте опускается каждое пятое³, шестое, n-е слово, каждое опущенное слово заменяется пропуском (пробелом) одинаковой длины. Испытуемым предлагается восстановить текст, т.е. вставить пропущенные слова.

Условием, обеспечивающим возможность восстановления «разрушенного» речевого сообщения, является его избыточность, определяющая возможность более или менее адекватного понимания как устной, так и письменной речи, даже при наличии помех (каковыми и являются пропуски элементов текста). Считается, что степень правильности восстановления разрушенного текста является показателем «читабельности» текста, т.е. того, насколько данное сообщение доступно для конкретного получателя⁴. Если получатель владеет языком отправителя, темой конкретного сообщения и т.д., то для него не представляет трудности понять сообщение и заполнить пропуски.

По мнению Л. Лённгрена, результаты такого эксперимента можно использовать для изучения по крайней мере трёх объектов: «а) языковых способностей отдельных информантов; б) языковых характеристик отдельных текстов и в) самого языка как такового»⁵. Первоначально эксперименты подобного рода проводились исключительно в учебно-прикладных целях, позже была осознана возможность использования рассматриваемых методик и в решении теоретических проблем языкознания⁶.

Известно, что любой текст на естественном языке характеризуется определенной мерой избыточности⁷. Избыточность обеспечивает адекватность понимания текста адресатом, является своего рода гарантией, страховкой информации от потерь. В литературе бытует мнение, что избыточность текста на любом естественном языке составляет в среднем 50-55%, при этом отмечается, что разным типам сообщений может быть свойственна разная степень избыточности⁸. Ф. Дюбуа, Ж.-М. Клинкенберг, Ф. Эделин и др. трактуют положение о средней мере избыточности текста в 50-55% следующим образом: «Это значит, что даже если мы уничтожим 55% произвольно выбранных значимых единиц сообщения,

то оно всё равно может быть понято»⁸. Поскольку в структурном отношении языки могут существенно отличаться друг от друга, указанная средняя величина (5055%) в пределах каждого языка, по-видимому, должна обеспечиваться разными средствами.

Таким образом, методика cloze tests может быть использована в качестве средства экспериментального изучения избыточности текстов разного типа, с одной стороны, и средств создания избыточности в пределах того или иного языка - с другой.

Далее в статье будут рассмотрены некоторые результаты серии экспериментов типа cloze tests, проведенных нами в период с 2001 по 2003 годы.

Организация эксперимента, данные о текстах и испытуемых. В нашем варианте cloze tests исключалось каждое шестое (графическое) слово, при этом непроизводные предлоги не рассматривались в качестве отдельного слова: такой предлог присоединялся к последующему слову и это объединение рассматривалось как одна единица. Такое решение обусловлено, прежде всего, высокой предсказательной силой, которой обладают предлоги в русском языке.

Эксперимент проводился в двух модификациях. В первой модификации (далее - эксперимент 1) испытуемым предлагались тексты с сохранённой пунктуацией и с указанием позиции в высказывании, которую необходимо было заполнить. В инструкции сообщалось: «В предложенных текстах пропущены некоторые слова, места пропусков указаны подчёркиванием. Попытайтесь восстановить недостающие слова».

Во второй модификации (далее - эксперимент 2) знаки препинания были опущены, прописные буквы, указывающие на начало высказывания, были заменены строчными; места пропусков не указывались; в инструкции говорилось: «В предложенных текстах пропущены некоторые слова, а также знаки препинания. Расставьте знаки препинания; попытайтесь установить место пропуска и по возможности восстановить недостающие слова». Тем самым во втором варианте условия ужесточались за счёт устранения эксплицитно выраженной (с помощью знаков препинания) сегментации на высказывания и информации о месте пропуска.

Эксперимент проводился на двух парах текстов: «разговорный - газетный» (РТ и ГТ) и «научный - художественный» (НТ и ХТ)⁹. Каждый испытуемый работал с одной парой текстов.

В эксперименте 1 на материале НТ и ХТ приняли участие 104 человека; на материале РТ и ГТ - 98 человек; в эксперименте 2 на материале НТ и ХТ приняли участие 94 человека; на материале РТ и ГТ - 107 человек.

Общие сведения о текстах, предъявлявшихся в эксперименте, представлены в табл.

сообщение речевой текст читабельность

Сведения о текстах

2.1. Результаты эксперимента 1. Поскольку экспериментальные тексты были модифицированы так, что из них «механически» удалялось каждое 6-е слово, то в числе удалённых могли оказаться слова любой части речи. Прежде всего, мы попытались решить вопрос о существовании зависимости между частеречной принадлежностью удалённых слов и степенью их восстановимости.

В результате проведенной процедуры в каждом из текстов оказались удалёнными определённые наборы языковых единиц. Эти удалённые единицы образовали следующее соотношение слов знаменательных и служебных частей речи: в разговорном тексте - 20: 7 (74%: 26%)¹⁰; в газетном тексте - 26: 1 (96%: 4%); в научном тексте - 24: 4 (86%: 14%); в художественном тексте - 25: 2 (93%: 7%).

В данном случае рассматривались только те служебные слова, которые составили отдельную лакуну; непроизводные предлоги, удалённые вместе со словом, расположенным от него справа, в расчёт не брались.

Что касается знаменательных частей речи, то при подсчете все местоимения распределялись по частям речи в соответствии с их грамматическим классом; все причастные формы включались в категорию «глагол»; так называемые слова категории состояния - в «наречие».

Поставив задачу выявить наличие корреляции между восстановимостью слова и его частеречной принадлежностью, мы определили степень согласованности ответов испытуемых применительно к каждой части речи и получили следующие данные (см. табл. 2).

Степень восстановимости знаменательных частей речи в эксперименте 1 (в%)

Степень восстановимости служебных частей речи в эксперименте 1 (в %)

При подсчёте учитывались ответы, которые удовлетворяли требованию смысловой адекватности. Такое решение обусловлено тем, что смысловое восстановление текста является приоритетным, при этом передача смысла может быть адекватной и в случае несовпадения частеречной принадлежности удалённого слова и слова, предложенного испытуемым. Результаты нашего эксперимента свидетельствуют, что при смысловом совпадении, как правило, совпадала и частеречная принадлежность слов (слова в исходном тексте и слова, предложенного в качестве вставки испытуемым(-и)).

В поддержку принятого решения включать при распределении по частям речи причастные и деепричастные формы в общую категорию «глагол» говорит тот факт, что в числе предложенных замен, адекватно воспроизводящих смысл опущенного слова, нередки случаи, когда на месте финитной формы глагола исходного текста в анкетах испытуемых оказывалась причастная форма и наоборот.

Например, в ХТ на месте опущенного глагола лежит (об острове) адекватными заменами признаны причастные вставки расположен, был расположен; в ГТ на месте опущенного причастия написано уместными в смысловом отношении являются варианты с глаголом в финитной форме говорят, пишут, описывается, излагается, упоминается и под. То же можно сказать и по поводу решения распределять местоимения по соответствующим грамматическим классам. Так, например, на месте опущенных существительных испытуемые нередко предлагают анафорические местоимения он, она и т.п., и наоборот - на месте удалённых анафорических местоимений в ответах испытуемых можно встретить существительные.

Материалы таблицы 2 отражают наличие тенденции лучшего восстановления глаголов (так обстоит дело в газетном, научном и художественном текстах). Принципиально иную картину на этом фоне дает РТ, где наблюдается большой разрыв между восстановлением существительных и глаголов в пользу существительных. К числу особенностей РТ вообще и данного текста в частности относится его «рематичность» (неравномерное распределение информации по теме и реме, вернее - неравнопредставленность в тексте тем и рем в пользу рем). Поскольку именно глагол часто является коммуникативной вершиной высказывания, в случае отсутствия в высказывании эксплицитно выраженной темы удалённый рематический глагол плохо восстанавливается.

2.2. Обсуждение. В целом проведённый анализ экспериментальных материалов показал, что плохой (близкой к нулю) восстановимостью обладают слова таких «периферийных» частей речи, как междометия, вводные слова, отчасти частицы (не формообразовательные). По-видимому, слова этих частей речи не связаны с формированием избыточности текста.

Что касается слов остальных - «основных» - частей речи, то следует сказать, что сама по себе частеречная принадлежность слов не обеспечивает их худшую или лучшую смысловую восстановимость. Некоторое исключение из этого правила составляет глагол. Именно глагол в обоих экспериментальных режимах во всех текстах (за исключением разговорного) лидирует по качеству восстановления. Обеспечивают высокое качество восстановления глагола сохранные в тексте зависимые от него компоненты высказывания.

Наличие в высказывании насыщенных глагольных валентностей позволяет испытуемым восстановить «глагольное слово», при этом причастия, деепричастия и спрягаемые формы глагола в процессах восприятия могут взаимозаменяться (с соответствующей перестройкой структуры предложения). Сокращение числа зависимых слов (вплоть до их отсутствия) - распространителей причастий и деепричастий - отдаляет последние от глагола и сближает их с прилагательными и наречиями в том числе и с точки зрения степени восстановимости; наличие же распространителей обнаруживает тесную близость причастий и деепричастий со спрягаемыми формами глагола. Таким образом, можно сказать, что глагол и зависимые от него актанты напрямую связаны с формированием избыточности текста.

В целом же результаты показывают, что функционально-смысловая нагру - женность слова в тексте (в частности, его вхождение в тематическую или рематическую часть) гораздо важнее факта принадлежности слова к тому или иному частеречному классу. Слово, входящее в тематический компонент высказывания, к какой бы части речи ни относилось, имеет шансы быть лучше опознанным, нежели слово, входящее в рематический компонент. Глагол, входящий в рематический компонент высказывания, несмотря на представленность в тексте его зависимых, может плохо опознаваться, если контекст не обеспечивает ему «поддержки» в виде лексического или семантического повтора.

3.1. Результаты эксперимента 2. Обратимся к эксперименту 2, в котором, кроме удаления каждого шестого слова, были удалены все знаки препинания, а также не показывались места пропуска. Для сравнения приведем результаты смыслового восстановления, полученные в двух экспериментальных режимах (табл. 4).

Смысловое восстановление в экспериментах 1 и 2 (в%)

Как видим, результаты восстановления в условиях отсутствия знаков препинания и указаний на места пропусков в целом значительно хуже.

3.2. Обсуждение. В эксперименте 2 в качестве факторов, затрудняющих восстановление опущенных элементов, выступали два относительно независимых условия: 1) отсутствие знаков препинания, а также прописных букв, указывающих на начало высказывания, и 2) отсутствие указаний на место пропуска, приводящее к отсутствию ситуации «принудительного восстановления». Закономерна постановка вопроса о степени влияния каждого из обозначенных факторов на ситуацию. В самом общем виде вопрос может быть сформулирован так: влияние какого из факторов (отсутствие знаков препинания или отсутствие указаний на место пропуска) очевиднее сказывается на адекватном восприятии текста? Отсутствие знаков препинания приводит, прежде всего, к отсутствию эксплицитно выраженных границ высказываний. Испытуемые вынуждены были сами сегментировать текст, в том числе и путём расстановки знаков препинания, с тем чтобы облегчить себе задачу поиска возможных лакун и их заполнения. Надо сказать, что в целом испытуемые в эксперименте адекватно сегментируют письменные тексты с помощью знаков препинания практически в 95% случаев; мы включаем сюда и те случаи, когда сложная синтаксическая конструкция (как правило, перечислительного характера) делится испытуемыми на ряд простых (вместо запятой или точки с запятой, которая стояла в тексте-оригинале, ставится точка), или - наоборот - ряд простых предложений объединяется испытуемыми в составе сложного предложения, что маркируется с помощью соответствующих знаков препинания. Следует также сказать, что в этом отношении не является исключением и НТ, который по всем показателям хуже всего достраивался до целого, т.е. на уровне расстановки знаков препинания НТ так же, как и прочие тексты, сегментировался адекватно.

Больше всего отступлений от текста-оригинала в расстановке знаков препинания наблюдается в РТ. Но это неудивительно, т.к. в РТ, переведённом из транскрипционной записи, много парцеллированных членов предложения, отделённых на письме точками; высказываний с инвертированным порядком слов; типично разговорных конструкций (например, разрыв составного сказуемого) и пр.

Рассмотрим, в каких участках текста проводились иные (по сравнению с текстом-оригиналом) границы высказываний. Чаще всего иное членение наблюдается в тех случаях, когда сирконстант позиционно располагается на стыке двух высказываний текста-оригинала. Испытуемые ощущают, что перед ними два высказывания, но проведение границы между ними формально равно возможно как до сирконстанта, так и после него. Нередко наблюдается ситуация, когда испытуемые ставят точку до сирконстанта, тем самым следующее высказывание начинается с сирконстанта, в то время как в тексте-оригинале сирконстант «закрывал» предшествующее высказывание. Например, так поступили 52% испытуемых со следующим фрагментом художественного текста: Один из них - средневековый мастер Клаус (Берг)¹¹ - вырезал из чёрного дерева огромный алтарь (для собора) в Одензе. Алтарь этот - величественный и (грозный) - наводил оторопь не только на детвору, (но) даже на взрослых (в экспериментальном варианте: один из них средневековый мастер Клаус вырезал из чёрного дерева огромный алтарь // в Одензе алтарь этот величественный и наводил оторопь не только на детвору даже на взрослых; здесь и далее знаком // указана граница перцептивной синтагмы¹²). Для сравнения: 36% испытуемых обозначили границу высказывания после сирконстанта в Одензе, т.е. так же, как в тексте-оригинале.

Встречается и обратный ход: в тексте-оригинале обстоятельство (сиркон - стант) открывало высказывание, а испытуемые проводили границу после него, тем самым присоединив его к предшествующему высказыванию. Например, так поступили 28% испытуемых по поводу следующего фрагмента ГТ: Но, во-первых, где вы (видели) великую страну, которая протянула бы (жалкие) семь десятков лет? На обломках Римской (империи) создавалось множество «священных» и «великих» (римских) империй, разрушавшихся как карточный домик (в экспериментальном варианте: но во-первых где вы великую страну которая протянула бы семь десятков лет на обломках Римской // создавалось множество «священных» и «великих» империй разрушавшихся как карточный домик).

Кроме указанных случаев, других серьёзных отступлений в сегментации по высказываниям и по синтагмам внутри высказываний, ведущих к иной (или свидетельствующих об иной) интерпретации, в экспериментальных материалах не наблюдается. Получается, что отсутствие знаков препинания в письменном тексте на русском языке не является серьёзным препятствием для испытуемых - носителей языка: знаки препинания довольно легко восстанавливаются. Если не ставить жёсткое требование о соблюдении границ высказываний, то, по крайней мере, границы клауз опознаются испытуемыми адекватно в абсолютном большинстве случаев.

За счёт чего же тогда происходит такое резкое снижение результатов смыслового восстановления в эксперименте 2 по сравнению с экспериментом 1? По-видимому, это обусловлено действием другого фактора, связанного с отсутствием указания на место пропуска. Иными словами, в определённых фрагментах текста испытуемые не ощущают какой-либо «нехватки» слов, воспринимают эти фрагменты как достаточные, целостные и, следовательно, никак их не маркируют (в тех случаях, когда испытуемый ощущал «нехватку», но затруднялся в выборе конкретной единицы, он имел возможность поставить, например, знак «плюс», что, по условиям эксперимента, означало «здесь пропущено какое-то слово, но я не могу сказать, какое точно»).

К числу элементов текста, отсутствие которых прошло максимально незамеченным для испытуемых, принадлежат разного рода вводные конструкции, частицы, определения, сирконстанты, связки, а также приложения. Иными словами, результаты восстановления в тех случаях, по поводу которых в эксперименте 1 речь шла о низком восстановлении, в эксперименте 2 оказались близки к нулю.

4. Выводы. Как показал анализ некоторых результатов эксперимента с исключением каждого шестого слова, в целом удаление информации по такому принципу не сказывается катастрофически на понимании текста: более 50% вставок, предложенных испытуемыми, являются адекватными в смысловом отношении. Избыточность текста и контекстная предсказуемость обеспечивают необходимый уровень его понимания и в условиях помехи.

Изучая особенности русского языка путём методики cloze tests, Л. Лённгрен обнаружил такое качество русского текста, которое он предлагает называть «гиб - костью»¹³. «Гибкость», с точки зрения Л. Лённгрена, реализуется в том, что, с одной стороны, некоторые элементы в тексте на русском языке могут быть опущены не в ущерб его правильности, с другой стороны - во многих случаях возможна вставка дополнительного слова с тем же эффектом.

Представляется, что такого рода вставки и опущения напрямую связаны с механизмами повышения / понижения избыточности текста.

Примечания

1 «Считается, что термин cloze образован как сокращение термина clozure (правильнее closure. - Е.Г.), используемого в гештальтпсихологии для объяснения явления, при котором наблюдатель при восприятии предмета, предъявляемого ему в неполном или неотчётливом виде, способен завершить, дополнить в воображении образ этого предмета» (Белянин, В.П. Введение в психолингвистику / В.П. Белянин. - М., 1999. - С. 85).

2 См.: Wilson, L. Taylor. «Cloze Procedure»: a new tool for measuring readability / L. Taylor Wilson // Journalism Quarterly. - 1953. - P. 415-433.

3 Расстояние между пропусками в 5 слов признаётся самым целесообразным для эксперимента (см.: Oller, John W. Language Testing at School / John W. Oller. - L., 1979; Лённгрен, Л. О «гибкости» русского текста: опыт лингвистического эксперимента / Л. Леннгрен // Nordlyd. TromsШ University working papers on language & linguistics. - 1997 (25). - P. 35-46).

4 Разработка проблем читабельности текста во многом была инициирована Ч. Осгудом.

5 Лённгрен, Л. О «гибкости» русского текста. - С. 35.

6 О динамике отношения к лакунарным экспериментам см.: Касевич, В.Б. Контекстная предсказуемость лексических и грамматических единиц / характеристик русского письменного текста (в сопоставлении с китайским) / В.Б. Касевич, Н.А. Осьминкина // Языкознание в теории и эксперименте: сб. науч. тр. - М., 2002. - С. 306-326.

7 См. об этом: Глисон, Г. Введение в дескриптивную лингвистику / Г. Глисон. - М., 1959; Касевич, В.Б. Морфонология / В.Б. Касевич. - Л., 1986; Мартине, А. Принцип экономии в фонетических изменениях / А. Мартине. - М., 1960 и др.

8 Дюбуа, Ж. Общая риторика / Ж. Дюбуа, Ф. Эделин, Ж.-М. Клинкенберг и др. - М., 1986. - С. 75.

9 В качестве источников выступили следующие тексты: ГТ - Новопрудский, С. За царя / С. Новопрудский // Известия. - 2001. - 31 янв.; РТ - Русская разговорная речь: тексты / отв. ред. Е.А. Земская. - М., 1973. - С. 114-116; ХТ - Паустовский,

К.Г. Сказочник (Христиан Андерсен) / К.Г. Паустовский // Избранные произведения: в 2 т. Т. 2. - М., 1977. - С. 314-315; НТ - Леонтьев, А.Н. О механизме чувственного отражения / А.Н. Леонтьев // Психология ощущений и восприятия / под ред. Ю.Б. Г иппенрейтер и др.; 2-е изд., испр. и доп. - М., 1999. - С. 221-222.

10 Здесь и ниже представленные цифры означают, что, например, в РТ соотношение удалённых знаменательных и служебных слов составило 20 к 7, т.е. всего в тексте было 27 лакун, из них на месте 20 лакун ранее находились слова знаменательных частей речи, на месте 7 лакун - слова служебных частей речи; то же в пересчёте на проценты - из числа удалённых слов в РТ 74% приходилось на слова знаменательных частей речи, 26% на слова служебных частей речи.

11 Здесь и далее в скобки взяты слова, которые по указанным выше условиям были удалены в экспериментальном бланке.

12 Термин «перцептивная синтагма» заимствован нами из работы: Венцов, А.В. Проблемы восприятия речи / А.В. Венцов, В.Б. Касевич. - СПб., 1994.

13 См.: Лённгрен, Л. О «гибкости» русского текста.

Размещено на Allbest.ru