Синтаксическая сложность академического текста: корпусное исследование работ русскоязычных студентов, изучающих английский язык, в сравнении с текстами профессиональных авторов

Размещено на http://allbest.ru

Национальный исследовательский университет «Высшая школа экономики»

Синтаксическая сложность академического текста: корпусное исследование работ русскоязычных студентов, изучающих английский язык, в сравнении с текстами профессиональных авторов

Ольга И. Виноградова, Елизавета А. Смирнова

Анна В. Виклова, Ирина М. Пантелеева

Москва



Аннотация

В статье анализируются данные получения автоматизированной оценки синтаксической сложности академического текста на базе размеченных частеречной разметкой удовлетворяющих требованиям сравниваемости корпусов двух экспертных и двух учебных -- в двух тематических областях.

Исследование проводилось с использованием двух различных компьютерных инструментов - парсера UDPipe и комплекса программ AntConc. Были сделаны следующие выводы: экспертные академические тексты показывают высокую клаузальную и фразовую сложность, уровень которой выше в текстах по менеджменту, нежели по экономике. По сравнению с текстами студентов клаузальная сложность текстов профессионалов существенно выше, в то время как параметры фразовой сложности были почти одного уровня или даже незначительно ниже, чем у студентов. Наиболее значимые различия наблюдаются в употреблении генитивов с предлогом of, нормализованная частотность которых в учебных корпусах превышает оную в профессиональных статьях примерно в 1,7 раз в обеих областях. Результаты противоречат выводам предыдущих исследований о том, что с повышением уровня владения языком клаузаль- ная сложность снижается, а фразовая растет.

Ключевые слова: синтаксическая сложность, фразовая сложность, клаузальная сложность, академический английский, компьютерные инструменты, учебные корпуса



Abstract

Syntactic Complexity of Academic Text: A Corpus Study of Written Production by Learners of English with Russian L1 in Comparison with Expert Texts of English Authors

Olga I. Vinogradova HSE University, Moscow

Elizaveta A. Smirnova HSE University, Perm,

Anna V. Viklova HSE University, Moscow

Irina M. Panteleeva Moscow

The paper analyses data of automated evaluation of syntactical complexity of scholarly texts from four comparable corpora - two of expert texts and two of learner texts - in two subject areas. The research applied two different computer tools - UDPipe parser and AntConc set of programs. The following conclusions were made:

- Expert scholarly texts demonstrated high clausal and phrasal complexity, and its level was higher in Business Studies than in Economics.

- Clausal complexity in expert texts was much higher than in student texts, while phrasal complexity was at about the same level as, or even slightly lower than that of students.

The largest difference was attested for genitive construction with preposition of, which was 1.7 times as frequent in student texts in both subject areas as in expert texts. The results contradict the conclusion of the prior research that with the growth in proficiency clausal complexity decreases, while phrasal complexity grows.

Keywords: syntactic complexity, phrasal complexity, clausal complexity, academic English, computer tools, learner corpora



Введение

Исследование сложности академического текста входит в число приоритетных направлений современной корпусной лингвистики, о чем свидетельствует большое количество опубликованных работ, посвященных данному вопросу (см., например, [Biber et al. 2011]; [Biber, Gray 2016]; [Crossley, McNamara 2014]; [Lu 2011]). Интерес к данной теме обусловлен несколькими факторами.

Во-первых, глобализация всех социальных сфер не обошла стороной и образование, в результате чего повышение качества преподавания академического английского языка, lingua franca научного сообщества, стало важной задачей, которую ставят перед собой многие вузы мира. Во-вторых, определение сложности текста и объективация данного параметра дают исследователям возможность обрабатывать и анализировать академический текст с помощью компьютерных инструментов. Полученные данные могут в дальнейшем применяться в научной деятельности и педагогической практике.

В данной статье мы попытаемся ответить на следующие исследовательские вопросы:

1. Какими показателями сложности обладает академический текст, написанный профессиональным автором? Как эти показатели различаются в текстах по разным дисциплинам?

2. Есть ли значимые различия между текстами, написанными экспертами, и текстами студентов, изучающих эту же дисциплину? Какие параметры сложности демонстрируют наибольшие различия?

3. Какие инструменты автоматической оценки сложности оказываются более эффективными?



Обзор предшествующих исследований

По определениям в [Biber, Gray 2016, p. 141], грамматическая сложность научного текста включает два аспекта: фразовую и клаузальную сложность. Фразовая сложность представляет собой степень концентрации существительных и прилагательных, функционирующих в качестве определений существительного, тогда как клаузальная сложность понимается как степень концентрации придаточных предложений в функции либо именной части сказуемого, либо обстоятельственных придаточных. Как показано в [Staples et al. 2016], по мере развития у студентов навыков письменной речи фразовая сложность повышается, а клаузальная снижается.

Ряд работ посвящен изучению отдельных синтаксических конструкций, ассоциируемых с клаузальной сложностью. Например, клефтовые конструкции с местоимением it исследуются в работах [Suarez, Alvarez 2010]; [Hinkel 2003].

Как указано в работе [Biber et al. 1999, p. 963], конструкции с it особенно характерны для научной прозы, поскольку они позволяют максимально точно сформулировать мысль, расставив нужные акценты. Особое внимание уделяется условным придаточным (см., например, [Swales, Feak 2004]; [Warchal 2010]; [Mazgutova, Kormoz 2015]). К. Уорчал [Warchal 2010] отмечает, что этот тип придаточных, выполняющий широкий спектр функций, играет важную роль в научных текстах, где используется для построения логической аргументации. Как сказано в пособии [Swales, Feak 2004, p. 260], в научных текстах ирреальные условные придаточные используются для критики работ предшественников. По мнению Байбера и соавторов [Biber et al. 1999], условные придаточные предваряют и развивают аргументацию. английский язык клаузальный фазовый сложность тест

Относительные придаточные также характерны для академического письма (см., например, [Byrnes, Sinicrope 2008]; [Biber et al. 1999]), и их частотность нередко служит показателем синтаксической сложности текста (например, [Jucker 1992]). Как отмечается в работе [Siepmann et al. 2011], нефинитные клаузы, а именно причастные обороты, часто встречаются в научных текстах, где могут функционировать в качестве обстоятельственных придаточных в сопровождении союзов. Нефинитные клаузы отличаются компактностью, и их использование помогает уменьшить длину предложения, одновременно повышая его сложность (ср. When considered from this angle, the difficulties appear insurmountable `Если посмотреть с этой точки зрения, трудности кажутся непреодолимыми' Здесь и далее - перевод авторов. по сравнению с When the difficulties are considered from this angle, they appear insurmountable `Если посмотреть на трудности с этой точки зрения, они кажутся непреодолимыми') [Siepmann et al. 2011, p. 152]. О частотности причастных оборотов в письменном научном дискурсе см. также [Biber et al. 1999, p. 606].

Использование нефинитных клауз и парентетических конструкций для выражения отношения автора в научных работах, написанных испанскими и нидерландскими студентами продвинутого уровня, исследовалось в работе [Hannay, Caro 2008]. По наблюдениям авторов, эти конструкции чаще встречаются в текстах носителей испанского языка.

Некоторых исследователей интересовали не отдельные признаки грамматической сложности, а их группы. Так, Байбер и Грей [Biber, Gray 2016] рассматривали финитные и нефинитные обстоятельственные, изъяснительные и определительные клаузы как маркеры клаузальной сложности. По их данным, большинство этих грамматических конструкций более частотны в устной речи, нежели в письменном научном дискурсе. C. Стэйплз и соавторы [Staples et al. 2016] изучали в академических текстах различных дисциплин признаки клаузальной сложности, такие как финитные обстоятельственные клаузы, придаточные с союзными словами на wh-, выступающие как именная часть сказуемого, изъяснительные придаточные с союзом that и союзы между однородными клаузами. Они пришли к выводу, что клаузальная сложность более характерна для текстов из области искусств, гуманитарных и социальных наук и реже проявляется в естественнонаучных текстах.

Б. Грей [Gray 2013] составила список маркеров позиции автора и рассмотрела вариативность их использования в научных статьях, посвященных теоретическим, количественным и качественным исследованиям. Как оказалось, вариативность возникает под влиянием нескольких параметров, помимо различий между научными областями. К этим параметрам относятся используемые в статье подтверждающие данные, наличие или отсутствие данных, принадлежность работы к качественной, количественной или теоретической исследовательской парадигме.

В том же русле Гарднер и соавторы [Gardner et al. 2018] проследили, как грамматические признаки объединяются в кластеры по четырем параметрам студенческих письменных текстов, а именно (i) сжатая информация о процедуре исследования или выражение позиции авторов по отношению к работам других исследователей; (ii) личная позиция авторов; (iii) описание возможных событий или произошедших событий и (iv) информационная плотность исследования. При этом авторы выделяли параметры, присутствовавшие в текстах различных дисциплин, жанров и уровней владения языка. Основываясь на результатах этих исследований, в работе [Nesi and Gardner 2019] утверждается, что клаузальная сложность текста более характерна для гуманитарных дисциплин и более «разговорных» жанров. В первом случае она достигается за счет использования эпистеми- ческих обстоятельственных оборотов, существительных, выражающих отношение автора, и придаточных предложений с союзом that; во втором случае чаще используются глаголы, выражающие авторскую позицию.

В контексте усвоения иностранного языка синтаксическая сложность текста является средством определения уровня владения языком, как показано в работах [Foster, Skehan 1996], [Wolfe- Quintero et al. 1998], [Ortega 2003], [Lu 2011]. Синтаксическая сложность письменного текста на иностранном языке, как правило, рассматривается в связи с развитием языковой компетенции учащегося: например, какие синтаксические конструкции осваиваются раньше, а какие позже [Hawkins 2001]; как синтаксическая сложность текста влияет на оценку его качества [Crossley, McNamara 2014]; как меняется репертуар синтаксических конструкций, которыми владеет учащийся, после интенсивного курса обучения [Mazgutova, Kormos 2015].

Несмотря на большое количество работ, посвященных различным параметрам сложности текста, насколько нам известно, ранее авторы не пытались сравнить эти параметры сразу в двух плоскостях: в различных дисциплинах и в текстах профессиональных авторов и учащихся. Кроме того, в нашем исследовании применяются различные подходы к изучению сложности текста, что позволит получить более полную картину данного явления, а также оценить эффективность выбранных методов.

Материалы и методы

Корпусы. Исследование проведено на материале четырех размеченных корпусов: двух экспертных и двух учебных.

Первый корпус текстов профессиональных авторов (примерно 694 тыс. слов) состоит из статей, опубликованных в рецензируемых журналах по менеджменту: Journal of Management (JOM) - 25 статей; Journal of Management Studies (JMS) - 20 статей; Academy of Management Journal (AMJ) - 17 статей (всего 62 статьи) в период с 2013 по 2016 г. Все источники - ведущие научные журналы с индексом Хирша 145, 119 и 227 соответственно (по данным за 2017 г.), что свидетельствует об их авторитетности в международном сообществе исследователей в области бизнеса и менеджмента.

Второй экспертный корпус из 679 тыс. слов включает статьи, опубликованные в рецензируемых журналах по экономике: Quarterly Journal of Economics (QJE) - 19 статей; Journal of Financial Economics (JFE) - 18 статей; International Journal of Production Economics (IJPE) - 19 статей (всего 56 статей) в период с 2013 по 2016 г. Индекс Хирша упомянутых журналов составляет соответственно 219, 206 и 141 (по данным за 2017 г.) - таким образом, это ведущие издания в данной области. Полный список статей, вошедших в экспертные корпусы по менеджменту и экономике, доступен по ссылке https://docs.google.eom/document/d/1GBkzdJ00hHqkT XSZv4HYBjAoQ5foQtY3pc6POqiag58/edit?usp=sharing.

Первый из учебных корпусов включает 58 текстов по менеджменту (130 тыс. слов), написанных студентами четвертого курса, проходившими обучение по программе «Менеджмент» в Национальном исследовательском университете «Высшая школа экономики» в Перми в 2015 г. Это предварительное описание дипломной работы, написанное в рамках курса «Английский для академических целей». Каждый текст представляет собой краткое описание дипломного проекта на английском языке (примерно 2500 слов), включающее несколько разделов: введение, обзор литературы, методы, полученные или предполагаемые результаты, заключение. Все студенты -- носители русского языка с уровнем владения английским примерно B2-C1.

В состав второго учебного корпуса (ок. 112 тыс. слов) входит 53 текста, написанных студентами-экономистами четвертого курса того же университета. Уровень владения английским у студен- тов-экономистов примерно такой же, что и у студентов программы «Менеджмент», и их родным языком также является русский. Исследовательские проекты по менеджменту и экономике имеют одинаковую структуру. Доступ к учебным корпусам возможен по следующей ссылке: https://perm.hse.ru/bi/sfcr/corpora

Методы исследования. Из отобранных текстов были удалены все таблицы, формулы, графики и ссылки. На первом этапе исследования распределение показателей сложности в учебных и экспертных текстах анализировалось при помощи парсера UDPipe [Straka 2017]. В исследовании [Lyashevskaya, Panteleeva 2018], также посвященном работе с этим парсером, были выявлены критерии синтаксической сложности, которые основаны на синтаксических отношениях, устанавливаемых этим парсером. Показателями синтаксической сложности являются, например, среднее число обстоятельственных клауз, аттрибутивных конструкций и относительных клауз в тексте. В случае несопоставимости текстов по длине в качестве метрик используются отношение числа тех же клауз к количеству предложений в тексте и отношение числа тех же клауз к количеству токенов.

На следующем этапе мы проверили частотность реализации параметров синтаксической сложности текста в исследуемых четырех корпусах. Подсчеты параметров на этом этапе были произведены с помощью программы AntConc [Anthony 2014], которая часто используется как инструмент автоматического анализа текстов при исследовании корпусных данных.

В качестве объекта исследования были выбраны признаки фразовой и клаузальной сложности научного текста, предложенные в работе [Staples et al. 2016]. К чертам фразовой сложности относится частотное распределение существительных; прилагательных, функционирующих в качестве определений (например, empirical results); существительных, функционирующих в качестве определений в позиции перед существительными (например, stimulation results); конструкции с предлогом of между двумя существительными (например, the results of the analysis). К клаузальной сложности относится частотное распределение обстоятельственных, изъяснительных и относительных придаточных предложений. Мы изучали обстоятельственные придаточные следующих типов:

• условные клаузы с союзами if, unless, in the event that, provided that, например:

(1) Unless the case can be made, there is little chance that the regulatory authorities will seek to change current practice.

`Если не удастся вынести этот вопрос на решение в суде, то маловероятно, что органы надзора попытаются изменить существующее положение вещей.' (IJPE2016-6);

• уступительные клаузы с союзами although, even though, despite the fact that, in spite of the fact that, например:

(2) Even though the paper assumes a simple tracking function class, the proposed method is easily, readily extendible to a more complicated function with a much higher number of parameters.

`Хотя в работе рассматривается класс функций простого отслеживания, предложенный метод можно легко расширить на более сложные функции с гораздо большим числом параметров' (IJPE 2014-1);

• временные клаузы с союзами after, before, when, until, as soon as, например:

(3) After one component was completely varnished, the photocell system stopped paint-spraying until the subsequent piece along the chain conveyor reached the right position in the paint booth.

`После того как один компонент был полностью покрыт лаком, система фотоэлементов прекратила напыление краски до тех пор, пока следующий предмет на цепном конвейере не достиг нужного положения в покрасочной камере' (IJPE2015-1);

• клаузы причины с союзами because, since, например:

(4) First, since the metal content of each mining block is not known, the associated financial value of a block is stochastic.

`Во-первых, поскольку содержание металла в каждом шахтном блоке неизвестно, соответствующая финансовая ценность блока является стохастической величиной' (IJPE2014-1);

• клаузы результата с союзом so that, например:

(5) This will require a broader more systemic approach to encouraging sustainable practices including investment and financing practices, so that all members of the dairy supply chain can co-operate and contribute to energy reduction.

`Для этого потребуется более широкий и системный подход к внедрению устойчивых практик, в том числе инвестирования и финансирования, чтобы все участники цепочки поставок молочной продукции могли объединить усилия и внести свой вклад в снижение энергопотребления' (IJPE2014-3);

• клаузы контраста с союзами while, whereas, например:

(6) Whereas previous work in the field has shown that customers value split lines when evaluating product quality... this study de scribes a means to quantify that preference in a useful way for manufacturers.

`Хотя предшествующие исследования в данной области показали, что при оценке качества продукта покупатели ценят линии разъема... в этом исследовании описывается способ количественного измерения предпочтения, который будет полезен производителям' (IJPE2015-2).

Выбор данных видов придаточных предложений обусловлен их высокой частотностью в академическом дискурсе, что убедительно показано в работе [Biber et al. 1999] и отмечено несколькими авторами в качестве типичной черты письменной речи людей, профессионально владеющих английским языком [Hinkel 2003]; [Siepmann et al. 2011].

Результаты

При проведении первого этапа исследований авторы разработали программу на языке Python, которая для извлечения синтаксической и лексической информации использует модель english- ud-2.3 парсера UDPipe, а для извлечения морфологической информации -- комплекс nltk пакета PorterStemmer.

Используя эти средства, программа выполняет следующие задачи: 1) лемматизация; 2) стемминг; 3) выделение конструкций; 4) классификация по оценкам.

На основании анализа критериев сложности текста, о которых шла речь в разделе 3.2, были выбраны основные признаки для работы программы, и по ним производилась оценка сложности текстов. Программа прежде всего вывела подсчет результатов парсинга по пяти параметрам, приведенным в таблице 1.

Заметим, что обстоятельственные придаточные клаузы включают в себя клаузы как с финитными, так и с нефинитными формами глагола. Число обстоятельственных, определительных и относительных клауз (первые три строки таблицы 1) является отношением суммарного числа соответствующих клауз в выборке корпуса к общему количеству текстов в выборке - тем самым это среднее количество соответствующих клауз на текст.

Используемые обозначения:

1. Тексты статей - это тексты статей из экспертных корпусов, а тексты студентов - это тексты предварительного описания на английском языке дипломной работы их учебных корпусов.

2. LL - логарифмическое правдоподобие (log likelihood). Данная функция используется для оценки статистической значимости разницы между показателями двух корпусов [Dunning 1993]. Вслед за Смитом [Smith 2009], значения логарифмической правдоподобности интерпретировались следующим образом: LL > 6,63 означает, что результат значим на уровне 1% (р < 0,01), т. е. вероятность того, что разница между показателями случайна, составляет 1%; LL > 3,84 означает, что результат значим на уровне 5% (р < 0,05).

3. %DIFF - размер эффекта. Данный показатель используется в работе для оценки размера разницы между нормализованной частотностью параметров сложности в двух корпусах и показывает пропорцию этой разницы. Отрицательные значения показывают, что параметр обладает более высокой нормализованной частотностью в справочном корпусе [Gabrielatos, Marchi 2012]. В нашем случае это означает, что частотность выше в экспертном корпусе, чем в учебном.

Как видно из таблицы, наибольшая разница между экспертными и учебными корпусами наблюдается в использовании определительных клауз, которые преобладают в текстах профессиональных авторов по экономике, и обстоятельственных клауз, доминирующих в экспертных текстах по менеджменту.

Все значения параметров сложности оказались ниже в учебных корпусах, чем в экспертных. Однако следует отметить, что все различия между студенческими и экспертными корпусами оказались статистически незначимы.

Таблица 1

Средние на текст параметры синтаксической сложности экспертных и учебных текстов в двух предметных областях, полученные парсером UDPipe

	Экономика (тексты)	LL	%DIFF	Менеджмент (тексты)	LL	%DIFF
	студентов	статей			студен тов	статей
Число обстоятельственных клауз	39	240	0,17	-7,24	45	276	1,71	-18,57
Число определительных клауз	39	279	1,76	-24,67	49	255	0,07	-4,02
Число относительных клауз	21	98	0,71	18,67	26	122	0,08	6,44
Число предложений	119	728	0,43	-6,61	131	622	0,27	5,19

По этой причине мы применили дополнительное взвешивание для достижения сопоставимости текстов студенческих работ и экспертных статей путем дальнейшего усреднения.

Для этого мы число обстоятельственных клауз, аттрибутивных конструкций и относительных клауз в строках 1-3 таблицы 1 поделили на среднее число предложений и на среднее число токенов в тексте. Результаты подсчета приведены в таблице 2.



Таблица 2

Усредненные параметры синтаксической сложности экспертных и учебных текстов в двух предметных областях, полученные парсером UDPipe

	Экономика (тексты)	Менеджмент (тексты)
	студентов	статей	студентов	статей
Число обстоятельственных клауз на одно предложение	0,331	0,329	0,341	0,444
Число определительных клауз на одно предложение	0,328	0,384	0,372	0,409
Число относительных клауз на одно предложение	0,177	0,135	0,197	0,196
Число определительных клауз на один токен	0,016	0,019	0,018	0,018
Число относительных клауз на один токен	0,009	0,007	0,01	0,009

Данные таблицы 2 демонстрируют приблизительно одинаковый уровень синтаксической сложности экспертных и студенческих текстов в усредненных параметрах на предложение и на токен, из чего напрашивается вывод, что для более тонкого анализа синтаксической сложности нужны более дробные типы конструкций, а не только все относительные или все определительные конструкции.

Чтобы убедиться в этом, мы рассмотрели тот параметр в текстах по экономике, в котором показатель в студенческих текстах превышает соответствующий показатель в текстах экспертных статей, - число относительных клауз на число предложений. Мы рассмотрели несколько предложений, где таких клауз больше одной, и в них видно, что использование относительных клауз в студенческих работах из вышеупомянутых корпусов является избыточным (предложения приведены в авторской орфографии и пунктуации, перевод максимально сохраняет авторский вариант, иногда в ущерб правильности предложения на русском языке):

(7) However, in other case the next model would be made, including the Chief characteristics, which are relevant only in family firms and find out which ones are important.

`Однако в ином случае была бы создана следующая модель, включающая основные характеристики, которые являются значимыми лишь в семейных компаниях, чтобы определить, какие являются важными' (E-2015-9).

(8) The other approach to regional competitiveness which is associated with the most known theory for which Paul Krugman became known and for which he had received the Nobel Prize is the New Economic Geography.

`Другой подход к региональной конкурентоспособности, которая ассоциируется с самой известной теорией, благодаря которой прославился Пол Кругман и за которую он получил Нобелевскую премию, - это «новая экономическая география»' (E-2015-46).

Иными словами, эти примеры свидетельствуют о том, что студенты, используя относительные клаузы, усложняют предложения настолько, что их понимание затрудняется, в то время как в статьях профессиональных изданий авторы используют те же конструкции для облегчения восприятия смысла текста, например:

(9) The supply chain is driven by the demand signal, which is composed of a replacement component for forklifts being retired after completing their useful life and a growth component (IJPE-2013-1).

`Цепочка поставок управляется спросом, который представляет собой необходимость замены вилочных погрузчиков, списанных по истечении срока эксплуатации, в сочетании с ростом потребности в них'.

Автор статьи в первой клаузе использовал нерестриктивное относительное придаточное предложение для добавления информации к термину demand signal, а во второй клаузе в качестве рестриктивного определения слова forklifts использована определительная причастная конструкция, а не второе относительное придаточное предложение.

Результаты анализа клаузальной и фразовой сложности научного текста представлены в таблице 3.

В скобках указана нормализованная частотность на 1000 слов текста, что позволяет сопоставлять полученные результаты. Прочие условные обозначения те же, что были приведены выше перед таблицей 1.

Количественный анализ использования синтаксических конструкций, свидетельствующих о клаузальной сложности текста, в целом подтвердил естественное предположение, что синтаксические конструкции преобладают в текстах, написанных профессиональными авторами.

Наибольшая статистически значимая разница по сравнению со студенческими текстами (более чем в два раза) наблюдается в употреблении следующих обстоятельственных придаточных предложений: условия, уступки (в текстах по менеджменту), времени (в текстах по менеджменту) и результата (в текстах по экономике).

Однако в функционировании обстоятельственных придаточных контраста прослеживаются различные тенденции при сравнении учебных текстов с профессиональными в зависимости от предметной области: в корпусе экономических текстов они статистически значимо чаще встречаются в работах студентов, а в корпусе по менеджменту - в текстах профессиональных авторов.

Аналогичная ситуация наблюдается с изъяснительными придаточными: их слишком часто, по сравнению с профессионалами, используют студенты-экономисты и слишком редко - студенты-менеджеры. Исследователям еще предстоит понять, в чем кроется причина таких особенностей, но полученные результаты следует учитывать преподавателям английского языка при обучении студентов разных специальностей.

Интересно, что анализ языковых единиц, свидетельствующих о фразовой сложности текста, выявил противоположную тенденцию.

Единственной конструкцией, преобладающей в текстах экспертов по обеим дисциплинам, оказались существительные в функции определения.

Сравнение экспертных корпусов между собой показало, что статьи по менеджменту обладают более высокой клаузальной и фразовой сложностью по рассматриваемым параметрам, чем статьи по экономике.

Таблица 3

Параметр	Экономика	Менеджмент
	Тексты студентов	Тексты статей	LL	%DIFF	Тексты студентов	Тексты статей	LL	%DIFF
Клаузальная сложность
Финитные условные клаузы	100 (0,89)	1372 (2,02)	79,02	-126,31	68 (0,52)	763 (1,10)	42,45	-110,18
Уступительные клаузы	47 (0,42)	326 (0,48)	0,77	-14,41	34 (0,26)	464 (0,69)	36,76	-155,64
Временные клаузы	95 (0,85)	991 (1,46)	29,67	-72,07	94 (0,72)	1252 (1,80)	95,44	-149,49
Клаузы места	79(0,71)	810(1,19)	22,97	-69,12	47 (0,36)	416(0,60)	12,35	-65,80
Причинные клаузы	198(1,77)	1046(1,54)	3,06	12,86	158 (1,22)	1126(1,62)	12,43	-33,50
Клаузы результата	5 (0,04)	177 (0,26)	27,79	-483,92	19(0,15)	60 (0,09)	3,61	40,85
Клаузы противопоставления	65 (0,58)	190 (0.28)	22,64	51,78	59 (0,.45)	732 (1,05)	49,48	-132,40
Всего финитных обстоятельственных клауз	589 (5,26)	4912 (7,23)	58,14	-37,56	498 (3,83)	4813 (6,94)	186,78	-81,04
Клаузы с союзным словом на wh-	40 (0,36)	113(0,17)	15,07	53,40	38 (0,29)	366 (0,53)	14,07	-80,42
Глагол+клауза с союзным словом that	486 (4,34)	2937 (4,33)	0	0,32	433 (3,33)	4039 (5,82)	141,53	-74,73
Фразовая сложность
Существительные	32923 (293,96)	197539 (290,93)	3,01	1,03	39301 (302,32)	206294 (297,25)	9,37	1,67
Адъективные определения	7288 (65,07)	39677 (58,43)	69,51	10,20	8763 (67,41)	48703 (70,18)	4,11	-1,47
Существительные как определения	4757 (42,47)	39969 (58,86)	493,26	-38,59	5609 (43,15)	36183 (52,14)	182,16	-20,84
Генитивные конструкции с предлогом of	1983 (17,71)	7169 (10,56)	374,94	40,37	2277 (17,52)	7633 (11,00)	347,83	37,21

Параметрами, преобладающими в текстах экспертов-экономистов, являются обстоятельственные придаточные условия и места, а также конструкции с существительными, выступающими в роли определения.

Разница в полученных показателях сложности экспертных текстов между экономикой и менеджментом не такая явная, как в более тонких показателях, полученных с использованием AntConc; если среднее число обстоятельственных клауз в текстах экспертных статей по экономике несколько меньше, чем в текстах по менеджменту (240 и 276 соответственно), то среднее число определительных клауз у экономистов примерно настолько же выше, чем у экспертов в области менеджмента (279 и 255 соответственно). Однако все показатели синтаксической сложности по рассматриваемым параметрам в экспертных текстах по менеджменту выше, чем в статьях по экономике.

Тексты как студентов-экономистов, так и студентов-менеджеров имеют более низкие показатели сложности текста по сравнению с экспертными текстами по всем параметрам клаузальной синтаксической сложности в двух рассматриваемых областях, но ситуация с параметрами сложности на одно предложение совершенно иная - показатели учебных текстов почти такие же, как в экспертных текстах той же области, - немного ниже или даже чуть выше, чем в экспертных, а число относительных клауз на одно предложение в экономических текстах, как говорилось выше, даже вполне ощутимо превышает число таких клауз в статьях экспертов.



Обсуждение результатов и выводы

Результаты количественного анализа эмпирического материала позволяют сделать следующие выводы:

1. Академический текст, написанный профессиональным автором, обладает высокой степенью как клаузальной, так и фразовой сложности, и оба этих вида синтаксической сложности больше распространены в текстах по менеджменту, чем в текстах по экономике.

2. По сравнению с текстами обучающихся клаузальная сложность текстов профессионалов существенно выше, в то время как фразовая сложность сопоставима или незначительно ниже.

Наиболее значимые различия (примерно в 1,7 раз больше в учебных текстах) наблюдаются в употреблении модификаторов с предлогом of, что, вероятнее всего, объясняется тем, что изучающие язык предпочитают эту хорошо известную конструкцию всем остальным способам выражения приименных модификаторов, представленным в английском языке, а именно: притяжательные формы существительного перед определяемой именной группой; предшествующее определяемой именной группе существительное в функции определения; конструкции с другими предлогами после определяемой именной группы.

Для русскоязычных студентов конструкция с предлогом of очевидно является английским эквивалентом русского родительного падежа - формы с высокой частотностью.

Порядок слов в этой конструкции совпадает с порядком слов в аналогичной русской конструкции, где главное слово предшествует зависимому (ср. assets of the company `активы компании'), что делает ее более понятной и простой для учащихся.

В английской конструкции с существительным в качестве определения, напротив, главное слово следует за зависимым, что может вызывать определенные трудности у русскоязычных студентов (ср. гораздо более частотное company assets `активы компании'). В результате такого предпочтения в устной и письменной продукции русскоязычных изучающих нередко появляются фразы с чрезмерным присутствием предлога of - как, например, в следующем примере:

(10) According to this research the biggest mistake of the participants of the negotiation is the absence of understanding of the different models of business and culture (E-2015-7).

`В соответствии с этим исследованием, самая большая ошибка участников переговоров - это отсутствие понимания различных моделей ведения бизнеса и культурных отличий'.

Другая распространенная в студенческом корпусе по менеджменту черта фразовой сложности - прилагательные в функции определения - также, по свидетельству корпусных данных, очевидно не вызывает сложности у русских изучающих английский язык вследствие наличия такой же конструкции и с таким же порядком слов в русском языке.

3. Для автоматизированных подсчетов параметров синтаксической сложности текста следует использовать методы, включающие рассмотрение синтаксических конструкций с максимальной категориальной конкретизацией, так как в процессе освоения нового языка изучающими наблюдается интерференция с родным языком и возникают тенденции, приводящие к изменению частотности одного конкретного типа среди всех прочих разновидностей синтаксической конструкции - ср. результаты, полученные в [Ellis 1997], [Bhela 1999, pp. 26-27 и 29] и во многих других исследованиях процессов овладения иностранным языком.

Используя два различных метода оценки синтаксической сложности текста: подсчет показателей применения UDPipe парсера и использование инструментов подсчета в AntConc, - мы получили результаты, которые противоречат выводам работы [Staples et al. 2016] о том, что с повышением уровня владения языком клаузальная сложность снижается, а фразовая растет.

По нашим данным, параметры обоих видов синтаксической сложности в экспертных текстах в целом выше, чем в текстах студентов в тех же областях. Результаты, полученные на первом этапе, показывают большую согласованность средних показателей сложности в тексте относительно его длины, нежели средних показателей на предложение или на число токенов.

В контексте преподавания английского языка для академических целей полученные результаты говорят о необходимости тренировать обучающихся в использовании сложноподчиненных предложений всех видов с целью приближения клаузальной сложности их текстов к уровню этого вида в текстах профессиональных авторов.

В отношении фразовой сложности при обучении академическому английскому представляется необходимым делать акцент на употреблении существительных в качестве определений, особо привлекая внимание к тем случаям, когда учащиеся злоупотребляют выбором конструкций под влиянием интерференции со своим родным языком.

Различие в значениях показателей сложности между дисциплинами является достаточно предсказуемым и свидетельствует о необходимости дисциплинарно-ориентированного подхода (discipline-specific approach) в преподавании английского языка для академических целей.

Таким образом, в результате проведенного исследования были получены ответы на три вопроса, поставленные авторами во введении:

* Академический текст, написанный профессиональным автором, демонстрирует черты как клаузальной, так и фразовой сложности. Были выявлены дисциплинарные различия в показателях сложности, например преобладание обстоятельственных придаточных предложений условия и места в экономических текстах, что можно объяснить их использованием в комментариях к различным формулам и моделям.

• Тексты профессиональных авторов в целом демонстрируют большую клаузальную и фразовую сложность. Наибольшие различия наблюдаются в употреблении различных видов придаточных предложений.

• Для оценки сложности текста представляется целесообразным рассматривать параметры сложности по отдельности, а не целыми группами, чтобы получить более подробную картину использования авторами различных синтаксических конструкций.

• Для этих целей можно применять инструменты для корпусного анализа текста, например AntConc.



Литература

Anthony 2014 - Anthony L. AntConc 3.4.4. Tokyo: Waseda University, 2014.

Bhela 1999 - Bhela B. Native language interference in learning a second language: Exploratory case studies of native language interference with target language usage // International Education Journal. 1999. Vol. 1, no. 1. P. 22-31.

Biber et al. 1999 - Biber D, Johansson S, Leech G., Conrad S., Finegan E, Quirk R. Longman grammar of spoken and written English. London: Longman, 1999.

Biber et al. 2011 - BiberD., Gray B., Poonpon K. Should we use characteristics of conversation to measure grammatical complexity in L2 writing development? // TESOL Quarterly. 2011. Vol. 45, no. 1. P. 5-35.

Biber, Gray 2016 - Biber D., Gray B. Grammatical complexity in academic English: Linguistic change in writing. Cambridge: Cambridge University Press, 2016.

Byrnes, Sinicrope 2008 - Byrnes H., Sinicrope C. Advancedness and the development of relativization in l2 German: a curriculum-based longitudinal study // The longitudinal study of advanced L2 capacities / L. Ortega, H. Byrnes, (ed.). New York: Routledge, 2008. P. 109-138.

Crossley, McNamara 2014 - Crossley S.A., McNamara D.S. Does writing development equal writing quality? A computational investigation of syntactic complexity in L2 learners // Journal of Second Language Writing. 2014. Vol. 26. P. 66-79.

Dunning 1993 - Dunning T. Accurate methods for the statistics of surprise and coincidence // Computational Linguistics. 1993. Vol. 19, no. 1. P. 61-74.

Ellis 1997 - Ellis R. Second Language Acquisition. Oxford: Oxford University Press, 1997.

Gabrielatos, Marchi 2012 - Gabrielatos C., Marchi A. Keyness: Appropriate Metrics and Practical Issues // CADS International Conference 2012. Corpus-assisted Discourse Studies: More than the sum of Discourse Analysis and Computing? Bologna: University of Bologna, 2012.

Gray 2013 - Gray B. More than discipline: Uncovering multi-dimensional patterns of variation in academic research articles // Corpora. 2013. Vol. 8, no. 2. P. 153-181.

Foster, Skehan 1996 - Foster P, Skehan P. The influence of planning and task type on second language performance, Studies in Second Language Acquisition. 1996. Vol. 18. P. 299-323.

Gardner et al. 2018 - Gardner S., Nesi H., Biber D. Discipline, level, genre: Integrating situational perspectives in a new MD analysis of university student writing // Applied Linguistics. 2018. Vol. 10. P. 646-674.

Hannay, Caro 2008 - Hannay M., Caro E.M. Thematic choice in the written English of advanced Spanish and Dutch learners // Linking up contrastive and learner corpus research / G. Gilquin, S. Papp, M.B. Diez-Bedmar (ed.). Amsterdam: Rodopi, 2008. P. 227-253.

Hawkins 2001 - Hawkins R. Second language syntax: A generative introduction. Oxford: Wiley-Blackwell, 2001.

Hinkel 2003 - HinkelE. Simplicity without elegance: Features of sentences in L1 and L2 academic texts // TESOL Quarterly. 2003. Vol. 37, no. 2. P. 275-301.

Jucker 1992 - Jucker A.H. Social stylistics: Syntactic variation in British newspapers. New York: Mouton de Gruyter, 1992.

Lu 2011 - Lu X. A corpus-based evaluation of syntactic complexity measures as indices of college-level ESL writers' language development // TESOL Quarterly. 2011. Vol. 45, no. 1. P. 36-62.

Lyashevskaya, Panteleeva 2018 - Lyashevskaya O., Panteleeva I. REALEC learner tree- bank: annotation principles and evaluation of automatic parsing [Электронный ресурс] // Proceedings of the 16^th International Workshop on Treebanks and Linguistic Theories 2018 (TLT16). Prague, 2018. P. 80-87. URL: https://www.aclweb. org/anthology/W17-7612.pdf (дата обращения 26 нояб. 2019).

Mazgutov, Kormos 2015 - Mazgutova D., Kormos J. Syntactic and lexical development in an intensive English for Academic Purposes programme // Journal of Second Language Writing. 2015. Vol. 29. P. 3-15.

Nesi, Gardner 2019 - Nesi H., Gardner S. Complex, but in what way? A step towards greater understanding of academic writing proficiency [Электронный ресурс] // Online Proceedings of the 51^st Annual Meeting of the British Association for Applied Linguistics: Taking Risks in Applied Linguistics, 6-8 September, 2018, York St John University / C. Danjo, I. Meddegama, D. O'Brien, Prudhoe J., L. Walz, R. Wicaksono (ed.). York: York St. John University, 2019. URL: https://cus- tom.cvent.com/01664CE00C344F7BA62E39C4CFE91FA8/files/0f77de05e- b81461a8037170680562243.pdf (дата обращения 22 июня 2019).

Ortega 2003 - Ortega L. Syntactic complexity measures and their relationship to L2 proficiency: A research synthesis of college-level L2 writing // Applied Linguistics. 2003. Vol. 24. P. 492-518.

Siepmann et. al 2001 - Siepmann D., Gallagher J.D., Hannay M., Mackenzie J.L. Writing in English: A guide for advanced learners. Tьbingen: A. Francke Verlag, 2011.

Smith 2009 - Smith N. Corpus Linguistics: A Practical Web-Based Course. 2009 [Электронный ресурс]. URL: https://www.lancaster.ac.uk/fss/courses/ling/corpus/ blue/l08_4.htm (дата обращения 22 февр. 2020).

Staples et al. 2016 - Staples S., Egbert J., Biber D., Gray B. Academic writing development at the university level: Phrasal and clausal complexity across level of study, discipline, and genre // Written Communication. 2016. Vol. 33, no. 2. P. 149-183.

Straka 2017 - Straka M. CoNLL 2017 shared task - UDPipe baseline models and supplementary materials // LINDAT/CLARIN digital library at the Institute of Formal and Applied Linguistics. Prague: Charles University, 2017.

Suarez, Alvarez 2010 - Suarez S.D., Alvarez E.G. The use of it-clefts in the written production of Spanish advanced learners of English // Linguistics & the Human Sciences. 2010. Vol. 6. P. 151-171.

Swales, Feak 2004 - Swales J.M., Feak C.B. Academic writing for graduate students: Essential tasks and skills. Ann Arbor, MI: University of Michigan Press, 2004.

Warchal 2010 - WarchalK. Moulding interpersonal relations through conditional clauses, consensus-building strategies in written academic discourse // Journal of English for Academic Purposes. 2010. Vol. 9. P. 140-150.

Wolfe-Quintero et al. 1998 - Wolfe-Quintero K., Inagaki S., Kim H.Y. Second language development in writing: Measures of fluency, accuracy, and complexity, Honolulu, HI: University of Hawaii Press, 1998.



References

Anthony, L. (2014), AntConc 3.4.4, Waseda University, Tokyo, Japan.

Bhela, B. (1999), “Native language interference in learning a second language: Exploratory case studies of native language interference with target language usage”, International Education Journal, vol. 1, no. 1, pp. 22-31.

Biber, D., Johansson, S., Leech, G., Conrad, S., Finegan, E. and Quirk, R. (1999), Longman grammar of spoken and written English, Longman, London, UK.

Biber, D., Gray, B. and Poonpon, K. (2011), “Should we use characteristics of conversation to measure grammatical complexity in L2 writing development?”, TESOL Quarterly, vol. 45, no. 1, pp. 5-35.

Biber, D. and Gray, B. (2016), Grammatical complexity in academic English: Linguistic change in writing, Cambridge University Press, Cambridge, UK.

Byrnes, H. and Sinicrope, C. (2008), “Advancedness and the development of relati- vization in L2 German: a curriculum-based longitudinal study”, in Ortega, L. and Byrnes, H. (ed.), The longitudinal study of advanced L2 capacities, Routledge, New York, USA, pp. 109-138.

Crossley, S.A. and McNamara, D.S. (2014), “Does writing development equal writing quality? A computational investigation of syntactic complexity in L2 learners”, Journal of Second Language Writing, vol. 26, pp. 66-79.

Dunning, T. (1993), “Accurate methods for the statistics of surprise and coincidence”, Computational Linguistics, vol. 19, no. 1, pp. 61-74.

Ellis, R. (1997), Second Language Acquisition, Oxford Univer. Press, Oxford, UK.

Gabrielatos, C. and Marchi, A. (2012), “Keyness: Appropriate Metrics and Practical Issues”, in CADS International Conference 2012. Corpus-assisted Discourse Studies:

More than the sum of Discourse Analysis and Computing? University of Bologna, Bologna, Italy.

Gray, B. (2013), “More than discipline: Uncovering multi-dimensional patterns of variation in academic research articles”, Corpora, vol. 8, no. 2, pp. 153-181.

Foster, P. and Skehan, P. (1996), “The influence of planning and task type on second language performance”, Studies in Second Language Acquisition, vol. 18, pp. 299-323.

Gardner, S., Nesi, H. and Biber, D. (2018), “Discipline, level, genre: Integrating situational perspectives in a new MD analysis of university student writing”, Applied Linguistics, vol. 10, pp. 646-674.

Hannay, M. and Caro, E.M. (2008), “Thematic choice in the written English of advanced Spanish and Dutch learners”, in Gilquin, G., Papp, S. and Diez-Bedmar, M.B. (eds.), Linking up contrastive and learner corpus research, Rodopi, Amsterdam, Netherlands, pp. 227-253.

Hawkins, R. (2001), Second language syntax: A generative introduction, Wiley-Black - well, Oxford, UK.

Hinkel, E. (2003), “Simplicity without elegance: Features of sentences in L1 and L2 academic texts”, TESOL Quarterly, vol. 37, no. 2, pp. 275-301.

Jucker, A.H. (1992), Social stylistics: Syntactic variation in British newspapers, Mouton de Gruyter, New York, USA.

Lu, X. (2011), “A corpus-based evaluation of syntactic complexity measures as indices of college-level ESL writers' language development”, TESOL Quarterly, vol. 45, no. 1, pp. 36-62.

Lyashevskaya, O. and Panteleeva, I. (2018), “REALEC learner treebank: annotation principles and evaluation of automatic parsing”, Proceedings of the 16^th International Workshop on Treebanks and Linguistic Theories 2018 (TLT16), Prague, pp. 80-87, [Online], available at: https://www.aclweb.org/anthology/W17-7612.pdf (Accessed 26 November 2019).

Mazgutova, D. and Kormos, J. (2015), “Syntactic and lexical development in an intensive English for Academic Purposes programme”, Journal of Second Language Writing, vol. 29, pp. 3-15.

Nesi, H. and Gardner, S. (2019), “Complex, but in what way? A step towards greater understanding of academic writing proficiency”, Online Proceedings of the 51^st Annual Meeting of the British Association for Applied Linguistics: Taking Risks in Applied Linguistics, 6-8 Sept., 2018, York St. John Univer., York [Online], available at: https://custom.cvent.com/ (Acc. 22 June 2019)

Ortega, L. (2003), “Syntactic complexity measures and their relationship to L2 proficiency: A research synthesis of college-level L2 writing”, Applied Linguistics, vol. 24, pp. 492-518.

Siepmann, D., Gallagher, J.D., Hannay, M. and Mackenzie, J.L. (2011), Writing in English: A guide for advanced learners, A. Francke Verlag, Tьbingen, Germany.

Smith, N. (2009), Corpus Linguistics: A Practical Web-Based Course [Online], available at: https://www.lancaster.ac.uk/fss/courses/ling/corpus/blue/l08_4.htm (Accessed 22 February 2020).

Staples, S., Egbert, J., Biber, D. and Gray, B. (2016), `Academic writing development at the university level: Phrasal and clausal complexity across level of study, discipline, and genre”, Written Communication, vol. 33, no. 2, pp. 149-183.

Straka, M. (2017), “CoNLL 2017 shared task - UDPipe baseline models and supplementary materials”, LINDAT/CLARIN digital library at the Institute of Formal and Applied Linguistics, Charles University, Prague.

...