Автоматическое выявление вербальной агрессии в Интернет-коммуникации

Размещено на http://www.allbest.ru/

НИЖЕГОРОДСКИЙ ФИЛИАЛ

ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО АВТОНОМНОГО

ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ

ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Программа подготовки бакалавров по направлению
45.03.03 «Фундаментальная и прикладная лингвистика»

Выпускная квалификационная работа

Автоматическое выявление вербальной агрессии в Интернет-коммуникации

Фролова Юлия Захаровна

Нижний Новгород, 2019



Содержание

Введение

Глава 1. Теоретические основы исследования

1.1 Содержание понятия вербальная агрессия

1.2 Определение термина «вербальная агрессия»

1.3 Виды толерантности

1.4 Определение понятия «интолерантность» через понятие «толерантность»

1.5 Особенности Интернет-коммуникации

1.6 Лингвистические аспекты вербальной агрессии и нетерпимого отношения в коммуникации

1.7 Основные положения корпусной лингвистики

Глава 2. Автоматическое выявление вербальной агрессии на материале записей с блог-платформы «Живой Журнал»

2.1 Автоматический сбор записей Интернет-пользователей блог-платформы «Живой Журнал»

2.2 Обработка текстов корпуса

2.3 Распределение текстов корпуса по тональности

2.4 Проверка качества тонального словаря

Заключение

Библиографический список

Приложение



Введение

Характер исследуемой проблемы

На протяжении долгого времени представители различных научных направлений изучают такой феномен, как агрессия. Им заинтересованы психологи, социологи, политологи, лингвисты и представители многих других наук, исследующие мышление и деятельность человека. Агрессия существует как в физической, так и в вербальной форме. Именно вербальная агрессия будет рассмотрена в рамках данного исследования.

Некоторые ученые определяют понятие «вербальная агрессия» через смежные ей «толерантность» и «интолерантность». В данной работе «вербальная агрессия» будет также определена через данные понятия, которые являются ключевыми в проблематике современного мира. «Толерантность» и «интолерантность» стали актуальными относительно недавно, поэтому они часто встречаются в тезаурусе разных сфер жизни.

Стоит отметить, что проблема толерантности и интолерантности актуализировалась в отдельных странах мира по-разному. С ней связаны времена расцвета, прогресса, объединения народов, а также период социальной деградации, геноцида, гражданских и мировых войн. В связи с тем, что развитие стран мира не было взаимообусловленным и относительно самостоятельным процессом, понятие «толерантность» приобретает различные оттенки в том или ином языке.

В основном, граждане узнают о международных событиях через средства массовой информации, в которых затрагивается множество проблем (в том числе и проблемы толерантности и интолерантности) путем оценок определенных событий и явлений. Данные события активно обсуждаются Интернет пользователями на различных порталах (например, в блогах), что часто сопровождается конфликтами, которые имеют отображение в комментариях. В связи с этим существует такое явление, как интолерантность, имеющая разные виды и речевые особенности ее выражения.

Актуальность проблемы

Вопрос о вербальной агрессии приобретает особый интерес у современных ученых, общественных и политических деятелей. Причины роста такого интереса вполне очевидны: усиление террористических и экстремистских тенденций, необходимость преодоления международных и локальных конфликтов и многие другие проблемы. Из-за обострения конфликтных ситуаций на международной арене данная проблема стала как никогда актуальной, именно поэтому необходимо исследовать данное явление и его характерные черты.

Системное описание языковых средств и речевых особенностей выражения вербальной агрессии в различных дискурсах современного мира (политический, религиозный и т.п.) является актуальным и важным в связи с культурно-обусловленным характером объекта исследования и с существующим интересом к специфике языковых и речевых моделей.

Теоретической базой исследования служат научные труды отечественных и зарубежных исследователей, рассматривающих:

· содержание понятий «толерантность» и «интолерантность» и их основные характеристики (T.M.Scanlon, Niclas Berggren, Н.Э.Солынин, О.М.Кирилюк, А.Г.Смолов, Г.У.Солдатова, Л.А.Шайгерова и др.);

· толерантность в различных дискурсах (James L. Gibson, John N. Paden, Elaine B.Sharp, С.С.Нартдинова, В.В.Форсова, В.Т.Ананьина, А.Г.Кудрявцев, С.В.Хамутовская и др.);

· способы измерения толерантности и интолерантности (Е.Ю.Кольцова, Е.Е.Таратута, Т.В.Корнилова, М.А.Чумакова и др.);

· языковые средства и речевые особенности выражения толерантности и интолерантности (М.Б.Хомяков, О.С.Иссерс, М.Х.Рахимбергенова);

· способы выражения вербальной агрессии в текстах СМИ (Е.В.Куликова, А.В.Евстафьева, Е.В.Каблуков, Л.Сагитова, С.Шайхитдинова, Е.Ходжаева, Е.Н.Басовская и др.);

· проблематику теории коммуникации (Ф.И.Шарков, Л.Г.Юсупова, В.А.Маслова, О.Л.Гнатюк и др.);

· особенности Интернет-коммуникации (О.Н.Морозова, О.Б.Максимова, А.В.Куликова);

· особенности корпусной лингвистики (В.П.Захаров, О.Г.Горина, В.В.Рыков, Д.Бабйер, С.Конрад, Р.Реппен, Э.Вилсон, Т.МакЭнри, С.Ю.Богданова, Н.Б.Гвишиани и др.);

· проблематику определения тональности текста (Н.В.Лукашевич, И.И.Четверкин, А.В.Левчик, A.M.Popescu, O.Etzioni, C.Scaffidi, N.Elhadad, W.Jin, H.Hung и др.).

Цель исследования заключается в разработке метода автоматического определения вербальной агрессии в блогах Интернет-пользователей «Живого Журнала».

Цель исследования определяет следующие задачи:

1. Собрать и проанализировать корпус записей Интернет-пользователей в русскоязычных блогах на предмет содержания агрессии;

2. На примерах записей Интернет-пользователей в различных блогах на русском языке проанализировать контексты проявления вербальной агрессии;

3. Изучить экстралингвистические и лингвистические условия проявлений вербальной агрессии;

4. Составить тональный словарь из языковых единиц, при употреблении которых проявляется вербальная агрессия в корпусе;

5. Проверить полученный тональный словарь при помощи программы, реализующей наивный байесовский классификатор, на новых, ранее не анализированных записях и подсчитать метрики качества.

Объектом исследования являются языковые единицы, через которые проявляется вербальная агрессия в тексте.

Предметом исследования являются способы автоматического выявления вербальной агрессии на основе формальных признаков.

Методологической основой исследования является совокупность основных положений и теорий машинного обучения, корпусной и компьютерной лингвистики.

Для решения поставленных задач использовался комплекс методов исследования:

- интенциональный анализ для установления фактов вербальной агрессии в составленном корпусе;

- сентимент-анализ, позволяющий определить тональность анализируемого блога, а также маркировать языковые единицы как положительные или отрицательные;

- квантитативный анализ корпусов для интерпретации статистических закономерностей лингвистических явлений;

- методы обработки естественного языка для автоматизации определенных практических задач (например, лемматизация собранных записей);

- обучение с учителем для автоматического определения вербальной агрессии в текстах.

Цель и задачи научного исследования определяют структуру курсовой работы, состоящей из введения, двух глав, заключения, библиографического списка, списка источников и приложения. Введение содержит общую характеристику поставленной проблемы, обоснование ее актуальности, цели и задач исследования, а также определение методологической основы и методов выполнения работы и краткий обзор использованных литературных источников. Первая глава «Теоретические основы исследования» посвящена определению необходимой для исследования теоретической платформы. На данном этапе дается определение понятий «вербальная агрессия», «толерантность» в зависимости от ее вида, проводится анализ разработанности проблемы, обзор имеющихся взглядов на проблему в целом, а также ее отдельные аспекты: интолерантные высказывания, толерантность и интолерантность речевого поведения. Рассматривается взаимосвязь понятий «вербальная агрессия» и «интолерантность».

Далее подробно рассматриваются особенности Интернет-коммуникации в блогосфере, а также особенности высказываний, содержащих вербальную агрессию, после чего даются определения основных понятий корпусной лингвистики, особое внимание уделяется методам создания корпуса и обработке его текстов. Кроме того, приводится несколько существующих взглядов на проблему определения тональности текста.

Вторая глава «Автоматическое определение вербальной агрессии на материале записей с блог-платформы «Живой Журнал»» посвящена описанию работы программ по автоматическому скачиванию записей с данной блог-платформы, их обработке и классификации записей из тестового корпуса при помощи наивного байесовского классификатора.

Далее формируется тональный словарь на основе проанализированных языковых единиц, вошедших в тренировочный корпус, на предмет проявления вербальной агрессии и проверяется его качество путем подсчета метрик accuracy (аккуратность), precision (точность), recall (полнота), f-score (f-мера). В заключении обобщаются теоретические и практические результаты исследования, делаются предположения о дальнейшей разработке данной проблемы. В списке источников указаны данные о записях, проанализированных в данной работе.

Теоретическая значимость исследования заключается в том, что в работе выявляются особенности коммуникации, характерные для блогосферы, а также изучаются экстралингвистические и лингвистические контексты проявлений вербальной агрессии в данной сфере.

Практическая значимость работы состоит в том, что предлагается составленный в ходе данного исследования тональный словарь, который в дальнейшем можно будет использовать для определения вербальной агрессии не только в блогосфере, но и в других средах коммуникации.



Глава 1. Теоретические основы исследования

1.1 Содержание понятия вербальная агрессия

Исследуемая в данной работе проблема включает в себя три основных аспекта: проблема вербальной агрессии, ее взаимосвязь с проблемой толерантности и интолерантности, а также языковые средства и речевые особенности выражения вербальной агрессии. Как уже отмечалось во введении, многие исследователи ранее уже изучали разные аспекты данных проблем (T.M.Scanlon, Niclas Berggren, Н.Э.Солынин, О.М.Кирилюк, А.Г.Иркаев, Т.И.Дрынкина, И.Е.Тихомирова, И.А.Стернин, Г.А.Сагалакова, М.А.Семашко, О.А.Михайлова - проблему интолерантности; James L. Gibson, John N. Paden, Elaine B.Sharp, С.С.Нартдинова, В.В.Форсова, В.Т.Ананьина, А.Г.Кудрявцев, С.В.Хамутовская, Е.Н.Басовская - языковые средства и речевые особенности выражения интолерантности и вербальной агрессии в различных дискурсах). Также были проанализированы работы, в которых были приведены способы измерения толерантности и интолерантности (Е.Ю.Кольцова, Е.Е.Таратута, Т.В.Корнилова, М.А.Чумакова).

1.2 Определение термина «вербальная агрессия»

Существует множество определений агрессии как феномена. Примерно до середины XX века под агрессией понимали «действия одного государства в ущемлении прав другого государства с использованием силы». В современных же словарях агрессию определяют как «любое действие или поведение, нарушающее чьи-либо права, агрессия в отношении чьих-либо прав». Таким образом, феномен агрессии характеризует не только политические действия, но вообще все сферы деятельности современного социума.

Ю.Б. Можгинский понимает под данным феноменом «действия и высказывания, направленные на причинение вреда, душевной и физической боли другому существу» [29]. Поэтому, как уже было сказано во введении, агрессию можно рассматривать как в ее физическом проявлении, так и в вербальном. Это можно объяснить включением речевой деятельности человека и ее взаимосвязью с другими видами деятельности. А это значит, что отдельные формы поведения человека могут иметь аналоги в речевой деятельности.

Ю.В.Щербинина определяет вербальную агрессию как «словесное выражение негативных эмоций, чувств или намерений в оскорбительной, грубой, неприемлемой в данной ситуации форме» [48]. Таким образом, вербальная агрессия всегда нарушает некую коммуникативную норму.

В статье Н.С.Якимовой «Вербальная агрессия как актуальный феномен современного общества» были выделены следующие типы агрессивного вербального поведения: критика личных качеств, способностей, фактов биографии или внешности, проклятия, поддразнивания, насмешки, угрозы, ругательства, а также невербальные знаки. Кроме того, Н.С.Якимова отметила, что причинение вреда другому лицу при отстаивании своей коммуникативной позиции является мотивом агрессивного вербального поведения, а поиск механизмов пресечения такого речевого поведения является одной из задач на пути формирования речевой толерантности [50]. Иначе говоря, проявление вербальной агрессии является нарушением толерантности и проявлением нетерпимости или интолерантности. Таким образом, понятия «вербальная агрессия», «толерантность» и «интолерантность» тесно связаны.

Определение термина «толерантность»

Для того, чтобы глубже вникнуть в проблему толерантности и интолерантности, необходимо проанализировать термин, которым обозначили данную проблему. Стоит отметить, что понятие «интолерантность» имеет противоположное значение относительно понятия «толерантность», поэтому для начала разумнее будет проанализировать именно его.

В Декларации принципов толерантности, которая была утверждена резолюцией 5.61 генеральной конференции ЮНЕСКО от 16 ноября 1995 года, понятию «толерантность» посвящена целая статья. В ней говорится о том, что толерантность означает уважение, принятие и правильное понимание многообразия культур нашего мира, наших форм самовыражения и способов проявлений человеческой индивидуальности. Толерантность означает признание того, что люди по своей природе различаются и обладают правом сохранять свою индивидуальность. Это также означает, что взгляды одного человека не могут быть навязаны другим. [7]

Стоит отметить, что в зависимости от исторического опыта народов содержание понятия «толерантность» приобретает различные оттенки в разных языках. В русском языке существует два понятия с похожим значением - терпимость и толерантность. Понятие «терпимость» больше употребляется в повседневной речи, означает умение принимать чужое мнение, быть снисходительным к поступкам других людей. Данный термин ассоциируется с пассивным принятием окружающей действительности. Понятие «толерантность», с другой стороны, обычно используется в гуманитарных науках и медицине, в контексте которых под этим термином имеется в виду ослабление реагирования на неблагоприятный фактор или его полное отсутствие в связи с снижением чувствительности к его воздействию. В этом случае толерантные установки предполагают активную жизненную позицию, реализующейся в недопустимом отношении к проявлениям нетерпимости. [2]

1.3 Виды толерантности

Для эмпирического анализа толерантности на уровне групп, институтов и общества необходимо произвести классификацию этого понятия, выделить его основные сферы и уровни проявления интолерантного поведения. Наиболее полную классификацию предложил социолог Михаил Семенович Мацковский, в которой представлено двенадцать видов толерантности: политическая, межнациональная, расовая, религиозная, гендерная, сексуально-ориентационная, возрастная, физиологическая, образовательная, географическая, межклассовая и маргинальная. В данной работе подробно будут рассмотрены политическая, межнациональная, расовая, религиозная, гендерная и сексуально-ориентационная виды толерантности в связи с обострением проблем в данных сферах общественной жизни.

М.Мацковский дает следующие определения данным видам толерантности:

Политическая толерантность подразумевает непредвзятое отношение к деятельности различных политических партий и объединений, высказываниям их членов и т.д. Крайними формами проявления политической интолерантности являются фашизм и политические репрессии, характерные для государств с установленным тоталитарным режимом, а также империализм, подчинение одним народом других с целью получить доступ к их ресурсам и богатствам.

Межнациональная толерантность подразумевает непредвзятое отношение к представителям различных наций, способность не переносить негативные действия отдельных личностей на нацию в целом. Среди проявлений интолерантного поведения данного вида можно выделить этноцентризм, ксенофобию и агрессивный национализм, основной идеей которых является превосходство одной нации над другой или неприятие лиц другой национальности.

Под расовой толерантностью подразумевается отсутствие предубеждений к представителям другой расы. Примером интолерантного поведения данного вида является расизм, дискриминация по расовому признаку.

Непредвзятое отношение к догматам различных конфессий рассматривается в рамках религиозной толерантности. Примером проявления религиозной интолерантности может быть религиозный фанатизм, т.е. насаждение какой-либо веры, ее ценностей и традиций.

В рамках гендерной толерантности рассматривается непредвзятое отношение к представителям другого пола и отсутствие идей о превосходстве одного пола над другим. Сексизм, дискриминация людей по половому признаку - один из примеров проявления гендерной интолерантности.

Сексуально-ориентационная толерантность подразумевает непредвзятость по отношению к людям нетрадиционной сексуальной ориентации. [26]

1.4 Определение понятия «интолерантность» через понятие «толерантность»

Интолерантность - это понятие прямо противоположное понятию «толерантности». Префикс ин- придает ему отличное от понятия «толерантность» значение: интолерантность - это проявление нетерпимости по отношению к людям на основании самых разнообразных признаков. В политическом дискурсе под интолерантностью понимают неуважение к любым политическим проявлениям, которые идут вразрез с существующим законодательством, а также недопустимость какой-либо деятельности оппозиции, фактический запрет на политический плюрализм; в религиозном дискурсе - предвзятое отношение к догматам другой конфессии, ее представителям; в расовом дискурсе - нетерпимость по отношению к представителям других рас и т.д.

Для лучшего раскрытия понятия «интолерантность» будет разумным привести примеры ее проявления. Как уже было сказано в пункте 1.3, крайними формами проявления интолерантности являются фашизм, империализм, терроризм, сексизм, расизм и т.д. Из названных примеров проявления интолерантности становится очевидным, что в роли объектов могут выступать отдельные личности, социальные группы, общности, нации и т.д. [44]

1.5 Особенности Интернет-коммуникации

Для полного раскрытия темы данного исследования необходимо выявить особенности коммуникативной деятельности в целом и в Интернете в частности, а также определить лингвистический аспект вербальной агрессии в Интернет-коммуникации. Данными вопросами занимались такие исследователи, как Юсупова Л.Г., Таюпова О.И., Шарков Ф.И., Максимова О.Б., Маслова В.А. и другие.

Основные понятия теории коммуникации

Существует целое множество определений понятия «коммуникация»: под данным понятием обычно подразумевается общение, специфическая форма взаимодействия членов общества в процессе их жизнедеятельности с помощью языка и других сигнальных форм связи [46: с.9]. В данной работе под коммуникацией будет пониматься социально обусловленный процесс передачи и восприятия информации в межличностном и в массовом общении по разным каналам при помощи различных вербальных и невербальных средств [49].

Стоит отметить, что основной единицей коммуникации является текст. Как отмечает Маслова В.А., «именно в коммуникации с наибольшей полнотой и глубиной раскрываются онтологические свойства языка и текста», а текст - это «одновременно и форма существования коммуникации и ее результат» [25: с.30]. Материальным носителем информации является текст, а получает и декодирует эту информацию адресат.

По способу адресности коммуникация может быть массовой, публичной, групповой и др. Что касается массовой коммуникации, то она предполагает наличие коллективного отправителя текста, а его получателем является рассредоточенная, неоднородная массовая аудитория. Для массовой коммуникации необходимо наличие технических средств, социальная значимость информации, а также многоканальность и возможность выбора коммуникативных средств [5: 163].

На фоне развития современных технологий все большой интерес приобретает коммуникация с использованием этих технологий в качестве каналов связи. В первую очередь стоит выделить такой канал коммуникации как Интернет и, как следствие, Интернет-коммуникацию и ее особенности, о чем пойдет речь в следующем пункте настоящей главы.

Особенности Интернет-коммуникации в блогосфере

Становление мировой компьютерной сети Интернет приходится на 1986 г., поэтому Интернет-коммуникация - это достаточно новое явление современного общества. Несмотря на то, что Интернет является техническим новшеством, оно довольно быстро стало частью жизни миллионов людей, которые используют его не только как средство хранения и передачи информации, но и в качестве канала коммуникации. Интернет стал особой средой общения, играющей важную роль практически во всех сферах жизни человека, что способствовало появлению не только новых возможностей, но и различных способов коммуникации, что не могло не повлиять на структуру самой коммуникации.

В силу того, что в данном исследовании изучаются лингвистические аспекты вербальной агрессии в Интернет-коммуникации на материале блогов «Живого Журнала», то и речь в дальнейшем пойдет об особенностях данного типа коммуникации относительно общения в блогосфере.

Стоит отметить, что Интернет-общение в целом происходит в условиях массовой коммуникации, но имеет свои особенности в отличие от традиционного общения в реальной жизни. Как говорилось ранее в пункте 2.1, получателем текста в условиях массовой коммуникации является негомогенная массовая аудитория. Это также справедливо для Интернет-коммуникации в блогосфере. Однако, в отличие от традиционной массовой коммуникации отправителем текста в Интернет-коммуникации в блогосфере или, иными словами, автором текста блога может быть не только коллективным, но и индивидуальным.

Можно также говорить о таких особенностях данного типа коммуникации в блогосфере, как глобальность и интерактивность. Под глобальностью подразумевается возможность вступить в контакт с любым пользователем Интернета вне зависимости от его местоположения. Интерактивность же связана с возможностью отправителя или автора текста вступать в диалог непосредственно с аудиторией и получать от нее обратную связь в виде комментариев. Кроме того, возможно общение между членами данной аудитории в комментариях.

Другой важной особенностью Интернет-коммуникации является ее виртуальность: условия Интернет-общения существенно отличаются от условий реального общения. Анонимность, главное условие такого общения, обеспечивает относительную равноправность его участников, что приводит к менее формальному общению между пользователями [30]. Вместе с тем, анонимность общения способствуют снятию целого ряда социокультурных и психологических ограничений, характерных для речевого поведения при обычной коммуникации [32]. Например, пользователи Интернета проявляют большую свободу в выборе высказываний. Следовательно, как авторы текстов, так и их читатели иногда прибегают к использованию нецензурной лексики и оскорблений, что является одним из способов проявления вербальной агрессии. Лингвистические аспекты вербальной агрессии будут рассмотрены в пункте 2.3.

Среди характеристик Интернет-коммуникации, связанных с ее техническими возможностями, можно выделить такой признак, как мультимедийность. Данная особенность расширяет возможности Интернет-коммуникации в блогосфере: авторы записей блогов часто прибегают к использованию различных изображений и видеозаписей для привлечения внимания, аргументации своей точки зрения и т.д.

Однако основной особенностью Интернет-коммуникации является ее дихотомичность: Интернет имеет чисто технического происхождение, и в то же время его содержание формирует язык, как знаковая система. Принимая это во внимание, можно выделить целый ряд следующих признаков Интернет-коммуникации в блогосфере: полифоничность (способность совмещать в себе различные типы дискурса), письменный характер коммуникации, креолизованность записей в блогах, передача мимика, чувств и эмоций при помощи эмотиконов, иллокутивность и др.

1.6 Лингвистические аспекты вербальной агрессии и нетерпимого отношения в коммуникации

В Главе 1 говорилось о том, что понятия вербальная агрессия и интолерантность связаны между собой и что под интолерантностью понимают проявление нетерпимости по отношению к другим людям на основании разных на то причин. Возникает вопрос: «Каким образом интолерантное отношение человека к другим людям проявляется, например, в письменном тексте?». Другими словами, «при помощи каких языковых единиц может быть реализована речевая агрессия?» [27].

Существует ряд работ, авторы которых интересовались описанием языковых средств и речевых особенностей выражения вербальной агрессии в коммуникации. Например, в статье «Speech Regulation at the University of California: Void for Vagueness or Overbreadth» юрист Р. Тоткас проанализировала первую поправку к конституции США, которая провозгласила свободу слова, а также многие судебные дела, связанные с этой поправкой. Рита Тоткас пыталась предложить эффективную систему регулирования конфликтов в университете Калифорнии, в частности расистских конфликтов, которая бы не противоречила действующим законам США. Юрист отметила, что для постановления факта речевой агрессии важную роль играют все аспекты речевой ситуации, так как одного ее компонента (например, только речевые действия) может быть недостаточно для выявления агрессии по отношению к той или иной личности. [78]

Другим исследователем в данной области стала А.В.Естафьева, которая в научной статье «Адресант и адресат «языка вражды» в текстах средств массовой информации» рассматривает специфику адресанта и адресата в текстах СМИ, содержащих «язык вражды», а также речевые формулы, показывающие их взаимодействия. А.В.Естафьева отмечает, что в некоторых случаях «язык вражды» по отношению к адресату не имеет вербально выраженной номинации адресата. По мнению А.В.Естафьевой, использование выражений, в которых автор пытается «скрыть» адресата «языка вражды» является характерной чертой СМИ в настоящее время. Отсутствия адресата можно добиться при помощи безличных глаголов. [10]

О.А.Михайлова также исследовала способы реализации речевой агрессии в СМИ. В своем учебном пособии «Лингвокультурологические аспекты толерантности» О.А.Михайлова выделяет несколько способов реализации речевой агрессии в СМИ. Например, это может быть немотивированное использование иноязычных слов, экспансия лексики малых социальных групп, языковая демагогия, метафоризация и т.д. [27]

Н.А.Паламарчук в научном труде «Способы выражения вербальной агрессии в текстах Интернет-комментариев» исследовала лексические и синтаксические лингвистические единицы, выражающие вербальную агрессию, в текстах Интернет-комментариев. Целью данной работы было проведение анализа вербальной агрессии на предмет выявления средств языка и особенностей речи, за счет которых достигается агрессия в коммуникации на примерах текстов комментариев российских Интернет пользователей. Н.А.Паламарчук предлагает следующую классификацию способов выражения вербальной агрессии:

· Вербальная агрессия на лексико-семантическом уровне, которая выражается следующими способами:

1. Слова, выражающие обвинение, осуждение или недоверие по отношение к адресату (например, «бандит», «жулик»);

2. Сравнение адресата с предметами материального мира, животным, персонажем фольклора;

3. Прямое оскорбление и унижение адресата (например, «фашист», «америкос» и др.);

4. Слова, выражающие сомнения насчет интеллектуальных и физических способностей адресата (например, «дурак»);

5. Слова с измененной интонацией, содержащие агрессивные намерения субъекта. Примерами таких слов могут быть эрративы и людемы. Например, выражение «я же мать» в устной речи часто произносится с интонацией, передающей иронию говорящего, что в письменном виде проявляется в искажении его формы - «яжемать».

· Вербальная агрессия на грамматическом уровне может быть выражена следующими путями:

1. Использование псевдо-императивных конструкций для выражения угрозы;

2. Фразеологические обороты с отрицательной окраской (например, «как воды в рот набрал» и т.д.);

3. Использование вопрос с целью упрекнуть или задеть адресата;

4. Использование прагматически окрашенных единиц для выражения угрозы, неодобрения и т.д.;

5. Грамматические людемы (например, парцелляция);

6. Использование в Интернет-коммуникации местоимение 2-го л. ед.ч. «ты» с целью выразить неуважение к адресату;

7. Использование местоимений 3-го л. «он», «она», «оно» и «они» по отношению к лицам как участникам интеракции или же просто как присутствующим при коммуникативном акте;

8. При помощи суффиксов негативной оценки с оттенками пренебрежения, иронии и т.д. (например, «дурачина»). [32]

В ходе анализа записей Интернет-пользователей в блогах большое внимание будет уделяться лексическим единицам, содержащих вербальную агрессию, т.к. они в дальнейшем войдут в тональный словарь.

1.7 Основные положения корпусной лингвистики

Понятия корпусной лингвистики

В настоящее время любое лингвистическое исследование, которое предполагает анализ огромного объема эмпирических данных, может быть осуществлено при помощи методологии корпусной лингвистики. Корпусная лингвистика - это «раздел компьютерной лингвистики, занимающийся разработкой общих принципов построения и использования лингвистических корпусов (корпусов текстов) с применением компьютерных технологий» [12].

Предметом корпусной лингвистики является корпус текстов - большой, унифицированный, структурированный, филологически компетентный и размеченный массив языковых данных для решения конкретных лингвистических задач [11: с.4-5]. Такие корпуса текстов используются современными исследователями для проверки лингвистических гипотез и теорий, а также для работ с различным языковым материалом (например, в качестве массивов тестов для выявления языковых явлений).

Стоит отметить, что не всякое собрание текстов можно считать корпусом. Как отмечали Байбер, Конрад и Реппен, корпусом является собрание текстов, отобранных по определенным принципам [53]. Из этого следует, что собрание текстов будет считаться корпусом тогда и только тогда, когда это собрание является репрезентативной выборкой изучаемого явления, т.е. в данном собрании текстов данное явление наблюдается довольно часто и в разных его формах.

Об этом же говорит Рыков В.В., утверждая, что корпус текстов - это некоторое собрание текстов, основанное на логическом замысле, логической идее, объединяющей эти тексты и воплощающейся в правилах их организации в корпус, алгоритме и программе анализа корпуса текстов, связанной с этим методологии и идеологии [33].

Э. Вилсон и Т.МакЭнри понимают под корпусом «собрание языковых фрагментов, отобранных в соответствии с четкими языковыми критериями для использования в качестве модели языка» [69].

Согласно определениям корпуса, данными выше, можно выделить два основных аспекта корпусной лингвистики - создание корпуса с размеченными данными и лингвистический анализ текстов на основе созданного корпуса.

Языковый корпус может быть представлен как письменными, так и устными текстами. Для письменного корпуса тексты могут быть отсканированы, напечатаны или выгружены из Интернета. Кроме того, каждый текст в корпусе должен сопровождаться информацией о самом тексте (контексте, типе, его авторе и т.д.). Для более удобного анализа в больших корпусах может быть проведена разметка по частям речи (тегирование) или разноуровневая разметка самого текста (заголовки, параграфы).

Среди базовых методов работы с корпусами можно выделить такие, как составление конкорданса, подсчет абсолютной частотности, анализ ключевых слов и анализ кластеров. Использование этих методов позволяет создать лексико-грамматический профиль слов, содержащий информацию о типичном контексте их употребления относительно частоты их встречаемости в корпусе, возможных синтаксических и семантических ограничениях и т.д. [6: с.3-4]

Используя методы корпусной лингвистики, можно провести целый ряд исследований, направленных на установление общих и отдельных фактов между языками, диалектами или вариантами языка в ходе сопоставительного изучения, а также на определение тональности используемого словесного материала.

Создание корпуса

Прежде чем преступить к созданию корпуса, важно установить тематику жанровой структуры корпуса: необходимо определить, чем в корпусе является текст, в каких хронологических рамках опубликованы эти тексты и другие вопросы.

Важно помнить, что корпус разрабатывается для решения самых различных лингвистических задач. В рамках данного исследования создание корпуса происходит с целью составления словаря языковых единиц, которые могут указывать на вербальную агрессию в тексте, и дальнейшей проверки словаря во время проведения классификации текстов корпуса на отрицательные и положительные.

В связи с этим процесс создания корпуса для решения данной задачи можно описать следующим образом:

1) Скачивание текстов с источника;

2) Преобразование текстов в формат, понятный машине;

3) Предварительная обработка текстов;

4) Разметка текста, сопровождающаяся информацией о самом тексте и его компонентах (например, о дате публикации);

5) Распределение текстов корпуса в положительный и отрицательный подкорпуса.

Обработка текстов корпуса

Для повышения качества корпуса, а в дальнейшем тонального словаря и алгоритма классификации необходимо провести целый ряд операций. В первую очередь речь идет о токенизации. Под токенизацией понимается процесс разбиения длинных строк текста на отдельные значимые единицы (токены). Токенизация текста необходима для определения границ слов, однако решение этой задачи усложняется пунктуацией в тексте.

Следующим этапом обработки текстов корпуса является удаление стоп-слов. Стоп-слова - это те слова, которые не несут смысловой нагрузки. Их также называют шумовыми словами. Чаще всего к стоп-словам относятся предлоги, частицы, союзы, междометия, вводные слова и т.д.

Говоря об обработке текста, стоит также упомянуть лемматизацию - процесс образования начальной формы слова на основе его других словоформ. Похожим процессом является стемминг, в ходе которого находится основа слова. Основная идея стемминга состоит в том, что от корня слова отрезаются аффиксы и окончания, чтобы оставшаяся часть (основа слова) была одинаковой для всех грамматических форм слова. Однако, в русском языке при стемминге возникает ряд ошибок при поиске основы слова, связанные с всевозможными изменениями корня слова (беглые гласные и др.). С точки зрения корректного выделения основы это является минусом алгоритма: он часто отсекает слово больше необходимого, что затрудняет получение правильной основы слова. Например, основой слова кошками является кош. Таким образом, слово обрабатывается без знания контекста, тем самым дифференциация слов с разными значениями становится невозможной. В отличие от стемминга лемматизация приводит к смысловой начальной форме слова.

Наконец, для обработки текстов также используется парсинг. Парсингом называют процесс сопоставления последовательности слов с их формальной грамматикой, результатом которого является синтаксическое дерево.

Анализ тональности

Цель данной работы, заключающаяся в выявлении вербальной агрессии в тексте, прежде всего приводит нас к анализу тональности текста. В последние несколько лет вокруг проводится все больше исследований, посвященных анализу тональности текстов. Можно выделить несколько основных подходов к рассмотрению данной проблемы.

Статистический подход основывается на оценке наиболее частотных слов, маркирующих оценку слова, подсчета расстояний между ними, оценке частотных n-грамм и т.д. [64, 72, 73].

Другие исследователи кроме статистического подхода пользуются также парсингом, тем самым анализируя синтаксическую зависимость и наиболее встречаемые вершины именных, предложных и глагольных групп. Слова же, синтаксически не связанные с оценочными словами, не принимаются во внимание [72].

Кроме того, для анализа тональности текстов также используется машинное обучение, в котором выделяют обучение без учителя (unsupervised learning) и обучение с учителем (supervised learning). В первом случае какая-либо разметка исходных данных отсутствует. Алгоритм самостоятельно выделяет признаки для определения тональности на основе разделения исходных данных на кластеры. Такой подход является менее затратным в отличие от, например, ручной разметки данных. Среди таких алгоритмов обучения без учителя можно выделить скрытое распределение Дирихле [54]. Стоит отметить, что точность определения тональности таких алгоритмов часто уступает моделям обучения с учителем.

Во втором случае речь идет о наличии уже размеченных данных. В данном случае алгоритм вычисляет определенную зависимость между имеющимися данными и их маркерами. Примерами моделей обучения с учителем могут послужить скрытые марковские модели, логистическая регрессия, наивный байесовский классификатор и другие. [65]

В связи с более высокими показателями точности определения тональности моделей обучения с учителем большинство методов анализа тональности текстов в той или иной мере опираются на использование списков оценочной лексики, поэтому многие работы, посвященные данной проблеме в определенной предметной области концентрируются либо на дополнении уже существующих списков, либо создании собственных тональной словарей, более подходящих под проблематику изучаемого вопроса. Тональные словари создаются в два этапа: сначала компилируется список потенциально оценочных слов, а после этого каждой позиции из этого списка приписывается значение полярности. Это может быть сделано как автоматически, так и вручную.

Работа Turney and Littman является ярким примером применения корпусного подхода к созданию тонального словаря. В данной работе исследователи применили метрики семантической близости для того, чтобы определить для ранее не встречавшегося слова корреляцию с уже «помеченными» словами [79].

Другим подходом к определению тональности является предположение, что слова, находящиеся в схожем контексте, принадлежат к одному и тому же оценочному классу. Sattam Almatarneh и Pablo Gamallo придерживались именно этого подхода в своем исследовании. В их статье описано, как исследователи использовали корпус отзывов о фильмах для определения тональности текста. Оценочным словам ученые приписывали веса, отражающие их тональность. Данные веса основаны на относительной частоте встречаемости (relative frequency) в текстах с одной и той же оценкой и среднем ее значении в отрицательных, положительных и нейтральных текстах. Далее эти слова были использованы в системе, основанной на обучении с учителем, а именно методе опорных векторов (SVM) для классификации текстов по полярности [51].

Алгоритмы машинного обучения также были использованы в работе И.И. Четверкина и Н.В. Лукашевич, в ходе которой оценочные слова выявлялись на основе их статистических и лингвистических признаков. Как и в работе Almatarhneh и Gamallo модель Четверкина и Лукашевич была построена для определения тональности отзывов о фильмах, а затем была применена в других предметных областях. Полученные в ходе работы модели словари были в последствии объединены в общий тональный словарь для применения к более широкому спектру товаров. Слова с частотой встречаемости выше 3 по всему корпусу были вручную аннотированы как оценочные и неоценочные для обучения алгоритма классификации [57].



Глава 2. Автоматическое выявление вербальной агрессии на материале записей с блог-платформы «Живой Журнал»

Автоматизирование выявления вербальной агрессии в текстах кроме применения различных алгоритмов для классификации текстов предполагает обращение к методам корпусной лингвистики. Следовательно, прежде чем приступить к применению подобных алгоритмов для решения данного аспекта настоящего исследования необходимо скомпилировать корпус записей блогов Интернет-пользователей, а также составить тональный словарь.

Для составления тонального словаря были отобраны такие языковые единицы, которые могут указывать на вербальную агрессию в записи блога. Выбор таких языковых единиц проходил в ходе анализа записей пользователей Интернета на русскоязычной блог-платформе «Живой Журнал» при помощи корпусного менеджера AntConc. Выбор данной блог-платформы обусловлен международным интересом к ведению записей, что предоставляет большое количество материала для проведения исследования, а также популярностью данного блога среди русскоязычного населения. Кроме того, ведение персонального блога характерно не только для обычных граждан, но и для многих известных личностей, а также для общественных движений, организаций, политических деятелей и партий.

Выбор записей проводился по следующим критериям:

· Временной критерий. Рассматриваются записи, написанные в период с 1 января 2017 года по 10 мая 2019 года.

· Актуальность. В записях Интернет блогов освещены события и явления в мире, актуальные на данный момент: выборы президента РФ (2018), выборы президента Украины (2019), боевые действия на территории Сирии и Украины, террористические акты, феминизм и т.д.

· Проблематика. Интерес предоставляют записи в блогах, в которых обсуждаются актуальные вопросы.

В ходе данной работы было собрано 1400 записей на различные тематики с блог-платформы «Живой Журнал», содержащие в себе агрессию по отношению к какому-либо явлению или событию. Для автоматического определения вербальной агрессии полученные при помощи программы записи были разделены на тренировочную и тестовую выборку. Разделение записей было произведено в случайном порядке в соотношении 80% к 20%, где 80% записей были отнесены к тренировочной выборке, а 20% - к тестовой. Таким образом, в тренировочный корпус вошло 1120 случайных записей.

2.1 Автоматический сбор записей Интернет-пользователей блог-платформы «Живой Журнал»

В пункте 3 Главы 1 было отмечено, что не любое собрание текстов может считаться корпусом, поэтому перед тем, как начать компилирование корпуса, необходимо определить критерии отбора записей.

Во-первых, необходимо, чтобы в корпусе в полной мере было отражено явление, изучаемое в данном исследовании. Для этого необходимо определить, в каких записях вероятнее всего будет наблюдаться вербальная агрессия. В Главе 1 шла речь о взаимосвязи понятий «вербальная агрессия» и «интолерантность», поэтому логично будет предположить, что вербальная агрессия будет обнаружена в тех записях, тематика которых соответствует видам интолерантности: политической, религиозной, расовой и т.д. Поиск подобных записей проходил по таким тегам, которые могли вывести на записи, содержащие негативное отношение к какой-либо теме. Так, для поиска записей про политику были использованы такие теги, как «Россия», «США», «Путин», «Трамп», «Сирия», «Украина», про религию - «Ислам», «Джихад», «Исламисты» и т.д.

Кроме того, репрезентативность корпуса текстов обеспечивается за счет скачивания текстов блогов разных авторов, что обеспечивает разнообразие стилей ведения блога, а также подходов к выражению мыслей.

Во-вторых, ранее также было отмечено, что каждый текст корпуса должен сопровождаться информацией о нем (метаданными). В каждой скачанной записи приведены данные о его авторе, заголовке, дате публикации и собственно текст записи.

Наконец, в ходе ручного анализа корпуса каждый текст будет определен в подкорпус с «отрицательными» записями, т.е. теми записями, в тексте которых была обнаружена вербальная агрессия, или с «положительными» записями, т.е. теми записями, в тексте которых вербальной агрессии обнаружено не было.

Скачивание записей с блог-платформы «Живой Журнал» было реализовано при помощи краулера, программы на языке программирования Python, которая взаимодействует с окружающей средой посредством сетевых протоколов и автоматически скачивает нужную информацию из Интернета. Пример кода программы для реализации данной задачи на примере записей с тегом «феминизм» приведен в Приложении 1.

В ходе работы веб-краулера было собрано более 3000 записей, опубликованных в период с 1 января 2017 года по 10 мая 2019 года, однако только 1400 из них вошли в корпус текстов для выявления вербальной агрессии. Это можно объяснить тем, что во время автоматического скачивания блогов были также скачены записи, содержащие только мультимедийный материал, а это значит, что данные записи не могут быть использованы для проведения дальнейшего исследования в силу отсутствия текста.

В силу того, что структура каждого блога на блог-платформе «Живой Журнал» уникальна, был написан такая программа для краулинга, которая скачивает весь текст на веб-странице. Таким образом, в скаченные тексты изначально вошли также данные о меню веб-страницы, тексты рекламы и комментарии.

Помимо этого, из текстов также были удалены теги. Теги в данном случае не несут информативной ценности, поэтому от них следует избавиться. В Приложении 2 приведен код программы, в ходе которой из текста удаляется данная информация.

После компилирования корпуса была проведена нормализация всех 1400 скаченных записей.

2.2 Обработка текстов корпуса

Прежде чем приступить к нормализации записей необходимо удалить из всех текстов стоп-слова, что позволит избавиться от слов, не имеющих значительного семантического смысла. Для осуществления данного этапа работы воспользуемся существующим списком стоп-слов, доступных в библиотеке nltk. Код, в котором осуществляется удаление стоп-слов, приведен в Приложении 3.

1.	в	27572
2.	и	21797
3.	на	13932
4.	не	9304
5.	что	9124
6.	с	9097
7.	по	5302
8.	как	4510
9.	к	4121
10.	а	3783

До удаления стоп-слов корпус состоял из 718818 токенов. Список 10 самых частотных слов во всем корпусе до их удаления выглядел следующим образом:

Список стоп-слов nltk состоит из 151 слов, после удаления которых число токенов во всем корпусе сократилось до 521806 токенов, а список 10 самых частотных слов стал следующим:

Стоит отметить, что не все стоп-слова удалось удалить. В частности, на десятой позиции во втором списке можно заметить предлог «в». Его появление в списке можно объяснить возможным отсутствием пробелов между знаком препинания, завершающее предыдущее предложение, и стоп-словом. Корпусный менеджер AntConc при составлении списка частотных слов игнорирует знаки препинания, поэтому данный предлог и, возможно, некоторые другие стоп-слова не удалились из корпуса.

1.	это	3450
2.	сша	2845
3.	colonelcassad	1701
4.	сирии	1567
5.	то	1537
6.	года	1450
7.	которые	1403
8.	канал	1380
9.	telegram	1339
10.	в	1324

Нормализация полученных записей была реализована за счет еще одной программы на языке программирования Python. В Приложении 4 приведен код данной программы. Для ее работы были использованы библиотеки re и pymystem3.

Нормализация текста подразумевает его лемматизацию и приведение к нижнему регистру. Это необходимо для того, чтобы минимизировать количество вхождений в тональном словаре, а также снизить число рассматриваемых словоформ в составленном корпусе. Например, вместо нескольких вариантов слова агрессивный таких, как агрессивная, агрессивное, агрессивную и т.д., в тональный словарь войдет только слово агрессивный.

Кроме того, уменьшение объема тонального словаря приводит к уменьшению времени работы алгоритма. Тем меньше данных компьютеру нужно преобразовать в числа (вероятности в данном исследовании), тем быстрее тот или иной алгоритм определит тональность текста.

Приведем список первых 10 частотных слов после лемматизации. Стоит уточнить, что удаление стоп-слов проводилось до того, как были обнаружены записи, содержащие заголовок и мультимедийный материал.

1.	который	3860
2.	это	3808
3.	год	2548
4.	свой	2134
5.	россия	1696
6.	сша	1598
7.	человек	1486
8.	украина	1339
9.	мочь	1145
10.	страна	1121

В том случае, если запись содержит только заголовок, проводилась проверка на количество переменных в списке с предложениями, чтобы не удалить сам заголовок. К тому же были удалены записи, в которых количество слов не превышало трех. Все нормализованные файлы были сохранены в отдельную папку (new).

2.3 Распределение текстов корпуса по тональности

Как уже говорилось ранее, в тренировочный корпус вошло 1120 записей с блог-платформы «Живой Журнал». Именно с ними будет проводиться работа по созданию тонального словаря для данной блог-платформы.

В данных записях встречались проявления вербальной агрессии на политическую, религиозную, сексуально-ориентационную, гендерную, расовую и этническую тематики. Подавляющее большинство составили записи на политическую (77%) и религиозную (31%) тематики. Такие результаты можно объяснить тем, что политические, религиозные проблемы являются наиболее актуальными в период с 1 января 2017 года до 10 мая 2019 года.

В рамках данного исследования перед составлением тонального словаря был проведен ручной анализ тональности данных записей: каждая из них была размечена и добавлена либо в «положительный», либо в «отрицательный» корпус на основе стилистической окраски употребленных языковых единиц, при этом 587 записей (42%) попало в «отрицательный» корпус.

В отличие от исследований, о которых речь шла в Главе 1 пункте 3.1, в данной работе помечаются как отрицательные или положительные сами тексты, а не позиции в тональном словаре. Это сделано с той целью, чтобы алгоритм, применяемый в данном исследовании (наивный байесовский классификатор), подсчитал вероятность «агрессивности» языковой единицы, не основываясь на предварительной оценке самой единицы. Такой подход применяется потому, что не всегда языковая единица с заведомо отрицательной или положительной коннотацией свидетельствует о той же коннотации текста в целом.

Приведем несколько примеров тестов, вошедших в «отрицательный» корпус.

Автор: colonelcassad

Дата публикации: 24 января 2017 года

Название: Размежевание

Отрывки текста:

РФ с конца 2015 года без особого успеха пыталась добиться от США, чтобы они разделили боевиков на "умеренных" и "неумеренных", чтобы было понятно, с кем можно вести переговоры, а кого будут "мочить в сортирах".

За 2016-й год, удалось согласовать вопрос только по "Ан-Нусре", которую и США и Турция признали "неумеренной" и против которой хотя бы на словах обязались вести боевые действия. "Джунд-аль-Акса" оказалась в этом узком списке по причине неадекватности своих лидеров…

...