Автоматическое выявление вербальной агрессии в Интернет-коммуникации

Таким образом "Джунд-аль-Акса" в число "умеренных" не попала по причине собственной упоротости. "Коллеги" ныне их рассматривают как "бешенных собак", с которыми лучше дела не иметь.

Важное отличие от прежних встреч - это реальные боевики и за их представителями стоит реальная военная сила (порядка 25-35 тыс. штыков), а не свора обычных сирийских эмигрантов на подкорме у Вашингтона или Эр-Рияда.

Поэтому и возникают сложности с тем, чтобы усадить все это "зеленое" кодло за стол переговоров, так как одни на деле всегода готовы выполнить волю внешних хозяев.

На деле, полного разделения "умеренных" и "неумеренных" еще не произошло - из легального поля выпали пока что лишь наиболее отъявленные "отморозки"…

В данном тексте явно выражена вербальная агрессия, которая направлена на описание каких-либо отдельных личностей или организаций или на описание их действий. Среди языковых единиц, указывающих на вербальную агрессию при описании организации или отдельных личностей, можно отметить следующие языковые единицы: неадекватность лидеров, собственная упоротость, бешенные собаки, свора эмигрантов на подкорме, все это кодло, отъявленные «отморозки». В данных примерах агрессия выражена как эксплицитно с использованием эмоционально-окрашенной лексики, так и имплицитно. При описании действий этих организаций или личностей были использованы такие выражения, как мочить в сортирах и готовы выполнить волю внешних хозяев, которые в дополнении к различным наименованиям организаций или личностей, указывают на проявление агрессии со стороны автора.

Приведем еще несколько отрывков из одной записи блога того же авторства, опубликованной 23 февраля 2017 года.

Название: Как отдохнуть в Крыму недорого и без регистрации

Отрывки текста:

За событиями на майдане я следил внимательно через призму ленты.ру. нужно заметить, что на тот момент это был откровенно русофобский ресурс (после смены состава они, хотя бы, пытаются это скрывать). у них был корреспондент на майдане, который писал восторженную хуйню, но фотографии с бандерой и прочие прелести от меня не укрылись. мне с самого начала было примерно понятно, чем всё кончится. тем более, я много работал с хохлами, и знал, чего от них можно ожидать.

узнав, что я из России, водитель лет 45 из днепропетровска всю дорогу рассказывал, как он будет убивать русских со своими сыновьями из засад, какие мы лохи и все умрем. Я врубал пацифиста и продолжал движение, ломая голову над тем, дать этой скотине в конце 100 гривен или выпустить кишки под руль.

В РФ любое "патриотическое" движение где-нибудь, да прячет свастику, и занимается канализацией этого самого патриотического движения…

он уработал этого урода отличной двоечкой…

Если бы я тогда знал, что сделает эта гнида в будущем, мамой клянусь, воткнул бы ему и нож в спину.

нужно было видеть животный страх этой скотины. удивительно, как такое чмо дослужилось до генерала. После этого я спокойно упал в строй, а трусливого "шрека" увели отмываться в его двухсотый лендкрузер.

Такое же чмо, как наши питерские резники и шишкины. генетический мусор. Особенно доставляла бабка, которая падала и орала, что её бьют, а наши её каждый раз аккуратно поднимали и отряхивали.

Немецкой свинье было по барабану…

В данном тексте также можно выделить языковые единицы, которые указывают на нетерпимое отношение автора при описании отдельных личностей или организаций: русофобский ресурс, какие мы лохи, этой скотине, этого урода, такое чмо и т.д. Автор или люди, которых автор упоминает, эксплицитно выражают свое отношение к другим людям, предметам или явлениями с использованием, в частности, табуированной лексики.

Кроме того, можно выделить отрезки текста, в которых автор явно проявляет свое негативное отношение при описании собственных действий или действий других действующих лиц: выпустить кишки под руль, занимается канализацией, будет убивать русских и т.д.

Исходя из приведенных отрезков записи, можно утверждать, что данный текст содержит языковые единицы, которые указывают на проявление вербальной агрессии и в дальнейшем могут войти в тональный словарь.

Автор: dimagrib

Дата публикации: 9 апреля 2019 года

Название: Женщины должны получать меньше мужчин

Отрывки текста:

На дворе 21 век, великое время для открытий и свершений. Вместо этого люди срутся по половому признаку. Это самое тупое, что происходило с человечеством за последнее время после расизма, который был, есть и будет, когда в одном месте скапливаются разные люди.

Раньше они были шлюхами, а теперь инстаграмщицы и модели.

Мужик не родит ребенка и не вскормит его грудью, хотя и сможет отвесить знантных люлей местным гопникам.

В записи явно прослеживается позиция автора на тему феминизма. Вербальная агрессия в данном тексте реализуется за счет использования оскорбительных слов («шлюха»), а также языковых единиц, негативно характеризующих человека («гопник», «тупое», «срутся»).

Стоит также привести пару примеров текстов, вошедших в «положительный» корпус.

Автор: varlamov

Дата публикации: 1 марта 2017

Название: Нужны ли в России пешеходные улицы?

Отрывок текста:

В начале этого года из Мичуринска, что в Тамбовской области, пришла скверная новость: власти задумали временно открыть движение по пешеходной улице в центре города. Жители разделились на две стороны: одни считают, что это спасёт от пробок, и хотят ехать по улице на машине, а другие - спокойно ходить. К вопросу также привлекают сотрудников ГИБДД, которых многие по ошибки считают экспертами в области транспорта, хотя это просто полицейские-юристы…

Давайте разберёмся, что это за принципы, и рассмотрим самые популярные заблуждения насчёт пешеходных улиц.

В данном тексте автор приводит свои размышления по вопросу, поставленного в заголовке записи. Весь текст можно разделить на несколько структурных частей: сначала автор описывает суть самой проблемы, затем приводит несколько фактов, сопровождающиеся мультимедийным материалом, а в конце выражает свое собственное мнение. На протяжении всего текста языковых единиц, которые могут указывать на вербальную агрессию, обнаружено не было, поэтому данный текст вошел в состав «положительного» корпуса.

Автор: colonelcassad

Дата публикации: 11 января 2017

Название: Малоизвестные уроки Гренады

Отрывок текста:

Малоизвестные уроки Гренады: 68,4% как символ объективности и здравомыслия международного сообщества.

В прошлом году на фоне многочисленных знаковых дат и текущих событий совершенно незамеченной прошла очередная годовщина американского вторжения в Гренаду. Между тем кризис в Гренаде чрезвычайно нагляден - причем даже не в качестве доказательства очевидного вмешательства США в дела суверенных государств (это уже ни для кого не новость), а с точки зрения реакции международного, и прежде всего западного, сообщества на действия американцев - особенно показательной в контексте отношения этого сообщества к появлению советских войск в Афганистане несколькими годами ранее (за этот шаг, названный «актом агрессии», Советский Союз на Западе в то время не осудил только ленивый). Сегодня это выглядит удивительным, но реакция эта и в том, и в другом случае была практически идентичной. Не вдаваясь в детали военных операций, предпринятых Советским Союзом и Соединенными Штатами Америки соответственно в Афганистане и в Гренаде, а также в нюансы предшествовавших и сопутствовавших этим операциям обстоятельств, просто сравним, как развивались события на международном уровне в обеих упомянутых ситуациях.

Структура данного текста ничем не отличается от структуры текста, приведенного в пример выше. Сначала автор описывает суть проблемы, затем приводит несколько фактов, в данном случае сопровождающиеся статистическими данными после проведения голосования, а в самом конце автор выражает собственное мнение. В отличие от предыдущего текста, в начале данного отрезка можно выделить языковую единицу, которая указывает на отсутствие вербальной агрессии в тексте: символ объективности и здравомыслия. Несмотря на то, что на протяжении всего текста можно выделить слова с отрицательной коннотацией (например, ленивый), в самом тексте не было обнаружено проявлений вербальной агрессии.

Стоит отметить, что большинство записей, вошедших в «положительный» корпус, имеет подобную структуру. В вошедших в «отрицательный» корпус записях их авторы склоны не приводить каких-либо конкретных фактов, описывающих существующую проблему, а выражают собственное мнение, часто прибегая к использованию эмоционально-окрашенной лексики.

Составление тонального словаря для автоматического определения вербальной агрессии

Выбор языковых единиц для дальнейшего составления тонального словаря проводился в ходе анализа частотного словаря, составленного корпусным менеджером AntConc. С помощью данной программы можно составить списки используемых слов, которые можно отсортировать по частоте их встречаемости в корпусе (Word List), выявить ключевые слова, т.е. неожиданно частотные слова на основе опорного корпуса (Keyword List), проанализировать лексические единицы в контексте (Concordance) и визуализировать их употребление в корпусе (Concordance Plot) и многое другое.

В ходе данного исследования был проведен анализ списка слов в корпусе, отсортированных по их частоте встречаемости, который позволил выявить те лингвистические единицы, которые довольно часто встречаются в тренировочном корпусе.

Помимо этого, был изучен ближайший контекст языковых единиц, указывающих на проявления вербальной агрессии в текстах. Это было сделано с целью исключения из тонального словаря таких лингвистических единиц, которые сами по себе имеют негативную коннотацию, но в конкретном контексте не были употреблены для выражения нетерпимого отношения автора.

Чтобы правильно интерпретировать полученные результаты, необходимо учесть, что не все слова лемматизируются правильно, а также у программы могли возникнуть проблемы с распознаванием некоторых русский символов.

Опираясь на освещенные в Главе 1 пункте 2.3 лингвистические аспекты вербальной агрессии, в частности на классификацию способов выражения вербальной агрессии, предложенной Н.А.Паламарчук, в тональный словарь были отобраны следующие языковые единицы:

1. Языковые единицы с негативной коннотацией:

1.1 Слова, негативно характеризующие человека, группу лиц или их действия: «феминистский», «агрессор», «лицемерный», «жалкий», «ватник», «фашист». Например, «…венгро-американский фашист Себастиан Горка…»;

1.2 Оскорбительные слова: «негр», «гомосек», «урод», «животное» и «шавка». Например, «На Трампа сейчас натравлена целая орава медийных шавок»;

1.3 Абстрактные понятия с негативной коннотацией: «неадекватность», «эгоизм», «русофобия», «клоунада». Например, «Помимо агрессивной риторики и подержания градуса русофобии Киев пытается интенсифицировать контакт с руководством республиканской партии»;

1.4 Ненормированная лексика;

1.5 Слова, выражающие насмешку: «стеб», «анекдот», «юморист», «улыбнуть». Например, «Юмористы из следственного комитета РФ заявили, что…»;

1.6 Слова, содержащие следующие лингвистические маркеры:

1.6.1 Приставка анти- со значением «против» (антиамериканизм, антироссийский);

1.6.2 Приставки бес-/без- со значением «отсутствие чего-либо» при условии, что слово без этих приставок имеет положительную коннотацию (бесполезный, бездарный);

1.6.3 Отрицательные приставка не- при условии, что коннотация слова без приставки является положительной (неадекватный, недалекий, нелепый);

1.6.4 Приставка недо- со значением «неполнота» (недоразвитый);

1.6.5 Суффиксы -ист/-изм, указывающие в некоторых случаях на принадлежность человека к какому-нибудь направлению или идеологии, а также характеризующие его с отрицательной стороны (идиотизм, нацизм, гегемонист).

2. Языковые единицы с положительной коннотацией, содержащие иронию или сарказм («дорогой», «родной», «молодец», «блестящий», «забавный», «веселый»). Например, «…да наши дорогие эффективные и инновационные бизнесмены буржуи, а также министры нашего родного и любимого буржуазного правительства…», «В прессе наблюдается забавная истерика…».

Таким образом, в тональный словарь вошло 408 языковых единиц. В Приложении 5 приведена часть списка языковых единиц, вошедших в тональный словарь.

Несмотря на то, что объем тренировочного корпуса маленький, а также авторы записей иногда прибегает к словотворчеству, в данной работе не рассматривались языковые единицы, которые встречались в данном корпусе меньше трех раз. Это было сделано с той целью, чтобы программа, реализующая наивный байесовский классификатор, не переобучалась.

2.4 Проверка качества тонального словаря

Проверка качества составленного тонального словаря проводилась при помощи программы, автоматически определяющей вербальную агрессию в тестовом корпусе. Данная программа (см. Приложение 6) реализует наивный байесовский классификатор, основанный на применении теоремы Байеса с «наивными» предположениями о зависимости переменных. В программе были также использованы метод сглаживания и логарифмическое пространство.

Метод сглаживания необходим для того, чтобы вероятностная оценка такой языковой единицы, которой не было в тестовом корпусе, не обратилась в ноль. Это важно, так как при перемножении нулевая оценка одной языковой единицы приводит к потере информации о вероятностях языковых единиц, вошедших в тональный словарь. Вычисление логарифмов также необходимо для того, чтобы избежать слишком маленьких результатов произведений вероятностей.

Для работы данной программы были использованы библиотеки re и math. Каждая из языковых единиц, составляющих тональный словарь, была изъята из файла list.txt и записана в список как отдельная переменная. Функция extract_features составляет список частот языковых единиц из тонального словаря для каждой записи из тестового корпуса. Сглаживание реализуется при помощи функции add1_sm, которая добавляет единицу к каждому значению в списке частотности языковых единиц для «положительного» и «отрицательного» корпусов. Как говорилось ранее, это необходимо для избавления от нулей.

Функция train_nbc считает коэффициент встречаемости каждой языковой единицы в тональном словаре в «положительном» и «отрицательном» корпусах. В функции classify_log происходит вычисление произведения вероятностей нахождения вербальной агрессии в тексте для каждой записи из тестового корпуса и дальнейшее суммирование их логарифмов, после чего происходит присвоение класса этим записям.

Для оценки качества тонального словаря были подсчитаны следующие метрики: аккуратность (accuracy), точность (precision), полнота (recall) и F-мера (F-score). Подсчет происходит в функции evaluate. Мера аккуратности подсчитывает процент правильных предсказаний, мера точности - процент верных предсказаний среди таких, которые программа отнесла к одному из классов. Способность классификатора угадывать большое количество верных ответов характеризуется мерой полноты, а гармоническое среднее между точностью и полнотой - F-мерой.

Следует упомянуть, что на результат подсчета данных метрик может повлиять ожидаемое соотношение количества «отрицательных» записей к количеству «положительных» в тестовом корпусе, которое заносится в переменную priors. При таком же соотношении, как и в тренировочном корпусе - 42% «отрицательных» записей и 58% «положительных» - были получены следующие результаты: accuracy = 0.7, precision = 0.721, recall = 0.7, f-score = 0.673. При равном соотношении записей в тестовом корпусе показатели немного улучшились: accuracy = 0.707, precision = 0.713, recall = 0.707, f-score = 0.692. толерантность лингвистический вербальный агрессия

Таким образом, несмотря на небольшой объем тренировочного корпуса были получены неплохие результаты. При соотношении 42% к 58% программа в среднем правильно классифицирует 67,3%, при равном соотношении - 69,2% записей из тестовой выборки. Это говорит о том, что тренировочный корпус был хорошо сформирован, а составляющие тональный словарь языковые единицы относительно полно описывают языковую ситуацию на блог-платформе «Живой Журнал».



Заключение

Цель данной работы заключалась в разработке метода автоматического определении вербальной агрессии в блогах Интернет-пользователей «Живого Журнала». Цель достигнута за счет реализации таких задач, как сбор и анализ корпуса записей на предмет содержания агрессии; анализ контекста и изучение лингвистических и экстралингвистических условий проявлений агрессии; составление тонального словаря и его проверка путем реализации наивного байесовского классификатора и подсчета метрик качества.

В ходе выполнения данной работы были получены следующие результаты. Термин вербальная агрессия часто определяют через смежный с ним термин толерантность, который приобретает различные оттенки значения в зависимости от языка и исторического опыта народов.

На основе классификации, предложенной социологом М.Мацковским, были даны определения понятию «толерантность» в разных сферах его использования. В пример были приведены крайние формы проявления интолерантности.

Толерантности противопоставляется интолерантность, под которой понимают проявление нетерпимости по отношению к людям на основании самых разнообразных признаков. Во всех дискурсах при описании данного явления доминирует сема «непредвзятость».

Кроме того, были изучены работы исследователей, изучавших проблематику теории коммуникации и особенности Интернет-коммуникации. В ходе данной работы были выявлены особенности Интернет-коммуникации, характерные для блогосферы.

Далее были рассмотрены работы, в которых подробно рассматривались особенности корпусной лингвистики, ее методология, а также возможности применения методов корпусной лингвистики для изучения и интерпретации статистических закономерностей лингвистических явлений. Наконец был изучен ряд исследований, авторы которых занимались определением тональности текстов.

В данной работе при помощи специальной программы, которая автоматически скачивает тексты из Интернета, был создан корпус из 1400 записей на русском языке с блог-платформы «Живой Журнал». Данные записи были подвержены обработке. Все тексты были токенизированы, слова в них приведены к нижнему регистру. Помимо этого, для улучшения качества корпуса и работы алгоритма классификации из текстов были удалены стоп-слова, а все остальные слова, несущие смысловую нагрузку, были лемматизированы.

Далее весь корпус был разделен на тренировочный и тестовый корпус: 1120 записей вошли в состав тренировочного корпуса, 280 записей - в тестовый корпус. Все записи предварительно были маркированы как положительные или те, в которых не было обнаружено вербальной агрессии, и как отрицательные, т.е., в которых были обнаружено данное явление. После этого был составлен тональный словарь на основе содержавшихся в корпусе языковых единиц, через употребление которых в записях можно обнаружить вербальную агрессию. Это было достигнуто путем анализа частотного словаря, составленного корпусным менеджером AntConc, и изучения ближайшего контекста данных языковых единиц.

Качество полученного словаря было проверено в ходе работы наивного байесовского классификатора на материале тестового корпуса, в состав которого вошло 280 новых записей. В результате работы данного классификатора было правильно размечено 67,3% записей при ожидаемом соотношении 42% «отрицательных» записей к 58% «положительных», и 69,2% записей при их ожидаемом равном соотношении, что говорит о хорошем качестве составленного тонального словаря. Полученные результаты, а особенно составленный тональный словарь могут в дальнейшем быть использованы для определения вербальной агрессии не только в блогосфере, но и в других средах коммуникации.



Библиографический список

1. Ананьина, В.Т. Влияние межнациональных семей на этническую толерантность в российском обществе// Уральский федеральный университет им. первого президента Б.Н.Ельцина - Екатеринбург - 2015.

2. Асмолов, А.Г., Солдатова, Г.У., Шайгерова, Л.А. О смыслах понятия толерантность // Век толерантности. Научно-публицистический вестник. - 2001. - №1-2. - с.8-19.

3. Басовская, Е.Н. Творцы черно-белой реальности: о вербальной агрессии в средствах массовой информации//Критика и семиотика. Вып 7. - 2004 г. - с.257-263

4. Гвишиани, Н.Б. Практикум по корпусной лингвистике: Учеб. пособие по английскому языку. - М.: Высшая школа, 2008.

5. Гнатюк, О. Л. Основы теории коммуникации. 2- изд.. М.:КНОРУС, 2012. 256 с.

6. Горина, О.Г. Применение методов корпусной лингвистики для определения контекстно-специфических слов и коллокаций / Вестник Ленинградского государственного университета им. А.С.Пушкина. - 2011 г. - с.27-36

7. Декларация принципов толерантности. Утверждена резолюцией 5.61 генеральной конференцией ЮНЕСКО от 16 ноября 1995 года.

8. Дрынкина, Т.И. Феноменология толерантности [Текст] / Т.И.Дрынкина // Толерантность в современном обществе: опыт междисциплинарных исследований: сборник научных статей / под науч. ред. М.В,Новикова , Н.В.Нижегородцевой. - Ярославль: Изд-во ЯГПУ. - С. 52-54

9. Евстафьева, А.В. Адресант и адресат «языка вражды» в текстах средств массовой информации [Текст] / А.В. Евстафьева // научный журнал «Вестник Тюменского государственного университета»/ под науч. ред. Н.Н.Белозерова. - Тюмень: Изд-во ТюмГУ. - С.125-134

10. Евстафьева, А.В. «Язык вражды» в средствах массовой информации: лингвистические и экстралингвистические факторы функционирования //Автореф. дисс… канд. фил. наук. - Тамбов. 2009

11. Захаров, В.П. Корпусная лингвистика. СПб: СПб. гос. ун-т., 2005. - 48 с.

12. Захаров, В.П., Богданова, С.Ю. Корпусная лингвистика: учебник для студентов гуманитарных вузов. - Иркутск: ИГЛУ, 2011. - 161 с.

13. Иркаев, А.Г. Толерантность, как мировоззренческая устойчивость / А.Г.Иркаев // Интернет-журнал «Науковедение» №4 - 2011.

14. Иссерс. О.С., Рахимбергенова, М.Х. Языковые маркеры этнической ксенофобии (на материале российской прессы) [Текст] / О.С.Иссерс, М.Х.Рахимбергенова // Политическая лингвистика. - Вып. 3 (23). - Екатеринбург, 2007. - С.90-96

15. Каблуков, Е.В. Сложный диалогический текст медиадискурса как объект лингвистического исследования [Текст] / Е.В.Каблуков // Современный русский язык: динамика и функционирование: Материалы Всерос. науч. - практ. Интернет - конф. Волгоград, 8-12 декабря 2008 г. / отв. ред. Ю.В.Федосов. Волгоград: Изд-во ВГПУ «Перемена», 2009 - С.32-38

16. Кирилюк, О.М. Содержание понятия «толерантность» [Текст] / О.М.Кирилюк // Толерантность в современном обществе: опыт междисциплинарных исследований: сборник научных статей / под науч. ред. М.В,Новикова , Н.В.Нижегородцевой. - Ярославль: Изд-во ЯГПУ. - С. 57-60

17. Кольцова, Е.Ю. Измерение толерантности [Текст] / Е.Ю.Кольцова, Е.Е.Таратута // Журнал социологии и социальной антропологии. - 2003. - №4. - С.113-130. - ISSN 1029-8053

18. Коновалов, В.Н. «Словарь по политологии». Подготовлен кафедрой политологии РГУ. М.: РГУ, 2010 г. - 292 с.

19. Корнилова, Т.В., Чумакова, М.А. Шкалы толерантности и интолерантности к неопределенности в модификации опросника С.Бандера [Текст] // Экспериментальная психология. - 2014. - Т.7. №1. - С.92-110

20. Куликова, А.В. Особенности Интернет-коммуникаций / Вестник Нижегородского университета им. Н.И.Лобачесвкого. Серия: Социальные науки. №4 (28). 2012., с 19-24.

21. Куликова, Е.В. Языковая специфика рекламного дискурса [Текст] / Е.В.Куликова // Вестник Нижегородского университета им. Н.И.Лобачевского. - Сер. Филология. Искусствоведение. - 2008. - №4. - С.197-205

22. Лекторский, В.А. «О толерантности, плюрализме и критицизме» [Текст] / В.А.Лекторский// Вопросы философии. - 1997. - №11. - С.46-54

23. Лукашевич, Н.В. Тезаурусы в задачах информационного поиска. М.: Изд-во Московского университета, 2011.

24. Максимова, О.Б. Язык в Интернет-коммуникации: общие закономерности и национально-культурные особенности (на материале русского и английского языков) / Вестник РУДН. Серия: Теория языка. Семиотика. Семантика. №3. - 2010. - с. 74 - 90.

25. Маслова, В. А. Современные направления в лингвистике. М.: Академия - 2008 г. - 272 с.

26. Мацковский М.С. Толерантность как объект социологического исследования // Век толерантнос- ти: Научно-публицистический вестник. - Вып. 3-4;

27. Михайлова, О.А. Лингвокультурологические аспекты толерантности: [учеб.-метод. пособие] / О.А.Михайлова; М-во образования и науки Рос. Федераци, Урал. федер. ун-т. - Екатеринбург : Изд-во Урал. ун-та, 2015 - 124 с

28. Мехонина, Е.Н. О понятии коммуникативно-речевой категории и методике ее описания [Текст] / Е.Н.Мехонина // Филология в XXI веке: методы, проблемы, идеи: материалы Всерос. науч. конф. Пермь, 8 апреля 2013 г. / отв. ред. Н.В.Соловьева; Перм. гос. Нац. Исслед. ун-т. - Пермь, 2013 - С.231-237

29. Можгинский, Ю.Б. Агрессивность детей и подростков: распознавание, лечение, профилактика [Текст]/ Ю.Б.Можгинский - М.: Когито-Центр, 2006 - 181 с.

30. Морозова, О.Н. Особенности Интернет-коммуникации: определение и свойства / Вестник Ленинградского университета им. А.С.Пушкина - 2010. - с. 150 - 157.

31. Нартдинова, С.С. Толерантность как проблема воспитания [Текст]// Закономерности и тенденции развития науки в современном обществе: сборник статей Международной научно-практической конференции. 29-30 марта 2013г.: Ч.2 / отв. ред. Л.Х. Курбанаева. - Уфа: РИЦ БашГУ, 2013. - С.31-37

32. Паламарчук, Н.А. Способы выражения вербальной агрессии в текстах интернет-комментариев // Актуальные проблемы теоретической и прикладной лингвистики: сб. науч. тр./под ред. ЕП Сосниной.-Ульяновск: УлГТУ. 2011. С. 19-28.

33. Рыков, В.В. Корпус текстов как реализация объектно-ориентированной парадигмы // Труды Международного семинара Диалог-2002. - М.: Наука, 2002.

34. Сагалакова, Г.А. Проблема толерантности и интолерантности в современной России // Изв. АлтГУ. - 2008. - № 4/5. - С.269-276

35. Сагитова, Л., Шайхитдинова, С., Ходжаева, Е. Опыт разработки контент-аналитической методики выявления толерантности/интолерантности в печатных текстах СМИ // Перекрестки № 3-4/2009. Журнал исследований восточноевропейского Пограничья. С. 173-192.

36. Семашко, М.А. Развитие термина «толерантность» в гуманитарных науках / М.А.Семашко // Электронный научно-педагогический журнал. - 2007.

37. Солынин, Н. Э. Основные подходы к определению понятия «толерантность» / Ярославский педагогический вестник. Психолого-педагогические науки научный журнал [Текст]. - Ярославль: Изд-во ЯГПУ, 2009. - № 4.- Том II (Психолого-педагогические науки). - 276 с.

38. Сосковец, Л.И. Религиозная толерантность и свобода совести: История и теория вопроса. // Известия Томского политехнического университета. - Т.307. - №2. - 2004 - С.177-180

39. Стернин, И.А., Шилихина, К.М. Коммуникативные аспекты толерантности. Воронеж. 2000.

40. Таюпова, О.И., Юсупова, Л.Г. Лингвистические аспекты теории коммуникации / Вестник Башкирского университета, Т.19 №2 - 2014 г. - с. 561 - 564

41. Тихомирова, И.Е. Содержание понятия толерантность [Текст] / И.Е.Тихомирова // Толерантность в современном обществе: опыт междисциплинарных исследований: сборник научных статей / под науч. ред. М.В,Новикова , Н.В.Нижегородцевой. - Ярославль: Изд-во ЯГПУ. - С.79-81

42. Фонталин, Л.Н., Певницкий, Л.А. Иммунологическая толерантность, М., 1978

43. Форсова, В.В. О религиозных корнях толерантности [Текст]// Социологические исследования. - 2004. - №1. - С.54-61

44. Хамутовская, С.В. Политическая толерантность: концептуальные понятия [Текст] / С.В.Хамутовская // Социологический альманах / под науч. ред. И.В.Котлярова - №3, 2012. - С.223-230

45. Хомяков, М.Б. Философские и лингвокультурологические проблемы толерантности: Коллективная моногр./ Отв. ред. Н.А.Купина и М.Б.Хомяков. - М.:ОЛМА-ПРЕСС, 2005. - 542 с. - (Золотая коллекция)

46. Шарков, Ф.И. Коммуникология: основы теории коммуникации / Шарков Ф.И., - 4-е изд. - М.:Дашков и К, 2017. - 488 с.: ISBN 978-5-394-02089-6

47. Шестакова, А.Н. Особенности выявления оскорблений при лингвистической экспертизе текстов СМИ // Актуальные проблемы теоретической и прикладной лингвистики: сб. науч. тр./под ред. ЕП Сосниной.-Ульяновск: УлГТУ. 2011. С. 77-80.

48. Щербинина, Ю.В. Вербальная агрессия [Текст]/ Ю.В.Щербинина - М.: УРСС, 2006 - 360 с.

49. Юсупова, Л. Г. Развитие готовности студентов неязыковых специальностей вуза к межкультурной коммуникации: дис. … канд. пед. наук. Челябинск, 2008. 177 с.

50. Якимова, Н.С. Вербальная агрессия как актуальный феномен современного общества//Вестник КемГУ. Вып.1 - 2011 г. - с.184-187

51. Almatarneh S., Gamallo P. «Automatic Construction of Domain-Specific Sentiment Lexicons for Polarity Classification» // 15th International Conference on Practical Applications of Agents and Multi-Agent Systems, Porto (Portugal), Fernando De la Prieta, Zita Vale, Luis Antunes, Tiago Pinto, Andrew Campbell, Vicente Juliбn, Antonio J.R. Neves, Marнa N. Moreno, 2017.

52. Berggren Niclas, Elinder Mikael «Is Tolerance Good or Bad for Growth?».// Public Choice, Vol.150, No.1/2: Springer, Jan. 2012, pp. 283-308

53. Biber D., Conrad S., Reppen R. «Corpus Linguistics: Investigating language structure and use» / Cambridge: Cambridge University Press. 1998. 300 p. ISBN0521499577.

54. Brody S.,Elhadad N. «Detecting salient aspects in online reviews of health providers» // AMIA Annual Symposium, 2010.

55. Carter J.Scott «A Cosmopolitan Way of Life for All? A Reassessment of the Impact of Urban and Region on Racial Attitudes From 1972 to 2006»// Journal of Black Studies, Vol.40, No.6: Sage Publications, Inc., July 2010, pp. 1075-1093

56. Carter Jimmy, Chapter Title: «Religious Tolerance»// Abraham's Children: Yale University Press. (2012)

57. Chetviorkin I., Loukachevitch N. «Extraction of Russian Sentiment Lexicon for Product Meta-Domain» // Proceedings of the 25rd International Conference on Computational Linguistics (COLING'12), 2012, pp. 593-610

58. Colleen Cotter «News talk: investigating the language of journalism»// Cambridge University Press, the Edinburgh Building, UK. - 2010

59. Crawford Jarret T., Pilanski Jane M. «Political Intolerance, Right and Left»// Political Psychology, 2012.

60. Davis Darren W. «Exploring Black Political Intolerance»//. Political Behavior, Vol.17, No.1: Springer, Mar. 1995, pp. 1-22

61. Ganu, G., Elhadad, N., and Marian, A. «Beyond the Stars: Improving Rating Predictions using Review Text Content» // In WebDB (Vol. 9, pp. 1-6), 2009

62. Gibson James L. «Alternative Measures of Political Tolerance: Must Tolerance be `Least-Liked'?»// American Journal of Political Science, Vol.36, No.2: Midwest Political Science Association, May, 1992, pp. 560-577

63. Gibson James L. «Political Intolerance in the context of Democratic Theory»// The Oxford Handbook of Political Science, Jul. 2011.

64. Hu M., Liu B. «Mining and summarizing customer reviews» // International Conference on Knowledge Discovery and Data Mining (ICDM), 2004

65. Jin Wei, Hung Hay Ho, «A novel lexicalized HMM-based learning framework for web opinion mining» // in Proceedings of International Conference on Machine Learning (ICML-2009).

66. Lester Emile, Chapter Title: «The Distinctive Paradox of Religious Tolerance»// Teaching about Religions: University of Michigan Press. (2011)

67. Liu Baodong «Racial Contexts and White Interests: Beyond Black Threat and Racial Tolerance»// Political Behavior, Vol.23, No.2: Springer, Jun. 2001, pp.157-180

68. Loukachevitch N., Levchik A. «Creating a General Russian Sentiment Lexicon» // Proceedings of Language Resources and Evaluation Conference LREC-2016, 2016.

69. McEnery T., Wilson A. «Corpus Linguistics». - Edinburgh: Edinburgh University Press, 2001.

70. Paden John N., Chapter Title: «Religious Tolerance and Conflict Resolution»// Muslim Civic Cultures and Conflict Resolution: Brookings Institution Press. (2005)

71. Persell Caroline Hodges, Green Adam, Gurevich Liena, «Civil Society, Economic Distress, and Social Tolerance»// Sociological Forum, Vol.16, No.1: Springer, Jun.2001, pp.203-230

72. Popescu A. M., Etzioni O., «Extracting product features and opinions from reviews, In Natural language processing and text mining», 2007, pp. 9-28

73. Scaffidi C., Bierhoff K., Chang E., Felker M., Ng H., Jin C., «Red Opal: product-feature scoring from reviews» // In Proceedings of the 8th ACM conference on Electronic commerce, 2007, pp. 182-191

74. Scanlon T.M., Chapter Title «The Difficulty of Tolerance»// Toleration: Princeton University Press. (1996)

75. Scott Jerrie C. «Of nicknames, slurs, and name-calling»// American Speech, Vol. 61, No.2: Duke University Press, Summer, 1986, pp. 172-175

76. Sharma Arvind «Religious Tolerance in Three Contexts»// India International Centre Quarterly, Vol. 22, No.1: India International Centre, Spring 1995, pp. 29-34

77. Sharp Elaine B., Joslyn Mark R. «Culture, Segregation, and Tolerance in Urban America»// Social Science Quarterly, Vol.89, No.3: Wiley, Sept. 2008, pp. 573-591

78. Tautkus Rita E. «Comment, Speech Regulation at the University of California: Void for Vagueness or Overbreadth»// 32 Santa Clara L. Rev. 1259 (1992).

79. Turney P. D., Littman M. L. «Measuring praise and criticism: Inference of semantic orientation from association» // ACM Transactions on Information Systems (TOIS), 21(4):315-346, 2003.



Приложение

Код реализации алгоритма сбора текстовых данных с блог-платформы «Живой Журнал» на языке Python 3.

from bs4 import BeautifulSoup

from urllib.request import Request, urlopen

from selenium import webdriver

import os, requests, urllib.request

import time

from lxml.html import parse

sess = requests.Session()

driver = webdriver.Chrome()

links = []

for i in range(101):

url = 'https://www.livejournal.com/rsearch?page=' + str(i) + '&tags=%D1%84%D0%B5%D0%BC%D0%B8%D0%BD%D0%B8%D0%B7%D0%BC&dateFrom=2018-01-01&dateTo=2019-05-10&searchArea=post'

driver.get(url)

time.sleep(5)

page = driver.page_source

soup = BeautifulSoup(page, 'html.parser')

for i in soup.find_all('a', class_='rsearch-note__caption'):

xpath = i['href']

links.append(xpath)

for i in range(len(links)):

url = links[i]

driver.get(url)

time.sleep(10)

maxi = 0

k = 0

page = driver.find_elements_by_tag_name('div')

for j in range(len(page)):

try:

if len(page[j].text) > maxi:

maxi = len(page[j].text)

k = j

path = 'texts/USA/' + str(links[i][links[i].rfind('/'):-5]) + '.txt'

f = open(path, 'a', encoding='utf8')

try:

f.write(page[k].text)

f.close()

except:

pass

except:

pass

Код реализации алгоритма удаления из текста информации о меню веб-страницы, рекламы, комментариях и тегах на языке Python 3.

import os

for i in range(705, 40348466):

path = str(i) + '.txt'

if os.path.exists(path):

f = open(path, 'r', encoding='utf8')

text = f.readlines()

f.close()

f = open(path, 'w').close()

k = 0

m = 0

text_new = []

for i in range(len(text)):

if text[i] != '\n':

text_new.append(text[i])

text = text_new

words = ['ЯНДЕКС.ДИРЕКТ', '(RU)', 'В СТИЛЕ ЖЖ', 'Обратно', 'Previous', 'RVS', 'Rvs', 'НА ГЛАВНУЮ', 'Предыдущий пост']

for w in words:

text = text_new

for i in range(len(text)):

if w in text[i]:

text_new = text_new[i+1:]

text = text_new

for i in range(len(text)):

if 'Назад\n' in text[i]:

if 'Вперёд\n' in text[i+2]:

text_new = text_new[:i] + text_new[i+3:]

text_new = text_new[:i] + text_new[i+2:]

text = text_new

for l in range(len(text)):

if text[l] == 'Категория:\n':

text_new = text_new[:l] + text_new[l+2:]

if text[l] == 'Категории:\n':

text_new = text_new[:l] + text_new[l+3:]

text = text_new

for i in range(len(text)):

if 'Яндекс.Директ' in text[i]:

k = i

if 'Авторизуйтесь' in text[i] or 'Надоела реклама?' in text[i]:

m = i+1

text_new = text_new[:k] + text_new[m:]

text = text_new

for i in range(len(text)):

if 'МЕТКИ' in text[i] or 'Tags' in text[i] or 'Метки' in text[i]:

text_new = text_new[:i]

else:

if text[i] == 'Подписаться\n':

text_new = text_new[:i-1]

text = text_new

words2 = ['Читать далее', 'ЧИТАТЬ ДАЛЕЕ', 'Archive', 'Friends', 'Profile', 'Memories', 'RSS', 'Архив']

for w in words2:

text = text_new

for i in range(len(text)):

if w in text[i]:

text_new = text_new[i+1:]

text = text_new

f = open(path, 'a', encoding='utf8').write(''.join(text_new))

for i in range(705, 40348466):

path = str(i) + '.txt'

if os.path.exists(path):

f = open(path, 'r', encoding='utf8')

text = f.readlines()

f.close()

if text == []:

os.remove(path)

else:

for i in range(len(text)):

if 'LIVEJOURNAL' in text[i] or 'LiveJournal' in text[i]:

os.remove(path)

Код реализации алгоритма удаления стоп-слов из текстов корпуса на языке Python 3.

import os

from nltk.corpus import stopwords

sw = stopwords.words('russian')

for i in range(705, 40348466):

line = str(i) + '.txt'

if os.path.exists(line):

f = open(line, 'r', encoding='utf8')

text = f.read().lower()

f.close()

words = text.split()

sentence = []

for k in words:

if k not in sw:

sentence.append(k)

text = ' '.join(sentence)

f = open(line, 'w').close()

f = open(line, 'a', encoding='utf8').write(text)

Код реализации алгоритма обработки текстов в корпусе на языке Python 3.

import re

import os

from pymystem3 import Mystem

from nltk.corpus import stopwords

m = Mystem()

def lem_file(n):

line = str(n) + '.txt'

if os.path.exists(line):

f = open(line, 'r', encoding='utf8')

text = f.read().lower()

f.close()

text = text.replace('\n', ' ')

text = text.replace('ё', 'е')

tokens = re.findall('[а-я]+', text)

good_tok = ' '.join(tokens)

sw = stopwords.words('russian')

words = good_tok.split()

sentence = []

for w in words:

if w not in sw:

sentence.append(w)

text = ' '.join(sentence)

lemmas = m.lemmatize(text)

l_new = []

for l in lemmas:

if l!='писать' or l!='написать':

l_new.append(l)

good_lem = ''.join(l_new)

f = open('new/' + line, 'a', encoding='utf8')

f.write(good_lem)

for i in range(316, 132415193):

lem_file(i)

for i in range(316, 132415193):

path = 'new/' + str(i) + '.txt'

if os.path.exists(path):

f = open(path, 'r', encoding='utf8')

text = f.read()

f.close()

if len(text.split())<4:

os.remove(path)

Отрывок из списка языковых единиц, вошедших в тональный словарь для определения вербальной агрессии в тексте.

Упырь, баба, дичь, дурка, мразь, мракобесие, ничтожество, овца, подонок, лицемерный, клоунада, квакать, отморозок, америкос, зрад, перемога, молодчик, бред, забавный, жалкий, идиот, негр, кучка, дурак, тролль, орк, паразит и т.д.

Код реализации наивного байесовского классификатора на языке Python 3.

import math

import re

features = []

features0 = open('list.txt', encoding='utf-8').readlines()

for f in features0:

features.append(f[:-1])

def select_features(corpus1, corpus2, ratio_thresh=2.0):

print('selecting features automatically')

tokens1 = re.findall('\w+', corpus1.lower())

tokens2 = re.findall('\w+', corpus2.lower())

N1 = len(tokens1)

N2 = len(tokens2)

words = set(tokens1)

features = []

total_words = len(words)

counter = 1

for w in words:

if counter % 100 == 0:

print('checking word {} out of {}'.format(counter, total_words))

print('words selected so far:', len(features))

counter += 1

c1 = tokens1.count(w) / N1

c2 = tokens2.count(w) / N2

if c1 / c2 >= ratio_thresh:

features.append(w)

return features

def extract_features(text, features):

tokens = re.findall('\w+', text.lower())

d = {f: 0 for f in features}

for t in tokens:

if t in d:

d[t] += 1

vec = []

for f in features:

vec.append(d[f])

return vec

def add1_sm(counts):

new = {}

for w, f in counts.items():

new[w] = f + 1

return new

def train_nbc(features, corpora, smoothing=True):

print('training NBC')

f_set = set(features)

Params = []

for i, corpus in enumerate(corpora):

tokens = re.findall('\w+', corpus.lower())

N = len([t for t in tokens if t in f_set])

d = {f: 0 for f in features}

for t in tokens:

if t in d:

d[t] += 1

if smoothing:

d = add1_sm(d)

param_vec = []

for f in features:

param_vec.append(d[f] / N)

Params.append(param_vec)

print('done training')

return Params

def classify_log(text, features, classes, priors,

Params, legend=False):

results = []

for i, cla in enumerate(classes):

res = math.log(priors[i])

feature_vec = extract_features(text, features)

for j, f_val in enumerate(feature_vec):

p_val = Params[i][j]

if legend:

print('feature:', features[j],

'f_val:', f_val,

'p_val:', p_val)

res += math.log(p_val ** f_val)

results.append(res)

max_prod = max(results)

c_i = results.index(max_prod)

if legend:

print('classes:', classes)

print('results:', results)

print('choosing', classes[c_i])

return classes[c_i]

for i in range(1, 651):

path = 'train/positive/' + str(i) + '.txt'

f = open(path, 'r', encoding='utf8')

text = f.read()

f.close

f = open('positive_train.txt', 'a', encoding='utf8').write(text)

for i in range(1, 471):

path = 'train/negative/' + str(i) + '.txt'

f = open(path, 'r', encoding='utf8')

text = f.read()

f.close

f = open('negative_train.txt', 'a', encoding='utf8').write(text)

pos_train = open('positive_train.txt', encoding='utf-8').read()

neg_train = open('negative_train.txt', encoding='utf-8').read()

corpora = pos_train, neg_train

classes = 0, 1

Params = train_nbc(features, corpora)

priors = 0.5, 0.5

h = []

for i in range(1, 164):

path = 'test/positive/' + str(i) + '.txt'

text = open(path, 'r', encoding='utf8').read()

label = classify_log(text, features, classes, priors, Params, legend=False)

h.append(label)

for i in range(1, 118):

path = 'test/negative/' + str(i) + '.txt'

text = open(path, 'r', encoding='utf8').read()

label = classify_log(text, features, classes, priors, Params, legend=False)

h.append(label)

def evaluate(h, y, klass='all'):

assert len(h) == len(y), Exception('The length of h ({}) and y ({}) should match'.format(len(h), len(y)))

len_y = len(y)

if klass == 'all':

classes = set(y)

class_dist = {c: y.count(c) / len_y for c in classes}

else:

classes = (klass, )

class_dist = {c: 1 for c in classes}

results = {'accuracy': 0, 'precision': 0, 'recall': 0, 'f1': 0}

class_dist = {c: y.count(c) / len_y for c in classes}

for c in classes:

tp = set()

fp = set()

tn = set()

fn = set()

for i, h_i in enumerate(h):

y_i = y[i]

if h_i == c:

if y_i == c:

tp.add((i, h_i))

else:

fp.add((i, h_i))

else:

if y_i == c:

fn.add((i, h_i))

else:

tn.add((i, h_i))

acc = len(tp | tn) / len(tp | tn | fp | fn)

p_denom = len(tp | fp)

if p_denom:

p = len(tp) / p_denom

else:

p = 0

r = len(tp) / len(tp | fn)

results['accuracy'] += acc * class_dist[c]

results['precision'] += p * class_dist[c]

results['recall'] += r * class_dist[c]

f1_denom = (p + r)

if f1_denom:

results['f1'] += (2 * p * r / f1_denom) * class_dist[c]

else:

results['f1'] += 0

return (round(results['accuracy'], 3),

round(results['precision'], 3),

round(results['recall'], 3),

round(results['f1'], 3))

y = [0]*163 + [1]*117

print('all classes:\nacc {} \nprec {} \nrec {} \nf1 {}'.

format(*evaluate(h, y)), end='\n\n')

Размещено на Allbest.ru

...