Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное образовательное учреждение

высшего образования

Национальный исследовательский университет

«Высшая школа экономики»

Факультет гуманитарных наук

Образовательная программа «Компьютерная лингвистика»

Выпускная квалификационная работа

Автоматическое выделение признаков тревожных расстройств в текстах

Самойленко Ксения Владимировна

студента 2 курса магистратуры группы МКЛ171

Академический руководитель образовательной программы

Научный руководитель:

канд. филологических наук, доц. А.А. Бонч-Осмоловская

канд. технических наук, доц. Е.Л. Артемова

Москва 2019

Введение

Современные методы компьютерной лингвистики, автоматической обработки и анализа текста сегодня используются практически во всех сферах жизни и науки. Машинный перевод, генерация разнообразных текстов (стихи, прогнозы погоды, заголовки новостей), «умный поиск» -- это только малая часть современных возможностей компьютерной лингвистики. По мере развития методов машинного обучения и нейронных сетей эти алгоритмы все чаще используются вместо или в сочетании с традиционными методами -- правилами, словарями, вручную отобранными признаками.

Возможности компьютерной лингвистики часто используются в междисциплинарных исследованиях и проектах: по литературе, истории, медиаисследованиях, медицине, юриспруденции -- одним словом, везде, где есть тексты. Один из ярких и очень важных примеров таких исследований -- изучение психического здоровья населения. Согласно психологическим и психиатрическим наблюдениям, что людям с определенными заболеваниями и расстройствами психики свойственно более частое использование определенных слов, некоторая специфика в выборе тем разговора или речевых средств, особенности интонаций и речи. Например, люди с психическими расстройствами, в частности, страдающие депрессией, часто используют местоимение первого лица единственного числа, постоянно стремясь обратить внимание на себя, на свои переживания. (Corcoran, et al. 2018: 2) Некоторые особенности речи больных можно зафиксировать только на слух, но значительная часть этих особенностей видна и по текстам. Поэтому для улучшения качества диагностики, предупреждения критических стадий болезни и общей оценки психического состояния все чаще используются методы компьютерной лингвистики.

Исследователи работают с самыми разными данными -- от медицинских опросников до корпусов постов из социальных сетей. Большинство исследований на эту тему -- англоязычные и описывают различные аспекты изучений психических расстройств по текстам на английском языке. Для других языков, в том числе русского, таких работ значительно меньше. Как отмечают исследователи, тема психических заболеваний и сегодня остается стигматизированной даже в развитых странах: многие люди стесняются публично говорить о проблемах подобного плана и даже обратиться к специалисту. (Conwaya, Daniel O'Connor 2016: 5)

Тема нашего исследования лежит в области изучения признаков психических расстройств при помощи методов автоматической обработки текста. Одно из наиболее распространенных психических заболеваний -- генерализированное тревожное расстройство и связанная с ним группа расстройств: от него страдают порядка 4% населения планеты, причем женщины сталкиваются с ним в два раза чаще, чем мужчины. (Remes, et al. 2016: 5)

У взрослого трудоспособного населения в условиях динамичного ритма жизни, больших нагрузок и стресса тревожное расстройство все чаще является следствием переживаний из-за работы и рабочих процессов. Тревожность плохо сказывается на здоровье сотрудников, их продуктивности и как следствие, производительности компаний в целом.

В связи с этим в рамках исследования, посвященного тревожности и тревожным расстройствам на рабочем месте Исследование проводит группа психологов, специалисты факультета психологического консультирования МГППУ, научный руководитель -- доктор психол. наук, проф. Н.Г. Гаранян, при помощи методов компьютерной лингвистики мы изучим, можно ли определить по тексту наличие у человека тревожного расстройства, рассмотрим, какие понятия используют люди, описывая свои ощущения относительно работы, и как эти текстовые данные коррелируют с оценками, выставляемыми людьми в опросниках об их состоянии на работе.

Основные методы компьютерной лингвистики, которые мы используем -- это тематическое моделирование и извлечение ключевых слов. Результатом нашего исследования должны стать тематические модели и наборы ключевых слов, описывающие разные состояния людей: отсутствие тревоги, слабо выраженная тревога, явное тревожное расстройство. В русскоязычном пространстве роль компьютерной лингвистики в изучении психических расстройств и заболеваний пока еще очень мала, поэтому наше исследование позволит проверить, возможно ли автоматически извлекать признаки психических расстройств из русскоязычных текстов также успешно, как из англоязычных. Кроме того, даже в англоязычном пространстве тревожные расстройства изучают значительно реже, чем депрессию, биполярное расстройство, посттравматический синдром и другие заболевания; в то же время проблема тревожности на рабочем месте является крайне актуальной в современных условиях. Таким образом, наша работа является примером междисциплинарного исследования на пересечении компьютерной лингвистики и психологии, проводимого с использованием наиболее современных вычислительных методов.

1. Обзор исследований в области Data science & mental health

Основные публикации по нашей теме -- научные статьи в журналах и сборниках конференций. Авторы рассказывают о своих исследованиях и экспериментах по выделению признаков психических расстройств при помощи различных алгоритмов и с использованием разных видов данных.

Можно выделить следующие особенности отображения темы ментального здоровья в работах по компьютерной лингвистике и машинному обучению:

· Больше всего публикаций посвящены выделению признаков депрессии как наиболее распространенного заболевания. Также особое внимание уделяется предсказанию риска суицида. Тревожность изучают реже, также популярны исследования о других расстройствах --посттравматическим стрессовым расстройством, биполярным расстройством, и т.д.

· В исследованиях фигурируют два типа данных: big data, как правило, из Twitter или Reddit; и данные, полученные в результате проведения специальных исследований и опросов. Данные первого типа, как правило, более объемные и дают много возможностей для машинного обучения. Кроме того, их довольно легко получить, так как Twitter и Reddit обладают удобным в использовании API. Однако, всегда есть вероятность, что такие данные не вполне достоверны. Данные специальных исследований, как правило, меньшего объема (десятки и сотни анкет по сравнению с данными о десятках тысяч пользователей), но более надежные.

· Дизайн эксперимента в большинстве исследований одинаков: авторы пытаются выделить разные признаки, на основе которых можно успешно обучить классификатор, определяющий наличие или отсутствие заболевания и в некоторых случаях его тип.

· Самый главный инструмент, который используется почти во всех исследованиях -- программа Linguistic Inquiry Word Count (LIWC), разработанный для анализа языковых данных. Он был создан для подсчета использований слов из разных категорий (в том числе эмоциональных) в текстах. Однако его нельзя в полной мере использовать для русского языка: русскоязычные словари в LIWC являются прямым переводом английского словаря, а не результатом экспертной работы. Эта же проблема относится и к другим языкам и частично определяет тот факт, что подобного рода исследования чаще всего опираются на данные на английском языке.

· Кроме того, для анализа текстов и качестве обучающих признаков иногда используются технические характеристики (метрики ридабилити (удобочитаемости текста), частеречный состав, средняя длина слов и предложений, и т.д.) и другие, специально составленные словари. Основное направление, связанное с этой областью -- sentimental analysis.

· Как и в других областях обработки естественного языка, в подобных исследованиях авторы пытаются использовать различные алгоритмы машинного обучения и нейронные сети. Как правило, хорошие результаты получаются на узких задачах, например, когда обучение проходило на клинических записях о больных, которые впоследствии совершили самоубийство. В исследованиях, посвященных выделению признаков сразу нескольких расстройств, не всегда получается провести четкую линию между разными заболеваниями и классификаторы в результате показывают невысокую точность.

Говоря о том, как психические заболевания и переживания выражаются в тексте, всегда стоит иметь в виду не только возрастные, гендерные, демографические особенности, но культурную традицию и особенности языка. В большинстве обществ психические расстройства все еще остаются довольно стигматизированной сферой, говорить о них не принято, и психотерапия еще далеко не везде считается общей практикой.

1.1 Состояние области

тревожный расстройство компьютерный лингвистика

Наиболее важным источником данных, который двигает вперед и как обработку естественного языка, так и выделение признаков психических расстройств, являются социальные сети. Их стремительный рост вместе с развитием вычислительных технологий дает множество возможностей для анализа текстов для самых разных целей: политических, экономических, социологических, и, как в данном случае, психологических. Изучение психического здоровья населения на основании данных из социальных сетей является настолько крупной областью, что ей посвящают отдельные конференции, воркшопы и пишут обзоры о последних достижениях в данной сфере.

В психологии есть специальное направление, связанное с выделением особенностей лексики при различных душевных состояниях, от тревоги до инсайта и от отчаяния до восторга. На основе этих исследований составляются специальные лексические словари, которые наряду со словарями из LIWC используются в работах по анализу психических состояний на основе текстов.

Одним из первопроходцев в изучении психических расстройств по данным из Интернета является Мунмун де Чоудюри (Munmun De Choudhury), которая занимается разработкой вычислительных методов для отслеживания психического состояния населения по социальным сетям, в частности, идентификации депрессии. Она наиболее известна благодаря своим исследованиям, основанных на данных из сервиса микроблогов Twitter.

Проблеме психического здоровья и его исследованиям при помощи методов обработки естественного языка посвящена специальная секция «Computational Linguistics and Clinical Psychology» в рамках конференции NAACL (North American Chapter of the Association for Computational Linguistics). В Пенсильвании также работает The World Well Being Project (WWBP) -- коллаборация между психологами, специалистами по вычислительным технологиям и статистике, созданная для изучения психосоциальных процессов, связанных со здоровьем и уровнем счастья и их выражением через социальные сети.

1.2 Ранние исследования

Одной из важнейших и основополагающих работ для этой области можно считать статью «The Psychological Meaning of Words: LIWC and Computerized Text Analysis Methods» (Tausczik, Pennebaker 2010), посвященную разработке LIWC, который используют практически все исследователи в данной сфере, и его применениям. Авторы описали основные метода анализа текста и рассказали о том, как создавался и оценивался LIWC.

Как уже говорилось выше, LIWC -- это программа, которая подсчитывает слова, принадлежащие к различным смысловым и эмоциональным категориями. Авторы утверждают, что при помощи этой программы можно обнаружить основные идеи текста, эмоциональную составляющую, выделять социальные отношения, стили мышления и индивидуальные различия людей.

Говоря об идее создания анализатора, авторы отсылают еще к Зигмунду Фрейду, который одним из первых предположил, что слова могут быть маркером психических состояний и расстройств. Тесты Роршаха также основаны на лингвистической экспертизе и наблюдением за тем, как именно люди описывают свои чувства и состояния. Но более серьезные исследования в этой области появились только в 1950-х годах, вместе с появлением контент-анализа и анализа речи. Уолтер Вейнтрауб первым обратил внимание на использование людьми служебных частей речи, артиклей и местоимения, и пришел к выводу, что частое употребление первого лица ед. числа может быть маркером депрессивного состояния.

К созданию LIWC авторов подтолкнули результаты психологического исследования, в котором людей просили написать о каких-либо эмоциональных вещах в их жизни: оказалось, что в рассказах они описывали прежде всего свое психологическое состояние. Это заложило основу для создания экспертных словарей, характеризующих различные настроения и психические состояния.

LIWC состоит из двух главных частей: обрабатывающего данные алгоритма и словарей. Программа открывает текстовые файлы любого жанра -- эссе, поэмы, блоги и т.д. и проходит по каждому файлу анализируя слово за словом. Каждое слово сравнивается со словами из словарей. После этого LIWC подсчитывает долю слов из каждой категории.

Одной из важных проблем использования LIWC, помимо проблем с адаптацией для других языков, а также подобных ей библиотек и программ, является игнорирование контекста, и невозможность выделения иронии, сарказма и идиоматических выражений.

В 2011 году авторы статьи «Lexicon-Based Methods for Sentiment Analysis» (Taboada, et al. 2011) представили программу SO-CAL (The Semantic Orientation CALculator), основанный на лексическом анализе текста и предназначенный для его «эмоционального» анализа. Калькулятор включает в себя словари, размеченные по смысловым направлениям (полярность и сила), а также учитывает интенсивность и степень отрицания. Калькулятор использовался для анализа полярности и классификации, присваивания позитивного или негативного лейбла тексту. Но данный инструмент, как видно из инструментария последующих исследований, все-таки проиграл в популярности и эффективности LIWC.

Такого рода исследования в sentimental analysis позволяли оценивать тональность текстов, например, в задачах бизнеса (впечатления от продуктов) и политологических и социологических опросах.

Авторы статьи «Screening for posttraumatic stress disorder using verbal features in self narratives: A text mining approach» (He, Veldkamp, de Vries 2012) считают, что физическое и психическое состояние людей можно определить по словам, которые они употребляют -- наряду с описанными выше публикациями, они одни из первых серьезно занялись исследованиями в этой области. Ранее такие подходы редко применялись в диагностике, поскольку при помощи вычислительных методов такие тонкости на момент создания статьи было сложно выделить. Главный вызов, который стоял перед исследователями -- необходимость извлечь соответствующую информацию из поведенческих паттернов, отраженных в тексте, а затем превратить неструктурированный текст в структурированный датасет.

Авторы предложили новый способ обработки текста для изучения состояния пациентов с ПТСР (посттравматическое стрессовое расстройство) при помощи лексических признаков и используя в качестве данных тексты, написанные от первого лица. Идея эксперимента заключалась в том, чтобы попросить людей с ПТСР записать рассказ о травматичных событиях и симптомах ПТСР, то есть вместо стандартных интервью с врачом и опросников использовались тексты, написанные от первого лица, где люди делились своими впечатлениями.

Из коллекции в 300 текстов они извлекли репрезентативные ключевые слова и на их основе создали модель, позволяющую определить наличие или отсутствие ПТСР. По результатам работы алгоритма выявилась высокая степень согласия между психиатрами, размечавшими те же тексты, и компьютером.

1.3 Работы Мунмун де Чоудюри

Многие авторы ссылаются на исследования Мунмун де Чоудюри, так как она одной из первых стала изучать социальные сети для извлечения признаков психических расстройств, прежде всего -- депрессии. Поэтому многие из экспериментов с такими данными во многом можно оценивать как воспроизведение опытов де Чоудюри, только с акцентом на другие заболевания или более сложные техники обработки текста и машинного обучения.

Самая известная работа де Чоудюри «Social Media as a Measurement Tool of Depression in Populations» (De Choudhury, Counts, Horvitz 2013b) связана с исследованием социальных сетей как источника информации о психическом состоянии населения в разных популяциях. Вместе с коллегами она собрала большой корпус из постов в Твиттере, написанных пользователями с клинической депрессией, и построила вероятностную модель (обучила SVM-классификатор), которая могла бы определять, присутствуют ли в твите признаки депрессии. Модель, в частности, оценивала признаки социальной активности (упоминание другого пользователя), эмоции и язык. Классификатор определял депрессию с точностью более 80% Результатом исследования стал индекс депрессии в социальных сетях, который можно использовать для оценки уровня депрессии у населения. Последующие исследования де Чоудхюри также были связаны с твиттером и способами выявления депрессии.

1.4 Исследования о психологическом здоровье популяций и разных психических расстройствах

После работ Мунмун де Чоудюри появилось множество исследований, построенных по той же модели. Например, авторы статьи «Quantifying Mental Health Signals in Twitter» (Coppersmith, et al. 2015) сосредоточили свое исследование на анализе текстов людей с диагностированными расстройствами из следующего списка:

· посттравматическое стрессовое расстройство;

· депрессия;

· биполярное расстройство;

· сезонное аффективное расстройство (в русском языке и в русской психиатрической практике это заболевание не выделяется, но суть его легко выражается распространенным понятием «осенняя депрессия»).

Используя API, предоставляемый сервисом Twitter, авторы нашли пользователей, которые открыто заявляли о наличии у них какого-либо из психических расстройств из перечня, и проанализировали их твиты при помощи языковых моделей, в частности, обратив внимание на лексикон и особенности образа жизни, которые можно выделить из полученных данных. На основе этого они обучили классификатор, который способен отделять тексты психически здоровых людей (точнее, не страдающих упомянутыми расстройствами) от тех, у кого есть психическое заболевание из перечня.

Особенного внимания заслуживает методика сбора данных, о которой авторы подробно рассказали.

Авторы находили профили юзеров, которые публично заявляли о наличии у них расстройств. Такие сообщения выделялись при помощи регулярных выражений типа `I was diagnosed with xxx'. Затем они брали самые актуальные твиты пользователя с установленным диагнозом (до 3200 публикаций) и отметали тех, у которых было всего менее 25 твитов или у которых более 25% публикаций были не на английском языке. Кроме того, авторы случайным образом отобрали 10 тысяч пользователей Twitter и отфильтровали их таким же образом (не менее 25 твитов и хотя бы 75% публикаций на английском языке). В итоге получилась группа из 5728 пользователей, 13,7 миллионов твитов которых были использованы как отрицательные примеры. В группе пользователей с заболеваниями суммарно было 1238 юзеров и около 3 миллионов твитов.

Авторы признают, что их метод имеет ряд недостатков, в частности, позволяет обнаружить только часть из больных или потенциально больных, и эти данные не могут использоваться как реальная картина психического состояния населения. Не стоит забывать, что авторы твитов, в конце концов, могут быть неискренними и врать о своих диагнозах. С другой стороны, так как психические расстройства все еще стигматизируются, можно предположить, что вряд ли кто-то станет публично объявлять о заболевании, которым он на самом деле не болеет. Кроме того, в контрольной группе тоже могли оказаться люди с психическими заболеваниями.

Важно, что в данных присутствует проблема совстречаемости некоторых расстройств (например, одновременное наличие посттравматического стрессового расстройства и депрессии), но по утверждению авторов, она не является статистически значимой.

Для анализа текстов использовалась уже упомянутая LIWC. При предобработке данных каждая категория из LIWC (типа “позитивные эмоции”, “негативные эмоции”, “тревога”, и т.д.) считалась одним признаком. Кроме того, использовалась языковые модели, построенные на текстах с уже определенным классом (то есть с принадлежностью автора к группе больных чем-либо).

В отдельный класс признаков выделяются паттерны поведения пользователей и их анализ. Под этим понимается изучение того, как корреляции и наблюдения, описанные в медицинской литературе по данной теме, находят отражение в данных социальных сетей -- если находят. Такие признаки непросто выделить из данных Twitter. Например, для оценки социальной активности использовались такие параметры, как количество упоминаний пользователя в чужих твитах, реакции на его пост и доля популярных сообщений в его микроблоге. Кроме того, авторы пробовали найти признаки бессонницы у больных и фиксировали количество твитов, написанных в интервале с 0:00 до 04:00 (с учетом часового пояса).

Анализ при помощи LIWC показал, что тональность твитов контрольной группы действительно значительно отличается от твитов людей с психическими расстройствами. В целом каждый из описанных методов показывает значимые различия между классами.

Одним из заданий на воркшопе CLPsych в 2016 году было создание автоматического классификатора для определения психического состояния человека по постам, написанным на форуме психических расстройств: нормальное, подозрительное (нужна проверка модератора), опасное (нужна срочная проверка модератора) и кризис (человек может представлять угрозу для себя и других). Это задание получило название «Automatic Triage of Posts» и фигурирует в названии статей. На конференции было представлено несколько подходов к решению этой задачи

Один из участников воркшопа попробовал обучить классификатор при помощи SVM (Opitz 2016). Главная трудность состояла в подборе подходящих признаков и комбинаций признаков для превращения текстов в вектора.

Автор проверил три типа признаков: 1) мешок н-грамм (от 1 до 3) 2) пользовательские признаки: история проставления меток упомянутых четырех типов у постов каждого юзера. Предполагалось, что если пост пользователя был отмечен как кризисный, то велика вероятность, что его следующий пост тоже будет кризисным. 3) Также были вручную созданы признаки поста, такие как время создания поста (ночное время может свидетельствовать о проблемах со сном, кризисе или красной метке.)

Для каждого класса был натренирован svm-классификатор. В результате опробования многих комбинаций и параметров, модель с лучшей ф-мерой была выбрана для многоклассовой задачи. В итоге оказалось, что классификатор хорошо выделяет нейтральные посты, а кризисные и красные -- очень плохо. Автор признает, что решить задачу хорошо не удалось.

Для решения той же задачи авторы статьи «Text Analysis and Automatic Triage of Posts in a Mental Health Forum» (Asgari, Nasiriany, Mofrad 2016) решили использовать не SVM, а метод случайного леса (`random forest'). Оказалось, что он справляется с этой задачей на порядок лучше (f-мера для разных параметров модели составляла порядка 75-80%). В качестве данных и признаков использовались эмбеддинги и модели на основе word2vec.

1.4.1 Twitter и депрессия

Твиттер представляет большой простор для исследований: благодаря нему можно изучить не только особенности публикаций у людей с психическими заболеваниями, но так же различные региональные особенности, не говоря уже о политических, социологических исследованиях. В целом Твиттер -- большой и, что важно, открытый и доступный источник данных, но имеющий свои ограничения, в частности, касающиеся достоверности данных и ограниченной длины сообщений; а также общих сложностей с считыванием иронии и т.д. Работы Мунмун де Чоудюри, посвященные изучению депрессии на основе данных из Твиттера, легли в основу целого направления исследований в данной сфере.

В 2015 одним из заданий на NAACL был анализ твитов на наличие признаков депрессии и посттравматического стрессового расстройства. Автор одной из статей на эту тему (Pedersen 2015) попытался решить эту проблему при помощи опорных списков и н-грамм, полученных из обучающего корпуса твитов. Твиты из тестовой выборки проверили на наличие этих н-грамм и ранжировали твиты по степени вероятности того, что у их автора есть депрессия или ПТСР. Данные представляют собой твиты 327 пользователей, кто сообщили о своем диагнозе «депрессия», и 246 пользователей с ПТСР. У каждого юзера было не менее 25 твитов. Авторы использовали несколько методов составления опорных списков и обучения на них алгоритмов. Списки включали от 1 до 6 слов. Для включения в список н-грамма должна была встречаться в обучающей выборке не менее 50 раз. Веса им присваивались следующим образом: если, например, словосочетание `feel tired' встречалась в выборке «депрессия» 4000 раз, и 1000 раз в контрольной выборке, то ее итоговый вес равнялся 3000. Н-граммы с положительным весом определялись как признаки депрессии. Для обработки твитов и поиска н-грамм использовался Ngram Statistics Package. Затем н-граммы пользователя сравнивались с опорным списком, специальным образом ранжировались, подсчитывались и в результате получалась уникальная сумма для каждого юзера, которая отображала принадлежность пользователя к одной из двух групп (есть диагноз или нет).

Авторы отмечают, что данные этого таска не универсальны и результаты работы с ними сложно перенести в клиническую практику, так как их методы сильно завязаны на специфику Твиттера. Однако при наличии подробного описания метода и устройства опорных списков, авторы не проверяют или не приводят подробные результаты тестирования своих алгоритмов.

На другой год исследователи пытались решить ту же задачу, но с немного другими данными. Статья «Monitoring Tweets for Depression to Detect At-risk Users» (Jamil, Inkpen, Buddhitha 2017) описывает разработку системы, идентифицирующую пользователей в зоне риска. Для ее создания автор опирался на анализ тональности текста и результаты кампании #BellLetsTalk, организованной канадскими врачами для преодоления стигмы психических заболеваний и повышения осведомленности о них. Автор собрал данные по этому хештегу и получили более 150 тыс. твитов от 25 тыс. пользователей. Для выделения твитов, где пользователи говорят о своем душевном состоянии, авторы искали упоминания слов “depressed”, “suffer”, “attempt”, “suicide”, “battle”, “struggle”, “diagnosed” в сочетании с местоимением от первого лица. Кроме того, он привлек аннотатора для проверки твитов на случай, если речь в них все-таки шла о депрессивном расстройства кого-то из близких людей пользователя. Таким образом удалось выделить 95 юзеров, открыто заявивших о своей депрессии.

Финальный дата-сет включал две группы пользователей: «депрессивных» и «недепрессивных» пользователей. Автор почистил данные от нейтральных слов, сделал разбивку на позитивные и негативные и на основе их попытался обучить SVM-классификатор для решения задачи бинарной классификации (находится человек в зоне риска или нет). При обучении автор использовал такие признаки как: «полярные» слова (негативные и позитивные слова, список AFINN), маркеры депрессии, употребление местоимений первого и второго лица. С помощью этих данных классификатор должен был научиться определять депрессивные высказывания.

Кроме того, автор провел еще один эксперимент по определению потенциально депрессивных пользователей: в основе его лежал подсчет доли депрессивных твитов для каждого юзера относительно его общего числа твитов.

Для классификатора твитов результаты получились невысокие, так как классификатор показывал невысокую точность при большой полноте. Зато для классификатора пользователей точность составила 0.7083, a полнота 0.85.

Авторы статьи «Deep Learning for Depression Detection of Twitter Users» (Orabi, et al. 2018) развивают идею глубокого обучения применительно к анализу твитов. Прежде всего, они предлагают оптимизировать создание эмбеддингов для классификации на примере определения депрессии на датасете CLPsych2015 и данных Bell Lets Talk. В статье также дается подробный разбор некоторых архитектур глубокого обучения, которые обычно используется в задачах обработки естественного языка.

Данные состояли из постов 1145 пользователей Твиттера, взятых как контрольная группа, и постов пользователей с депрессией и ПТСР. Так же для каждого юзера были указаны пол и возраст. Главной целью авторов было улучшение существующих техник представления слов в векторных моделях. Результатом исследования стала система, которая определяет юзеров, у которых с высокой вероятностью может быть депрессия, по их постам в социальных сетях. Авторы предлагают архитектуру нейронной сети, которая улучшает и оптимизирует эмбеддинги. В конечном итоге они обучили несколько моделей и получили 4 нейронные сети, в частности, CNN (convolutional neural network) и RNN (reccurent neural network). Авторы подробно рассказывают об устройстве своих сетей. В целом каждая из них показала высокие результаты с f-мерой более 80%.

Стоит отметить, что в контексте анализа данных из Твиттера изучение всей совокупности высказываний пользователя, как правило, выглядит более надежным, чем попытки классифицировать отдельные твиты. Потенциально было бы полезно учитывать временные промежутки в публикации твитов, так как например, у активного и многолетнего пользователя с недавно появившимися признаками депрессии (или любого другого психического расстройства) «депрессивных» твитов будет меньше, чем остальных, но при этом они будут идти с определенной регулярностью.

1.4.2 Reddit и тревожность

Reddit -- еще одна платформа и в некоторым смысле социальная сеть, которую используют в качестве источника данных. В некоторым смысле он даже удобнее, чем Твиттер: в нем есть специальные тематические подразделы (сабреддиты), посвященные отдельным областям -- кино, развлечениям, спорту, науке и т.д. Соответственно, существуют и сабреддиты, посвященные обсуждению психических заболеваний, в частности, тревожности. Кроме того, посты и комментарии в реддите значительно длиннее, чем в твиттере, а значит, высказывания оттуда обладают большим количеством признаков. Как и Твиттер, Реддит имеет API, позволяющее легко скачать все интересующие тексты.

Авторы работы «Detecting anxiety on Reddit» (Shen, Rudzicz 2017) решили использовать данные из тематического сабреддита для обучения классификатора. Собрав датасет из постов, посвященных тревоге, при помощи созданных на их основе эмбеддингов они решили задачу бинарной классификации (тревога-не тревога) с очень высокой точностью -- 91% и 98% для разных классификаторов. Для первого эксперимента авторы собрали 28,8 тысяч постов, посвященных тревожности, в том числе, тревожности из-за контроля, панических атак, социальной тревожности и тревожности из-за здоровья.

Для генерации признаков авторы использовали очень много подходов, стремясь подобрать идеальный.

1) Word2Vec and Doc2Vec

2) Модель, основанная на распределении дирихле и топиках

3) LIWC-признаки

4) N-граммы. 4 корпуса для униграмм и биграмм.

Высоких результатов удалось достичь при помощи применения всех четырех типов признаков.

В другом исследовании (Ireland, Iserman 2018) так же используются данные из тематических разделов Реддита. Целью авторов являлось изучить, как общаются между собой люди, страдающие от стресса и тревоги. Специфика исследования заключалась в том, что, по мнению авторов, говорить о нервозности и тревожности публично не принято, и поэтому люди, страдающие от этих заболеваний, редко вербализовывают свои переживания.

Главным инструментом исследования вновь стал LIWC. Для определения «тревожности» текста авторы построили дерево решений, которое верно определяло класс текста в 68% случаев. Оказалось, что говоря о тревожности, люди активно используют как общеупотрибительные слова, так и слова, относящиеся непосредственно к тревоге (описывающие страх, беспокойство), причем последние -- чаще, чем в «нетревожных» текстах (например, их других сабреддитов). Кроме того, авторы обратили внимание на то, как пишут пользователи-активные участники подразделов о тревожности, когда они переписываются в рамках нейтральных сабреддитов -- они используют больше общупотребительных слов и союзов. Даже вне тематических форумов они используют слова-маркеры тревоги, а также проявляют меньше социальной активности, задают меньше вопрос и реже благодарят других пользователей.

1.5 Специальные исследования

Авторы статьи «Predicting the Risk of Suicide by Analyzing the Text of Clinical Notes» (Poulin, et al. 2014) пытались решить очень важную задачу предсказания вероятности суицида у пациентов. Они применили методы компьютерной лингвистики для обработки клинических записей и наблюдений о больных -- ветеранах войн, совершивших самоубийство, ветеранах, которые прибегали к помощи психологов и психотерапаветов и не совершили суицид, и ветеранов, которые не пользовались услугами психоспециалистов и не совершили суицид в период наблюдений. Данные были взяты из U.S. Veterans Administration (VA).

Обучающий датасет включал в себя ключевые слова и словосочетания, на которых обучался простой алгоритм машинного обучения. Точность составила более 65%. Авторы предполагают, что результаты этого исследования и получившийся алгоритм можно применить к реальным медицинским данным при работе с пациентами, чтобы предотвратить их самоубийство.

Еще одним специальным исследованием, посвященным суициду, является лингвистический анализ дневника русскоязычного блогера Сергея Макарова, покончившего с собой (Litvinova, Litvinova, Seredin 2018). Для анализа текстов дневника так же использовался LIWC. Главной идеей работы являлось создание автоматического классификатора для определения «суицидального» контента. Автор блога при жизни создал сайт mysuicide.ru В настоящий момент сайт mysuicide.ru очищен от контента., один из крупнейших ресурсов в Рунете, посвященных суициду.

Помимо текста блога Макарова в датасете также использовались и другие тексты 45 авторов в возрасте от 14 до 30, также покончивших с собой. Вместе они составляют корпус RusSuiCorpus1.

Помимо стандартных словарей LIWC, ввиду их несовершенства, авторы разработали свои, «пользовательские» словари, среди которых -- словарь демонстративных местоимений и причастий, словарь наиболее частотных слов русского языка, и т.д. Кроме того, авторы отмечают, что им пришлось вручную проверить словари, которые были предустановлены для русского языка в LIWC, так как они являлись переводом английских словарей, поэтому в них пришлось внести ряд исправлений.

Посчитав доли разных категорий слов и корреляцию изменения их количества с количеством дней до самоубийства автора (при помощи корреляции Пирсона), авторы выявили 8 значимых переменных:

? общие слова;

? личные местоимения;

? общие местоимения;

? слова, описывающие социальные процессы

? предлоги:

? предлог «с»

? числительные

? местоимение «я»

Кроме того, ранее в исследовании Литвиновой на том же корпусе было показано, что в таких текстах встречается больше служебных слов, глаголов, союзов, слов, описывающих чувства и мысли, запятых, меньше предлогов, сравнительных слов местоимений, по сравнению с текстами из контрольной группы.

Также используется больше слов с негативной окраской и меньше описывающих социальное взаимодействие и восприятие (особенно визуальное), что, по предположению авторов, показывает, что люди больше заняты своими мыслями и изолированы от окружающего мира.

В исследовании «Using Topic Modeling to Improve Prediction of Neuroticism and Depression in College Students» (Resnik, Garron, Resnik 2013) авторы использовали корпус эссе студентов, в которых их просили описать свои чувства, мысли, ощущения. Все эссе были размечены по так называемой Big-5: доброжелательность, добросовестность, экстраверсия, невротизм и открытость. Так как способы оценки этих параметров менялись от года к году, каждый год использовался как отдельный датасет (всего данные за 10 лет, то есть 10 датасетов). Целью было выявить признаки неврастении и депрессии посредством анализа эссе.

Для каждого текста посчитали слова по 64 категориям LIWC, в том числе синтаксические, аффективные, семантические и тематические признаки. Также считали среднюю длину предложений и общее количество слов, чтобы оценить сложность языка.

Множественная регрессия в сочетании с признаками LIWC показала большую корреляцию с неврастенией, чем индивидуальные категории. Кроме того, авторы обнаружили связь с использованием позитивных и негативных слов.

Для изучения депрессии были использованы практически те же данные, только в этом случае студентов просили описать свои самые глубокие мысли и чувства об их пребывании в колледже. Авторы выделили те, которые оказались ближе всего к депрессии, их и использовали для анализа. Подходящих текстов получилось всего 12 из 124, поэтому тестовый сет пришлось делать вручную: 6 депрессивных, не использованных в обучении, + 24 рандомных недепрессивных. Результаты машинного обучения из-за малых размеров корпуса получились слабые.

Авторы статьи «Self-Reflective Sentiment Analysis» (Shickel, et al. 2016) разработали классификатор на основе машинного обучения, использующий н-граммы, синтаксические паттерны, лексические признаки и эмбеддинги слов для определения эмоционального состояния пациента по созданным им текстам.

Так как степень осведомленности населения о психических заболеваниях растет, многим студентам и взрослым университеты и организации предлагают онлайн-программы лечения тревоги и депрессии в дополнение к традиционным терапевтическим услугам. Ключевым компонентом этих программах является регулярное заполнение журналов, в которых пациенты описывают, как они себя чувствуют. Эти журналы содержат широкий спектр информации, включая конкретные страхи, тревоги, триггеры, реакции или просто обновления статуса эмоционального состояния пациента.

Авторы ставили своей целью создание алгоритма, который смог бы работать с такими данными. Обычно при оценке состояния по тексту пациенту присваивается один из трех лейблов: позитивный, нейтральный, негативный. Авторы этой статьи поступили несколько иначе: они выделили группы по полярности, позитивные и негативные, и не негативные, ни позитивные (итого группы: +,-, +-, 00).

В качестве данных были использованы тексты из одной из описанных выше систем онлайн-психотерапии. Тексты пациентов были размечены при помощи профессиональных психологов.

В качестве признаков авторы использовали мешки слов, разметку по частям речи, униграммы-биграммы-триграммы, синтаксические признаки (типа отрицаний), а также словари слов различной эмоциональной окраски, а также технические характеристики текста -- например, более длинные тексты чаще оказывались негативными, поэтому объем слов тоже можно считать признаком.

Итоговый алгоритм хорошо выделяет тексты с негативной оценкой, но позитивные от нейтральных отличают плохо.

1.6 Общие исследования

Небольшая статья «The Psychological Functions of Functions Words» (Chung, Pennebaker 2007) -- одна из первых в этой области; в ней авторы рассуждают об особенностях лингвистического анализа текстов от первого лица и в частности текстов людей, страдающих психическими заболеваниями: многие слова неоднозначны, очень сложно распознать в тексте иронию и сарказм. Суммируя выводы из других исследований, авторы подчеркивают, что при психических заболеваниях люди чаще используют служебные слова; как правило, они произносятся или пишутся бессознательно и бесконтрольно, и поэтому чрезмерное их употребление может свидетельствовать о наличии психических проблем. Так же известно, что люди, страдающие депрессией, часто употребляют местоимение «Я», и употребление этого местоимения явно коррелирует с негативными аффективными состояниями и указывают на них даже лучше, чем негативные слова.

Авторы исследования «The Psychology of Word Use in Depression Forums in English and in Spanish: Testing Two Text Analytic Approaches» (Ramirez-Esparza, et al. 2008) попытались проследить связь и найти разницу в том, как говорят о депрессии на английском и на испанском языках. В качестве источника данных были использованы тематические форумы, а в качестве главного инструмента -- LIWC. Однако оказалось, что по крайней мере для этих двух языков разницы в выражении депрессии (используемых слов и их количестве) практически нет.

Авторы исследования «The language of mental health problems in social media» (Gkotsis, et al. 2016) также изучают язык психических расстройств на примере Реддита с целью применять это в других исследованиях и обнаруживать потенциальных больных. Они пытались определить лингвистические характеристики, специфичные для определенных психических проблем. В качества признаков использовались такие параметры как синтаксическая структура предложения и уникальные словари -- они должны были стать опорой для последовательного решения задачи классификации.

Помимо словарных признаков, таких как результаты обработки LIWC, авторы включили метрики ридабилити, частеречный анализ (в частности, упоминание первого лица). Авторы обращали внимание на сложность текста, особенно количество предложений, виды различных словосочетаний и последовательностей слов и союзов. На основе этих признаков они сравнили тексты из разных сабреддитов. При помощи лексического анализа авторы постарались определить «уровень счастья» в текстах.

В словарях для разных групп психических расстройств есть пересечения, но в целом все они обладают определенным разнообразием. Плохо выделяются биполярные расстройства и алкоголизм.

Еще одно исследование, в котором обращается внимание на то, что то, как люди говорят о депрессии во многом определяется культурой и языком -- «Cross-cultural differences in language markers of depression online» (Loveys, et al. 2018). Для того, чтобы проверить эти различия, авторы взяли данные из проекта психической поддержки 7 Cups of Tea и применили к ним LIWC, тематическое моделирование, визуализацию данных и другие техники. Они сравнили данные для разных групп населеия: афроамериканцев и африканцев, испанцев и латиноамериканцев, и азиатов или жителей тихоокеанского региона. Считается, что в восточных культурах принята большая сдержанность. В целом все исследования в данной области делаются в основном на текстах западной культуры, поэтому авторы проекта постарались изучить тексты жителей разных регионов Земли.

В результате анализа оказалось, что для разных групп действительно существует ряд различий. Пользователи из стран Азии или Тихоокеанского региона демонстрировали большее подавление негативных эмоций, в то время как африканцы и афроамериканцы выражали больше негатива (другими словами, проявляли меньше регуляции своего негативного эмоционального состояния). Испаноязычные пользователи выразили большое количество как положительных, так и отрицательных эмоций по сравнению с другими группами. Пользователи из Азии оказывались менее готовыми обсуждать смерть или здоровье, африканцы или афроамериканские пользователи также были не готовы обсуждать смерть, но охотно переписывались на тему здоровья. Таким образом, предположение о существовании различий в разговорах о психическом здоровье между разными культурами действительно подтвердились.

В целом работы по данной теме представляют собой широкий спектр различных экспериментов и описаний различных комбинаций признаков. С каждым годом технологии и алгоритмы совершенствуются, а данных появляется все больше. Вероятно, оптимальным вариантом для подобных исследований было бы получение большого корпуса текстов-ответов на специальные вопросы или эссе на заданную тему. Такие данные будут более надежными и позволят более достоверно обучать алгоритмы, так как хорошие результаты на малых корпусах в некоторых из приведенных выше статей могут оказаться следствием переобучения и байесов из-за небольшого количества текстов. То есть если на практике, в рамках, например, специальных клинических текстов, такие алгоритмы работают хорошо, их все равно трудно считать полноценным решением поставленной задачи.

2. Описание данных

В качестве данных используются результаты психологического исследования «Тревожность на рабочем месте», проводимого группой специалистов специалисты факультета психологического консультирования МГППУ под руководством доктор психол. наук, проф. Н.Г. Гаранян). Исследование проводится совместно с автором концепции «тревоги на рабочем месте» профессором Б. Мушала (Технический Университет Брауншвейга, Германия).

В ходе исследования участникам предлагалось заполнить анкету, включающую вопросы о них самих (пол, возраст, место и опыт работы, и т.д.), шкалу тревоги на рабочем месте (Job Stress Anxiety, JAS), и Клиническую шкалу самоотчета SCL-90-r. Итоговый опросник состоит из закрытых вопросов (типа “оцените по шкале от 0 до 5”) и открытых. В основе закрытых вопросов лежат шкалы JAS и SCL-90-r. В первом случае респонденту предлагается ответить на 70 вопросов, во втором -- на 90.

Job Stress Anxiety состоит из 5 подшкал, акцентированных на тревожности, связанной с рабочими вопросами, страхом эксплуатации, тревожности из-за неэффективности трудовой деятельности и переживаниями из-за состояния здоровья. Ответы на вопросы шкалы позволяют оценить уровень стресса из-за работы у человека в целом и относительно отдельных областей. Ниже -- несколько примеров утверждений из анкеты, с которыми участники должны согласиться или нет:

· Я не знаю, как реагировать, когда сталкиваюсь с новыми задачами по работе.

· Мои коллеги заботятся о себе, а вся работа остается на мне.

· Чем ближе я подхожу к работе, тем больше у меня появляется таких симптомов, как дрожь, потение, приливы жара или сердцебиение.

· Мой начальник изводит меня.

Вторая шкала, SCL-90-r, была составлена как альтернатива методам диагностики личностных особенностей пациентов. Шкала состоит из 90 вопросов, соответствующих различным клиническим симптомам. Таким образом, она представляет собой эффективный и удобный инструмент, который, в сочетании с клинической беседой может дать наиболее полную картину состояния человека. SCL-90-r так же имеет несколько подшкал-групп вопросов: шкала соматизации, шкала обсессивно-компульсивных нарушений, межличностной чувствительности, шкала депрессии, шкала тревоги, шкала агрессивности, фобической тревоги, параноидного мышления, психотизма и шкала дополнительных вопросов.

Утверждения этих двух шкал дополняются открытыми вопросами, в которых респонденту предлагается описать свои состояния и мысли относительно работы:

· Пожалуйста, опишите в нескольких словах (не менее 5-6) или предложениях свое обычное самочувствие на рабочем месте:

· Опишите в нескольких словах (не менее 5-6) или предложениях свои типичные трудности на рабочем месте:

· Представьте в нескольких словах (не менее 5-6) или предложениях типичные мысли, которые приходят Вам в голову по пути на работу:

Ответы респондентов на эти вопросы и являются данными в нашем исследовании. На основе ответов респондентов на закрытые вопросы мы определяем уровень их тревожности, а по ответам на открытые вопросы пытаемся создать тематическую модель, описывающую тот или иной уровень тревоги. Приведем в качестве примера некоторые ответы из анкет:

(1) Постоянное чувство дедлайна. Но в целом мне интересно на работе. Удивляюсь, что ко мне относятся как к компетентному специалисту немного больше, чем я сама себя оцениваю.

(2) Хорошее самочувствие, эмоциональный комфорт, интерес

(3) Скучно, стоишь на месте, много говорят вокруг но ни чего не делают

(4) С утра хочу спать, работать мало хочу, устаю , после обеда прилив сил и быстро летит время. Не люблю общаться с начальством, меня сразу всё раздражает и вечерний отчёт меня злит

(5) Борьба с раздолбайством коллег. Злость на то, что они не могут предотвратить то, что предотвратить в их силах и это приходится разгребать уже мне. Раздражает их безответственность. Злость на хамство и бесцеремонность клиентов. Утомление от работы в режиме многозадачности.

(6) Очень странный коктейль из усталости, агрессии, напряжения, волнения, чувства несправедливости, страха, вместе с тем, иногда: удовлетворение, веселье, расслабленность.

(7) трудность в правильной постановке задач и определении приоритетов, медлительность, срыв запланированных целей, появление внезапных неотложных дел, конфликты с окружающими, трата времени на бессмысленные действия

Всего в опросе приняли участие 144 респондентов в возрасте от 22 до 70 лет, работающие в самых разных областях: от IT и финансов до сфер культуры и услуг. Статистическую информацию и графики можно найти в Приложении. Скромный по меркам машинного обучения объем данных для исследования объясняется специфичностью темы исследования -- более того, как видно из анализа литературы по теме, эта проблема является типичной для работ в данной области: данных либо не очень много, либо есть проблемы относительно их чистоты и надежности. Тем не менее, даже на такой выборке можно получить значимые результаты, показывающие разницу между разными состояниями и стадиями тревожности.

Обработка данных включала в себя несколько этапов.

· Вычисление общего индекса тяжести (GSI - деление суммы баллов по всему тесту на количество вопросов в нем) для каждой из двух шкал

· Вычисление общего числа утвердительных ответов (оценок, отличных от 0, PST)

· Вычисление индекса PSDI -- PST, деленный на количество вопросов

· Вычисление показателей для каждой из подшкал: суммирование всех отличных от нуля показателей, деленное на количество вопросов в подшкале.

Результат этой обработки -- таблица с индексами шкал и подшкал. На основе этой таблицы проводятся визуализация данных и анализ получившихся групп пользователей

Мы рассчитываем выделить три группы: тревожного расстройства нет, или признаки выражены слабо; средний уровень; серьезный уровень. Для каждой из групп формируется тематическая модель на основе относящихся к ней текстовых ответов, а также списки ключевых слов.

Таблица 1. Количество респондентов по полу и возрасту

Количество	17-24	25-40	40-75
Женщины	63	46	6
Мужчины	12	13	4

3. Анализ данных

...