Диалектная лексика

Размещено на http://www.allbest.ru/

ДИАЛЕКТНАЯ ЛЕКСИКА

Оглавление

Введение

1. Измерение диалектности

1.1 Обзор существующих подходов

1.2 Измерение диалектности

1.3 Сравнение лексических и фонетических показателей

1.4 Частотный список

2. Работа над словарем нераспознанных лексем

3. Создание грамматического словаря

Заключение

Список использованных источников и литературы

Приложение 1

Приложение 2

Введение

В данной работе можно выделить три задачи, которые необходимы для дальнейших исследований, основанных на Устьянском корпусе. В них входят измерение лексической диалектности всех носителей, совершенствование словаря нераспознанных лексем и создание грамматического словаря на основе всех слов корпуса.

Все эти задачи имеют практическое значение.

Первая задача, измерение диалектности, необходима для того, чтобы увидеть, какие поколения и носители более диалектны. Это в свою очередь может помочь исследователям устьянского диалекта, так как создаст возможность получить готовую информацию о лексической диалектности носителей. В основе этой задачи лежит гипотеза о том, что старшее поколение более диалектное. Проблема состоит в том, что невозможно точно определить, какое поколение считать более консервативным. Для этого и нужен автоматическое измерение диалектности, чтобы понять, какое поколение использует больше диалектных слов. Кроме того, были рассмотрены некоторые работы по диалектометрии, а также работа (Daniel et al. 2017), результаты которой сравнивались с результатами измерения лексической диалектности.

Совершенствование словаря нераспознанных лексем также важно для будущих исследований на основе корпуса, так как в нем имеются определения слов, которые встречаются в корпусе. Работа над словарем началась ещё в прошлом году, но осталось ещё некоторое количество нерешенных проблем. Так, собственные толкования в словаре были неточными, и для их уточнения была совершена поездка в поселок Октябрьский Архангельской области. Кроме того, были сделаны некоторые улучшения интерфейса для более удобной работы со словарем.

Наконец, грамматический словарь будет полезен для исследователей, так как будет возможность увидеть парадигмы для всех слов, представленных в корпусе.

Для всех представленных выше задач использовались разные методы, в основном программные. Для первой задачи была написана программа на языке Python, которая считает количество диалектных слов во всех текстах корпуса. Для грамматического словаря использовалась программа, преобразующая данные из таблицы excel в html-разметку. Кроме того, использовалась программа автоматического морфологического анализа русских письменных текстов Mystem, разработанная компанией Яндекс. Систематизирование данных производилось в программе Microsoft Excel. Для совершенствования словаря нераспознанных лексем не использовалось никаких новых программных методов. Данные собирались в поселке Октябрьский и далее систематизировались в программе Microsoft Excel. Затем данные были преобразованы в html-разметку с помощью программы на языке Python, которая использовалась для первой версии словаря.

В первой главе описана процедура измерения диалектности, во второй - работа над совершенствованием словаря нераспознанных лексем, и, наконец, в третьей главе описан процесс создания грамматического словаря.

1. Измерение диалектности

Первая задача данной работы состоит в измерении лексической диалектности говорящих. Диалектность здесь понимается как количество диалектных слов, употреблявшихся носителем. При исследованиях диалектных особенностей зачастую необходимы данные только наиболее "диалектных" поколений, так как именно в их речи определенные черты ярко выражены. Принято считать, что самое старшее поколение носителей является более диалектным, не опираясь при этом на точные цифры. Задача, поставленная в данном разделе, состоит в том, чтобы получить точные данные о диалектности носителей устьянского говора.

1.1 Обзор существующих подходов

Существует такое направление диалектологии, как диалектометрия. Это метод статистического анализа диалектных данных, при помощи которого можно измерить языковую близость диалектов определенной территории. Несмотря на то, что данный раздел нельзя полностью отнести к диалектометрии, так как использованные в работе статистические методы гораздо проще, и основной подсчет диалектности выполнялся в программе на языке Python, хотелось бы остановиться на существующих подходах в диалектометрии, чтобы оценить разницу в задачах и методах их решения.

Для обзора существующих подходов была выбрана работа (Nerbonne, Kretzschmar 2003), так как она содержит материалы, представленные на конференции Methods in Dialectology XI в 2002 году. Таким образом, сама статья является обзором некоторых методов в диалектометрии. Всего в статье представлено 6 работ со специальной сессии, проведенной во время конференции. Это работы (Heeringa, Braun 2003), (Kondrak 2003), (Heeringa, Gooskens 2003), (Speelman et al.2003), (Nerbonne, Kleiweg 2003), (Palander et al. 2003).

В статье (Heeringa, Braun 2003) измеряется расстояние между диалектами (dialect distances). Измерение расстояний может быть основано на сравнение слов, которое в свою очередь должно быть основано на сравнении звуков. В работе используется алгоритм Левенштейна для сравнения слов с двумя вариантами произношения. Данная техника применялась на 360 диалектах нидерландского языка для измерения верности фонетических транскрипций. При классификации диалектов было получено деление, схожее с делением в традиционных диалектологическими картами. Кроме того, исследование показало, что использование логарифмических расстояний между звуками (logarithmic sound distances) улучшаает результаты по сравнению с использованием постоянных расстояний между звуками (constant sound distances).

В работе (Kondrak 2003) использовался тот же алгоритм для измерения расстояния между строками, что и в предыдущей статье, для выравнивания строк. Такие выравнивания, по мнению автора, полезны для того, чтобы проверять работоспособность алгоритма. Кроме того, выравнивание - это запись регулярных соответствий того типа, который лингвисты приводят в качестве доказательства, когда приписывают историческое родство двум переменным (либо генеалогическое, либо контактное).

Работа (Heeringa, Gooskens 2003) фокусируется на измерении разницы в произношении, основываясь не на фонетических транскрипциях, а на звуковых записях. С этим подходом связано достаточное количество проблем (записи должны быть сделаны в одинаковых условиях, нужно абстрагироваться от нелингвистических характеристик вроде высоты тона, исправлять разницу в скорости речи и разбить запись на сегменты). Авторы работы по мере возможностей преодолели указанные проблемы и преобразовали алгоритм Левенштейна для того, чтобы получить меру акустической разницы с помощью расстояния простой кривой.

Авторы работы (Speelman et al. 2003) фокусируются на технике использования относительной частоты слов, которые могут рассматриваться как альтернативные лексикализации) как способ измерения разницы между переменными. Цель работы - показать преимущества использования профилей (собрание информации о частотности) по сравнению с использованием частот без ссылок на альтернативы. Авторы сравнивают голландский и фламандский нидерландский и собирали информацию о частотности из газет, интернет-чатов и форумов. Они показали, что разумный выбор профилей приводит к такому измерению расстояния, при котором материалы из чатов и газет четко различаются, а частота без ссылок на альтернативы менее успешна.

Работа (Nerbonne, Kleiwig 2003) основана на лингвистическом атласе штатов Средней и Южной Атлантики. Авторы применяют понятие расстояний Seguy в категориальных данных, чтобы проверить, прав ли был Курат в постулировании понятия "Midland" в данных атласа. В статье используются две методики: обработка анкет, для которых было записано больше одного ответа, и способ обработки связанных, но не идентичных ответов, для чего использовалось измерения расстояния между строками. Результат подтверждает правоту Курата, хотя авторы отмечают, что анализ зависит от кластеризации.

Авторы работы (Palander et al. 2003) интересуются тем, что происходит в диалектах на границах между диалектными областями. Они сосредотачиваются на финских диалектах, на которых говорят жители Карелии и Саво вблизи российской границы. В качестве основы для работы выбраны десять лингвистических переменных, и работа основывается не на относительных частотах, а скорее на логарифмах отношений правдоподобия, которые они считают предпочтительными математически. В основе анализа лежит сравнение средних значений признаков в округах (parishes) и значений в речи отдельных говорящих. Авторы показывают, что различия между отдельными говорящими очень велики в переходных областях, настолько велики, что эти говорящие фактически ближе к другим приходам по свойствам, которые были исследованы.

Таким образом, видно, что для решения различных диалектометрических задач могут использоваться самые разнообразные методы, и это направление диалектологии активно развивается по настоящее время.

1.2 Измерение диалектности

Для измерения диалектности использовались программа https://github.com/dkalashnikova/dialectCount на языке Python, список диалектных слов, полученный в работе (Калашникова 2016) и все тексты Устьянского звукового корпуса, предоставленные Рупрехтом фон Вальденфельсом.

Программа для измерения диалектности получилась довольно масштабной, так как нужно было учитывать много разных аспектов. Например, требовалось решить, что считать словом и что включать в конечный список слов. Среди текстов существовали слова, содержащие дефис, вроде "давным-давно", "кто-нибудь". В случае с частицами "-то", "-либо", "-нибудь", было решено считать их за одно слово, а в остальных случаях делить на разные. Кроме того, существовал "мусор" вроде "оборванных" слов, примечаний расшифровщиков и слов, которые расшифровщик не расслышал. Такие случаи были удалены с помощью программы.

Отдельно стоит отметить и некоторые ограничения данной программы. Так, программа работает на данных, полученных в ходе предыдущей работы над словарем нераспознанных лексем (Калашникова 2016). Список диалектных лексем, оставшийся с прошлого года, не обновлялся, поэтому допустимы погрешности в расчетах в силу того, что корпус пополнился новыми текстами, а список остался прежним. Кроме того, в список входили только нераспознанные лексемы, поэтому, например, в списке диалектных слов отсутствует слово "бают", но присутствует слово "бает". Это происходит потому, что внутренний морфологический анализатор корпуса включил слово "бает" в список неизвестных, а, следовательно, нераспознанных слов. Любопытно, что слову "бают" парсер приписал правильную лексему "баять". В списке нераспознанных слов не было дубликатов, то есть все словоформы уникальны. Грамматическая омонимия не учитывалась, так как различение разных форм - задача куда более сложная. Диалектные слова представляли собой список всех словоформ, представленных в списке нераспознанных лексем, впоследствии помеченных как диалектные. Например, в списке последовательно идут слова "аржаная", "аржаной", "аржаные", и каждое слово считалось программой за уникальное вхождение.

В конечном итоге, программа получала на "вход" список диалектных слов в формате txt и тексты всех носителей. Далее программа для каждого информанта искала диалектные слова из списка в текстах данного конкретного говорящего. Результаты записывались в текстовый файл, отдельный для каждого носителя, где указывались количество диалектных слов, общее количество слов для данного информанта, список диалектных слов с количеством употреблений. Тексты интервью для удобства анализа были записаны в отдельные файлы. Кроме того, общие данные по всем информантам были записаны в таблицу csv.

С помощью программы был обработан 171 текст из корпуса для 73 информантов. Общее количество слов для всех носителей - 501536. Список диалектных слов состоял из 1642 употреблений. Диалектностью считалось отношение диалектных слов к общему количеству слов определенного информанта. Результаты измерения можно увидеть в таблице 1. Для более удобного представления данных диалектность указана в процентах.

Таблица 1. Диалектность информантов (по убыванию диалектности).

В таблице 1 приведены данные для всех информантов. Данные отсортированы по возрастанию уровня диалектности. Эту же таблицу, отсортированную по годам рождения, можно увидеть в Приложении 1. Из таблицы видно, что есть 15 информантов, не использующих диалектные слова вообще. Среди них вполне закономерно представители молодого поколения, но есть и носители 1948, 1956, 1958, 1973 годов рождения. Кроме того, есть носители с неуказанным годом рождения. Самое большое число диалектных слов употребляет информант пфп1928 (457 слов), но при этом носитель не является самым диалектным (1,76%). Самыми диалектными носителями являются мит1926 (2,27%), епл1926 (1,99%) и еве1950 (1,98%). При этом еве1950 несколько выбивается из гипотезы о том, что самое старое поколение более диалектно. Если принять за наибольшую диалектность показатели от 1,36% до 2,27%, то получится, что носители до 1930 года рождения действительно используют больше диалектных слов в своей речи, как и предполагалось. Однако здесь есть исключения: у информанта еве1950 процент диалектности равен 1,98, у мик1922 - 1,45%, а у аит1954 - 1,36%. Получается, что в группу наиболее диалектных информантов входят два информанта 1950-х годов рождения, что опять же несколько противоречит гипотезе. Далее следуют группы со средними показателями диалектности (от 0,47% до 1,35%) и низкими (меньше 0,43%). В группе со средними показателями невозможно выделить никакой закономерности между возрастом носителя и количеством диалектных слов. В эту группу входят носители 1922, 1928, 1929 годов рождения, наряду с носителями 30-х, 40-х, 50-х и 60-х годов рождения. В группе же с низкими показателями диалектности уже нет информантов младше 1947 года. Низкие показатели имеют информанты от 1947 до 1996 года рождения. Нулевая диалектность у носителей от 1948 года рождения до 1996 года.

На графике 1 показано распределение диалектности в зависимости от года рождения носителей. Данный график показывает, что год рождения носителей действительно влияет на их диалектность. Так, информанты до 1930-х годов имеют наиболее высокую диалектность, далее идут информанты от 1930-х до 1970-х годов рождения, и наконец, самые молодые носители.

График 1. Распределение диалектности в зависимости от года рождения.

Кроме того, на выборке из 66 информантов (для тех, у кого был указан год рождения), был проведен анализ взаимосвязи диалектности и года рождения. Для этого был посчитан коэффициент корреляции Пирсона, который в данном случае равен -0,736. Это свидетельствует о том, что между годом рождения и диалектностью присутствует значимая обратная связь, то есть диалектность действительно зависит от года рождения, что и было указано выше.

И наконец, была построена парная линейная регрессия с использованием метода наименьших квадратов для выявления данной взаимосвязи. В качестве зависимой переменной использовалась диалектность. В таблице 2 приведены параметры и показатели качества модели линейной регрессии.

Таблица 2.Параметры и показатели качества модели линейной регрессии.

По результатам видно, что построенная регрессионная модель как в целом, так и каждый из ее коэффициентов являются статистически значимыми на уровне значимости 0,05. Таким образом, можно сделать вывод о том, что в среднем увеличение года рождения на единицу приводит к снижению диалектности на 0,0265. Коэффициент детерминации равен 0,5419, а значит, 54,2% вариации диалектности может быть объяснено при помощи данной модели. Построенная модель на графике 2 представлена красной линией.

График 2. Модель линейной регрессии.

Таким образом, видно, что старшие носители действительно используют больше диалектной лексики. При этом есть и инноваторы (использующие более литературную лексику) и консерваторы (использующие диалектную лексику). К инноваторам можно отнести представителей старшего поколения, но с относительно низкими показателями диалектности. Это носители мпс1935 (1,31%), опш1935 (1,14%), кип1931 (0,99%), егп1928(0,89%), мдн1933 (0,87%), анп1929 (0,67%). К консерваторам относятся представители более молодого поколения с достаточно высокой диалектностью: еве1950 (1,98%) и аит1954 (1,36%).

1.3 Сравнение лексических и фонетических показателей

До сих пор рассматривалась только лексическая диалектность носителей, но это не единственный способ измерения диалектности. Диалектность носителей можно измерить, опираясь на фонетический материал. Сравнивая результаты работ, основанных на фонетическом материале, можно увидеть, отличаются ли показатели лексической диалектности от фонетической.

В работе (Левин 2014) приведены данные о том, какое поколение сохранило в своей речи хотя бы частично реализацию рефлекса *к как [и], что является диалектным вариантом (литературный вариант - реализация рефлекса как [е]). В статье рассмотрены следующие случаи:

- реализация *к как [и] у информантов старшего поколения;

- реализация *к как [и] в глаголах с тематическим гласным, восходящим к *к у информантов старшего поколения;

- реализация *к как [и] у информантов разных поколений;

- реализация *к как [и] в глаголах с тематическим гласным, восходящим к *к у информантов разных поколений.

Кроме того, была рассмотрена связь частотности перехода *к в [и] и пола говорящего.

В первом случае были рассмотрены данные четырех информантов: авм1922, анс1925, пфп1928 и егп1928. Для всех информантов, кроме егп1928, в 78-84% случаев рефлекс реализуется как [и]. У егп1928 диалектный вариант встречается в 44% случаев. Самая большая сохранность диалектной черты - у информанта пфп1928 (84%). В случае с тематическими глаголами наблюдается более сильный сдвиг к литературному варианту.

В случае с разными поколениями было установлено, что реализация *к как [и] присуща более старшему поколению. Однако здесь тоже есть свои исключения. Так, у информантов егп1928 и кип1931 отмечена относительно низкая доля перехода (44% и 46% соответственно), в то время как у еве1950 (61%) доля перехода достаточно высока. В основном же доля перехода уменьшается с уменьшением возраста информантов. В случае с тематическим гласным глаголов формы ведут себя по-разному. В настоящем времени у информантов 1922-1928 годов рождения отмечена низкая доля перехода, а в прошедшем - высокая. У молодых информантов диалектные формы встречаются, например, есть переход в настоящем времени у офш1952, но доля переходов ниже, чем у старшего поколения.

Сравнение реализаций *к как [и] у информантов разного пола не дало каких-либо значимых результатов из-за недостаточного количества данных. Однако отмечено, что у информантов мужского пола разброс в сохранности диалекта меньше (от 13% до 30%), чем у информантов женского пола (от 6% до 61%).

Таким образом, статья подтвердила, что старшее поколение (до 1930 года рождения) сохраняет больше диалектных черт. Однако, так как и в данном случае есть исключения, было бы интересно посмотреть на данные этих информантов, которые приведены выше. В статье указано, что у информантов егп1928 и кип1931 доля перехода ниже, чем у других информантов этого поколения. Действительно, у егп1928 диалектность составляет 0,89%, что почти на процент ниже диалектности других информантов этого поколения. У кип1931 диалектность тоже сравнительно невысока - всего 0,99%. Диалектность информанта еве1950, как было отмечено выше, одна из самых высоких - 1,98%, что подтвердилось в статье (доля перехода - 61%). Кроме того, у информанта пфп1928 была отмечена самая большая сохранность диалектного варианта реализации рефлекса, однако диалектность этого информанта не самая высокая (1,76%), хотя сам информант входит в число носителей с высоким показателем диалектности.

Невозможно с уверенностью утверждать, от чего зависит диалектность конкретных носителей. Если посмотреть на метаданные к устьянскому корпусу, можно увидеть, что у информантов пфп1928 и егп1928 образование состоит из 4 классов, а у кип1931 и еве1950 - из 7 классов. Тем не менее, у егп1928 и кип1931 диалектность заметно меньше, чем у пфп1928 и еве1950. Таким образом, можно сделать вывод, что уровень образования не всегда влияет на диалектность носителей.

Кроме того, в работе (Daniel et al. submitted) были рассмотрены 11 переменных (включая описанную выше):

1. Возвратный постфикс -се вместо -ся (мылсе/мылся).

2. Возвратный постфикс -ся/-се вместо -сь (мылася (мыласе)/мылась).

3. Постпозитивная частица -от вместо -то (дом-от/дом-то).

4. Постпозитивная частица -ту вместо -то (жену-ту/жену-то).

5. Окончание -а/-аа и -у/-уу у прилагательных женского рода, единственного числа в именительном и винительном падежах вместо литературных -ая и -ую.

6. Отсутствие начальной "н" у местоимений третьего лица после предлогов (у его/у него).

7. Окончание -е у местоимений третьего лица и числительного "один" в именительном падеже множественного числа вместо окончания -и (оне/они, одне/одни).

8. Ударный [е] на месте этимологического *а между мягкими согласными (петеро/пятеро).

9. Реализация [е] как [и] на месте этимологического *к (сияли/сеяли).

10. Реализация глухого мягкого фрикативного согласного как "штш" или "ш" вместо "щ" (женштшина/женщина).

11. Реализация "к" как "х" перед "т" (хто/кто).

В статье рассмотрены данные 34 информантов, живших в одной деревне или в близком соседстве, во избежание диалектной неоднородности; все эти информанты были оценены с точки зрения диалектности в настоящей работе. Было показано, что для всех переменных существует корреляция между возрастом говорящего и степенью сохранения диалекта и некоторые диалектные признаки уходят из речи носителей быстрее, чем другие. В работе использовалась логистическая регрессионная модель для того, чтобы показать, что с уменьшением возраста информанта диалектных черт в его речи действительно становится меньше и динамику этого уменьшения (так как не для всех переменных утрата диалектной черты происходит с одной скоростью). Результатом исследования стало ещё и то, что некоторые переменные (такие как 2 и 5 в списке выше) имеют предсказанный низкий уровень сохранения диалекта уже у самых старых информантов. Это свидетельствует о том, что изменение переменной начало происходить, вероятно, ещё раньше.

В целом, статья подтвердила начальную гипотезу и результаты исследования в данном разделе: более старшее поколение информантов действительно более диалектно.

Таким образом, результаты анализа лексической диалектности в целом соответствуют результатам анализа фонетической диалектности у носителей устьянского говора.

1.4 Частотный список

На основе списка диалектных слов и текстов корпуса был создан частотный список, состоящий из 1642 вхождений. Помимо частотности в нем указано количество информантов, употребивших то или иное слово. Это было сделано для того, чтобы можно было увидеть не только частоту употребления слова, но и его "популярность" среди носителей. В таблице 3 представлены первые 62 наиболее частотных словоформы. Более полных список (100 вхождений) - в Приложении 2.

Таблица 3. Частотный список

Из таблицы видно, что наиболее частотным словом является "эво" (374 употребления). Кроме того, оно употребляется максимальным количеством информантов (37 информантов). С большой вероятностью "эво" и "эва" являются одним словом, записанным по-разному. Кроме того, "тогды" могло быть гораздо частотнее, но в некоторых текстах оно может быть записано как "тогда". Далее идут слова "дедко" и "робили" (125 и 106 вхождений соответственно). Примечательно, что слово "люля" можно назвать относительно частотным (33 употребления), однако употреблялось оно только одним информантом (епл1926). Это связано с тем, что данное слово употреблялось в песнях, а сама говорящая ездила выступать с фольклорным ансамблем "Устьянские бабушки" в разные города. В примере (1) приведен отрывок песни, исполненный егп1926.

(1) Да. Эх, не <?> Знаком <?> отмечаются места, где слова информанта невозможно разобрать. стоит на берегу да во <? > Люля - люля - люля - лю, да - а середня стоит на берегу. А Михеюшка - то в ямочке, ой, Горка на поляночке. Ох, ля - люля - люля - люля - лю, да ой и Горка на поляночке. А в Пушкине бани на боку, а <? > не курят табаку да вот, ля - люля - люля - люля - лю, да <? > не курят табаку. Под Коростиной река глубока, а под Корякиной крутые берега. Да вот, ля - люля - люля - люля - лю, да под Корякиной крутые берега. http://parasolcorpus.org/Pushkino/context_xml_byTimeID.php?&from=2350922&file=20130704e-epl&to=2356090

Таким образом, исходя из количества повторов, вполне очевидно, почему у слова "люля" достаточно высокое количество употреблений.

В основном частотными являются местоимения или наречия, например, "евонный", "экой", "этта", "тогды", "тутоки".

Кроме того, любопытно посмотреть на распределение частот употребления у форм слова "робить", так как парадигма этого глагола в этом списке представлена достаточно полно по сравнению с остальными глаголами. На данном этапе не рассматриваются дериваты от глагола "робить", хотя такие присутствуют в списке. В таблице 4 приведены частотные данные для всех вошедших в список форм.

Таблица 4. Частотный список для лексемы "робить".

В таблице не учтена форма "робиться" с нулевой частотностью, так как запрос формы в корпусе показал, что данная форма отсутствует. Кроме того, существовали некоторые проблемы со словом "робят". В силу того, что грамматическая омонимия на данном этапе работы не снималась, в общем частотном списке слово "робят" может быть как формой глагола "робить", так и формой слова "робята". К сожалению, разграничить эти два слова автоматически не представляется возможным. Однако для таблицы 4 были просмотрены все употребления слова "робят" и случаи, когда это слово являлось формой существительного, не заносились в таблицу. По этой причине, невозможно точно сказать, какое количество информантов использовало данное слово в качестве глагола.

Таким образом, из таблицы видно, что наиболее часто употребляется форма "робили" (106 вхождений). Далее идут формы с меньшим показателем частотности: от 10 до 86. Самыми редко употребляемыми формами являются "робило" и "роблено", по одному употреблению.

2. Работа над словарем нераспознанных лексем

Результатом работы (Калашникова 2016) стал словарь нераспознанных лексем устьянского корпуса http://pushkinodict.pe.hu/uncategorized.html . Работа над ним происходила в несколько этапов так, что из всего списка нераспознанных корпусом лексем остались только слова, отмеченные как "диалектные" и "диалектные формы". В конечном словаре осталось 1786 вхождения, включая формы, которые прописывались отдельно. Уникальных лексем 1153. В словаре приведены толкования из "Устьянского народного словаря", созданного местными краеведами, и "Архангельского областного словаря" (АОС), созданного кафедрой русского языка филологического факультета МГУ. Так как АОС на момент работы существовал только в 15 томах, толкования из него приводились только для слов до буквы "З". Для 753 лексем не было толкований ни в одном из двух словарей, поэтому приходилось устанавливать значения этих слов исходя из контекстов. Но не для всех лексем значение в контексте было эксплицитно. Такие слова были помечены в словаре вопросительным знаком. Для некоторых вхождений толкования были не совсем точными, так как установить абсолютно точное значение для каждого слова было невозможно. Такие случаи в словаре тоже были отмечены.

Задача совершенствования словаря нераспознанных лексем состояла в том, чтобы исправить существующие толкования, предложенные автором дипломной работы, на более точные. Сделать это, основываясь только на контекстах, было невозможно. Поэтому была организована поездка в поселок Октябрьский Архангельской области (апрель 2017 года), где была возможность побеседовать с одним из редакторов "Устьянского народного словаря" Дмитрием Дмитриевичем Пушкиным Автор работы выражает глубокую благодарность Д.Д. Пушкину, а также А.А. Истомину и В.П. Мамонову за оказанную помощь в обновлении толкований для словаря. . Несмотря на то, что данные для корпуса записывались в деревнях Устьянского района, поездка в деревню не требовалась для уточнения толкований слов, так как Дмитрий Дмитриевич имеет обширные знания диалекта и был способен объяснить нужные слова.

Д.Д. Пушкин родился в 1946 году в небольшой (из трех домов) деревушке Мурашово в Устьянском районе Архангельской области. Практически все время, за исключением 2,5 лет службы в армии и 2 лет очной учебы в Вологде, проживал в Устьянском районе, поэтому знает практически все населенные пункты, жизнь, быт, традиции и особенности местного диалекта.

В 1965 году Дмитрий Дмитриевич окончил Строевскую среднюю школу в Устьянском районе и начал работать трактористом в местном совхозе. После службы в армии в 1968 году был выдвинут на комсомольскую работу на должность заведующим орготделом Устьянского райкома ВЛКСМ. В 1970 году начал обучение в Вологодскую совпартшколе, получил диплом с отличием по специальности "экономист-организатор сельскохозяйственного производства". В 1972 году был избран штатным секретарем партийного комитета совхоза "Орловский", где проработал 11 лет. В этот период окончил с отличием Заочную Высшую партийную школу при ЦК КПСС. В 1983 году был переведен на работу в Устьянский райком КПСС в посёлок Октябрьский, работал инструктором орготдела, затем инструктором сельхозотдела, а с 1985 года - заведующим сектором партучета райкома партии. В 1991-2000 гг. был старшим экономистом, заместителем директора филиала Росгосстраха в Устьянском районе. В 2000-2005 гг. работал председателем комитета по защите прав потребителей администрации муниципального образования "Устьянский район". С 2013 года сотрудничает с Устьянским краеведческим музеем и редакторской группой по составлению "Устьянского народного словаря"

Дмитрий Дмитриевич предоставил автору данной работы обновленную версию "Устьянского народного словаря", в которую были добавлены 2899 слов. Это значительно упростило работу над словами, так как некоторые из них уже были добавлены в "Устьянский народный словарь", требовалось лишь добавить эти толкования в словарь нераспознанных лексем.

Перед поездкой были подготовлены два списка слов в виде таблиц в Microsoft Excel. В первый список вошли слова, толкований для которых не было вообще, или слова с неточными значениями. В этот список вошли 226 слов. Второй список включал в себя оставшиеся слова, для которых значение устанавливалось на основе контекста, но для большей уверенности в правильности их можно было уточнить. Этот список состоит из 527 слов. Работа с Дмитрием Дмитриевичем происходила в два этапа: сначала внимательно рассматривался первый список слов, а затем второй, но не так углубленно, так как значения были достаточно точными. Каждое слово из первого списка просматривались в корпусе, но даже несмотря на наличие контекстов, для некоторых слов всё ещё было затруднительно установить толкование. Таких слов было 37 и в дальнейшем они были собраны в отдельный файл с приведенными контекстами, для дальнейшего обсуждения с остальными редакторами Устьянского словаря. Примечательно, что все эти слова в корпусе помечались треугольными скобками, что свидетельствует о том, что слово могло быть неправильно затранскрибировано (либо плохое качество записи, и слова просто не слышно, либо расшифровщик текста был не уверен в том, что он услышал). В этот список вошли следующие лексемы: вдуть, вила, выгоразить, гряной, делок, едава, забубны, заворошить, закумный, знацевать, золовья, колуга, молодить, набудовать, натураситься, овочпункт, побонить, подвалка, полгруда, привсказаться, прокупь, пупыркать, пыхлый, пяленый, россвоить, сетурч, смеить, снашивать, стерплить, ступер, теплушка, толдом, угоренка, ухруваться, черня, шпар, якаток.

Но, тем не менее, редакторами словаря А.А. Истоминым, В.П. Мамоновым, совместно с Д.Д. Пушкиным, впоследствии была предпринята попытка объяснить эти слова. Для некоторых слов были предложены варианты исправления, когда авторы считали, что слово записано неправильно, но по контексту подходит другое, употребляющееся в диалекте, слово. Все уточненные толкования были добавлены в словарь и помечены, чтобы было понятно, кто предложил то или иное толкование.

Среди оставшихся слов 45 имели те или иные толкования в "Устьянском народном словаре", хотя и не были включены в словарь нераспознанных лексем. Это произошло в силу двух причин:

1. Слова относились к новым статьям, которых не было в той версии словаря, которая использовалась при создании словаря нераспознанных лексем;

2. Не всегда было понятно, к какой словарной статье относится то или иное слово. И в данном случае, именно то, что Д.Д. Пушкин является одним из редакторов "Устьянского народного словаря" сыграло огромную роль, так как он мог подсказать, где следует искать определенное слово. К таким словам относились лексемы взверескивать, выпархивать, вязочка, грестись, дерёвко, дильно, домовище, задолить, заклади, запаливать, засбоить, зафуки, зачалить, инье, лишки, льнище, молодуха, мороковать, наодаться, наробленный, наспускать, нять, опушеный, орушник, парюш, паствица, пахнучий, повоз, поддегрёбок, полонья, поманить, постилальник, поутов, поцанки, пошоркать, приворотить, прожихровать, прядино, пушеный, рясот, скрапать, треплить, черень, чернь, шалять, этака.

Для 103 слов какое-то подобие толкований имелось, но они были совершенно неточные, требовавшие исправления. Толкования 39 слов были одобрены Д.Д. Пушкиным, остальные же исправлялись. Среди одобренных были толкования следующих лексем: бороть, бурашек, заварник, заварничек, избуреть, криплен, лишко, лытяный, мел, наболтить, навозьм, неработник, облеваться, обтерепенькать, партейцы, патраки, повсесть, понаслышке, поплощить, поробленный, посолить, потиптопывать, пустош, разбегать, растакой, растоперить, решёто, скрепать, страмный, суземый, тончива, тятька, уголенка, церковный, чёго, чимерица, шестера.

Работа над вторым списком слов проходила быстрее, контексты рассматривались только для сложных случаев. В основном, толкования были одобрены Д.Д. Пушкиным и оставлены без изменений, но для 45 лексем были предложены уточнения для того, чтобы определения были более полными. Это лексемы голавль, детко, икаться, исачить, корет, кострик, набруснить, насбираться, насымать, невершенный, нежитый, неимачий, нинабудь, обжигать, одонок, онучка, отечь, отсмотреть, пекариха, перед, пестик, побегаться, поверать, подти, поинтересовать, полсадовника, поскрёбыш, прясница, пялина, разэтовать, раскрежевать, распархивать, ременник, роститься, сволочь, скать, сновальня, тамба, туесье, тюды, тюрюк, упружиться, шизякнуться, штормовщина, яз. Все уточнения так же были добавлены в словарь. В ходе работы над списками слов было принято решение добавить в словарь ссылки на полные контексты для всех имеющихся примеров. Это было сделано из-за того, что исходя из примеров, приведенных в словаре, было сложно понять, о чем идет речь. С ссылками на контексты пользователь может сразу же получить доступ к более полному тексту для понимания употребления того или иного слова. Кроме того, в процессе добавления гиперссылок на контексты было обнаружено, что некоторые слова уже не находятся в корпусе (либо они были исправлены и их нужно искать по другому запросу, либо произошла техническая ошибка). В таких случаях вхождение с данным словом удалялось из словаря.

В конце работы над словарем был изменен интерфейс сайта, где данный словарь находится. Это было сделано для того, чтобы впоследствии был более удобный доступ как к словарю нераспознанных лексем, так и к грамматическому словарю. Была создана главная страница, с которой можно перейти к обоим словарям, добавлено описание проекта, и сам сайт переименован в "Словари на основе Устьянского звукового корпуса" http://pushkinodict.pe.hu/index.html .

3. Создание грамматического словаря

Заключительным этапом данной работы было создание грамматического словаря на основе всех текстов корпуса http://pushkinodict.pe.hu/grammar.html . Были взяты все слова в корпусе, а не только диалектные по той причине, что представление парадигм всех слов в корпусе гораздо полезнее в практическом смысле. Будущие исследователи могут использовать получившийся грамматический словарь, чтобы увидеть, парадигмы каких слов представлены в корпусе более полно. лексема словарь диалектность интерфейс

Создание грамматического словаря велось в несколько этапов. Для начала необходимо было выбрать программу морфологического анализа текста. В настоящее время существует достаточно большое количество анализаторов. В работе (Ляшевская и др. 2010) показан процесс оценки различных парсеров русского языка. Анализаторы оценивались по нескольким направлениям (дорожкам): "лемматизация", "POS", "морфология", "редкие слова", "дизамбигуация: леммы" и "дизамбигуация: POS". В тестовых дорожках приняли участие такие морфологические анализаторы, как АОТ, ARME, Crosslator, FSTMorph, Libmorphus, Mocky, Mystem, Polymorph, Pymorphy, RDMA_IAI, Semantarus Morpho, Starling, TextAn. Каждый анализатор оценивался по нескольким дорожкам. К сожалению, результаты данной оценки не эксплицитны, так как в конечных таблицах не приводятся названия парсеров. В силу того, что результаты оценки получить не удалось, было решено искать анализатор другими способами. Так, было обнаружено, что для разметки Национального корпуса русского языка использовались два анализатора: Mystem и Dialing (АОТ). В работе (Сичинава 2002) было подробно описано, как размечались тексты для Национального корпуса русского языка с помощью анализатора Mystem. Сначала тексты размечались программой, затем пропускались через фильтр Gram.bat, написанный на языке Perl, а после этого омонимия снималась вручную, с помощью программы GRAMEDIT (написанная на языке макросов Microsoft Word). Про использование анализатора Dialing не было найдено информации, поэтому было принято решение использовать Mystem.

Программа Mystem, разработанная Ильей Сегаловичем и Виталием Титовым (Segalovich 2003), использует грамматический словарь А.А. Зализняка для предугадывания неизвестных или редких слов. Программа предоставляет несколько способов вывода информации, как с грамматической информацией, так и без неё. Кроме того, благодаря функции предугадывания слов, анализатор предлагает возможные варианты разбора неизвестных слов (не входящих в словарь А.А. Зализняка), что, безусловно, удобно, так как среди текстов в корпусе присутствуют слова, которые не входят в литературный русский язык.

Для разбора использовался неразмеченный файл с текстами всего корпуса. В файле находились только ответы информантов, так как речь интервьюеров в данном случае не нужна. Программа построчно обработала файл, выводя грамматическую информ...