Что и как может получить лингвист из оцифрованных текстов

Дабы не перегружать текст картинками, в подтверждение приведем лишь рис. 5, из которого следует, что в Петербурге было на порядок больше ответов, релевантных поиску в Украину, чем в рунете в целом (2Б и 3Б в табл. 1).

Рис. 5. Общий поиск словоформы «в Украину» и поиск по региону
(Санкт-Петербург, 14.03.20l3)

Пока речь идет о поиске информации, гуглить полезно, а вникать в предъявляемые цифры - вредно. Не следует думать, что лингвист вообще не может получить полезную информацию с помощью поисковых машин. Если выдача не превышает тысячу, при аккуратной работе с их помощью можно извлечь массу интересного, особенно при поиске по конкретному сайту. Мы много раз с выгодой использовали поиск Гугла по сайтам magazines.russ.ru и feb-web.ru или их разделам Например, поиском по feb-web.ru/feb/mas автор статьи выяснял, откуда именно бра-лись «примеры правильного употребления слова» [МАС, т. 1, с. 6]. Источниками трехсот и более цитат в этом словаре стали следующие произведения: «Порт-Артур» (671 цитата) «Воскресение» (574), «Капитанская дочка» (537), «Необыкновенное лето» (506), «Жатва»

(481), «Отцы и дети» (456), «Небо и земля» (399), «Весна на Одере» (345), «Энергия» (336), «Сестры» (305), «Накануне» (309), «Братья Карамазовы» (309) [Беликов, 2006].. До сентября 2015 г. исключительно продуктивным был расширенный поиск Яндекса по блогосфере, где имелась возможность поиска с учетом пола и возраста авторов как в целом, так и по отдельным временным отрезкам и регионам.

В декабре 2010 г. появился инструмент, который позволяет «воочию увидеть жизнь слова: когда оно появилось, когда стало модным, когда начало исчезать из текстов» [Кронгауз, 2013, с. 17]; это Google Books Ngram Viewer https://books.google.com/ngrams (далее - GBN). Не удивительно, что многие лингвисты серьезно воодушевились новыми перспективами. Чрезвычайно богатые возможности корпусной лингвистики к этому времени уже все осознали, а собрание Google Books по многим приметам - это готовый многомиллиардный корпус, GBN - инструмент для работы с ним.

Однако инструмент этот создавался без участия лингвистов и не для них. Из статьи «Google Ngram Viewer» в Википедии можно узнать, что прототип этого инструмента создали J.-B. Michel и E. Lieberman Aiden, а в статье «Culturomics» они названы соавторами имени новой науки, сама же культуромика по задачам напоминает гуманетику - это «a form of computational lexicology that studies human behavior and cultural trends through the quantitative analysis of digitized texts». Слово «lexicology» в этом контексте не должно вводить в заблуждение: дисциплина, изучающая «human behavior» и «cultural trends», к лингвистике имеет косвенное отношение. Прежде чем использовать GBN для выявления чего-то, пока неизвестного, стоит посмотреть, как он отражает историю лексики там, где мы имеем о ней общее представление.

Мы подозревали, что не все молодые лингвисты умеют расшифровывать РККА, однако непредставительный опрос показал, что и те, кому за 50, не всегда знают, что это официальное сокращение от Рабоче-Крестьянская Красная Армия, которая после февраля 1946 г. стала называться Советской Армией. Другая аббревиатура, сопоставляемая с РККА на рис. 6, сейчас общеизвестна, хотя полвека назад в СССР она была знакома далеко не всем: «мичуринская генетика» только- только начала уступать место той, которая на два с лишним десятилетия получила в СССР статус лженауки. Графики на рис. 6 приведены со стандартным сглаживанием; отменив его, можно узнать, что частота слова ДНК в русском языке в 1964 г. составляла 19,6 ipm, за предыдущие четыре года - в среднем 11,6 ipm, в 2000 г. - 17,8 ipm, в последующие восемь лет - в среднем 12,8 ipm Недолюбливая большое число нулей после запятой, мы переводим проценты GBN в общепринятый для частотных словарей показатель ipm (instances per million) - вхождений на миллион словоупотреблений.. За последний год, о котором GBN дает сведения (2008), у ДНК ipm был ниже, чем у РККА, - 9,6 и 13,4 соответственно.

Рис. 6. «Жизнь слов» ДНК и РККА в русском языке по версии ОБИ

Рис. 7. Холодная война и частотность лексики

Частоты слов на любом текстовом массиве отражают не факты языка, а состав самого массива. Протестовать против неуклонного падения частотности аббревиатуры ДНК в 1990-е - 2000-е гг. при параллельной экспансии РККА бессмысленно, мы действительно воочию видим жизнь слов, только не в русском языке, а в подборке Google Books за этот период Полезно сопоставить статистику GBN с данными подкорпуса НКРЯ за 2000-2008 гг. (56,5 млн слов); в нем ДНК имеет частоту 31,2 ipm, а РККА - 2,5 ipm..

Вряд ли кто-то готов утверждать, что слова вроде окно, дверь, дорожка, грызть, подсматривать, веселый, печально, утром, вечером, мать, отец и им подобные в 1950-е гг. выходили из моды в обиходе и в книжно-журнальной Среди Google Books представлены не только книги, но и журналы. GBN не позволяет выявлять частотность слова в целом; графики разных словоформ выше перечисленных единиц похожи, но совместить их на одной картинке не всегда удается из-за значительных расхождений по оси ординат, связанных с различиями по частоте. «All» на графиках означает учет всех вариантов капитализации (окно, Окно, ОКНО), «+» объединяет единицы, частоты которых складываются. На этом и ряде других рисунков ось ординат не представлена, поскольку здесь важен лишь характер изменения графиков во времени, а не их численные значения. продукции, а в 1980-х мода на них вернулась. Но Google Books дают именно такую картину (рис. 7) ¹¹.

Понятно, что в период «холодной войны» комплектация американских библиотек литературой на русском языке имела серьезный политический уклон. Разумеется, слова Госполитиздат и Политиздат обычно появлялись в книгах лишь на титуле и в выходных данных и не они потеснили обиходную лексику, а содержимое книг этих издательств. Карл Каутский (1854-1938), названный Лениным ренегатом, ко времени «холодной войны» актуальность давно утратил, но в GBN Каутский с 1959 по 1970 г. стабильно частотнее, чем Лесков, а ренегат с 1960 по 1978 г. частотнее, чем племяннице. Эта статистика отражает не «human behavior» или «cultural trends» в СССР, а старательную оцифровку брошюр Политиздата.

На работе с текстами по первую четверть XX в. включительно сказывается загадочное обращение в системе GBN с элементами дореформенной орфографии и графики (использовать дореформенные Ь, і, в при поиске невозможно). Существенно различается вероятность распознания ятя в разных словоформах одной лексемы, ср. частоты для онъ Ьстъ и нечего Ьсть (рис. 8) и конечного ера в разных словах, ср. домъ и котъ (рис. 9); гипотеза о том, что безъеровый кот - сокращение от который не проходит: текстовый массив с таким количеством сокращений и преобладанием Кот. над Котъ представить невозможно.

Рис. 8. Ять в разных словоформах

Рис. 9. Разнобой в передаче конечного ера

К каким выводам подталкивает лингвиста анализ результатов работы в ВИ? Видится только один, одновременно тривиальный и фундаментальный: русский язык, как и любой другой полифункциональный язык, неоднороден. Исследование системы русского языка «вообще» - занятие разумное, и при таком подходе любой корпус полезен для подбора материала. Для изучения нормы надо сначала определить ее границы, что и прежде было непросто, а теперь еще сложнее. Корпус нормативного языка придется подбирать, все время оглядываясь на заранее постулированные границы.

А вот узус языка «вообще» изучать бессмысленно. Узус всегда социален, он имеет три важнейших измерения - территориальное, возрастное и гендерное; есть и другие, но они менее универсальны. Социально маркированный узус диктует и подлинные нормы, явленные в текстах, которые соответствующим социумом рассматриваются как образцовые. Жители разных регионов, молодежь и старики, мужчины и женщины не всегда будут единодушны в оценке качества текстов. Дополнительную сложность накладывает многообразие жанров и тематики.

Обращение к цифровым текстам с целью получить некую статистику, касающуюся языка, всегда будет иметь результат, выраженный числами. Иногда, как в примерах про Пушкина и Украину, разные обращения к одному и тому же материалу дают противоречивые результаты, даже если инструментарий один и тот же и время обращения к корпусу отличается совсем незначительно, например минутами (ср. строки в табл. 1). Иногда, как при обращении к вВИ, разница незаметна Конечно, объем оцифрованных текстов в корпусе Google Books быстро растет, но за-вершающийся 2008 годом подкорпус, на котором работает Ngram Viewer, последние годы

не меняется. Во всяком случае, наши поиски двухлетней давности и современные дают одинаковые результаты, то же и при повторении более давних чужих поисков. Стабильность результатов эксперимента - положительное свойство, но оно не гарантирует его осмысленности. Выявление «общеязыковой частотности» слов, тем более словоформ, на материале черного ящика с неизвестным содержимым представляется достаточно увлекательной языковой игрой , но, в отличие от старых игр - 8сгаЬЫе-Эрудит, «В балду», «В города», игра в вБИ не носит развивающего характера.

В Интернете легко находятся работы, в той или иной степени опирающиеся на результаты вБИ-поиска, среди них есть синхронические (сюда отнесем и те, которые касаются микроистории - нескольких недавних десятилетий) и диахронические, подвергающие анализу русский язык на протяжении двух столетий. На любые сомнения в результатах в БИ-поиска у его сторонников есть контраргумент: в статистике, основанной на многомиллиардном корпусе, нельзя сомневаться. Это верно, если не с чем такие данные сопоставлять. Но в отношении длительной истории есть НКРЯ Речь идет лишь о русском варианте ОБИ. НКРЯ - Национальный корпус русского языка. иРЬ: http://www.ruscorpora.ru, незначительность его объема в сравнении с корпусом вБИ отчасти компенсируется возможностью оперировать словом в целом, а не отдельной словоформой и - что для нас главное - прозрачностью состава корпуса, на котором получен результат. Если результаты просто разные, это мало о чем говорит. А вот если они прямо противоположны Объем публикации не позволяет вдаваться в детали, но автор статьи проверял: так бывает., то результат от НКРЯ правильный, а результат от вБИ вздорный. Впрочем, это вопрос веры.

В том, что касается синхронии, мы свою аргументацию строим на материалах Генерального интернет-корпуса русского языка www.webcorpora.ru (далее - ГИКРЯ), который разрабатывается с 2012 г. и в конце 2015 г. вышел из стадии начальной разработки, свободный доступ к нему открыт пока при условии регистрации. Поиск в ГИКРЯ ведется раздельно по сегментам, содержащим разные типы текстов: большие выборки из «Живого журнала» (ЖЖ) (2001 - начало 2014 г.), из социальной сети «ВКонтакте» (выборка за 2014-2015 гг.), из новостных лент за 1999-2013 гг. и «Журнального зала» (собственно журнальные статьи с портала magazines.russ.ru по состоянию на апрель 2014 г.). Общий объем ГИКРЯ приближается к 20 млрд словоупотреблений.

Кратко остановимся на языковых фактах, упоминавшихся выше, но начнем с комментариев к вБИ.

Один автор Нынче принято за всякое упоминание конкретной работы начислять автору разнооб-разные очки. Не разделяя эту точку зрения, предпочитаем цитировать некоторые работы без имен, хотя и вполне прозрачно. в 2015 г. опубликовал две работы (вторая в соавторстве), посвященные разным аспектам современного поведения русских глаголов в сравнении с ситуацией в XIX в. [Язык и мысль, 2015, с. 478-487; Труды..., 2015, с. 425-434]; в первой из них указаны и точные временные рамки - 1800-1860 гг. и 19932008 гг.

вБИ не дает возможности работать с лексемами, поэтому, проанализировав результаты для словоформ старался, стараясь, стараться, стараюсь и пытался, пытаясь, пытаться, пытаюсь, автор счел достаточным «работать только с формой прошедшего времени, как обеспечивающей наибольший массив данных. Общие закономерности, найденные для этой формы, остаются справедливыми и для других форм» [Язык и мысль, 2015, с. 483] (исследовались инфинитивы, следовавшие за формами старался / пытался).

Начало цитаты сформулировано несколько небрежно: форм прошедшего времени больше одной, причем само их существование заставляет усомниться в справедливости вывода про «общие закономерности». Лишь часть маркированных по полу глаголов не имеет отношения к автору высказывания (умер / умерла), но не таковы старался и пытался. Поскольку одни действия более свойственны мужчинам, другие женщинам, вероятность появления гендерно маркированных глаголов после форм старался и старалась заведомо различна. Но вторая работа [Труды..., 2015] на этом фоне преподносит сюрприз: там репрезентативными словоформами служат инфинитивы (анализируются тройки дохнуть Исследование инфинитива дохнуть без обращения к контекстам грозит обернуться курьезом. Имея некоторый опыт чтения старых и современных русских текстов, мы пред-полагали, что соотношение дохнуть и дохнуть в них заметно разнится. Так и оказалось: в НКРЯ (май 2016 г.) за 1800-1899 гг. есть 133 дохнуть и 8 дохнуть, с 1990 г. соответст-венно 18 и 9. / подохнуть / подыхать и грызть /разгрызть /разгрызать).

В теории для некоего глагола может найтись полноценная словоформа- представитель, но для другого глагола таковой окажется другая словоформа. И представительность таких словоформ надо доказывать. Как - не очень ясно, но очевидно, что на фоне выявления свойств всех других словоформ этой же лексемы. Тем самым искать представительную словоформу занимательно, но бессмысленно: все равно предварительно надо все узнать про лексему. И - если рассуждать о русском языке «вообще» - для всех вариантов русского языка.

В применении к языковым корпусам часто используется характеристика «сбалансированный»; в теории это означает, что тексты, разнящиеся в социальном и жанровом отношении, представлены в корпусе в «правильных» долях. Но исчислением всех таких вариантов и выявлением их стандартного для русского языка соотношения никто никогда не занимался, поскольку это занятие утопическое. Фактически сбалансированным называется корпус, который его создатели считают сбалансированным.

То, что слова в различных вариантах языка используются несколько по- разному, удивлять не должно. Следствием этого является различие в частоте употребления как лексем, так и отдельных словоформ. На рис. 10 отражена эволюция частот двух словоформ в 1990-2008 гг., графики не сглажены, так что известны точные погодовые частоты: ірт у старался в течение периода, по сути, неизменен, около - 19. Частоты формы пытался равномерно растут от 25,8 ірт до

34.1 ірт (в 1992 г. отмечается небольшое проседание для обеих словоформ, 15,9 и 22,6 ірт). Соотношение частот неуклонно повышается в пользу словоформы пытался: в начале периода она на 30 % частотнее старался, в 2000 г. - на 48 %, в 2008 г. - на 81 %.

У других пар словоформ соотношение складывается либо похожим образом (пытается/старается, пытаясь/стараясь) - частота форм от стараться меняется мало, формы от пытаться становятся частотнее, либо их развитие идет параллельно, хотя и по-разному: в первом лице частота форм множественного числа не меняется, а формы единственного числа становятся частотнее (рис. 11).

Рис. 11. Различные словоформы глаголов пытаться и стараться в ОБЫ, 1990-2008 гг. (стандартное сглаживание)

Таблица 2 Динамика частотности отдельных словоформ по данным НКРЯ (ірт)

Таким образом, в корпусе вБМ за 19 лет у лексемы пытаться частота выросла явно заметнее, чем у стараться. Но справедливо ли это наблюдение для русского языка? Посмотрим, как складывается судьба тех же глаголов в НКРЯ.

В табл. 2 сопоставлены данные за два периода - НКРЯ-1 (1990-1999 гг.,

23.2 млн слов) и НКРЯ-2 (2000-2008 гг., 56,5 млн слов). Частоты большинства словоформ этой пары глаголов в 1990-е гг. в НКРЯ заметно выше, чем вБМ (для пытался и пытаясь - в 3 раза, для пыталась - в 4,5). Во-вторых, у обеих лексем в XXI в. они снизились: у пытаться на 12 %, у стараться на 23 %. Зато в текстах после 2008 г. (10,7 млн слов) частоты обоих глаголов в НКРЯ выросли, а разрыв частот стал уже двукратным (152,3 у стараться, 319,6 фш у пытаться).

Итак, мы знаем как обстоит дело в двух корпусах. А что на самом деле происходит с рассматриваемыми словами в современном русском языке? По-видимому, ничего особенного. В этом отношении полезно выяснить положение в разных сегментах ГИКРЯ, язык каждого из которых относительно однороден. Данные табл. 3 (где, как и в табл. 4, в объем лексем не включены причастия; учитываются спрягаемые формы, прошедшее время, инфинитив, императив, деепричастие) показывают, что в зависимости от типа текста существенно меняется и частота лексем, и вклад отдельных словоформ: в «Журнальном зале» и старался, и пытался дают четверть вхождений лексемы, а в «Новостях» - 8 и 17 % соответственно. В «Журнальном зале» частотность словоформ старался и пытался разнится менее чем в два раза, в «Новостях» - более чем в 10 раз. Проверка по этим двум сегментам ГИКРЯ показывает, что диахронических изменений в поведении двух рассматриваемых глаголов нет: колебания частот не превышают нескольких процентов, то увеличиваясь, то уменьшаясь. Достаточно очевидно, что рост частоты пытаться в вБИ и ее падение в НКРЯ, а также увеличение разрыва частот этих глаголов в обоих корпусах - всего лишь следствие изменений в жанрово-стилевом и тематическом наполнении самих корпусов.

Таблица 3 Частотность лексем и словоформ в зависимости от типа текста

Таблица 5 Формы прошедшего времени в мужском и женском узусе

То, как формы прошедшего времени используются мужчинами и женщинами, ясно показывает, что при поиске на глаголы в мужском роде мы получаем сведения не о русском языке «вообще», а в основном о его мужской разновидности. Не исключено, что в исследуемом явлении гендерных противопоставлений не окажется, но знать этого заранее нельзя.

ГИКРЯ дает ясный ответ и на вопрос, каков реальный узус при склонении слова Украина. Априори ясно, что он достаточно быстро меняется и не может быть одинаков в текстах разных регионов России и Украины. Сегмент ЖЖ НКРЯ позволяет получить надежные данные в динамике лишь по столицам Ниже мы рассматриваем предложный падеж как дающий больше результатов. Для достоверной статистики по другим городам с большим числом блоггеров ЖЖ выборка ГИКРЯ пока мала. Так, по состоянию ЖЖ ГИКРЯ на июнь 2016 г. результаты по Новоси-бирску показывают неожиданный скачок: в 2004-2008 гг. соотношение предлогов на / в составляет 68/37 = 1,8, в 2009-2011 гг. - 161/77 = 2,1, а в последующие два года - 140/230 = = 0,6. Такой резкий перелом в пользу нового предлога невероятен и объясняется недостат-ком данных. (табл. 6); в 2013 г., последнем представленном в таблице году наблюдения, в Москве все еще лидирует предлог на (3 483 против 3 338 для в Украине), в Петербурге в том же году впервые возобладал предлог в (929 против 905 для на Украине).

Варианты выбора предлога при склонении лексемы «Украина»
по данным «Живого журнала» в динамике

Таблица 6