Дослідження частотності біграм на матеріалі текстів Романа Іваничука, Василя Шкляра та Ліни Костенко

Размещено на http://www.allbest.ru/

ДОСЛІДЖЕННЯ ЧАСТОТНОСТІ БІГРАМ НА МАТЕРІАЛІ ТЕКСТІВ РОМАНА ІВАНИЧУКА, ВАСИЛЯ ШКЛЯРА ТА ЛІНИ КОСТЕНКО

Ігор Кульчицький, Олена Левченко. Наталія Лотоцька

Статтю присвячено перспективам дослідження ідіолекту письменника в сучасних мовознавчих студіях. Розглянуто термін ідіолект та подано його трактування вітчизняними й зарубіжними лінгвістами. Зауважено, що для багатоаспектного вивчення авторського мовлення варто здійснити кількісний опис творчого доробку письменника. Подано визначення корпусу текстів (КТ) та його значення для проведення лінгвістичних досліджень. Зазначено, що окремий текст є системою, об'єднаною комунікативною цілісністю, логічними, граматичними та стилістичними зв'язками. Особливу увагу приділено значенню статистичного дослідження, що застосовується для виявлення особливостей функціональних стилів мови та особливостей стилю окремих авторів, для автоматичного опрацювання тексту та визначення його авторської і часової атрибуції. Визначено, що важливими характеристиками мови є повторюваність букв (монограм), пар букв (біграм), тграм. Для проведення дослідження частотності біграм у тексті було взято твори Р. Іваничука, В. Шкляра та Л. Костенко та підраховано ентропію біграм для відповідних масивів текстів. У результаті проведеного дослідження проаналізовано частотність біграм символів, а результати подані у вигляді таблиць та діаграм. Згодом ці дані можна буде використати для порівняння текстів інших авторів.

Ключові слова: ідіолект, корпус текстів, статистичні методи, статистичний параметр, частотний аналіз, ентропія, біграма.

Кульчицкий Игорь, Левченко Елена, Лотоцкая Наталья. Исследование частотности биграмм на материале текстов Романа Иванычука, Василия Шкляра и Лины Костенко. В статье речь идет о перспективах исследований идиолекта писателя в современных языковедческих студиях. Замечено, что для многоаспектного изучения авторской речи следует осуществить количественное описание творчества писателя. Дано определение корпуса текстов (КТ) и его значение для проведения лингвистических исследований. Отмечено, что отдельный текст является системой, объединенной коммуникативной целостностью, логическими, грамматическими и стилистическими связями. Особое внимание уделено значению статистического исследования, что применяется для выявления особенностей функциональных стилей языка и особенностей стиля отдельных авторов, для автоматической обработки текста и определения его авторской и временной атрибуции. Определено, что важными характеристиками языка является повторяемость букв (монограмм), пар букв (биграмм), n-грамм. Для проведения исследования частотности биграмм было взято тексты Р. Иванычука, В. Шкляра и Л. Костенко и подсчитано энтропию биграмм для соответствующих массивов текстов. В текстах было оставлено только буквы украинского алфавита, пробел, апостроф и дефис (расширенный алфавит украинского языка). Для каждого массива текста было подсчитано количество биграмм расширенной азбуки, их частоту и энтропию. В процессе обработки текстов было установлено, что выбор в текстах сегментов для исследования случайным образом дает стабильные значения показателя, чем выбор последовательных сегментов. Кроме того, определено самую распространенную и общую биграмму для трех писателей. Замечено, что выбранная методика подсчетов не позволяет со статистической достоверностью определить авторскую атрибуцию больших массивов текстов. В ходе проведенного исследования проанализированы частотность биграмм символов, а результаты представлены в виде таблиц и диаграмм. Впоследствии эти данные можно будет использовать для сравнения текстов других авторов.

Ключевые слова: идиолект, корпус текстов, статистические методы, статистический параметр, частотный анализ, энтропия, биграмма.

Kulchytskyi Igor, Levchenko Olena, Lototska Nataliia. Analysis of the Bigrams Frequency in Roman Ivanychuk's, Vasyl Shklar's and Lina Kostenko's Texts. The study of writer's idiolect has become one of the leading areas of modern linguistics. The article presents the importance of computer technologies opportunities in research and description of language. The research deals with modern techniques and their value for studying writer's language in linguistics. The methods of corpus linguistics concern such lingual phenomena in corpus texts that are difficult to explore without computer technologies. The term idiolect and his interpretation by Ukrainian and foreign linguists are presented. For multidimensional study of writer's speech, it is worth doing a quantitative analysis of writer's text. The definition of corpus text and its importance in linguistic research are given. The text is referred to as the highest level in the language system, along with linguistic units such as phoneme, morpheme, word, phrase, sentence, united by communicative integrity, logical, grammatical and stylistic connections. Statistical research is used to identify the features of the functional language styles and individual author's style, for the automatic processing of the text and determination of its author's and time attribution. The important characteristics in the language is the letter frequency (monograms), pairs of letters (bigrams), n-grams. The material of the research is Roman Ivanychuk's, Vasyl Shklar's and Lina Kostenko's texts. Studying the bigrams frequency the entropy of the bigrams for the corresponding arrays of texts was analysed. In the texts we left the letters of the Ukrainian alphabet, the gap, the apostrophe and the hyphen (extended alphabet of the Ukrainian language). For each array of text, the number of extended alphabets, its frequency and entropy was calculated. In the process of texts analysis we investigated the selection of segment texts for random research yields a more stable value of the index than the choice of successive segments. In addition, the most frequent and common bigram for three writers has been observed. In consequence of the research, the bigrams frequency is analyzed, and the results are presented in the form of lists and diagrams. Subsequently, these data can be used to compare the texts of other authors.

Key words: idiolect, corpus text, statistical methods, statistical parameter, frequency analysis, entropy, bigrams.

Постановка наукової проблеми та її значення. Мова диктує свої закони кожному, хто нею користується, і ступінь підсвідомого чи свідомого засвоєння цих законів мовцем позначається на якості добору й розташування мовного матеріалу в мовленні [9, с. 188].

З розвитком комп'ютерних технологій з'явилися нові сучасні принципи та методи вивчення й опрацювання тексту, зокрема мови письменників, серед яких - статистичний та корпусний, що привертають особливу увагу мовознавців.

Для багатоаспектного дослідження ідіолектів лінгвісти вдаються до кількісного опису доробку письменників, що дає точну інформацію про особливості функціонування лексики в їхній творчості [2, с. 86].

Аналіз дослідження проблеми. Серед вчених, що досліджували різні аспекти індивідуального мовлення, варто згадати британського фонетиста Д. Аберкромбі, американського структураліста Ч. Хоккета, британського лінгвіста М. Халлідея, французького лінгвіста А. Мартіне і філософів М. Даммета й Д. Девідсона.

Першими мовознавцями, які підходили до описання мови і мовних елементів як системних зв'язків, були Ф. де Соссюр та І. Будуен де Куртене. Англійський учений Дж. Юла, німецький науковець Е. Форстеманн, російські математики В. Буняковський, А. Марков та ін. почали першими використовувати математичні, зокрема й статистичні, методи для лінгвістичного опису.

Іншої думки був А. Росс [16], який вважав, що теорія імовірностей і математична статистика можуть бути інструментом для перевіряння й підтвердження тих лінгвістичних висновків, що допускають числове трактування. Варто також згадати праці з математичної лінгвістики Р. Піотровського [11], В. Фукса [18], Дж. Ципфа [23], дослідження про відношення між рангом і частотністю слова, здійснені американцями К. Шенноном та У. Уівером [22], дослідження теорії інформації для лінгвістичного опису Г. Хердана [19].

В Україні застосуванням квантитативних та корпусних методів у лінгвістиці активно займаються В. Широков, В. Перебийніс, Н. Дарчук, Є. Карпіловська, А. Загнітко, В. Левицький та ін.

Мета цієї статті - визначити роль статистичного аналізу текстів у мовознавстві. Завдання статті - дослідити частотність біграм символів у текстах Р. Іваничука, В. Шкляра та Л. Костенко, що дозволить виявити особливості сполучення символів в індивідуальному мовленні письменників.

Виклад основного матеріалу й обґрунтування отриманих результатів дослідження.

Вивчення ідіолекту автора стало одним із провідних напрямків сучасного мовознавства. Деякі характеристики автентичності мови можна виявити лише із застосуванням корпусу текстів, як-от: багатство словника, індекси різноманітності та винятковості тощо.

Загалом термін ідіолект трактують лише як сукупність індивідуальних способів функціонування мови. Зарубіжні вчені, серед яких Ж. Дюбуа, Л. Геспен, Т. Левандовскі, трактують ідіолект як сукупність особливостей функціонування конкретної мови окремим індивідом у певний момент часу, а також як лінгвістичні константи, що слугують основою для вираження думок мовця, концентруючи свою увагу на протиставленні загальнонародних особливостей мови, властивих окремим мовним спільнотам (діалект, говір, соціолект), безпосередньо ідіолекту [17, с. 338-339].

Варто зауважити, що в західній лінгвістиці досі не існує чітко розробленого поняття ідіолект, а терміна ідіостиль немає в поняттєвому апараті. У найпростішому тлумаченні ідіолект часто виступає синонімом стилю. На думку М. Арріве, ідіолект - це сукупність особливостей використання мови індивідом, тоді як Ч. Хоккет зазначає, що це сукупність звичок, які характеризують мовлення індивіда, що належить до певної лінгвістичної групи [20].

Вивчення мовних явищ із використанням корпусу текстів (далі - КТ) дає змогу не тільки підтвердити чи спростувати окремі аспекти теорії, а й уможливлює дослідження мови письменника, його стилю, а також - виявлення закономірностей функціонування мовних одиниць на різних рівнях.

За І. Кульчицьким, КТ - це призначена для різноманітних мовознавчих досліджень лінгвістично описана сукупність мовних чи мовленнєвих фактів, поданих в електронній формі та споряджених відповідним спеціалізованим програмним забезпеченням [7, с. 29].

Останнім часом прикладні науки та взаємодія різних наукових дисциплін відіграють важливу роль для отримання спільних результатів у різних сферах науки та життєдіяльності людини і суспільства. Значну увагу приділяють використанню статистичних методів для потреб лінгвістики.

Методи статистичної лінгвістики використовують для виявлення особливостей функціональних стилів мови та особливостей стилю окремих авторів, для створення методики навчання іноземної мови й оптимізації навчання, для розв'язання завдань зі стенографії тощо. Особливо важливі статистичні методи для розвитку автоматичного опрацювання тексту - автоматичного зняття полісемії, реферування та індексування, а також для визначення авторської та часової атрибуції твору.

Статистичні методи в сучасному мовознавстві стали важливим та надійним інструментом аналізу мовних даних. Окрім забезпечення вірогідності результатів, статистичні методи дають змогу розкрити властивості одиниць мови та будови тексту, виявити, які без цих досліджень було б неможливо. Ефективність статистичних методів зумовлена такими чинниками:

- результати дослідження базовані на точних числових даних, які завжди можна перевірити, замість приблизних якісних на кшталт «часто», «незначно» та ін.;

- точно визначають істотність чи випадковість коливань зіставлюваних показників;

- дають змогу визначити таку кількість матеріалу для досліджень, яка є необхідною та достатньою для вірогідних висновків;

- вимагають формалізації під час визначення одиниць підрахунків, що мінімізує чинник суб'єктивності, за необхідності дає змогу перевірити результати та за умови дотримання правил підрахунків забезпечити високу вірогідність результатів;

- допомагають мовознавцям позбутися хибних уявлень та тверджень [12, с. 29].

В. Перебийніс вважає, що всі складні системи підпорядковуються статистичним законам, наголошуючи на необхідності використовувати статистичні методи в мовознавстві, адже мова є складною системою, а відтак підпорядковується статистичним законам [13].

До системних властивостей мови належать ті, що характеризують конкретну її одиницю як компонента мовної системи. Зокрема, це - будова одиниці, її належність до граматичного класу, синтаксична та лексична сполучуваність, місце в мовній системі та підсистемах, накладені мовною системою обмеження (наприклад, відсутність деяких словозмінних форм іменників, відсутність ступенів порівняння прикметників і прислівників, неповна дієслівна парадигма), семантичні особливості тощо [10, с. 28].

Представники теорії тексту вважають, що кожний окремий текст є системою, об'єднаною комунікативною цілісністю, логічними, граматичними та стилістичними зв'язками [1]. Особливості вживання конкретної одиниці в певному тексті визначають її функційні властивості: частота, позиція, сполучуваність, яка залежить від характеру тексту, від функціонального чи авторського стилю і змінюється від тексту до тексту [10].

Найпростішим різновидом статистичного підходу до вивчення мови, зокрема мови письменників або окремих творів, є підрахунок уживаності слів, оскільки багатство словника в певний спосіб характеризує їхню мову. Для кожного письменника, як і будь-якого мовця, характерна своя специфічна частотність мовних елементів, іншими словами, кожному авторові притаманні свої улюблені, а тому й частотні слова, словосполучення, фрази, синтаксичні конструкції тощо.

У монографії «Статистичні параметри стилів» [13] зазначено, що для текстів статистичними параметрами стилів можна вважати частоти голосних, приголосних, пропуски між словами, а також м'яких і сонорних груп приголосних. Кожна мова має власні статистичні параметри, і знання частоти появ літер та їхніх сполучень (біграм, триграм, чотириграм) певної мови дає змогу автоматично її ідентифікувати.

Важливими характеристиками мови є повторюваність букв (монограм), пар букв (біграм), n-грам, сполучуваність букв одна з одною, чергування голосних і приголосних тощо. Послідовність n сусідніх літер тексту називається n-грамою. Із тексту довжиною N можна утворити різних n-грам. Наприклад, слово стаття (текст довжиною 6) розбивається на 5 біграм: стаття = ст та ат тт тя [24].

Частотний аналіз передбачає, що частота появи заданої літери алфавіту в досить довгих текстах та сама для різних текстів однієї мови. Частотні характеристики коливаються залежно від тематики твору й автора. Отож, вони можуть бути також використані для підтвердження або спростування авторства.

Матеріалом дослідження для вивчення частотності біграм символів у текстах слугували художні твори Р. Іваничука [4; 5; 6], В. Шкляра [14; 15; 16], Л. Костенко [8]. Перед дослідженням усі тексти за допомогою програм мовою Phyton перевірено на коректність кодів-символів та здійснено необхідне коректування.

Варто зазначити, що ці постаті знакові для української літератури др. пол. XX- поч. XXI ст. Р. Іваничук та В. Шкляр відомі своїми історичними романами та повістями, тоді як Л. Костенко - культова українська поетеса-шістдесятниця. Наше завдання полягає в аналізі й порівнянні частоти біграм-символів у романах, повістях та віршах окремих.

Для дослідження обрані тексти розділено на три масиви: твори Р. Іваничука, В. Шкляра та Л. Костенко. У текстах залишено лише букви української абетки, пробіл, апостроф та дефіс (розширений алфавіт української мови). Для кожного масиву тексту обраховано кількість біграм розширеної абетки, їхню частоту та ентропію. Загальну характеристику масивів текстів подано в таб. 1.

Таблиця 1 Загальна характеристика масивів творів