Анализ английских текстов на основе частотных характеристик биграмм

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Анализ английских текстов на основе частотных характеристик биграмм

Введение

программа pascal частотный биграмма

В основу данной работы положен вероятностно-статистический метод определения частотных характеристик текста. Целью работы является не только подсчет абсолютной и относительной частот биграмм, их энтропии и избыточности, но и сравнение этих характеристик в разных источниках. Для решения этой задачи была составлена соответствующая программа на языке программирования Pascal.

В 1948 году американский инженер Клод Элвуд Шеннон, занимаясь конкретными задачами увеличения пропускной способности технических каналов связи и их помехоустойчивости, предложил использование вероятностно-статистического подхода, основанного на понятии энтропии и введённой им количественной мере информации. На основе этого возникла математическая теория передачи сообщений (теория информации), создавшая логическую базу для решения множества теоретических и технических проблем связи. [1,2]

Некоторых основных принципы этой теории приведены ниже.

1. Теоретические положения

Для начала необходимо дать определение информации и источника информации. Под источником информации понимается некоторая физическая система с конечным числом различных состояний. Эти состояния системы будут обозначаться, как х₁, х₂, …, х_n. Считается, что система с течением времени меняет свои состояния, переходя из одного состояния в некоторое следующее с какой-то вероятностью. При наблюдении за «эволюцией» системы, фиксируются ее состояния в последовательные моменты времени, путем выписывания символов, соответствующих этим состояниям. После завершения наблюдений за системой получается некоторая последовательность символов, выражающая «эволюцию» системы. Символы х₁, х₂, …, х_n, обозначающие состояния системы, образуют алфавит этой системы, а полученная последовательность символов называется текстом или сообщением, порожденным источником сообщения. [2]

Двумя другими важными, с точки зрения теории информации, являются избыточность источника сообщения и энтропия.

Избыточность - величина, характеризующая информативность источника сообщения, которая задаётся следующей формулой:

R=1 - H/H_max,

где H_max - энтропия источника сообщения, имеющего тот же алфавит, но в котором все алфавитные символы встречаются с равными вероятностями. Избыточность показывает долю «лишних» букв в текстах. Она колеблется в пределах от 0 (когда Н=H_max - следующим символом в прерванном сообщении с равной вероятностью может быть любая буква) до 1 (когда Н=0 - все время передается один символ) и часто выражается в процентах. Снижение избыточности делает передачу сообщений более экономичной и быстрой (при составлении телеграмм опускаются предлоги), но в то же время - менее надёжной: в сообщении источника с нулевой избыточностью пропущенный символ не восстановим. Поскольку во всех реальных каналах связи имеются помехи, разумная избыточность в сообщениях необходима. Избыточность позволяет легко восстановить исходный текст даже при наличии значительного числа ошибок в телеграмме или описок в книге. В естественных языках избыточность превышает 70%. Отсюда и следует, что выбор следующей буквы осмысленного текста более, чем на 70% определяется самой структурой языка и, следовательно, случаен лишь в сравнительно небольшой степени. Поскольку для энтропии имеет место неравенство 0 ? Н ? H_max, то тогда избыточность изменяется в следующих границах: 0 ? R ? 1. Избыточность R является весьма важной статистической характеристикой языка. Была вычислена избыточность для естественных языков:

Под энтропией источника сообщения или текста понимается величина, характеризующая степень неопределенности в предсказании следующего символа в прерванном сообщении. Рассматривая всевозможные тексты, порожденные данным источником сообщения, мы замечаем, что алфавитные символы встречаются в этих текстах с различной вероятностью (частотой). Пусть х₁, х₂, …, х_n - алфавитные символы данного источника сообщения; обозначим через р₁, р₂, …, р_n вероятности их встречаемости в сообщениях. Длительное время наблюдая работу источника сообщения мы можем также подсчитать вероятности, с которыми в сообщениях встречаются различные биграммы.

Исследования, проведенные в 1990 г. с помощью мощных компьютеров, дали следующие величины, которые в настоящий момент считаются информационными характеристиками соответствующих языков в смысле энтропии. [1]

Энтропии естественных языков

Естественно считать, что энтропия Н(а) опыта а, которому отвечает таблица вероятностей

зависит лишь от величин р(А₁), р(А₂), …, р(А_n) (является функцией этих величин).

Априорные требования к энтропии таковы:

І. Н(х) ? 0 для любого х. Н(х)=0, если мы не испытываем неопределенности в предсказании исхода эксперимента.

ІІ. Из всех экспериментов с данным числом исходов n, наибольшую энтропию должен иметь эксперимент с равновероятностными исходами.

ІІІ. Если эксперименты х и y независимы (т.е. результат проведения одного эксперимента никак не влияет на результат проведения другого эксперимента), то Н (х, y) = Н(х) + Н(y), где Н (х, y) - энтропия совместного проведения эксперимента х, y.

Единственной функцией, удовлетворяющей требованиям І-ІІІ является:

H = - p₁log p₁ - p₂log p₂ - … - p_nlogp_n, где log = log₂

Для опыта с n равновероятными исходами p₁ = p₂ = … = p_n = 1/ n и, значит, Н = logn.

Единицей для измерения энтропии является бит.

Условия, выполнения которых естественно требовать от функции Н(р₁, р₂, …, р_n):

1. Значение функции Н(р₁, р₂, …, р_n) не меняется при любой перестановке чисел р₁, р₂, …, р_n.

2. Функция Н(р₁, р₂, …, р_n) является непрерывной, т.е. мало меняется при малых изменениях вероятностей р₁, р₂, …, р_n - ведь при малых изменениях вероятностей и степень неопределенности опыта должна мало изменяться.

3. Функция Н(р₁, р₂, …, р_n) удовлетворяет соотношению Н(р₁, р₂, …, р_n)= Н (р ₊ р_2, р_3, …, р_n) + (р₁ + р₂) Н(р₁ / р₁ + р₂, р₂ / р₁ + р₂₎.

Значительную роль играет функция Н (1/n, 1/n, …, 1/n) - мера неопределенности опыта б₀, имеющего k равновероятных исходов.

4. Функция Н (1/n, 1/n, …, 1/n) = 1⁽ⁿ⁾ растет с увеличением числа k. [1]

Если рассматривать каждую букву по отдельности, было бы очень мало информации о том, какой будет следующий за ней символ. Но подобного не случится, если рассматривать биграммы, т.к. они являются более устойчивыми по своей условной природе, и поэтому вероятность появления той или иной буквы после определенной биграммы стремиться к единице. Такая условность, когда при переходе в очередное состояние системы, значительную роль играют её предыдущие состояния, называется эргодичностью системы. В естественном языке определенные сочетания букв являются более устойчивыми. Так, например, разумно полагать, что с большей степенью вероятности после гласной последует согласная, «ъ» не может стоять в начале слова или после гласной и т.д. Все эти закономерности языка приводят к уменьшению энтропии определенной буквы данного языка. В любом естественном языке вероятность появления определенного знака зависит не только от одного символа, стоящего в слове до него, а от целого ряда предшествующих букв. Таким образом, изучение биграмм является более информативным. Вычислив закономерности появления биграмм, можно с большей степенью вероятности предсказывать последующие символы алфавита. [2]

2. Программа на языке Pascal

Составленная программа работает следующим образом: на вход подается текстовый файл (директория задается вручную). Затем производится анализ частотных характеристик, встречающихся в нем биграмм, и файл подается на запись. При этом создается новый документ, в котором содержатся результаты проведенного анализа.

program anal_bigramms;

const cAlph: string[27] = `ABCDEFGHIJKLMNOPQRSTUVWXYZ';

const sAlph: string[26] = `abcdefghijklmnopqrstuvwxyz';

var F1, F2: text;

name1, name2: string;

c: char;

mas: array [1.. 27,1..26] of longint;

n, n1: integer;

p: real;

i, j: integer;

total: longint;

H, iz, Hmax: real;

begin

{Задание файла для анализа}

write (`Введите имя файла для анализа:');

readln (name1);

assign (F1, name1);

reset (F1);

Hmax: ln(27)/ln(2);

iz:=0;

n:=0;

n1:=0;

total:=0;

while not eof(F1) do begin

read (F1, c);

{Учет всех биграмм в тексте и подсчет их абсолютной частоты}

n1:= pos (c, sAlph) + pos (c, cAlph);

if n*n1>0 then begin

inc (mas[n, n1]);

inc(total);

end;

n:=n1;

end;

close (F1);

writeln (`Анализ закончен.');

write (`Введите имя файла для сохранения результата анализа:');

readln (name2);

assign (F2, name2);

rewrite (F2);

writeln (F2, `Результат анализа файла `, name1,')');

Подсчет относительной частоты биграмм и энтропии текста

H:=0;

for i:=1 to 27 do

for j:=1 to 26 do begin

p:=mas [i, j]/total;

if (p>0) then begin H:=H-ln(p)/ln(2)*p;

{writeln (F2, cAlph[i], sAlph[j], `, ', mas [i, j], ',', p:6:4);}

end;

for t:= 1 to 26 do begin

ni:= 1; nj:= 1;

for i:=1 to cAlph[i] do

for j:=1 to sAlph[j] do

if freq^[i, j]>freq^[ni, nj]

then begin

ni:=i;

nj:=j;

p:=freq^[ni, nj]/total;

writeln (F2, cAlph[i], sAlph[j], `, ', mas [i, j], ',', p:6:4);

freq^[ni, nj]:= 0;

end;

H:=H/2;

iz:=1-H/Hmax;

writeln (F2, total, `H=', H:6:4, `iz=', iz:6:4);

close(F2);

end.

3. Экспериментальная часть

Всего было рассмотрено четыре текста. Посредством их анализа были получены следующие выходные данные. (В таблицах приводится по двадцать шесть наиболее частотных биграмм для каждого текста).

Джейн Остин «Чувство и Чувствительность»

H=3.6811; R=0.2258

Френсис Скотт Фицджеральд «По расписанию»

H=3.6579; R=0.2307

Френсис Скотт Фицджеральд «Снова в Вавилоне»

H=3.6195; R=0.2388

Неизвестный писатель «Отношения»

H=3.5929; R=0.2444

Вывод

На основании выполненных вычислений можно сделать следующий вывод. В разных текстах частотный рисунок отличается друг от друга. Это можно объяснить рядом причин.

Например, в художественной литературе наиболее распространенным биграммом могут стать две начальные буквы имени главного героя. Также, у каждого автора имеется свойственный только ему стиль, что влечет за собой использование определенной лексики, выражений, способа построения текста. Плюс ко всему, массив взятых текстов недостаточен, чтобы говорить о языке в целом. Все это не может не отразиться на исследованных показателях.

На примере данной работы видно, что при установлении авторства текста нет ничего лучше, чем количественный метод анализа, так как при таком анализе в рассмотрение берется не содержательная сторона произведения, а параметры, неподдающиеся сознательному контролю. При учете ряда особенностей художественной литературы, перечисленных ранее, можно с большей определенностью говорить о принадлежности конкретно взятого текста определенному автору.

Ярким примером такого анализа может служить работа шведских ученых Г. Хьетсо, С. Густавсона и Б. Бекона «Кто написал «Тихий Дон»?», в которой на основе вероятностно-статистического метода было проведено сравнение характеристик спорного текста с другими работами писателей, претендующих на авторство.

Привлечение методов точных наук в лингвистические исследования позволяет получить более четкую информацию о языке и о нас самих, как его носителях.

Список литературы

1. Салий В.Н. Математические основы гуманитарных знаний. - Саратов: Изд-во Сарат. ун-та, 2006. - 308 с.

2. Яглом А.М., Яглом И.М. Вероятность и информация. - М.: Наука, 1973 г. - 512 с.

Размещено на Allbest.ru