Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Системно-когнитивный подход к синтезу эффективного алфавита

Фонетические алфавиты испокон веков используются людьми для визуализации звуковой речи с использованием символов (букв), соответствующих фонемам, т.е. для записи речи, в том числе с целью ее сохранения на различных носителях, а также для озвучивания текстовой речи, т.е. для чтения. Изобретение алфавита и письменности создало возможность передачи больших объемов информации в пространстве и времени (между поколениями) и сыграло огромную роль в развитии человеческой цивилизации. Со времени крушения Вавилонской башни люди пользуются тысячами различных языков, однако большинство из них не имеют своих алфавитов и используют «импортные» алфавиты, чаще всего основанные на латинице, греческом алфавите или кириллице. Между тем эти алфавиты разрабатывались для вполне конкретных языков с вполне определенными наборами фонем и этот набор далеко не совпадает с тем, который реально используется в данном языке. Поэтому звуки, для которых в алфавите просто отсутствуют символы, приходится записывать сочетаниями символов, т.е. использовать транслитерацию, или отображать звуки символами, которые для этого не очень для этого подходят. С другой стороны в «импортном» алфавите могут быть символы для отображения звуков, которых нет в языке. Таким образом возникает проблема неадекватности (несоответствия) алфавита тому языку, для символической записи которого он реально на практике используется.

Практически каждый сталкивался с этой проблемой, когда пытался записывать русские слова (чаще всего фамилии) латинскими буквами или просто изучал английский язык.

Более того, даже с течением времени звучание любого языка меняется и возникает необходимость корректировки алфавита. В некоторых странах, например в России, периодически проводятся реформы алфавита. В других же, например в Англии, этого длительное время не делается, в результате чего приходится вводить транскрипции и использовать различные орфографические ухищрения для компенсации этой неадекватности. Изучение и постоянное использование правил озвучивания текста, записанного с помощью неадекватного алфавита, является дополнительной работой, на выполнение которой безусловно затрачиваются определенные ресурсы, которые могли бы с большей пользой использоваться для других целей. Особенно хорошо это «прочувствовали» разработчики системы распознавания и воспроизведения речи, которые преобразуют фонетическую речь в символьную форму и наоборот, «читают в слух» напечатанные тексты. Уж они то хорошо знают всю сложность этой проблемы, т.к. сами занимались автоматизацией этой дополнительной работы.

Для автоматизированного выделения самих фонем непосредственно из фонограмм языка, выявления минимального полного набора фонем, т.е. для синтеза фонемного конфигуратора языка, и на его основе определения набора символов, соответствующих фонемам, автор предлагает применить математические методы, прежде всего корреляционный и кластерный анализ, а также технологии искусственного интеллекта.

Скорее всего этот набор фонем окажется весьма близким к тому, который уже так всем известен. Однако, для пения, например, такой системой возможно будет сформирован другой алфавит, чем для обычной речи. Собственно подобный алфавит давно используется - это ноты. Однако ценность программных систем, поддерживающих функции синтеза фонемного конфигуратора, состоит не только в том, что они позволят уточнить набор фонем даже для уже хорошо изученных языков, но в том, что они обеспечат выявление этого набора для мало изученных языков у которых до сих пор вообще не было письменности.

Таким образом, по мнению автора, в действительности эта проблема гораздо шире. Мы видели, что чаще всего проблема неадекватности алфавита возникает тогда, когда «родного» для некоторого языка алфавита просто не создано и таких случаев очень много. Дело в том, что у многих вообще нет алфавита, а язык вроде бы как и есть, по крайней мере безусловно есть развитая система звуковой коммуникации, которую, возможно с некоторой натяжкой но все же можно назвать языком, иначе говоря может быть поставлена задача разработать алфавит для систем звуковой коммуникации, используемых не людьми, например животными, а также для текстового документирования звуков самой природы (типа шума ветра, дождя, прибоя или шелеста листвы). Поэтому в принципе может быть создан алфавит для китов дельфинов, кошек и собак, соловьев и воробьев и других существ, широко использующих звуковую коммуникацию. Возможно с использованием подобного алфавита можно будет научить дельфинов читать и писать (печатать) то, что обычно они «говорят» друг другу, а в перспективе, возможно, даже переписываться с использованием e-mail и вообще пользоваться Internet.

Представим себе несколько фантастическую на сегодняшний день ситуацию: что исследователи, работающие по программе SETI, наконец-то обнаружили некий сигнал, по-видимому искусственного происхождения. Но неожиданно оказалось, что этот сигнал шел к Земле не десятки тысяч лет через космическое пространство, а исходил от сверхслабого источника, находящегося в непосредственной близости от радиотелескопа. В точке, откуда исходил сигнал, никакими современными методами ничего особенного обнаружено не было. Сразу же было создано две группы ученых, одна из которых искала ответа на интригующий вопрос о природе источника сигнала, в то время как другая занялась его расшифровкой. Освещение результатов работы первой группы не входит в задачи данной статьи. Ученые второй группы попытались выявить в этом сигнале повторяющиеся (практически) фрагменты различной длины и оказалось, что из относительно коротких фрагментов таких повторяющихся было всего около 30, а более длинные повторяющиеся фрагменты состоят из этих более коротких, их гораздо больше и повторяются они относительно редко. Сразу же возникла гипотеза о том, что сигнал представляет собой запись речи на некотором, возможно незнакомом языке, и при этом короткие повторяющиеся фрагменты 1-го уровня иерархии соответствуют фонемам, а редко повторяющиеся фрагменты 2-го уровня иерархии аналогичны словам. Поэтому эти повторяющиеся фрагменты 1-го уровня иерархии были поставлены во взаимно-однозначное соответствие простым условным изображениям, которые были разработаны таким образом, чтобы между ними была минимальная корреляция. Таким образом по сути был предложен алфавит, как система символов, соответствующих фонемам, наиболее близкая к полной ортонормированной системе, т.е. к фонемному конфигуратору или базисному уровню иерархической лингвистической системы. Соответствующие программы, созданные разработчиками из 2-й группы, обеспечили преобразование в реальном времени и отображение на мониторе текстового эквивалента принимаемого сигнала. В результате сигнал неизвестного происхождения был записан в виде текста с помощью специально для этого разработанного алфавита. После этого его расшифровкой вплотную занялись лингвисты и специалисты по шифрам. Когда ученые 1-й группы узнали об успехах своих коллег из 2-й группы, то высказали предположение, что если приблизить ноутбук с приемной системой и этим программным обеспечением к точке, откуда исходил сигнал, то возможно это приведет к каким-то новым эффектам, которые могут пролить свет на решение их проблемы. И действительно, когда это было сделано, статистические характеристики принимаемого текста сразу существенным образом изменились. Когда стали сравнивать эти новые статистические закономерности (в частности вероятности) появления символов и их сочетаний по 2, 3 и более в этом тексте, то оказалась, что эти закономерности весьма близки к тем, которые наблюдаются в разговорном английском языке. Более того, это позволило сопоставить условные символы с определенными статистическими свойствами со общеизвестным символами английского алфавита с аналогичными свойствами. Как только это было сделано исследователи обоих групп, столпившиеся вокруг ноутбука, сразу же увидели на мониторе фразу: «Ну слава Богу, наконец-то догадались, А то я уже стал сомневаться, что дождусь этого…»

Создание алфавитов и письменности для языков, которые ранее ими не обладали, открывает новые возможности изучения их орфографии и грамматики лингвистами.

Однако в задачи данной статьи не входит более подробное рассмотрение вопросов синтеза фонемного конфигуратора. Вместе с тем выявлением минимального полного набора фонем проблема неадекватности алфавита не исчерпываемся. Дело в том, что до сих пор мы понимали адекватность алфавита некоторому языку в смысле соответствия набора символов набору фонем в этом языке, но пока ничего не сказали о визуальной форме самих этих символов (букв) и о том, на сколько эта визуальная форма подходит (т.е. адекватна) для:

1. Визуального восприятия символов, т.е. их распознавания, идентификации или различения друг от друга.

2. Воспроизведения символов на носителе вручную или с помощью технических средств, типа пишущих машинок и компьютеров с мониторами и принтерами.

Первый из этих аспектов адекватности алфавита и рассмотрим более подробно в данной статье.

Наверное все были в кабинете окулиста и пытались читать то левым, то правым глазом нижние строчки таблицы для проверки качества зрения. По-видимому, если бы сами символы не были так похожи друг на друга, то при всех прочих равных условиях мы смогли бы читать более мелкие строчки.

В статье [3] на примере цифр было показано, что различные элементы символов играют различную роль для их идентификации и одни элементы с этой точки зрения являются более ценными, чем другие. Вопрос о природе этих элементов заслуживает отдельного обстоятельного изучения. Здесь же отметим лишь, что в простейшем случае это, по-видимому, пиксели, возможно с их цветом, а более сложных случаях это могут быть более или менее сложные наиболее часто повторяющиеся в различных изображениях, так сказать «типовые системы пикселей», из различных сочетаний которых наиболее эффективно могут быть составлены изучаемые изображения.

В той же работе [3] была сформулирована и задача разработки такого набора символов алфавита, который был бы наиболее подходящим для восприятия, т.е. требовал бы для идентификации минимальной работы и, соответственно, минимального времени. По-видимому, этот набор символов лучше воспринимался бы и в усложненных, экстремальных ситуациях, например в условиях помех, шума, на большом расстоянии, при плохом освещении, при высокой ответственности и напряженности, при жестких ограничениях на длительность процесса восприятия и идентификации и т.п.

Но допустим, что алфавит уже разработан и возникает вопрос об оценке его эффективности. Вот тут бы и пригодились бы предлагаемые выше технологии. По-видимому, может быть проведена и инженерно-психологическая оценка различаемости символов, причем она наверное давала бы различные результаты в различных социальных и этнических группах. Но возможно и чисто математическое решение этой задачи, в частности с применением системно-когнитивного анализа, системной теории информации и реализующей их системы «Эйдос». Рассмотрим упрощенно этот подход.

В системе «Эйдос» есть режим _158 «Системно-когнитивный анализ стандартных графических шрифтов» (рисунок 1):

алфавит когнитивный шрифт

Рисунок 1. Экранная форма системы «Эйлос» с меню вызова режима: _158 «Системно-когнитивный анализ стандартных графических шрифтов»

Ниже приведена структура меню режима _158.

1. Режим анализа символов и формализации предметной области.

1. Посмотрите и выберите графический шрифт, задав его номер.

2. Задайте набор анализируемых символов:

1. Заданный диапазон символов

2. Только цифры

3. Только заглавные латинские буквы

4. Только заглавные русские буквы

3. Записать символы в виде отдельных PCX-файлов

4. Подготовить БД формализации ПО для базовой системы "Эйдос"

2. В системе "ЭЙДОС"

1. Выполнить переиндексацию всех БД (_72)

2. Выполнить синтез и верификацию модели (_25)

3. Сравнить изображения символов и построить матрицу сходства (_5124)

3. Построить и записать изображения символов с отображением информативности пикселей с помощью цветового зонирования, подготовить матрицы Excel.

4. Построить семантическую сеть сходства символов (предварительно выполнив режим _5124).

Система «Эйдос» содержит 35 встроенных растровых графических шрифтов, любой из которых можно исследовать (загрузка в режим внешних изображений со сканера, цифровых фотокамер и полученных другим путем в настоящее время не реализован, хотя для этого нет никаких принципиальных ограничений). Для этого в подрежиме 1.1 режима _158 предварительно нужно просмотреть все эти шрифты и выбрать один из них для исследования. Затем в подрежиме 1.2 необходимо задать один из 4-х вариантов набора анализируемых символов.

В 1-м примере, который мы рассмотрим в данной статье, зададим исследование различимости цифр от 0 до 9, т.к. это можно рассматривать как продолжение исследования, начатого в работе [3]. При этом графические изображения цифр выбранного шрифта записываются в форме графических файлов, а затем эти файлы «обрезаются» (выполняется операция: trimming) анализируются и в результате формируются все базы данных формализации предметной области для базовой системы "Эйдос": классификационные и описательные шкалы и градации, а также обучающая выборка.

После этого в системе "ЭЙДОС" выполняется переиндексацию всех БД (_72), синтез и верификация модели (_25), сравнение изображений символов и построение матрицы сходства (_5124). В таблицах 1, 2 и 3 приведены фрагменты матрицы абсолютных частот, матрицы знаний и матрицы сходства классов (т.е. изображения цифр), полученные в результате работы этих режимов.

Таблица 1. Матрица абсолютных частот

Таблица 2. Матрица знаний