Формально-семантическая структура текстов сертификатов

В 1944 году Луи Ельмслев, возглавивший журнал «Acta Linguistica» после кончины В. Брёндаля, заново определял область структурной лингвистики, указывая: «Под структурной лингвистикой мы подразумеваем комплекс исследований, опирающихся на гипотезу, согласно которой научно правомерным является описание языка как в своей сущностиавтономного единства внутренних зависимостей, или, выражая это в одном слове, как некоторой структуры [40]. Последовательный анализ этой сущности позволяет выделять такие части, которые взаимно обусловливают друг друга и каждая из которых зависит от некоторых других и без этих других не была бы доступна ни восприятию, ни определению. Структурная лингвистика, таким образом, сводит свой объект к некоторой сетке зависимостей, рассматривая языковые факты как существующие в силу их отношений друг к другу».

Так появились в лингвистике слова «структура» и «структурный» в качестве специальных терминов.

Ныне же развитие лингвистических исследований [33] привело к столь по-разному толкуемым разновидностям «структурализма», что один из сторонников этой доктрины прямо заявляет, что «под обманчивым общим названием «структурализм» объединяются школы, весьма различные по своему духу и тенденциям... Широкое употребление некоторых терминов, таких, как «фонема» и даже «структура», часто способствует лишь маскировке глубоких расхождений».

Одно из этих различий, и, без сомнения, самое показательное, можно констатировать между пониманием термина «структура» в американской лингвистике и определениями этого термина, приведенными здесь.

Мы ограничились здесь рассмотрением того, как употребляется термин «структура» в европейской лингвистической литературе на французском языке, и, подводя итог, наметим минимум признаков, необходимых для определения этого понятия. Основной принцип - это то, что язык представляет собой систему, все части которой связаны отношением общности и взаимной зависимости. Эта система организует свои единицы, то есть отдельные знаки, взаимно дифференцирующиеся и отграничивающиеся друг от друга. Структурная лингвистика ставит своей задачей, исходя из примата системы по отношению к ее элементам, выявлять структуру этой системы через отношения между элементами как в речевой цепи, так и в парадигмах форм; она демонстрирует органический характер испытываемых языком изменений.

1.4 Структура текста как объект исследования

В процессе изучения структуры текста сменилось несколько научных парадигм, прошедших путь от системно-структурного подхода к коммуникативно-деятельностному:

1) русский формализм 20-30-х гг., изучавший структуру текста, в отличие от структурализма, изучавшего "внетекстовое единство культуры, эпохи" (Ю.М. Лотман). Представители формализма: Б.М. Эйхенбаум, Б.В. Томашевский, В.М. Жирмунский, Ю.Н. Тынянов, В. Шкловский, Р.О. Якобсон и др.;

2) Г.О. Винокур изучал художественные тексты "методом критики структуры";

3) В.В.Виноградов выделил символику и композицию в качестве разделов стилистики. Он предлагал изучать композиционные типы речи, структурные отличия, семантический и стилистический строй художественных произведений;

4) в 40-50-е годы изучается эстетика слова, статус языка художественной литературы, рассматривается словесная и образная организация текста (М.Б. Борисова, П.Г. Пустовойт, Д.Н. Шмелев, А.И. Федоров и др.);

5) в 60-е годы в связи с развитием функциональной стилистики возникает интерес к комплексному анализу структуры художественного текста в связи с разработкой проблемы художественно-образно речевой конкретизации;

6) в 70-80-е гг. активизируются исследования по структуре текста в связи с зарождением стилистики текста (В.В. Одинцов) и лингвистики текста (О.А. Москальская, И.Р. Гальперин, З.Я. Тураева);

7) в литературоведении 70-х годов структурную организацию текста изучает Ю.М. Лотман, разработавший принципы структурного анализа поэзии;

8) в 80-е годы усиливается внимание к смысловой организации текста (Н.А. Купина, А.И. Новиков, И.Я. Чернухина и др.), к функционированию лексических средств и классов слов, текстовых парадигм (В.П. Григорьев, В.В. Степанова, Р.Г. Смулаковская, Н.Е. Сулименко, В.Д. Черняк и др.);

9) в 90-е годы разрабатывается коммуникативно-деятельностный подход к тексту и его структуре (Н.Д. Арутюнова, В.З. Демьянков, Г.Я. Солганик, Е.В. Сидоров, О.Л. Каменская). Структура текста исследуется как стимул для вторичной коммуникативной деятельности адресата, учитываются экстралингвистические факторы в анализе структуры текстов. Полинаправленные модели текстов в этот период исследуются Т.В. Жеребило. Проблема гармонической организации текста разрабатывается целым рядом ученых, но наиболее интенсивные исследования в этом направлении проводились К.Э. Штайн и ее школой;

10) на рубеже веков структура текста изучается в аспекте интеграции смежных областей знания: антропоцентрического, социолингвистического, когнитивного, психолингвистического, лингвокультурологического направлений, исследующих языковую личность и социум, проявляющие себя в текстовой деятельности;

11) структура текста изучается во взаимосвязи с семантикой и прагматикой, что характерно для коммуникативной стилистики текста;

12) наиболее ярким и последовательным представителем коммуникативной стилистики текста является Н.С. Болотнова.

1.5 Формально-семантический анализ как компонент комплексного подхода к автоматизированной обработке текстов

В интересах оптимизации систем автоматизированного анализа текстов, потребность в которой вызвана ростом объемов информации, подлежащей обработке, может представляться необходимой реализация комплексного подхода к исследованию целевых текстов. Указанный подход должен актуализировать как количественный, так и качественный анализ тех или иных параметров текстов; на наш взгляд, реализация качественного анализа может быть осуществлена посредством использования формально-семантического метода. Необходимо, однако, заметить, что, несмотря на активное употребление термина «формально-семантический анализ» в современных исследованиях, не существует сколь-либо четкого определения настоящего термина. В докладе И.В. Азаровой и Е.А. Овчинниковой «Пропозициональное и формально-семантическое описание фактов при обработке текстов на русском языке» отмечено, что «можно говорить о процедуре семантического анализа, состоящей из нескольких этапов.

На каждом этапе создается определенное семантическое описание анализируемых единиц, которое подвергается дальнейшей обработке на следующем этапе» [1: 1]; в соответствии с данными представлениями исследователи предлагают различать 2 базовых этапа семантического анализа - а) выделение пропозиций, которые ставятся в соответствие фразам в пределах анализируемого текста и б) получение формально-семантического описания фактов на основании получаемых пропозициональных структур; описанные этапы определяются докладчиками как пропозициональный и формально-семантический компоненты автоматического анализа текста.

Авторы поясняют, что «пропозициональная структура, формализованная в виде структуры признаков, может быть описана на языке формальной семантики, то есть, в виде формулы» [1: 2]. Иными словами, в цитируемом исследовании предлагается понимать под формально-семантическим анализом описание семантики языковых знаков посредством формул, соответствующих определенному стандарту описания.

Близким к формально-семантическому анализу представляется концепция формально-концептуального анализа (Formal Concept Analysis), описанная в работе «Deriving Concept Hierarchies from Text by Smooth Formal Concept Analysis» коллектива авторов университета Карлсруэ, Германия [5]. Базовым понятием концепции, выстраиваемой авторами, является т.н. «ontology», определяемое как «формальное описание процесса концептуализации» («an ontology is a formal specification of a conceptualization», [5: 1]), частью которой являются идентификаторы концептов, словарный запас языка и т.д.; говоря о лексической реализации концептов, авторы отмечают, что концепт может быть выражен посредством различных высказываний (синонимов), либо одно высказывание может соответствовать различным концептам (что, по мнению исследователей, соответствует полисемии).

Определяя формально-концептуальный анализ, авторы комментируют, что главным образом он применяется для извлечения и обработки эксплицитной информации, которая впоследствии структурируется в т.н. формальные абстракции концептов (formal abstractions of concepts). Исследователи указывают, что центральным понятием формально-концептуального анализа является формальный контекст, определяемый как триада (G,M,I), где G - множество объектов, M - множество атрибутов, I - двоичное отношение между данными множествами, называемое сочетаемостью (incidence) контекста. Приведенная дефиниция позволяет авторам определить понятие формального концепта как диаду (А,В), где AG, B?M, . Иными словами, (А,В) является формальным концептом тогда и только тогда, когда множество атрибутов объектов из А равно множеству В, и, в свою очередь, А является множеством всех объектов, объединенных множеством атрибутов из В. Соответственно, А предлагается определять как внешний аспект концепта, В - как внутренний. Концепты в пределах контекста ранжируются авторами на основании «субконцептуальных и сверхконцептуальных отношений».

По мнению исследователей, основным вопросом, возникающим при попытке применения изложенных выше представлений к тексту, является вопрос о том, что именно надлежит полагать объектами и атрибутами. Наиболее очевидной авторам представляется мысль об извлечении из текста взаимосвязей глаголов и их дополнений; дополнения могут быть ассоциированы с множеством объектов, в то время как соответствующие им отглагольные прилагательные - с множеством атрибутов (к примеру, to rent an apartment - слово apartment будет отнесено к объектам, и ему будет соответствовать атрибут rentable).

Авторы отмечают, что существуют работы, в которых ontology рассматривается в качестве семиотической знаковой системы, вследствие чего возможно сопоставление нескольких ontology на синтаксическом и семантическом уровне, выявление и сопоставление иерархии их концептов. Семантическое сопоставление, в частности, требует от авторов введения понятия semantic cotopy, понимаемого как множество всех субконцептов и суперконцептов и описываемого формулой

где и принадлежат множеству концептов С.

Реализация описанных представлений позволяет исследователям произвести формальную кластеризацию слов в тексте по признаку их контекстуальной сочетаемости, выстраивая таким образом искомую ими иерархию концептов.

Понятие иерархии становится ключевым также в иных подобных исследованиях, в частности - в работе «A Formal Text Representation Model Based on Lexical Chaining» [6] группы ученых университета Билефельда, Германия. Авторы рассматривают вопросы, связанные с разработкой формальной модели представления текста, привлекая два различных подхода - изучение лексических последовательностей (lexical chaining) и квантитативный структурный анализ. Формальная модель лексических последовательностей выстраивается в настоящем исследовании на основании т.н. логической структуры документа и иерархии элементов содержимого (hierarchy of content objects).

Надлежит констатировать, что в работе А.Н. Баранова «Введение в прикладную лингвистику» [2] представлен корректный комментарий, описывающий современные системы машинного понимания текстов: «Понимание высказываний (системой автоматизированного анализа. - Н.Г.) предполагает два основных этапа - анализ и интерпретация... Особенности построения систем поддержки диалога с ЭВМ таковы, что часто граница между синтаксическим и семантическим анализом почти отсутствует». Действительно, описанные выше исследования немецких авторов позволяют сделать вывод о том, что современные исследования в области формализации семантики нередко фактически сводятся к дистрибутивному анализу, т.е. к выявлению характера сочетаемости слова и определению физических контекстов, в которых оно может употребляться; не отрицая ценности данного подхода, необходимо отметить, что исследование физического контекста не может рассматриваться как полноценное средство выявления и описания семантики языкового знака.

Замечания о соотношении синтаксического и семантического анализа представлены, в частности, в статье М. Селфридж «Интегральная обработка обеспечивает надежное понимание» [3]. Автор поясняет, что построение надежного интерфейса на естественном языке между машиной и пользователем требует определения двух разновидностей отношений: между синтаксисом и семантикой, а также между пониманием языка и обработкой памяти. Не касаясь второго отношения как внутримашинного, обратимся к вопросу о синтаксисе и семантике в понимании исследователя.

Резюмируя умозаключения Р. Шенка и Л. Бирнбаума, М. Селфридж формулирует следующие основные вопросы: 1) обрабатывается ли синтаксическая структура раньше семантической, или их анализ производится единовременно и 2) разделены ли процессы обработки синтаксиса и семантики, или их обработка составляет единый процесс. Существуют 2 различные точки зрения на эти вопросы, условно называемые «сепаратистской» («разъединительной») и «интегральной». Согласно первой позиции, «синтаксический анализ высказывания осуществляется до любого вида семантического анализа, а на его выходе мы получаем синтаксическое описание высказывания. Это описание затем подается на вход семантического анализа; в свою очередь, интегральная концепция гласит, что данные типы анализа надлежит проводить синхронно. Ответ же на второй поставленный вопрос с точки зрения «разъединительной» концепции подразумевает отличие механизма, строящего синтаксическое описание, от механизма, конструирующего семантическое описание (т.е., комментирует автор, эти механизмы работают по различным алгоритмам); в свою очередь, интегральные представления предполагают использование единого механизма, выполняющего как семантический, так и синтаксический анализ. Р. Шенк и Л. Бирнбаум придерживаются второй концепции, формулируя т.н. гипотезу об интегральной обработке. По мнению М. Селфридж, указанная гипотеза не утверждает тождественности синтаксического и семантического знания, так что при разработке авторской концепции понимающей машины исследователь считает необходимым обрабатывать синтаксис и семантику единовременно и посредством единого механизма, но при этом разграничивать их не на основании процессов обработки, но на основании знаний - иными словами, поясняет автор, «различие между синтаксисом и семантикой кроется в специфике знания, представляемого в соответствующих структурах, а не в порядке их применения и не в процессах обработки» [3].

В ряде работ сам по себе термин «формально-семантический анализ» не употребляется, однако представляется вполне очевидным, что соответствующая проблематика находится в фокусе внимания их авторов. В диссертационном исследовании А.М. Шахмайкина «Некоторые принципы формализации семантики естественных языков (для целей семантической типологии)» отмечается, что формализация не может быть сведена исключительно к использованию логико-математических методов, но также и предполагает однозначное и последовательное использование при анализе всего категориального аппарата семантики - т.е. процедура формализованного анализа состоит, по мнению ученого, «из установления инвентаря семантических признаков и отношений между ними» [4].

Семантическая структура языкового знака представляется автором в виде формулы

? =

где

? - языковой знак,

D - денотат, т.е. класс обозначаемых знаком явлений,

Dm - денотативное значение (совокупность признаков денотата),

S - сигнификат, образ, посредством которого кодифицируется денотат,

Sm - сигнификативное значение, т.е. совокупность сигнификативных признаков знака.

Многие исследователи утверждают, что единообразное и эксплицитное описание семантической подсистемы естественных языков может быть обеспечено исключительно посредством формального языка-посредника, в силу чего насущно необходимой может представляться разработка семантического метаязыка, позволяющего формально описывать семантику языковых знаков; результатом подобного описания будет являться совокупность формул, образующих некоторую систему. По мнению ученого, подобный метаязык надлежит строить отдельно для каждой семантической подсистемы - категорий времени, пространства и модальности. Структура семантического метаязыка принимает вид необходимых и достаточных для описания той или иной конкретной подсистемы элементарных неопределяемых и далее неделимых семантических единиц (множителей) и отношений между ними» [4].

Подводя итоги можно отметить основные элементы. Представляется вполне очевидным, что дефиниция должна содержать указание на процесс формализации. Кроме того, дефиниция подразумевает, что выполняется анализ семантики, т.е. некоторой совокупности значений, приписываемой языковому знаку, а также (возможно) структуры указанных значений. Идеалом данного анализа, безусловно, будет являться полное отделение семантики знака от его синтактики и прагматики, что не всегда достижимо, но может рассматриваться как конечная цель.

Рассматриваемый анализ может производиться как автоматически, так и при участии человека. В данном случае возможны некоторые процессуальные различия: человек может выполнять первичный формально-семантический анализ в интересах создания формальной модели семантики, перемещаясь в направлении от семантики к средствам ее выявления, в то время как автомат вероятнее всего будет использовать данную модель и выполнять обратную работу, двигаясь от средств выявления семантики к ней самой.

Исходя из предыдущей составляющей, необходимо прокомментировать понятие средств выявления семантики. Представляется вероятным, что в фокусе внимания как человеческого исследователя, так и автоматизированного анализатора будут находиться некоторые внешние, эксплицитные параметры языковых знаков или, шире, текстов.

Таким образом, можно сделать вывод о том, что формально-семантический анализ представляет собой процедуру выявления и интерпретации эксплицитно выраженных характеристик языковых знаков, которые позволяют составить представление о сущности и структуре их семантики, и описания полученных данных посредством формул, пригодных для использования в построении математических моделей процессов понимания значений языковых знаков как в пределах физического и идеального контекста, так и вне его.

1.6 Формализация смысловой структуры текстов

В системах семантической обработки текстовой информации основной задачей является формализация представления смысловой структуры текстов - выделения в них смысловых единиц и установления связей между ними. Центральной процедурой при решении этой задачи является процедура семантико-синтаксического концептуального (понятийного) анализа текстов.

Важнейшим средством автоматической смысловой обработки текстовой информации являются мощные словари наименований понятий, представленные преимущественно фразеологическими словосочетаниями. При анализе текстов необходимо также учитывать, что в них одни и те же объекты и процессы могут описываться с различной степенью общности и c помощью различных языковых средств. Поэтому при решении задач автоматической смысловой обработки текстовой информации необходимо учитывать такие явления как синонимия, гипонимия (родо-видовые отношения), разнообразие средств выражения межфразовых связей.

Основной структурной единицей текста традиционно считается предложение. Некоторые лингвисты склонны даже рассматривать его в качестве основной единицы смысла.

Предложения выступают в тексте не изолированно друг от друга, а в тесной смысловой связи. В основе этой связи лежат мыслительные образы тех конкретных или абстрактных объектов (ситуаций, явлений), которые человек имеет в виду, когда он порождает текст. Образы этих объектов имеют определенную структуру. Кроме того, они дополнительно структурируются человеком при их описании на естественном языке. Соответственно этому структурируется и текст. Труды 15-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -- RCDL-2013, Ярославль, Россия, 14-17 октября 2013 г. При прочтении текста у читателя, как и у автора текста, возникнет определенный мыслительный образ. Мыслительные образы автора текста и его читателя обычно не тождественны, но в основе своей они должны быть сходными. Целью передачи информации с помощью текста является не столько исчерпывающее описание мыслительных образов его автора, сколько инициация процесса порождения соответствующих мыслительных образов у читателей. Письменный текст, как и звуковая речь, развертывается последовательно во времени, т.е. имеет линейную структуру, тогда как мыслительные образы “многомерны”. При их словесном описании может быть принят различный порядок линейной развертки, но цель описания должна быть в основном одна и та же - воссоздание в сознании читателей мыслительных образов, подобных мыслительным образам автора текста. Такое воссоздание осуществляется постепенно, путем восприятия предложения за предложением и “монтажа” возникающих при этом частичных образов в целостный мыслительный образ, соответствующий содержанию текста. При этом в каждом предложении элемент его актуального членения “тема” выполняет роль “стыковочного узла”, служащего для подключения нового частичного мыслительного образа, обозначаемого этим предложением, к ранее построенному мыслительному образу. Описанная модель восприятия текста позволяет объяснить тот факт, что связи между предложениями выражаются в большинстве случаев с помощью лексических повторов: в “стыковочных узлах” предложений повторяются наименования понятий предшествующего текста либо буквально, либо в виде синонимических и эллиптических конструкций, либо в виде родовых наименований понятий и местоимений. Для связи с предыдущим текстом применяются также средства, основанные на указании координат его фрагментов (слов и выражений типа “на основании вышеизложенного”, “рассмотренный нами ранее”, “описанный в главе…”, “в приведенном выражении” и т.п.

Исходя из вышесказанного, при решении задачи формализации смыслового содержания текстов необходимо методами семантико-синтаксического и концептуального анализа обработать текст, разделить его на предложения, выделить из него единицы смысла (наименования понятий) - слова и словосочетания, выражающие понятия. Ниже рассмотрим базовый набор процедур семантико-синтаксического и концептуального анализа, а также декларативные средства, обеспечивающие их функционирование, методы, входные и выходные данные.

1.7 Правила заполнения бланка сертификата соответствия

Для того, чтобы подтвердить соответствие продукции или доказать что услуги соответствуют всем необходимым и установленным требованиям на территории Российской Федерации был введен сертификат соответствия на продукцию. Сертификат соответствия - документ, удостоверяющий соответствие объекта требованиям технических регламентов, положениям стандартов, сводов правил или условиям договоров.

Выдается он согласно схеме сертификации, которая и диктует некоторые правила сертификации.

Как выглядит бланк сертификата соответствия продукции можно увидеть на рисунке (Приложение 1). При заполнении данного документа стоит жестко придерживаться установленных для этого требований по заполнению бланков сертификатов соответствия, которые разработаны Госстандартом РФ. Рассмотрим их более подробно.

1. Первым шагом, будущему сертификату выдается регистрационный номер (первый пункт на рисунке). Регистрационный номер сертификата в общем виде выглядит так РОСС АА. ББББ. ВГГГГГ и содержит в себе:

· РОСС - указывает на то, что данная продукция или товар прошли сертификацию в России;

· АА. - указывает на страну, в которой был произведен продукт. Все обозначения стран занесены в общероссийский буквенный классификатор, например RU-Россия, UA-Украина, IT-Италия и тд.;

· ББББ. - здесь содержится информация об органе, который выдал настоящий сертификат соответствия. Сокращенный вариант названия органа состоит из пары букв на первом месте и следом за ними пары цифр, например МН03;

§ В - обозначает код типа предмета сертификации, распишем что означает каждая буква:

А - продукция прошла сертификацию согласно обязательным требованиям, относится к единичному изделию или партии.

В - продукция прошла сертификацию согласно обязательным требованиям, относится к серийному производству.

С - продукция прошла сертификацию согласно нормативным документам, относится к единичному изделию или партии.

Н - продукция прошла сертификацию согласно нормативным документам, относится к серийному производству.

Е - относится к транспортному средству, которое получает ОТТС.

· ГГГГГ - порядковый номер сертификата соответствия внутри органа по сертификации, который выдает данный документ.

2. «Срок действия» сертификата соответствия указывает на дату начала действия данного сертификата (она указывается обязательно) и на дату окончания действия сертификата. Максимальный срок действия равен трем годам, все зависит опять же от схемы сертификации. Если в поле окончания срока действия документа стоит прочерк, то это означает, что сертификат выдан только на партию некой продукции и срок его действия равен сроку годности этой продукции.

3. В графе «Орган по сертификации» указываются регистрационный номер и полное название органа, выдавшего данный сертификат соответствия. Так же данное поле содержит контактный данные, такие как телефон и адрес органа.

4. Собственно поле «Продукция» содержит в себе информацию о предмете сертификации, это полное название, номер контракта, инвойса, объем партии или указание на серийный выпуск.

5. Пункт «Соответствует требованиям нормативных документов» содержит в себе информацию, на соответствие каким именно требованиям подверглась продукция при испытаниях.

6. Пункт «Изготовитель» повествует о полном названии производителя сертифицируемой продукции, а так же содержит его юридический почтовый адрес.

7. «Сертификат выдан» - указывается информация о фирме, которой выдается настоящий сертификат, это может быть, как и фирма-изготовитель, так и любая другая. Содержит название, юр. адрес и ИНН(для России), по возможности контактный телефон.

8. Пункт «На основании» содержит перечень документов, наличие которых дало основание органу выписать настоящий СС. К таким документам относятся различные протоколы испытаний, декларации о соответствии и другие сертификаты (ИСО, TUV).

9. Строка «Дополнительная информация» может содержать любую полезную информацию, наиболее часто тут указывается схема сертификации.

10. Поле «Код ОКП» содержит 6 цифр, классифицирующих продукцию согласно общероссийскому классификатору продукции, которое обязательно к заполнению всегда. На его основе устанавливаются нормативные документы для выдачи сертификата.

11. Поле «Код ТН ВЭД». Если товар не пересекает границу, то заполнение данного пункта не обязательно. Это десятизначный номер товара согласно товарной номенклатуре внешнеэкономической деятельности.

Бланки сертификатов соответствия и бланки приложений к сертификатам соответствия являются документами строгой отчетности. Бланки заполняются исключительно с использованием электронных печатающих устройств. Дополнительные записи в реквизитах бланка, не предусмотренные единой формой сертификата соответствия, а также сокращение слов, любые исправления текста не допускаются.



2. Анализ структуры текстовых сертификатов

2.1 Семантический анализ текста

Данный вид анализа ориентирован на построение формализованной структуры текста.

Данный вид анализа включает в себя графематический, морфологический, семантико-синтаксический, концетуальный анализы текста. На Рис. 2.1 приведена общая схема системы семантического анализа текстов.

Рис. 2.1 Общая схема системы семантического анализа текстов

Графематический анализ текста

Графематический анализ предназначен для предварительного анализа текста по представляющей его последовательности символов. Методы и алгоритмы, реализующие этот анализ описаны в ряде работ. В результате этого анализа определяется язык текста, устанавливаются местоположения слов, предложений, абзацев, фамильно-именной группы, дат и цифровых элементов (Приложение 1).

Исходными данными является последовательность символов исходного текста.

Выходными данными является информация о местоположении слов, разделителей, дат, установленных фамильно-именных групп, электронных адресов, предложений, заголовков и примечаний.

Таблица 2.1

Графематический анализ текста

Показатель	Наблюдения
Язык текста	В данной работе рассматриваются тексты сертификатов на русском языке. Встречается, что текст перевода на язык изготовителя помещают на обратную сторону сертификата.
Местоположения предложений и абзацев	Основные пункты сертификата (ОРГАН ПО СЕРТИФИКАЦИИ, ПРОДУКЦИЯ, ИЗГОТОВИТЕЛЬ и т.д.) начинаются с нового абзаца, вверху бланка сертификата обозначается разработчик стандарта и название типа сертификата.
Местоположения фамильно-именной группы	Как подтверждение подлинности сертификата соответствия выступают подписи Руководителя органа и Эксперта.
Местоположения дат	Срок действия сертификата располагается сразу под номером (2).
Местоположения цифровых элементов	Присутствует три обязательных элемента: номер сертификата, код ОК КОД и код ТН ВЭД России.

Морфологический анализ слов текста

Морфологический анализ слов естественных языков предназначен для определения структуры слов и назначения им грамматических признаков, необходимых для выполнения последующих процедур автоматической обработки текстовой информации (например, морфологического синтеза слов, синтаксического анализа и синтеза текстов и их концептуального анализа). Методы и алгоритмы, реализующие этот анализ описаны в работах. В результате этого анализа определяется структура слова и набор грамматической информации, определяющей это слово вне контекста.

Исходными данными является буквенный код отдельного слова.

Выходными данными является информация о структуре слова и набор грамматической информации, определяющей это слово вне контекста.

Определим наиболее важные для контекста слова: сертификат, нормативный, соответствует, основание.

Таблица 2.2

Морфологический анализ

Слово	Часть речи	Грамматический аспект	Формы
Сертификат	Существитель- Ное	Ед. ч., Им. П., муж.р., неодушевленное	Сертификата, сертификату, сертификате, сертификатов.
Нормативный	Прилагательное	Ед. ч., Им. П., муж.р., неодушевленное	Нормативного, нормативных, нормативна, нормативно.
Соответствует (начальная форма: соответствовать)	Глагол в личной форме	3 лицо, действительный залог, ед. ч., непереходный, несовершенный вид, настоящее время.	Соответствуем, соответствующего, соответствуете, соответствуй.
Основание	Существитель-ное	Ед.ч., Им.п., неодушевленное, Ср.р.	Основанье, основанию, основанием, основании

Семантико-синтаксический анализ предложений текста

Семантико-синтаксический анализ текстов проводится с целью формализованного представления их структуры - выделения в них смысловых единиц и установления связей между ними. При этом структура текстов может интерпретироваться по-разному и описываться на различных формализованных языках. При описании синтаксической структуры текстов удобно опереться на какую-либо ее формализованную модель, например, на модель дерева зависимостей.

Согласно этой модели каждое предложение представляется в виде дерева, в узлах которого находятся слова. Слова соединяются друг с другом стрелками, выражающими отношения непосредственной доминации, и направленными от подчиняющего (определяемого) слова к подчиненному (определяющему). Степень дифференциации этих отношений может быть разная. Причем, чем больше степень дифференциации, тем сложнее процесс описания текстов. Методы и алгоритмы, реализующие этот анализ описаны в работах. В результате этого анализа определяется синтаксическая структура предложения: производится членение на простые предложения, определяются главные и второстепенные члены предложения и устанавливаются смысловые связи между ними, строится дерево зависимости предложения и для каждого слова определяется однозначная грамматическая информация, соответствующая контексту.

Исходными данными являются слова, предложения и результаты их обработки процедурой морфологического анализа.

Выходными данными является структура семантико-синтаксической структуре предложения.

Рис. 2.2 Структура семантико-синтаксических связей

Концептуальный анализ текстов

Концептуальный анализ текстов предназначен для определения смысловой структуры текстов, выявления их понятийного (концептуального) состава текстов и установления связей между наименованиями понятий. Эту задачу невозможно решить только путем анализа синтаксической структуры текстов без привлечения семантических признаков. Сложность этой задачи связана, прежде всего, с вариативностью форм представления наименований понятий в текстах. В результате этого анализа в тексте выявляются наименования понятий, устанавливается концептуальная структура текста и строится таблица связей между наименования понятий.

Исходными данными является информация о семантико-синтаксической структуре предложения.

Выходными данными является таблица связей между наименованиями понятий.

Сертификат соответствия документ, удостоверяющий соответствие объекта (продукции) требованиям технических регламентов, положениям стандартов, сводов правил или условиям договоров (соответствует требованиям технических регламентов), выданный (сертификат выдан) заказчику (изготовитель) обратившемуся в орган по сертификации для прохождения испытаний (на основании).

Продукция результат производственной, хозяйственной деятельности производства отдельного предприятия (изготовитель, сертификат выдан).

Формализованное представление смысловой структуры текстов

Таблица связей наименований понятий представляет собой схематичное представление смысловой структуры текста. Его визуальное представление можно сформировать в виде семантической карты текста, представляющего собой ориентированный граф, в узлах которого находятся объекты, события или темы документов (рис. 2.3).

Рис. 2.3 Формализованное представление смысловой структуры текстов

Таким образом, есть более прочные прямые связи это: сертификат соответствия - орган по сертификации, сертификат соответствия - изготовитель, изготовитель - продукция. Сертификат соответствия выдается изготовителю органом по сертификации, изготовитель производит продукцию. Сертификат выдан так как продукция соответствует требованиям нормативных документов, выводы сделаны на основании проведенных испытаний. Представителями органа по сертификации являются руководитель органа и эксперт. Каждый сертификат выдается сроком на три года.

2.2 Контент-анализ текстов сертификатов

Контент-анализ - это техника сбора информации, производимого на основе систематического выявления соответствующих целям и задачам исследования характеристик текстов (понятий, глаголов, словосочетаний). Контент-анализ предполагает использование определенных стандартизированных процедур, обеспечивающих формализацию и изменение исследуемых признаков, что позволяет делать профессиональные заключения о характере и особенностях изучаемого объекта.

Контент-анализ может быть содержательным или структурным. Содержательный анализ сосредотачивает внимание исследователя на содержании сообщения, тогда как структурный - на количестве и особенностях упоминания контрольного термина или имени в тексте сообщения. Данный вид анализа начинается с логической, лингвистической и другой формализации изучаемого текста.

Тем самым, контент-анализ является методом качественно-количественного изучения текста, содержащим процедуры формализации исследуемого материала. Над выделенными смысловыми единицами производятся соответствующие математические операции.

Выделяют этапов контент-анализа.

Первый этап включает в себя определение совокупности изучаемых источников или сообщений с помощью набора заданных критериев, которым должно отвечать каждое сообщение:

· Заданный тип источника - интернет, базы данных;

· Один тип сообщения - бланки сертификатов соответствия;

· Заданные стороны, участвующие в процессе коммуникации - орган по сертификации, изготовитель, эксперт;

· Сопоставимый размер сообщений - минимальный объем 45 единиц;

Второй этап заключается в формировании выборочной совокупности сообщений.

Я для своей работы выбрала 50 бланков сертификата соответствия, на различную продукцию, от газировки до очистителя.

Третий этап это выявление единиц анализа. Ими могут быть слова или темы. Правильный выбор единиц анализа - важная составляющая всей работы. Простейшим элементом сообщения является слово. Существуют достаточно чёткие требования к выбору возможной единицы анализа:

· Она должна быть достаточно большой, чтобы выражать значение и достаточно малой, чтобы не выражать много значений;

· Она должна легко идентифицироваться;

· Число единиц должно быть настолько велико, чтобы мз них можно было сделать выборку;

В данном случае будет реализован анализ в двух направлениях: ключевые слова и части речи.

В данных бланках ключевое слово - сертификат.

Наиболее часто встречающаяся часть речи - существительное.

На четвертом этапе происходит выделение единиц счёта, которые могут совпадать со смысловыми единицами и носить специфический характер. В данном случае - сертификат и сертификация.

И на пятом этапе производится непосредственно процедура подсчёта. Она в общем виде сходна со стандартными приемами классификации по выделенным группировкам. Применяется составление специальных таблиц применение компьютерных программ, специальных формул, статистических расчётов.

1. Произведем расчет относительно встречающихся в текстах частей речи. Делаем анализ относительно постоянных позиций.

Таблица 2.3

Частота упоминания частей речи в текстах

№	Часть речи	Частота упоминания абсолютная, раз	Частота упоминания относительная, %
1	Существительное	24	64
2	Прилагательное	6	16
3	Местоимение	0	0
4	Числительное	0	0
5	Глагол	1	3
6	Наречие	0	0
7	Предлог	5	14
8	Союз	1	3
9	Частица	0	0
10	Междометие	0	0

2. Произведем такие же подсчёты относительно ключевых слов. Сертификат - ключевое слово данных текстов. Абсолютная частота упоминания составляет 6 раз. Относительная частота упоминания - 16 %.

Шестой этап. Интерпретация полученных результатов в соответствии с целями и задачами конкретного исследования. На данном этапе выявляются и оцениваются характеристики текстового материала, которые позволяют делать заключения о том, что является самым важным в тексте. Основа контент-анализа - это подсчёт встречаемости некоторых компонентов в анализируемом информационном массиве, дополняемый выявлением статистических взаимосвязей и анализом структурных связей между ними. Для наглядности представлю результат в виде функции распределения.

Функция распределения характеризует плотность вероятности распределения частиц статистической системы по фазовому пространству.

Для количественной характеристики распределения вероятностей удобно воспользоваться не вероятностью события , а вероятностью события , где - некоторая текущая переменная. Вероятность этого события, очевидно, зависит от , есть некоторая функция от . Эта функция называется функцией распределения случайной величины и обозначается :

Функцию распределения иногда называют также интегральной функцией

Зная ряд распределения прерывной случайной величины, можно легко построить функцию распределения этой величины.

где неравенство под знаком суммы указывает, что суммирование распространяется на все те значения , которые меньше .

Присвоим частям речи номера от 1 до 10:

Таблица 2.4

Присвоение порядковых номеров существительным

№	Часть речи
1	Существительное
2	Прилагательное
3	Местоимение
4	Числительное
5	Глагол
6	Наречие
7	Предлог
8	Союз
9	Частица
10	Междометие

Ряд распределения величины имеет вид:

Таблица 2.5

Функция распределения

	1	2	3	4	5	6	7	8	9	10
P	0,64	0,16	0	0	0,03	0	0,14	0,03	0	0

Функция распределения непрерывной случайной величины представляет собой функцию, непрерывную во всех точках, как это показано на графике (рис. 2.4).

Рис. 2.4 Функция распределения

Вывод: В результате проведенных исследований и вычислений можно сделать вывод о том, что наиболее часто используемой частью речи является существительное, что говорит о характере документа, все действия уже произведены, отсутствуют описательные элементы, есть только чёткая констатация факта.

2.3 Вычисления дифференциала как показателя функции сказуемого

С формальной точки зрения текст является набором предложений, а предложение с той же точки зрения -- алгебраической системой, то есть значимым множеством, связи которого замыкаются на сказуемое. Набор алгебраических систем, повторение предложений, мы можем рассматривать как обычную математическую функцию, то есть функцию сказуемого. Для вычисления же дифференциала как показателя функции сказуемого следует сначала найти среднее число сказуемых в предложении (это приращение функции, шаг), а потом отнести полученное к среднему количеству слов в предложении (приращение аргумента, на котором и определена функция сказуемого).

Чтобы найти среднее количество сказуемых в предложении, мы должны число всех сказуемых текста, главных и второстепенных, поделить на число его предложений, то есть на число главных сказуемых, а чтобы найти среднее число слов в предложении, мы должны количество слов текста поделить на количество предложений, то есть тоже на число главных сказуемых.

где n - части речи, множество - это предложение.

где - это сказуемое.

- среднее арифметическое предложений в тексте.

.

где - число слов в предложении.

Число главных сказуемых в отношении сократится: (а/c) : (b/c) = a/b, и останется отношение числа главных и второстепенных сказуемых к числу слов -- так сказать, квант действия, количество действия на слово в усредненном предложении. Преимущество данного показателя состоит в том, что даже если плагиатор испортил текст, переиначивая, например, главные и второстепенные сказуемые, но не удаляя их, что изменило бы и описанную картину, а значит, создало бы лишние творческие трудности, то дифференциал сказуемых останется прежним или почти прежним, если плагиатор добавил или удалил лишь небольшое количество слов (много слов добавить или удалить без сказуемых тоже не удастся). Собственно, указанным путем мы вычисляем не характеристику текста, а характеристику его построения.

2.4 Анализ особенностей элементов композиции

Бланки сертификатов соответствия и бланки приложений к сертификатам соответствия являются документами строгой отчетности. Они заполняются исключительно с использованием электронных печатающих устройств. Дополнительные записи в реквизитах бланка, не предусмотренные единой формой сертификата соответствия, а также сокращение слов, любые исправления текста не допускаются. Бланки имеют определенную структуру, четко сформированную композицию и все делаются строго по образцу.

Композицией называют построение текста, обусловленное его содержанием, совокупность приемов, создающих общую картину произведения, расположение его частей и переходов между ними. Сущность композиционных приемов сводится таким образом к созданию некоторого сложного единства, сложного целого и значение их определяется той ролью, которую они играют на фоне этого целого в соподчинении его частей.

Роль композиции очень велика для понимания текста. По мнению лингвистов, большинство текстов в композиционном отношении состоит из трех частей: вступления, основной части и заключения.

Вступление обычно выражает ключевую мысль высказывания. В системе текста это наиболее значимое предложение или предложения. Все его члены, как правило, выражены лексически полнозначными словами. В связи с тем введение отражает новую мысль, он синтаксически открыт, незамкнут, приглашает продолжить чтение и посмотреть на раскрытие мысли, которая подана в нем в сжатом объеме. Вступление группирует вокруг себя остальные предложения, которые в какой-то степени зависят от него, а он зависит от них, так как они опираются на него и развивают его мысль. Оно должно быть кратким и точным.

В данном случае введением можно считать надписи, расположенные на первых двух позициях. В самом верху бланка расположено название системы и федерального органа исполнительной власти (Приложение 1).

Сертификат соответствия - документ, удостоверяющий соответствие объекта требованиям технических регламентов, положениям стандартов, сводов правил или условиям договоров. Словосочетание «Сертификат соответствия» раскрывается в дальнейшем: какая продукция сертифицирована и кто производитель, каким требованиям соответствует и на каких условиях.

Далее идет, основная часть, которая состоит из законченных предложений, связанных между собой и с введением цепной и параллельной связью. Существуют различные конструктивные приемы организации текста в основной части. В бланках сертификатов используется ступенчатый способ изложения. Последовательный переход от одного аспекта темы к другому: срок действия, орган по сертификации, продукция, соответствие требованиям, изготовитель, кому выдан сертификат, основание, дополнительная информация, коды ОКП и ТН ВЭД.

Замыкает текст заключение. Она выражает вывод, подводит итог того, что было сказано ранее. Здесь могут быть и обобщающие слова, указывающие на законченность, завершенность. Но так как это далеко не художественный текст, в завершении всего ставятся подписи руководителя органа и эксперта, и печати, которые подтверждают подлинность данного сертификата соответствия.

2.5 Анализ текста согласно использованному стилю

В бланках используется научный стиль, которому присущ ряд особенностей, проявляющихся независимо от характера определенных наук и различий между жанрами высказывания, что даёт возможность говорить о специфике стиля в целом. Научный стиль характеризуется логической последовательностью изложения, упорядоченной системой связи между частями высказывания, стремлением авторов к точности, сжатости, однозначности при сохранении насыщенности содержания.

Для научного стиля характерно использование следующих языковых средств:

На уровне лексики:

· Насыщенность терминами данной науки (сертификат, метрология, нормативная документация);

· Использование слов в прямых значениях, отсутствие образности (метафор, метонимий, восклицательных частиц);

· Употребление аббревиатур (ОГРН, ТУ, ОКП);

На уровне морфологии:

· Редкое использование личных местоимений «я» и «ты»;

· Не употребляются глаголы в форме 1 и 2 лица единственного числа;

На синтаксическом уровне:

· Неупотребление восклицательных предложений;

· Цитаты, ссылки (Схема сертификации: 3 )

Таким образом, тексты сертификатов написаны в научном стиле и им свойственны характерные для данного стиля языковые средства.

2.6 Перспективы развития систем формально-семантического анализа текстов

Основными параметрами, по которым может оцениваться функционирование систем формально-семантического анализа текстов, являются качество анализа текстов и скорость его обработки. Качество анализа текстов определяется, прежде всего, использованием адекватной модели представления их смысловой структуры, эффективностью методов и алгоритмов анализа текстов, составом декларативных средств, обеспечивающих высокое покрытие анализируемых текстов.

Скорость обработки текстов зависит от бымтродействия применяемых методов и алгоритмов семантической обработки, числа проходов по тексту при его обработке и от объемов грамматических таблиц и словарей, используемых при обработке текстовой информации.

Ориентация на фразеологические словосочетания как на основную форму представления наименований понятий в естественных языках позволяет более точно учитывать семантико-синтаксическую структуру текстов и построить более эффективную систему смысловой обработки текстовой информации. Построение такой системы неизбежно связано с выявлением понятийного состава русского языка, которое по нашим представлениям содержит несколько сот миллионов наименований понятий. Косвенным подтверждением этой оценки являются данные Международного терминологического центра Инфортерм. Согласно этим данным, количество различных терминов в языках достигает 50 миллионов, а количество наименований товаров - 100 миллионов. Но многообразие устойчивых фразеологических единиц в естественных языках далеко не исчерпывается только этими двумя типами лексических единиц. В связных текстах нетерминологические фразеологические единицы встречаются чаще, чем терминологические.

Следовательно, есть основания предположить, что их больше, чем терминов и наименований товаров вместе взятых. Поэтому любая система анализа текстов в перспективе должна включать в свой состав систему мощных политематических словарей наименований понятий, содержащих нескольких миллионов (или десятков миллионов) словарных статей состоящих преимущественно из фразеологических словосочетаний. В словарях должны содержаться также сведения об отношениях синонимии и о родо-видовых отношениях между понятиями.

Для оценки быстродействия системы анализа текста необходимо подсчитать скорости обработки текстов на различных этапах их анализа. В качестве теста был взят текст по авиакосмической тематике объемом 13124 слова (103139 символа). В процессе обработки этого текста последовательно процедурами графематического анализа, морфологического анализа, семантико-синтаксического анализа и концептуального анализа подсчитывалось время работы каждого этапа и общее время его обработки в текущей версии системы. Далее были подсчитаны скорости функционирования экспериментальной перспективной системы анализа текстов с модифицированными словарями и грамматическими таблицами. При этом их объемы в перспективной версии системы значительно возросли. Так, например, суммарный объём тематических и политематических словарей увеличился с 1.8 млн. до 9.6 млн. словарных статей. Результаты сравнительной оценки быстродействия текущей версии системы и перспективной версии показывают, что повышение качества обработки и анализа текстов и связанное с этим неизбежное значительное увеличение объемов декларативных средств в традиционной реализации приводит к существенному снижению производительности этих систем.

...