Размещено на http://www.allbest.ru/

Измерение семантических расстояний как проблема прикладной лингвистики

О.А. Митрофанова

Основное содержание исследования

"Измеряй измеримое и делай неизмеримое измеримым", - утверждал Галилео Галилей. Современное состояние прикладной и математической лингвистики показывает, что этот призыв великого учёного можно воспринимать как руководство к действию даже тогда, когда речь идёт об исследовании объектов качественной природы, таких как, например, естественный язык.

Изучаемые лингвистами аспекты речевой деятельности в разной мере поддаются формализации или количественной оценке. Наиболее сложными являются эксперименты по моделированию естественно-языковой семантики, и возможности применения точных методов в исследовании содержательного уровня языка являются предметом дискуссий. Из отечественных публикаций, отражающих различные точки зрения по данному вопросу, необходимо упомянуть следующие: Апресян Ю.Д. В какой мере можно формализовать понятие синонимии? // Облик слова. М., 1997; Дорофеев Г.В., Мартемьянов Ю.С. К формализации элементарных значений // Мартемьянов Ю.С. Логика ситуаций. Строение текста. Терминологичность слов. М., 2004; Леонтьева Н.Н. Автоматическое понимание текстов: системы, модели, ресурсы. М., 2006; Перцов Н.В. О некоторых проблемах современной семантики и компьютерной лингвистики // Московский лингвистический альманах. Вып. 1. Спорное в лингвистике. М., 1996; Пиотровский Р.Г. Текст, машина, человек.Л., 1975; Фитиалов С.Я. Синонимия и осмысленность текстов // Синонимия в языке и речи. Новосибирск, 1970; и т. д. Тем не менее, в данной области определён ряд задач, предполагающих измерение семантической информации в языке и в тексте, и для их выполнения необходимо привлекать математический аппарат. Одной из таких задач является измерение семантических расстояний, или количественная оценка тесноты семантических связей между единицами словаря, между единицами текста или между текстами.

История измерения семантических расстояний достаточно богата. См., например, монографии и статьи: Апресян Ю.Д. Экспериментальное исследование семантики русского глагола. М., 1969; Макагонов П., Александров М., Гельбух А. Формулы проверки подобия слов с обучением на примерах: построение и применение // Труды международной конференции "Корпусная лингвистика - 2004". СПб., 2004; Новиков А.И., Ярославцева Е.И. Семантические расстояния в языке и в тексте. М., 1990; Скороходько Э.Ф. Оценка и сопоставление толковых словарей // Научно-техническая информация. Сер. 2. Информационные процессы и системы. 2000. № 5; Buscaldi D., Rosso P., Alexandrov M., Ciscar A. J. Sense Cluster Based Categorization and Clustering of Abstracts // A. Gelbukh (ed.).computational Linguistics and Intelligent Text Processing: Seventh International Conference CICLing 2006: LNAI 3878. Springer-Verlag, 2006; Gamallo P., Gasperin C., Augustini A., Lopes G. P. Syntactic-Based Methods for Measuring Word Similarity // V. Matouљek, P. Mautner, R. Mouиek, K. Tauљer (eds.). Text, Speech and Dialogue: Fourth International Conference TSD 2001: LNAI 2166; Springer-Verlag, 2001; Pantel P., Lin D. Document Clustering with Committees // SIGIR-02. Tampere, 2002; Smrћ P., Rychlэ P. Finding Semantically Related Words in Large Corpora // V. Matouљek, P. Mautner, R. Mouиek, K. Tauљer (eds.). Text, Speech and Dialogue: Fourth International Conference TSD 2001: LNAI 2166; Springer-Verlag, 2001; Young A. M. The Geometry of Meaning. San Francisco, 1976; и т. д. Автором статьи собрана обширная библиография работ об измерении семантических расстояний, которая постоянно пополняется. Оживление интереса к этой проблеме можно объяснить тем, что сформирован теоретический фундамент и найдены практические пути её решения. Кроме того, сфера применения данных о тесноте семантических связей между языковыми объектами широка: это информационный поиск, автоматическая классификация лексики, создание формальных онтологий, построение компьютерных тезаурусов, моделирование предметных областей, автоматическое реферирование и индексирование, семантическая поддержка процедур автоматического анализа текста и машинного перевода, и т.д. Это означает, что результаты экспериментов по определению семантических расстояний будут востребованы.

С методологической точки зрения, принципиально важным для решения задачи измерения семантических расстояний является знание о природе отношений (парадигматических или синтагматических), о типах единиц - терминов отношений (единицы языка или речи), а также выбор исследовательского инструментария.

Информация о качестве семантических связей может быть сосредоточена в лексикографических источниках, ориентированных на парадигматику (имплицитно - в дефиниционном и иллюстративном блоках толковых словарей, эксплицитно - в систематическом блоке идеографических словарей, тезаурусов, словарей синонимов и пр.), или в текстах, реализующих многообразные синтагматические отношения лексических единиц.

Количественное описание семантических связей, наблюдаемых в языке и в тексте, невозможно без обращения к методам теории вероятностей, математической статистики, теории множеств, теории информации, теории распознавания образов и предполагает разработку специализированных алгоритмов и программ.

Итак, с практической точки зрения, возможны различные подходы к измерению семантических расстояний: это парадигматический и синтагматический подходы, ориентированные на оценку тесноты семантических отношений соответствующих типов, требующие привлечения разных источников (словарных описаний или корпусов текстов) и использования различных исследовательских инструментов (представление лексикона или текста как векторного пространства, применение методики латентного семантического анализа и близких ей, задание разнообразных мер для измерения семантических расстояний и пр.). Обсуждение парадигматического и синтагматического подходов к измерению семантических расстояний содержится, например, в статье: Митрофанова О.А. Семантические расстояния: проблемы и перспективы // XXXIV Международная филологическая конференция: Вып. 21. Прикладная и математическая лингвистика. СПб., 2005. О синтагматическом подходе см. статью: Митрофанова О.А. Измерение семантической информации в тексте на основе анализа латентных связей // Труды Международной конференции MegaLing-2005: Прикладная лингвистика в поиске новых путей. СПб., 2005. Вопросы количественной оценки тесноты семантических связей в словаре и в тексте затрагивались в докладах автора на семинаре по корпусной лингвистике (ИЛИ РАН).

На сегодняшний день можно говорить о существовании двух типов ресурсов, предусматривающих количественные оценки тесноты семантических связей: это электронные лексикографические модули, в которых реализуется парадигматический подход к измерению семантических расстояний, и модули систем автоматической обработки текстов, обеспечивающие извлечение семантической информации из корпусов, в которых реализуется синтагматический подход. Предлагаемое ниже обсуждение новых разработок в области измерения семантических расстояний (ресурсы WordNet:: Similarity, COALS и InfoMap) позволяет отметить те исследовательские шаги, которые свидетельствуют о сближении данных подходов.

Наиболее известный лексикографический ресурс, оснащённый специализированным модулем для определения количественных оценок тесноты связей между значениями слов, - это компьютерный тезаурус WordNet. Модуль WordNet:: Similarity, Сайт проекта WordNet:: Similarity: http: //marimba. d. umn.edu/cgi-bin/similarity/similarity. cgi; ресурс доступен в интерактивном режиме. Описание проекта WordNet:: Similarity: http: //wn-similarity. sourceforge.net/; публикации об исследованиях, проведённых в рамках проекта: http: //www.d. umn.edu/~tpederse/wnsim-bib/. расширяющий возможности пользователей при работе с лексической базой данных WordNet, был создан группой исследователей под руководством Т. Педерсена. Данный модуль предназначен для определения тесноты семантических связей между словами, включёнными в WordNet (а точнее, между лексикализованными понятиями, соответствующими синсетам, в которые входят исследуемые слова). Электронный тезаурус Роже имеет аналогичную надстройку: Jarmasz M., Szpakowicz S. Roget's Thesaurus and Semantic Similarity // Proceedings of Conference on Recent Advances in Natural Language Processing (RANLP 2003). Borovets, Bulgaria, 2003. URL: http: //www.site. uottawa. ca/~mjarmasz/pubs/jarmasz_roget_sim. pdf

В течение ряда лет шла разработка методов вычисления семантических расстояний в иерархически организованных словарных базах данных. Экспериментальную проверку прошли около десятка различных мер. Patwardhan S., Banerjee S., Pedersen T. Using Measures of Semantic Relatedness for Word Sense Disambiguation // Proceedings of the Fourth International Conference on Intelligent Text Processing and Computational Linguistics. Mexico, 2003. URL: http: //www.d. umn.edu/~tpederse/Pubs/cicling2003-3. pdf Прежде всего, это меры, с помощью которых можно определять расстояние между значениями лексем через длину пути между соответствующими им узлами в иерархии, через расстояние от узлов до общего родового понятия, с учетом глубины иерархии или без, с учетом измерения направления движения по иерархии или без и пр. (WN-Path Length, WN-Hirst&St-Onge, WN-Leacock&Chodorow, WN-Wu&Palmer, WN-Resnik, WN-Lin, WN-Jiang&Conrath). Некоторые из мер имеют ограничения на использование (например, они дают количественную оценку тесноты лишь гипонимических связей).

Наряду с подобными мерами есть и другие, предусматривающие более точные вычисления. Так, можно рассматривать толкование значения слов, входящих в синсет, как своеобразный контекст и определять тесноту семантических связей лексем не в связи со структурой иерархии, а в связи с тем, насколько совпадают их дефиниции (WN-Adapted Lesk). Banerjee S., Pedersen T. Extended Gloss Overlaps as a Measure of Semantic Relatedness // Proceedings of the Eighteenth International Joint Conference on Artificial Intelligence. Mexico, 2003. URL: http: //www.d. umn.edu/~tpederse/Pubs/ijcai03. pdf Ещё более серьёзный шаг - формирование корпуса толкований и проведение на его основы процедуры латентного семантического анализа с построением матрицы совместной встречаемости элементов толкований, задания контекстных векторов и их сравнения путем вычисления косинуса угла между ними (WN-Patwardhan). Patwardhan S., Pedersen T. Using WordNet Based Context Vectors to Estimate the Semantic Relatedness of Concepts // Proceedings of the EACL 2006 Workshop Making Sense of Sense - Bringing Computational Linguistics and Psycholinguistics Together. Trento, Italy, 2006. URL: http: //www.d. umn.edu/~tpederse/Pubs/eacl2006-vector. pdf Как показывает практика, использование этих мер приводит к более убедительным результатам.

семантическая связь единица словарь

Данные, полученные с помощью модуля WordNet:: Similarity, можно применять для диагностики значений слов в текстах, для формирования кластеров семантически близких слов (блок SenseRelate), при осуществлении выбора лексики в процедурах синтеза связного текста. Некоторые из упомянутых мер успешно использовались в экспериментах по определению близости текстов. Corley C., Mihalcea R. Measuring the Semantic Similarity of Texts // Proceedings of the ACL Workshop on Empirical Modeling of Semantic Equivalence and Entailment Ann Arbor, Michigan, 2005. URL: http: //www.aclweb.org/anthology/W/W05/W05-1203 Тем самым, пользователи WordNet:: Similarity вправе варьировать исследовательские приёмы и опираться не только на парадигматические, но и на синтагматические данные о значении единиц языка и текста.