Автоматическая классификация отзывов на основе оценочных слов

Размещено на http://www.allbest.ru/

УДК 007:519.816

Автоматическая классификация отзывов на основе оценочных слов

Н.В. Лукашевич (louk_nat@mail.ru)

НИВЦ МГУ, Москва

И.И. Четверкин (ilia2010@yandex.ru)

Факультет вычислительной математики и кибернетики МГУ, Москва



Аннотация

Для упрощения поиска и выбора товаров и услуг в интернете необходимы методы оценивания отзывов об объектах. В данной работе предлагается новый подход к классификации отзывов, основанный на использовании оценочных слов из конкретной предметной области.

Ключевые слова: классификация отзывов, смысловой анализ, оценка текстов.



Введение

С развитием сети Интернет неуклонно растет количество неструктурированной информации, например, такой, как мнения и отзывы людей о различных товарах и услугах. Существует множество интернет ресурсов, которые аккумулируют в себе терабайты этих данных: форумы, блоги, социальные сети. В этих данных содержится полезная информация, полученная людьми в результате их профессиональной и бытовой деятельности.

Для того чтобы использовать эту информацию и составить собственное мнение о некотором объекте, человеку требуется ознакомиться с отзывами других людей и определить, как каждый из них оценивает рассматриваемую сущность. Эта процедура достаточно трудоёмкая ввиду большого количества данных.

Для многих сущностей актуальным является сравнение с другими подобными объектами. В таких случаях простой оценки «понравилось» или «не понравилось» уже не достаточно. Для решения этой задачи необходимо уметь оценивать объект по некоторой шкале. В связи с этим актуальной является задача автоматической классификации отзывов более, чем на два класса.

В данной статье предложен метод классификации отзывов о фильмах на три класса, основанный на использовании множества оценочных слов данной предметной области. Для этого заранее формируются списки оценочных слов со средней оценкой для каждого слова. Особенность предлагаемого нового метода извлечения оценочных слов заключается в том, что извлекаются оценочные слова, характерные для данной предметной области.

Составляя для каждого отзыва вектор используемых в нем слов, мы применяем методы машинного обучения для распределения отзывов по классам. Предметная область - кинематограф.

1. Методы извлечения оценочных слов и проставления оценок отзывам

Задача классификации отзывов уже решалась в ряде работ, но в большинстве из них отзывы разделялись на два класса: положительные и отрицательные.

Существует два основных подхода к оцениванию отзывов об объекте:

Агрегирование оценочных слов и выражений, входящих в отзыв;

Построение классификатора отзывов.

В рамках первого подхода необходимо выделять оценочные слова и выражения, вычислять для них семантическую ориентированность и выбрать, каким образом выполнить агрегацию вычисленных значений, чтобы классифицировать отзыв. Существует несколько подходов к извлечению оценочных слов и вычислению их семантической направленности.

В работе [Hatzivassiloglou et al., 1997] выделение оценочных прилагательных и определение их семантической направленности основано на синтаксических шаблонах и союзах И, ИЛИ, НО. В работе [Turney, 2002] изначально выбирается два эталонных множества оценочных слов: положительное и отрицательное множества. Далее для каждого слова в отзыве вычисляется семантическая направленность путем оценивания совместной встречаемости со словами из эталонного множества.

Для получения оценочных слов и вычисления их направленности могут использоваться словари. Метод, предложенный в [Hu et al., 2004], предполагает использование тезауруса для обогащения заданного вручную, эталонного множества оценочных слов. Основная идея в том, что если слово оценочное, то его синонимы, гипонимы также будут оценочными и одинаково семантически направлены, в случае антонимов - противоположно направлены. Еще один подход представлен в работе [Esuli et al., 2005], где с помощью толкований слов в словаре выясняется их ориентация. Данный метод основывается на том, что слова с одинаковой ориентацией имеют «похожие» толкования. Используя эту идею, был построен классификатор слов на положительно ориентированные слова и отрицательно ориентированные (точность метода 87%).

Еще один подход, который использует как словари, так и информацию из корпуса, представлен в работе [Popescu et al., 2005]. В данной работе описана система OPINE, которая служит для извлечения из отзывов атрибутов описанных продуктов, а также оценок по ним. Предполагается, что оценочные фразы появляются в непосредственной близости от атрибутов объекта. Для извлечения оценочных слов используются правила, основанные на синтаксической структуре предложения.

Для агрегации выделенных слов существует несколько способов:

Вычисление суммы или среднего по отзыву [Turney, 2002] [Hu et al., 2004];

Построение классификатора использующего ориентированность слов как атрибуты [Das et al., 2001].

Второй подход к оцениванию отзывов об объекте не связан с предварительным выделением оценочных слов.

В работе [Pang et al., 2002] производилась классификация отзывов о фильмах на два класса: рекомендуемый и нерекомендуемый отзыв с использованием разных методов машинного обучения. В качестве атрибутов обзоров выбирались отдельные слова, биграммы, слова по частям речи. Наилучший показатель по точности получился 82,9% для метода опорных векторов.

В более поздних публикациях [Pang et. al., 2005] ставится задача выставления численной оценки отзывам. Отзывы, используемые для работы, разделены по авторам. Сравниваются три алгоритма, построенные на основе SVM: один против всех, регрессия и метрический подход. В работе показывается, что метрический подход с использованием метрики на базе количества положительных предложений в отзыве, работает лучше.

2. Формирование множества оценочных слов

Для решения задачи классификации отзывов мы предварительно автоматически извлекали оценочные слова, характерные для данной предметной области. Извлечение основывалось на сопоставлении статистических данных употребления слова в наборе различных корпусов.

2.1 Формирование данных

Для формирования качественного списка оценочных слов было составлено четыре корпуса данных:

Корпус мнений о фильмах (30 тысяч отзывов с пользовательскими оценками от 1 до 10);

Корпус описаний фильмов (20 тысяч);

Малый корпус (состоит из частей корпуса мнений, с более высокой концентрацией оценочных слов);

Новостной корпус (статистика встречаемости слов в 1 млн. новостных документов) [Четверкин и др., 2010].

Для работы были выбраны только первые десять тысяч слов, в списке, упорядоченном по частотности слов в корпусе мнений.

2.2 Характеристики слов

Для каждого слова был вычислен набор из 18 характеристик, позволяющий выделять оценочные слова. В наборе характеристик выделяется две подгруппы.

Первый класс характеристик оценивает частотные характеристики употребления слова в вышеупомянутых корпусах. Подсчитывается частотность словоупотреблений и количество документов, в которых употреблялось слово (5 характеристик).

Второй класс характеристик фиксирует соотношение частотности словоупотреблений и частотности по документам в разных парах корпусов. Для этого используются две меры: известная в информационном поиске мера tf*idf, которая прямо пропорциональна частотности употребления слова в документе (в нашем случае в одной из коллекций) и обратно пропорциональна логарифму подокументной частотности в некоторой контрастной коллекции [Агеев и др., 2004].

Второй мерой, используемой для сопоставления употребления слова в коллекциях, является мера странности (weirdness) [Ahmad и др., 1999], которая сопоставляет пропорцию употребления слова по отношению к общему числу словоупотреблений в разных коллекциях. Всего имеется 10 характеристик, сопоставляющих частотность слова в паре коллекций (подробнее см. [Четверкин и др., 2010]).

Кроме этих подгрупп используются несколько отдельных характеристик.

Мы подсчитываем количество употреблений слова с прописной буквы. Предполагается, что имена собственные не являются оценочными словами.

Две последние используемые характеристики - характеристика отклонения оценки слова от средней оценки отзывов и характеристика, вычисляемая для существительных, следующих за оценочными прилагательными, будут подробнее рассмотрены в следующих подразделах.

2.2.1 Отклонение оценки слова от средней оценки отзывов

Для вычисления данной характеристики использовалась пользовательская оценка (от 1 до 10), сохраненная для каждого отзыва. С помощью этих оценок, для каждого слова вычислялась его средняя оценка (т.е. брались оценки тех отзывов, где оно встретилось, и их сумма разделялась на количество таких отзывов). Разность средней оценки для каждого слова и средней оценки отзывов по всему корпусу и является отклонением. Таким образом, мы получаем суммарную оценочную ориентацию для каждого слова.

,

где - рассматриваемая лемма,

n - общее количество отзывов,

m_i - оценка i-го отзыва,

k_i - число словоупотреблений леммы в i-ом отзыве (если не употребляется, тогда 0).

Приведем несколько примеров слов с их отклонениями от средней оценки. Если отклонение положительное, то и слово положительное, если отрицательное, то и слово соответственно отрицательное.

ахинея -4.943 фильм-шедевр 2.065

бездарный -3.542 заворожить 1.802

блеклый -1.817 любимейший 1.661

тупой -1.783 офигенный 1.602

зловещий -1.010 овация 1.498

Для решения основной задачи классификации отзывов в данной работе использовалась только средняя оценка каждого слова без учета ее отклонения от средней оценки по корпусу.

2.2.2 Признак встречаемости существительных после оценочных прилагательных

Для подсчета этой характеристики были взяты первые двести прилагательных из выдачи классификатора после предварительной классификации. Количество оценочных прилагательных среди этих двухсот слов составило 90%. Далее для каждого прилагательного были найдены существительные, которые следуют непосредственно за ним и не разделены знаками препинания.

Для каждого такого существительного подсчитана его частота появления после вышеуказанных двухсот прилагательных. На основе полученных значений и была сформирована новая характеристика. Ее смысл заключается в том, что существительные, которые часто следуют за оценочными прилагательными, наиболее вероятно не являются оценочными, а скорее всего, среди них достаточно большое количество атрибутов объекта, на который составлен отзыв [Popescu et al., 2005].

2.3 Машинное обучение

После того, как для каждого слова сформирован вектор характеристик, была поставлена задача классификации слов на оценочные и неоценочные слова. Исходные десять тысяч слов были размечены на два вышеуказанных класса (3200 и 6800 слов соответственно). Для классификации были опробованы наиболее употребительные алгоритмы. Оценка качества работы алгоритмов производилась по двум параметрам:

F-мера

Количество оценочных слов, попавших в первую тысячу слов, упорядоченных по «вероятности» их принадлежности к классу оценочных.

Для получения достоверных показателей использовался механизм кросс-валидации. Наилучшие результаты среди опробованных алгоритмов показали алгоритм логистической регрессии для прилагательных и трехслойная нейронная сеть для неприлагательных. Результаты работы классификаторов приведены в таблице 1.



Табл. 1

	F	P1000
Прилагательные	68,09%	69,1%
Неприлагательные	50,83%	50,9%

Дополнительные исследования были проведены для неприлагательных, поскольку для них стоит проблема несбалансированных данных (1700 оценочных слов против 6000 неоценочных). Была проведена балансировка данных в обучающей выборке, а также понижение порога принятия решения по отнесению объекта к некоторому классу. Значительных изменений в качестве классификации слов получить не удалось.

оценочный слово отзыв фильм



3. Эксперименты по классификации отзывов

Для решения задачи автоматического разбиения отзывов на классы, с портала www.imhonet.ru было собрано две с половиной тысячи отзывов на фантастические фильмы вместе с оценками от одного до десяти, проставленными пользователями (тестовый корпус).

Необходимо было автоматически разделить собранные отзывы на три класса и сравнить с пользовательскими оценками. Для этого собранные оценки по десятибалльной шкале конвертировались в трехбалльную систему по принципу: {1-6} >”1” (скорее не понравился), {7,8} >”2” (понравился, но есть недостатки),{9,10} >”3” (понравился). Такое разделение на три класса оценок обусловлено тем, что пользователи проставляют значительно большее количество положительных оценок (см. рис.1-2).

Таким образом, есть два корпуса с проставленными оценками от одного до трех: корпус мнений и тестовый корпус. Первый корпус используется для обучения, а второй для оценки работы алгоритмов классификации.

Рис. 1. Корпус мнений

Рис. 2. Тестовый корпус

Основной идеей предлагаемого метода является использование некоторого набора слов с вычисленными по какому-либо принципу значениями для них. Для каждого отзыва рассматриваются вхождения слов из исходного набора в этот отзыв. В случае если слово входит в отзыв - то в признаковое описание этого отзыва попадает численная характеристика рассматриваемого слова. На последней стадии все отзывы вместе со своими признаковыми описаниями классифицируются с использованием методов машинного обучения.

В качестве наборов слов рассматривались:

1. Две тысячи слов, полученных по методу, описанному в разделе 3 (Оценочный набор),

1. Две тысячи слов с самым высоким значением tf*idf по корпусам мнений и новостей (Контрастный набор).

Веса для каждого слова вычислялись по одному из следующих принципов:

· Вероятность принадлежности слова к оценочным словам в выдаче классификатора,

· Встретилось слово в отзыве или нет (0 или 1),

· Средняя оценка слова,

· Tf*idf слова в корпусах мнений-новостей.

Для классификации отзывов с полученным признаковым описанием использовались три принципиально разных алгоритма с целью выяснить, какой из подходов лучше для классификации субъективных данных:

· Наивный Байесовский алгоритм,

· Метод k ближайших соседей,

· Метод опорных векторов (каждый против каждого).

Оценка качества работы алгоритмов проводилась по мере аккуратности (accuracy). Аккуратность классификации определяется как отношение правильно классифицированных отзывов к общему количеству отзывов. Результаты классификации по множествам слов приведены в таблицах.

Табл. 2

Набор оценочных слов
Вес слов	Naпve Bayes	kNN	SVM
Вероятность	47,52	48,66	53,10
Средняя оценка	48,01	46,29	52,41
Встречаемость	47,74	47,09	52,64
Tf*idf	47,74	47,02	41,97

Табл. 3

Набор слов по Tf*idf
Вес слов	Naпve Bayes	kNN	SVM
Встречаемость	52,22	44,38	53,29
Tf*idf	52,29	41,32	34,90
Средняя оценка	52,18	43,73	54,28

Из полученных выше результатов можно сделать несколько выводов:

Во-первых, веса слов практически не влияют на качество классификации.

Во-вторых, линейный разделитель (SVM) показывает лучшие результаты, чем метрический и байесовский подходы.

Хотя результаты по аккуратности получились практически идентичными, стоит заметить, что при классификации с использованием оценочного набора слов хорошие результаты получались для третьего класса (т.к. оценочные слова в основном положительные), а при классификации с контрастным набором - для первого класса (слова из второго набора в основном неоценочные атрибуты). Поэтому, взяв около 500 самых частотных слов из оценочного набора и 500 первых слов из контрастного, при помощи метода опорных векторов мы получили максимальный результат по аккуратности классификации - 57,61% .



Заключение

В работе мы показали, что путем извлечения оценочных слов для заданной предметной области и составления с их помощью характеристического описания отзывов, можно решать задачу классификации на три класса. Решение этой задачи с использованием набора оценочных слов показало лучшие результаты для третьего класса отзывов (понравился), а с использованием набора слов по tf*idf - для первого класса (скорее не понравился). Комбинирование двух рассмотренных наборов слов дало существенный прирост в аккуратности классификации.



Список литературы

1. Агеев М.С., Добров Б.В., Лукашевич Н.В., Сидоров А.В. Экспериментальные алгоритмы поиска/классификации и сравнение с «basic line» // РОМИП , 2004.

2. Четверкин И.И., Лукашевич Н.В. Автоматическое извлечение оценочных слов для конкретной предметной области // Диалог, Бекасово. 2010.

3. Ahmad K., Gillam L., Tostevin L. University of Surrey participation in Trec8: Weirdness indexing for logical documents extrapolation and retrieval // In the Proceedings of Eigth Text Retrieval Conference (Trec-8), 1999.

4. Das, S. R. and Chen M. Y. Yahoo! for Amazon: Sentiment Parsing from Small Talk on the Web // Proceedings of European Finance Association Annual Conference, Barcelona. 2001.

5. Esuli A., Sebastiani F. Determining the Semantic Orientation of Terms through Gloss Classification // Conference of Information and Knowledge Management, Bremen. 2005.

6. Hatzivassiloglou V., McKeown K. Predicting the Semantic Orientation of Adjectives // ACL, Madrid. 1997.

7. Hu M., Liu B. Mining and Summarizing Customer Reviews // KDD, Seattle. 2004.

8. Pang, B., Lee, L., and Vaithyanathan, S. Thumbs up? sentiment classification using machine learning techniques // In Proceedings of EMNLP-02, the Conference on Empirical Methods in Natural Language Processing, Philadelphia. 2002.

9. Pang, B. and L. Lee Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales // Proceedings of ACL-05, 43nd Meeting of the Association for Computational Linguistics, Ann Arbor. 2005.

10. Popescu A., Etzioni O. Extracting Product Features and Opinions from Reviews // EMNLP, Vancouver. 2005.

11. Turney P.D. Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews // ACL, Philadelphia. 2002.

Размещено на Allbest.ru

...