Автоматический анализ отзывов в рекомендательных системах

Размещено на http://www.allbest.ru/

Санкт-Петербургский государственный университет

Кафедра математической лингвистики

Направление: «Лингвистика»

Образовательная программа: «Прикладная и экспериментальная лингвистика»

Профиль: «Компьютерная лингвистика и интеллектуальные технологии»

Выпускная квалификационная работа

Автоматический анализ отзывов в рекомендательных системах

студентки II-го курса

магистратуры

Силифонтовой Натальи Александровны

Научный руководитель:

доцент, к. ф. н.

Хохлова Мария Владимировна

Санкт-Петербург 2017



Содержание

Введение

Глава 1. Основные проблемы рекомендательных систем

Глава 2. Таксономия рекомендательных систем

2.1 Сфера

2.2 Цель

2.3 Контекст рекомендации

2.4 Чьи мнения ложатся в основу рекомендации

2.5 Уровень персонализации

2.6 Личная информация и степень доверия к системе

2.7 Интерфейс

2.7.1 Тип выходных данных

2.7.2 Тип входных данных

2.8 Алгоритмы

2.8.1 Алгоритмы рекомендаций в не персонализированных рекомендательных системах

2.8.2 Метод обобщённого мнения

2.8.3 Метод ассоциации продуктов

2.8.4 Алгоритмы рекомендаций в персонализированных рекомендательных системах

2.85 Контентный метод или фильтр информации, основанный на содержании

2.8.6 Метод, основанный на знаниях

2.8.7 Метод коллаборативной фильтрации

2.8.8 Мультиатрибутивные рекомендательные системы

2.8.9 Рекомендательные системы, основанные на пользовательских отзывах

2.8.10 Гибридные рекомендательные системы

Глава 3. Анализ созданного механизма рекомендаций на основе вышеизложенной таксономии

Глава 4. Исследование

4.1 Сбор отзывов с сайта

4.2 Составление словарей для инструмента анализа отзывов с помощью “Sketch Engine”

4.2.1 Извлечение ключевых слов и словосочетаний из корпуса. Функция “Keywords/terms”

4.2.2 Составление тезаурусов для каждого параметра. Функция “Thesaurus”

4.2.3 Извлечение слов, которые часто встречаются вместе с исследуемыми словами. Функции “Word Sketch” и “Sketch diff”

4.2.4 Проверка релевантности элементов словаря с помощью конкорданса. Функция “Concordance”

4.2.5 Использование вышеперечисленных функций на материале корпуса «Недостатки»

4.3 Разработка программы анализа отзывов

4.4 Оценка результатов. Правильность, точность, полнота

Заключение

Библиография

Приложения



Введение

В последние несколько лет рекомендательные системы активно набирают популярность в сети Интернет. Впервые эта технология была опробована в области электронной коммерции, однако впоследствии стала применяться в различных сферах, среди которых - системы электронного образования (Глибовец, Сидоренко, 2012), новостные сайты, социальные сети. В первую очередь это связано с рядом преимуществ, включающих повышение эффективности поиска информации. В условиях увеличения роли Интернета в повседневной жизни, обучении, исследованиях, а также увеличения количества информации, доступной в сети, рекомендательные системы начинают играть всё большую роль. Чем больше данных имеется в нашем распоряжении, тем сложнее их обрабатывать и тем сложнее вычленить из этого потока информации те данные, которые действительно нужны. В связи с этим, в ситуации растущего информационного потока необходимость существования механизма, способного фильтровать данные из Интернета и увеличивать скорость обработки информации, становится неоспоримой. рекомендация отзыв словарь контентный

Первые разработки рекомендательных систем относятся к началу 90-х годов (Adomavicius, Tuzhilin, 2005), однако тому, что их создание вышло на новый уровень, послужил конкурс Netflix Prize (Bennett, Lanning, 2007), организованный в 2006 году компанией Netflix (Глибовец, Сидоренко, 2012).

В своём «Руководстве по рекомендательным системам» Риччи, Рока и Шапира определяют рекомендательные системы (РС) как «инструменты и методы программного обеспечения, которые составляют предположения о том, какие объекты могут быть полезны пользователю. Эти предположения относятся к различным ситуациям, в которых нужно принять решение, например, какой товар купить, какую музыку послушать, какие онлайн-новости почитать.

«Объект» это общий термин, который используется для обозначения того, что система рекомендует пользователям. Обычно РС фокусируется на определённом типе объекта (например, компактные диски или новости) и в соответствии с этим подбираются дизайн объекта, пользовательский интерфейс и основной метод рекомендации, чтобы в результате обеспечить пользователя полезными и эффективными предположениями об этом типе объекта» (Ricci, Rokach and Shapira, 2015).

Рекомендательные системы позволяют решить проблему избытка информации путём предоставления персонализированных предположений, основанных на истории лайков и дислайков пользователя (Melville, Mooney and Nagarajan, 2002).

Одним из видов ресурсов, где наиболее часто используются рекомендательные системы, является онлайн-торговля. В своей статье «Рекомендательные приложения в электронной торговле» Шафер, Констан и Ридл говорят о том, что развитие электронной торговли и появление онлайн-магазинов позволило их владельцам предоставить пользователям более широкий выбор. Расширение выбора в свою очередь привело к увеличению количества информации, которую покупатель должен обработать, прежде чем выбрать то, что соответствует его нуждам. Чтобы справиться с этим избытком информации, в онлайн-магазинах применяют принципы массовой кастомизации не к продуктам, а к тому, как они представлены в онлайн-магазине. Одним из способов достижения массовой кастомизации является использование рекомендательных систем (Shafer, Konstan, Riedl, 2001).

Таким образом, предполагается, что использование РС выгодно как для пользователей, так и для владельцев (и разработчиков) сайтов. Однако не всегда система может обеспечить пользователя хорошей рекомендацией, что может привести к тому, что пользователь перестанет верить системе или видеть в ней пользу и в конечном счёте компания может потерять клиента или получить негативные отзывы.

Целью данной работы является разработка механизма анализа отзывов, направленного на увеличение качества предоставляемых системой рекомендаций, а также на увеличение уровня доверия пользователей к системе.

Для достижения этой цели требуется решить следующие задачи:

1. Проанализировать наиболее важные проблемы, возникающие при работе рекомендательных систем, и понять, как можно использовать инструмент анализа отзывов для их решения.

2. Сравнить основные типы рекомендательных систем, рассмотреть их преимущества и недостатки. Выбрать самые оптимальные алгоритмы.

3. Разработать методику анализа отзывов.

4. Разработать программу для автоматического анализа отзывов.

5. Проанализировать собранные отзывы с помощью разработанного инструмента.

6. Провести оценку полученных результатов.

Новизна данной работы заключается в следующем:

1. Совмещение метода, основанного на анализе нескольких атрибутов, и метода, основанного на анализе отзывов, при создании рекомендательной системы.

2. Анализ отзывов производится на основании упоминания определённого параметра в определённом блоке, а не на основании анализа тональности.

3. Система формирует рекомендации в виде подробного описания анализируемого продукта, выставляя ему оценки по каждому параметру. Система ориентирована на построение профиля продукта.

4. Словари, на основании которых производится анализ отзывов, были составлены с помощью инструмента “Sketch Engine” (https://the.sketchengine.co.uk).

Это исследование представляет практическую значимость, так как разработанная программа не имеет аналогов и при этом показывает достаточно хорошие результаты. Следовательно, использование разработанной технологии может способствовать увеличению качества работы рекомендательных систем, решению возникающих проблем и развитию сферы рекомендательных систем в целом. Результаты, полученные в ходе проведённого исследования, можно использовать для составления рекомендаций других типов, отличных от приведённых в этой работе.



Глава 1. Основные проблемы рекомендательных систем

Чтобы уменьшить возможность появления ошибок при составлении рекомендаций, нужно иметь в виду, с какими проблемами чаще всего сталкиваются создатели РС и как предотвратить их возникновение.

В данном исследовании наибольший интерес представляет то, как можно решить возникающие проблемы с помощью автоматического анализа отзывов.

Одной из крупнейших проблем, возникающих при моделировании рекомендательной системы, является недостаток данных, так как для эффективной работы РС требуется огромный объём информации (Dehuri, 2012).

К сожалению, не всегда система может ненавязчиво получить от пользователя достаточное количество информации о его предпочтениях. В таком случае ей остаётся только обработать все возможные данные, которые уже имеются в её распоряжении. Основные типы данных, на которые опирается РС при составлении рекомендации: 1) Оценки (лайк или дислайк, по шкале от 1 до 5, и т.д.); 2) переходы по ссылке, время, проведённое на странице, купил пользователь этот товар или нет.

Тем не менее, в некоторых ситуациях данных критериев может быть недостаточно. К примеру, пользователь мог не поставить ни одного лайка или не купить ни одного товара за все свои посещения. В таком случае система проанализирует переходы по ссылке и время, проведённое на странице, но велика вероятность, что она может сделать неправильный вывод из этого анализа. Возможно, пользователь так много времени провёл на определённой странице, потому что писал длинный негативный отзыв о данном товаре. Однако, зачастую отзывы, которые оставляют пользователи, никак не интерпретируются системой (Schafer, Konstan, Riedl, 1999).

Ещё одной проблемой, с которой часто сталкиваются РС при составлении рекомендаций, является проблема безопасности и мошенничества. Рекомендация может быть составлена неверно в случае, если в её составление вмешивается человек, который искусственно завышает или занижает рейтинг того или иного объекта. Это может быть либо конкурент фирмы-производителя оцениваемого объекта, либо наоборот её сторонник, в некоторых случаях это могут делать даже сами владельцы сайта, когда им требуется продать или прорекламировать тот или иной объект. Такие манипуляции могут вызвать недоверие к работе рекомендательной системы, а также уменьшить качество и точность рекомендаций (Khusro, Ali and Ullah, 2016).

В отношении этой проблемы использование содержания отзывов также может быть более полезным, чем использование оценок и переходов по ссылкам, по крайней мере, в случае, когда искусственное завышение рейтинга происходит при помощи компьютерной программы или робота. Отличить текст, написанный роботом, от текста, написанного человеком, гораздо проще, чем вычислить оценку или лайк, поставленный программой. Следовательно, хоть использование отзывов для составления рекомендаций и не поможет полностью решить эту проблему, по крайней мере, оно уменьшит её значимость, а значит, увеличит качество и точность рекомендаций.

Также при создании и использовании рекомендательных систем возникает проблема безопасности личных данных. Пользователи вряд ли захотят предоставить какие-либо данные системе, которая страдает от такой проблемы. Значит, РС должна вызывать доверие у пользователей, надёжно охраняя их личные данные (Khusro, Ali and Ullah, 2016).

Тем не менее, если мы говорим о таком источнике данных, как содержание отзывов, то здесь эта проблема уже не так актуальна. Для составления рекомендаций используется только та информация, которой пользователь намеренно решает поделиться. Однако, естественно, как и в случае с другими источниками, эти данные не должны быть использованы за пределами сайта.

Ещё одним из очевидных достоинств этого метода можно считать составление менее обобщённого мнения об объекте или предпочтения пользователя. Когда пользователь использует другие методы оценки объекта, он оценивает весь объект целиком, ставит ли он какое-либо количество звёзд объекту или просто переходит по ссылке. Когда он оставляет отзыв об объекте, то чаще всего он не просто выражает своё мнение о нём в целом, а расписывает в подробностях его достоинства и недостатки. Когда объект можно описать с помощью набора атрибутов (цена, вес, цвет и т.д.), обычно используется метод основанной на предпочтениях оценки продукта. При таком подходе предпочтение пользователя может быть представлено в виде веса и/или значения, которое придаётся каждому из атрибутов (Chen, Chen and Wang, 2015). Использование этого подхода приведёт к составлению более подробной, а значит, более точной рекомендации.

Как уже было упомянуто, при составлении рекомендации РС опирается на различные типы данных. Наиболее удобно использовать оценки, получаемые от пользователей напрямую, что включает в себя однозначные данные о том, к каким продуктам пользователи проявляют интерес. Например, в «Нетфликс» пользователи выражают своё мнение о фильмах с помощью звёздочек, а пользователи «ТиВо» выражают свои предпочтения в области ТВ-шоу, нажимая кнопки «палец вверх» или «палец вниз». Однако, получение прямой оценки не всегда возможно. Таким образом, РС могут также делать вывод о предпочтениях пользователя за счёт косвенной оценки, которая отражает мнение пользователя, основываясь на его поведении (Hu, Koren and Volinsky, 2008).

Во многих практических ситуациях большее значение для РС имеют именно косвенные данные. К примеру, когда пользователи неохотно выставляют оценки продуктам, или система ограничена в плане сбора прямой информации об их предпочтениях. При использовании косвенных данных, как только пользователь даёт согласие на сбор информации, более никакой дополнительной информации напрямую у него не запрашивается (Hu, Koren and Volinsky, 2008).

Очевидно, что использования только отзывов в качестве источника рекомендаций не всегда достаточно, по крайней мере, такой способ подходит не для всех типов рекомендаций и не для всех электронных ресурсов. Однако, в большинстве случаев он может оказаться весьма полезным для рекомендательных систем в плане борьбы с вышеперечисленными проблемами, а также в плане увеличения точности и качества будущих рекомендаций.



Глава 2. Таксономия рекомендательных систем

В данной части работы описана таксономия рекомендательных систем, предложенная профессором Университета Миннесоты Джозефом А. Констаном и профессором Университета штата Айдахо в Бойсе, Майклом Д. Экстрандом. В следующей части на основе предложенной таксономии разобран созданный механизм рекомендаций и его основные свойства.

Основные уровни классификации рекомендательных систем:

1. Сфера.

2. Цель.

3. Контекст рекомендации.

4. Чьи мнения ложатся в основу рекомендации.

5. Уровень персонализации.

6. Личная информация и степень доверия к системе.

7. Интерфейс.

8. Алгоритмы (Konstan and Ekstrand, 2013).

2.1 Сфера

Электронная торговля. Наиболее популярной сферой деятельности, в которой активно используются РС, является сфера электронной торговли. Объектом рекомендации в таком случае являются продукты, изготовители или поставщики, наборы продуктов или пакеты услуг. Наиболее ярким примером такого ресурса является сайт Amazon.com.

Новости. Также рекомендательные системы часто используют на новостных сайтах. Объектом рекомендации для них являются новости и информация.

Музыка и видео. Рекомендательные системы также используются в музыкальных онлайн-плеерах, где в некоторых случаях система также учитывает порядок произведения композиций, и на веб-сайтах, предназначенных для просмотра видео.

Социальные сети и сайты знакомств. В последнее время рекомендательные системы всё чаще используются и в социальных сетях, таких как «Вконтакте», «Facebook» и т.д. Объектом рекомендации в социальных сетях могут выступать другие люди («Вы можете знать…»), группы и т.д.

2.2 Цель

В большинстве случаев целью рекомендательной системы является либо продажа, либо продвижение продукта. Продуктом может служить не только товар, но и, к примеру, видео или композиция какого-либо исполнителя. Существуют, однако, РС другого типа, которые способствуют образованию сообщества. Примером такой системы является OWL Tips, она помогает пользователям изучать более простые способы выполнения команд на компьютере.

Риччи, Рока и Шапира в своём руководстве перечисляют и другие причины, по которым люди используют данные технологии на своих сайтах. В конечном счёте, всё это помогает увеличить прибыль предприятия и сделать его лучше и удобнее для клиента.

1) Увеличение количества проданных продуктов.

2) Разнообразие продаваемых продуктов.

3) Увеличение уровня удовлетворённости клиентов.

4) Увеличение верности ресурсу.

5) Более точное понимание желаний пользователей (Ricci, Rokach and Shapira, 2015).



2.3 Контекст рекомендации

Контекст определяется тем, при каких условиях у пользователя возникает потребность в рекомендации. Контекст учитывается на многих сайтах и во многих приложениях.

В литературе о контекстно-зависимых системах изначально контекст определялся как местоположение пользователя, информация об окружающих людях и предметах, а также о происходящих с ними изменениях. Впоследствии, были добавлены и другие факторы (Adomavicius and Tuzhilin, 2011).

К примеру, в приложении Foursquare РС учитывает местоположение пользователя, чтобы сначала включить в рекомендацию заведения, которые находятся к нему ближе всего. Если это сайт, где пользователь может забронировать отель, то РС зачастую учитывает цель его пребывания - работа или отдых. В случае онлайн-магазина в качестве контекста может учитываться то, покупает пользователь продукт для себя или в качестве подарка.

2.4 Чьи мнения ложатся в основу рекомендации

Рекомендации для пользователей могут строиться на основе мнений экспертов в той области, в которой требуется рекомендация, или же на основе мнений других пользователей, вне зависимости от того, являются они экспертами в данной области или нет.

Например, на сайте “Wine.com” рекомендации о вине составляются экспертами. В системе “Phoaks-system”, напротив, рекомендации составляются с учётом мнений других пользователей. Система предоставляет пользователю список ссылок, напротив которых указано количество людей, которые ссылались на эту ссылку в данной теме. При желании пользователь может посмотреть текст сообщений, также он видит шкалу, на которой видно, как давно на этот ресурс ссылались (то есть, не устарела ли эта информация).

2.5 Уровень персонализации

Самым простым типом является неперсонализированная рекомендательная система. Как и предполагает название, системы такого типа не учитывают личные предпочтения пользователей. Рекомендации, предлагаемые такой системой, идентичны для всех клиентов. Например, если мы откроем сайт Amazon.com как анонимный пользователь, мы увидим объекты, которые часто смотрят другие пользователи. Такие системы рекомендуют клиентам объекты, основываясь на том, что другие клиенты сказали об этих объектах или как их в среднем оценили (Poriya, Bhagat, Patel and Sharma, 2014).

Альтернативой такому типу рекомендательной системы является персонализированная система. При составлении рекомендаций такие системы могут опираться на различные факторы. К примеру, некоторые РС опираются на демографические факторы (возраст, пол и т.д.) и ориентируются на определённые целевые группы.

Другие системы персонализированного типа опираются на деятельность пользователя. Их можно разделить на кратковременные, то есть учитывающие текущую деятельность, и долговременные, то есть оценивающие долгосрочные интересы пользователя. К примеру, рекомендательная система на сайте “Brooks Brothers” базируется на личности пользователя - учитывает общую информацию о пользователе, основанную на его деятельности на других сайтах. А на ресурсе “CDNOW” пользователь может получить как кратковременные, так и долговременные рекомендации. В первом случае, система запрашивает у него имя одного исполнителя и, к примеру, один из его альбомов и на основании этих данных составляет для него рекомендацию. Однако, он может постоянно добавлять альбомы в список любимых альбомов и тогда система будет учитывать его долгосрочные интересы и их динамику для создания рекомендаций в будущем.

2.6 Личная информация и степень доверия к системе

Чтобы с наибольшей точностью предсказать, что хочет пользователь и в чём он нуждается, РС обычно опираются на огромное количество информации о пользователе, которая собирается иногда вопреки ожиданиям пользователя и тем самым затрагивает вопросы о сохранности личной информации. Возникновение таких вопросов, в свою очередь, может повлиять на мнение пользователей о системе. Такие данные о пользователе включают демографическую информацию, которая может указать на его личность (например, адрес электронной почты или номер социального страхования), а также данные, относящиеся к продуктам, которые пользователи оставляют в истории просмотров и истории покупок, что может указывать на их вкусы и привычки. В связи с различиями в уровне конфиденциальности фрагментов этой информации было бы не разумно применять единый механизм защиты данных, так как это может негативно сказаться на качестве рекомендаций. Следовательно, нужно разграничивать фрагменты информации о пользователе в соответствии с уровнем их конфиденциальности и учитывать это в контексте рекомендации; таким образом, разработчики смогут создавать такие рекомендательные системы, в которых сбалансированы уровень сохранности личных данных и качество рекомендации (Zhang, Wang and Jin, 2014).

Кроме того, с уровнем доверия к системе связан не только вопрос о безопасности личных данных. В поисках информации в Интернете мы часто сталкиваемся с проблемой достоверности данных. В связи с тем, что не существует какой-либо стандартной процедуры, которая помогала бы пользователям оценивать качество информации, им приходится работать в условиях неопределённости. Более того, существует вероятность столкновения с потенциальными проблемами, которые могут возникнуть вследствие следования рекомендациям: получение неверной информации может привести к потере времени или денег, или и того и другого. Следовательно, пользователи оказываются в зависимой позиции, когда обращаются к рекомендательной системе и к информации, которую она предоставляет, и им приходится обдумывать риск потери и возможность прибыли, прежде чем принять решение поверить системе и перейти к покупке (Lenzini,Van Houten, Huijsen and Melenhorst, 2009).

Плюс ко всему, работа рекомендательной системы может вызывать сомнения у пользователя в связи с тем, что в большинстве случаев для получения стабильной прибыли от предприятия, а также для её увеличения, при составлении рекомендации нельзя обойтись без обращения к базовым законам бизнеса. Очевидно, что компания старается продвигать те товары, продвижение которых ей выгодно. Естественно, что это понимает и большинство пользователей, и так как рекомендательная система работает на владельцев ресурса и им во благо, зачастую пользователи могут относиться к её предположениям с осторожностью и сомнениями. Всё зависит от честности системы. Тем более, если владельцы предприятия будут слишком заметно вмешиваться в работу рекомендательной системы, то это внушит недоверие клиентам. Одним из стандартных примеров такого вмешательства (на взгляд автора, не превышающего границ разумного) может служить отсутствие в рекомендации товаров, которых нет в наличии. Такая ситуация не выгодна для предприятия, так как пользователь не сможет оформить заказ и возможно решит поискать такой же товар на другом сайте.

Подпортить репутацию системе могут и злоумышленники, то есть пользователи, которые искусственно завышают или занижают рейтинги тому или иному продукту. Бесплатный доступ, который предоставляют рекомендательные системы, подвергает их риску и возможности потенциальных нападений злоумышленников. Наиболее известные типы программ, которые используются для подобных спекуляций, - это “RandomBot” и “AverageBot”. При добавлении новых фейковых профилей, программе “RandomBot” необходимо немного информации о каждом пользователе, так как она создаёт случайные профили при помощи функции равномерного распределения. У программы “AverageBot” больше возможностей. Она создаёт фейковые профили на основе нормального распределения со средним значением по рейтингам всех пользователей. Продвигая (или наоборот) целевой продукт, хакеры заставляют всех фейковых пользователей поставить данному продукту самую высокую (или самую низкую) оценку. Так как фейковые пользователи являются в системе близкими соседями настоящих пользователей (то есть, мнение первых учитывается при составлении рекомендации для вторых), то их оценки для целевых продуктов повлияют на рекомендации для настоящих пользователей (Zhang, Lee and Pitsilis, 2013).

2.7 Интерфейс

2.7.1 Тип выходных данных (вид рекомендации)

Существуют различные типы представления рекомендаций в рекомендательных системах. Всё зависит от того, как мы хотим, чтобы пользователь их использовал. Многие из основных типов рекомендаций, которые используются в современных рекомендательных системах, пришли из области традиционной (не электронной) торговли. В своей статье «Рекомендательные системы в электронной торговле» Шафер, Констан и Ридл выделяют семь типов рекомендаций:

1) Просмотр данных. В случае традиционной торговли клиент заходит в видео-магазин и просит продавца порекомендовать «комедию 50-х годов». В идеале, продавец порекомендует несколько фильмов и клиент пойдёт искать, где они расположены, просматривать обложки коробок и выбирать, что ему понравится. Однако, качество предоставленных рекомендаций зависит от знаний определённого продавца об огромном количестве фильмов. На сайте “Reel.com” есть некоторые преимущества, которые помогают сформировать карту фильмов для клиента. Во-первых, рекомендации нескольких продавцов/редакторов (в случае электронной торговли) комбинируются так, чтобы пользователю предоставлялись рекомендации как можно более высокого уровня вне зависимости от параметров запроса. Более того, рекомендации предоставляются сразу же со ссылками на рекомендованные продукты - нет необходимости искать рекомендованное по всему магазину. Такой тип рекомендаций помогает превратить пользователей, которые просто «зашли посмотреть» в покупателей. Это происходит за счёт того, что предоставляя хорошо организованные рекомендации, система помогает пользователям сузить их выбор и почувствовать больше уверенности относительно покупки какого-либо продукта (Schafer, Konstan and Riedl, 1999).

2) Похожий продукт. Тип рекомендации, который, как и предыдущий, пришёл из традиционной торговли. Одним из явных примеров такой рекомендации является блок «С этим также покупают» на многих сайтах электронной торговли, к примеру, на “Amazon.com”.

Отображённые продукты могут быть полностью отобраны на основании продукта или продуктов, к которым пользователь показывал интерес. Применяя рекомендации такого типа, сайты знакомят пользователя со своей линией продуктов и в идеале могут продать большее количество продуктов за один заказ (Schafer, Konstan and Riedl, 1999).

3) Электронное письмо. В том случае, если пользователь просматривал на сайте объекты определённого типа, но ничего не купил, система отправит ему рекомендацию на электронную почту. Также существуют ситуации, когда продукта, который пользователь хотел приобрести, нет в наличии. В таком случае, система отправит письмо пользователю, как только данный товар появится в наличии (Schafer, Konstan and Riedl, 1999).

4) Текстовые комментарии. Постепенно всё больше веб-сайтов используют текстовые комментарии, которые оставляют клиенты, для того, чтобы обеспечивать пользователей рекомендациями. Функция пользовательских комментариев на сайтах “Amazon.com”, “Flipkart.com”, “Snapdeal.com” и “eBay” помогает формировать «мнение со стороны», а также позволяет клиентам найти интересующий продукт и просмотреть комментарии об этом продукте от других клиентов. Это помогает сайтам зарабатывать деньги, так как вселяет в пользователей уверенность в продаваемых товарах или услугах - идея в том, что если достаточно много людей утверждает, что продукт хорош, а продавцу можно доверять, то, скорее всего, так и есть. Это не только помогает превратить посетителей в покупателей, но также увеличивает их верность сайту. Когда пользователи понимают, что можно доверять этим непредвзятым рекомендациям, то они с большей вероятностью вернутся к ним, когда им потребуется помощь в принятии какого-либо решения (Hooda, Singh and Dhawan, 2014).

5) Средний рейтинг. Более простой доступ к такому «мнению со стороны» обеспечивает средний рейтинг продукта. Вместо того чтобы просматривать большое количество текстовых комментариев, можно просто собрать оценки пользователей в численном виде. Собирая оценки пользователей и высчитывая на их основе среднюю оценку продукта, система предоставляет пользователям возможность получить общие сведения о качестве продукта буквально за одну секунду. Так же, как и в случае с текстовыми комментариями, средний рейтинг продукта помогает превратить посетителей в покупателей и увеличить их верность ресурсу (Schafer, Konstan and Riedl, 1999).

6) Топ-N лучших продуктов. Система подбора совпадений для книг сайта “Amazon.com”, подборщик стиля сайта “Levi's” и функция “My CDNOW” на сайте “CDNOW” в числе прочих используют рекомендации с помощью списка топ-N лучших продуктов. Как только система получает какие-либо данные о том, что нравится или не нравится клиенту, она может предоставить ему персональный список нескольких наиболее подходящих для него продуктов (Schafer, Konstan and Riedl, 1999).

7) Упорядоченные результаты поиска.

И последний тип вывода данных - упорядоченные результаты поиска. По сути, это одна из разновидностей уже упомянутого списка нескольких лучших продуктов. Только этот вариант менее ограничен.

В то время как список N лучших товаров ограничивает количество рекомендаций, данный тип вывода позволяет пользователю продолжить поиск среди прочих вариантов, которые вероятно могут его заинтересовать. К примеру, функция “We predict” на сайте “Moviefinder.com” предоставляет пользователям результаты поиска, упорядоченные в зависимости от вероятности того, что пользователю понравится этот продукт. Как и в случае с предыдущими типами вывода данных, этот помогает превратить посетителей в покупателей (Schafer, Konstan and Riedl, 1999).

2.7.2 Тип входных данных (на основании чего строится рекомендация)

Если говорить обобщённо, то по типу входных данных, то есть по типу информации, которая кладётся в основу будущей рекомендации, рекомендации делятся на явные и неявные.

Явные рекомендации основываются на оценке продуктов, полученной напрямую от пользователя. Данные такого типа система получает, когда напрямую запрашивает у пользователя мнение об объектах. Неявные рекомендации создаются на основе данных о поведении пользователя, то есть, к примеру, о покупках, просмотрах, или на данных о том, какие книги он берёт в библиотеке (Neumann, 2009).

Однако, на основании типа входных данных рекомендательные системы можно классифицировать и более подробно.

В зависимости от источника входных данных рекомендательные системы можно разделить на три категории. РС первого типа в качестве входных данных используют только информацию об истории поведения пользователя, для которого создаётся рекомендация, и информацию об объекте, который является кандидатом для рекомендации, не придавая значения истории действий других пользователей.

РС второго типа учитывает информацию о действиях всех пользователей в данном приложении, не ограничиваясь информацией о действиях только одного пользователя. Этот тип рекомендательных систем изучает информацию более глубоко и более широко в сравнении с системами первого типа.

Системы третьего типа были представлены не так давно и их появление связано с развитием различных социальных сетей (Facebook, LinkedIn, RenRen, Weibo, и т.д.). Целью РС этого типа является использовать связи между пользователями в этих социальных сетях для создания рекомендаций. Принципом для РС такого типа является: «Рекомендация от друга - лучше другой рекомендации» (Lei, Qin and Zhang, 2014).

2.8 Алгоритм

Как уже было сказано ранее, рекомендательные системы могут быть персонализированными и не персонализированными. В зависимости от принадлежности РС к тому или иному типу, при построении рекомендации они используют различные алгоритмы.

2.8.1 Алгоритмы рекомендаций в не персонализированных рекомендательных системах

Существует большое количество сайтов, которые используют не персонализированные РС, отображая среднее от всех пользовательских оценок. Зачастую такой тип рекомендации используют онлайн гиды по ресторанам.



2.8.2 Метод обобщённого мнения (Aggregated Opinion Approach)

Система показывает ресторан и его оценку, которая равна среднему значению от всех оценок, которые поставили данному ресторану другие пользователи. Некоторые онлайн гиды предоставляют пользователям возможность оценить ресторан по четырём критериям (Еда, Обстановка, Цена, Количество). Обычно в диапазоне от 0 до 5. Затем высчитывается средняя оценка и впоследствии отображается рядом с названием ресторана (Poriya, Bhagat, Patel and Sharma, 2014).

2.8.3 Метод ассоциации продуктов (Product Association Approach)

Этот алгоритм учитывает процент пользователей, которые поставили оценку данному продукту. Этот метод - самый эффективный для не персонализированных РС. Большинство онлайн магазинов используют этот метод с помощью блока «Люди, которые купили товар 1, также купили товар 2». При составлении такого блока используется техника анализа потребительской корзины. Рекомендации в данном случае составляются на основании того, что пользователь делает на данный момент, то есть, какие продукты он просматривает или покупает, и на основании того, что сейчас у него в корзине (Pereira and Varma, 2016).

Для составления рекомендаций такого типа требуется сразу же исключить из входных данных алгоритма множества, которые встречаются очень редко (к примеру, сочетание {моторное масло, тушь для ресниц}). Существуют различные алгоритмы для анализа предпочтений покупателей и выявления наиболее часто встречающихся наборов. Наиболее распространённым алгоритмом для составления правил ассоциации продуктов является априорный алгоритм (лат. a priori -- буквально «от предшествующего» -- знание, полученное до опыта и независимо от него), который в 1994 г. предложили R. Agrawal и R. Srikant . В основу алгоритма заложены данные о частоте выбора покупателями определённых сочетаний продуктов.

Этот алгоритм имеет два параметра, support (англ.: support - опора, поддержка) и confidence (англ.: confidence - уверенность, доверие). От значения этих параметров зависят искомые правила ассоциации. Они отражают полезность и точность правил соответственно. Правила ассоциации выявляются на основании базы данных, каждая запись в которой представляет собой набор продуктов. Для ассоциативных правил вида A ? B, где A и B - это сочетания продуктов, формулы поддержки (Supp) и уверенности (Conf) определяются следующим образом:

Правила ассоциации, которые удовлетворяют как минимальному установленному значению уверенности, так и минимальному установленному значению поддержки, называются сильными правилами и считаются заслуживающими внимания (Bendakir and Aїmeur, 2006).

2.8.4 Алгоритмы рекомендаций в персонализированных рекомендательных системах

В различных статьях и научных работах авторы не всегда одинаково классифицируют рекомендательные системы на основании алгоритма рекомендации. Однако по большей части эти различия незначительны. К примеру, по мнению доктора физико-математических наук из Московского государственного университета им. М.В. Ломоносова, А.Г. Дьяконова, методы, применяющиеся при разработке РС, можно разбить на две основные группы: методы коллаборативной фильтрации (collaborative filtering) и контентные методы (content-based, information filtering). В случае методов коллаборативной фильтрации, при разработке используются статистические данные о поведении пользователей (например, РС рекомендует продукты, которые были интересны для похожих пользователей). При разработке РС, ориентирующихся на контентные методы, используются какие-либо характеристики продуктов (например, рекомендуются товары из той же ценовой группы, той же категории и т.д.). Естественно, возможно и применение гибридного подхода, то есть использование в работе одной РС и тех и других методов (Дьяконов, 2012).

Рассмотрим вышеперечисленные методы более подробно.

2.8.5 Контентный метод или фильтр информации, основанный на содержании (content-based information filtering)

При использовании данного метода в системе формируются профили пользователей и объектов на основании анализа текстовой метаинформации объектов. После этого, с помощью какой-либо меры близости, часто - коэффициента Пирсона, выделяются объекты, по своим характеристикам наиболее близкие к профилю пользователя (Федоровский, Логачева, 2011).

Например, у фильмов есть какие-то определённые важные характеристики, такие как жанр, актёры, режиссёр, и когда пользователь выставляет оценку какому-либо фильму, тем самым он обновляет модель предпочтений. Эта модель описывает то, какие характеристики фильмов предпочитает данный пользователь, и часто представляет собой таблицу, на которую система ссылается как на вектор ключевых слов или тестовый вектор. Каждый раз, когда пользователь оценивает какой-либо фильм, информация в модели предпочтений обновляется (Kulkarni, Wagh, Badgujar and Patil, 2016). Достоинства данного метода: РС может составлять рекомендации для незнакомых пользователей (т.е. пользователей, которые ничего ещё не оценивали), таким образом, вовлекая их в сервис. Недостатки: понижается уровень точности предоставляемых рекомендаций, немного увеличивается время разработки (Савкова, Привалов и Чепикова, 2016).



2.8.6 Метод, основанный на знаниях (knowledge-based)

При использовании данного метода, РС составляют рекомендации, основанные на информации о предметной области. Зачастую предыдущий метод считают подвидом метода, основанного на знаниях, так как в контентном методе в качестве знаний можно рассматривать информацию о продукте (Савкова, Привалов и Чепикова, 2016).

Однако, не все авторы придерживаются такого мнения, так как у метода, основанного на знаниях, есть свои отличительные черты. Использование данного метода очень хорошо подходит для рекомендаций тех продуктов, которые не покупают (или не просматривают) на регулярной основе.

В связи со сложностью выбора или с серьёзностью подхода пользователя к приобретению продукта в тех сферах, где используется основанный на знаниях подход, пользователи, как правило, проявляют большую активность в выражении своих требований по отношению к искомому объекту. К примеру, в случае с выбором фильма пользователь примет рекомендацию зачастую с большим удовольствием и с меньшим количеством уточнений о качествах искомого объекта, чем в случае с выбором машины или квартиры.

Иначе говоря, значительным отличием систем такого типа является наибольший уровень контроля пользователя над процессом составления рекомендаций. Плюс ко всему, РС, основанные на содержании или использующие метод коллаборативной фильтрации, принимают во внимание в большей степени информацию о предыдущей деятельности пользователя, тогда как РС, основанные на знаниях, ориентируются на то, что пользователь хочет в данный момент (Aggarwal, 2016).



2.8.7 Метод коллаборативной фильтрации (collaborative filtering)

По мнению некоторых исследователей в области рекомендательных систем, наиболее эффективным методом персонализированного информационного фильтрования является коллаборативная фильтрация.

При использовании этой техники, РС рекомендует пользователю объекты на основании данных о взаимодействии с объектом других пользователей. При построении рекомендаций с помощью этого метода используются известные оценки (мнения) группы пользователей для прогнозирования неизвестных предпочтений другого пользователя. Основной принцип коллаборативной фильтрации состоит в предположении о том, что вероятно те, кто похожим образом оценивали какие-либо объекты в прошлом, будут впоследствии так же оценивать другие объекты (Ролгин, 2016).

На сегодняшний день разработано множество алгоритмов коллаборативной фильтрации, которые можно разделить на две основные группы:

1) Методы, основанные на анализе имеющихся оценок, - анамнестические методы (Memory-based).

Работа алгоритмов этой группы основывается на статистических методах, которые позволяют выявить группу пользователей наиболее близкий к целевому пользователю. Другое название этого метода - метод ближайших соседей (Neighbourhood-based). При работе РС используются предшествующие оценки, сделанные клиентов, и анализируются оценки других клиентов с подобными предпочтениями. Рекомендации для целевого пользователя составляются на основании вычисления меры похожести по всем собранным данным (Пятикоп, 2013(a)).

Рекомендации, получаемые в результате использования данного метода, можно разделить на два вида: основанные на сходстве пользователей (User-based) и основанные на сходстве объектов (Item-based).

Системы, ориентирующиеся на сходство пользователей, такие как “GroupLens”, “Bellcore video” и “Ringo” делают выводы об интересе пользователя u к объекту i, используя оценки, которые поставили этому объекту другие пользователи, которые называются соседями, и имеют похожие паттерны оценивания. Соседями пользователя u, как правило, являются пользователи v, оценки которых для объектов, оцененных как пользователем u, так и пользователями v, то есть , наиболее схожи с оценками пользователя u (Desrosiers and Karypis, 2011).

Алгоритм составления рекомендаций, основанных на сходстве пользователей, включает в себя 3 этапа:

1. Для каждого пользователя u вычисляется, насколько его предпочтения совпадают с предпочтениями пользователя a.

2. Затем, выбирается множество пользователей, наиболее близких к пользователю a.

3. Формируется оценка для определённого объекта i на основе оценок этого объекта «соседями», выбранными на прошлом этапе (Гомзин, Коршунов, 2012).

При построении рекомендаций второго типа, то есть основанных на сходстве объектов, предполагается, что если два объекта получили одинаковые оценки от пользователей, то они похожи, и, следовательно, у пользователей будут аналогичные предпочтения по отношению к подобным объектам.

Преимуществом данного подхода по сравнению с предыдущим является возможность вычисления степени близости рассматриваемого объекта ко всем остальным в отложенном режиме. Это означает, что процесс формирования рекомендаций может быть разделен на два этапа: отложенная стадия - вычисление близости объектов по отношению друг к другу, и стадия в реальном времени - вычисление рейтингов рассматриваемых объектов. В связи с этим, данный алгоритм более эффективен с точки зрения времени составления рекомендаций (Пятикоп, 2013(b)).

Алгоритм работы рекомендательной системы, основанной на сходстве объектов, почти такой же, как и в случае со сходством пользователей:

1. Для каждого объекта система вычисляет, насколько он похож на объект i, для которого предсказывается пользовательская оценка.

2. Происходит выбор объектов, наиболее похожих на i.

3. Система предсказывает оценку данному объекту на основе оценок, полученным в результате второго этапа от пользователя a (Гомзин, Коршунов, 2012).

Для выполнения первого пункта из описанных выше алгоритмов, то есть для вычисления степени близости, Гомзин и Коршунов предлагают использовать либо косинус между векторами (вектор - строка пользовательских оценок, либо строка оценок объекту, в зависимости от выбранного метода), либо коэффициент корреляции Пирсона (Гомзин, Коршунов, 2012). Оба эти способа можно использовать как для вычисления близости между пользователями, так и для вычисления близости между объектами.

Однако существуют и другие способы, которые используются в РС для вычисления степени близости пользователей или объектов:

· расстояние Эвклида, Хемминга;

· ранговая корреляция Спирмена;

· коэффициент Жаккара (Пятикоп, 2013).

2) Методы, основанные на анализе модели данных, - модельные методы (Model-based).

Разработка моделей (машинного обучения, алгоритмы глубинного анализа данных) позволяет системе научиться распознавать сложные паттерны на основании тренировочных данных, и впоследствии формировать толковые рекомендации для задач коллаборативной фильтрации, работая с тестовыми данными или уже с реальными данными, основываясь на выученных моделях. К алгоритмам, основанным на анализе модели данных, относятся методы Байесовских сетей, методы кластерного анализа, методы, основанные на Марковских моделях (MDP), методы латентного семантического анализа (LSA), метод сингулярного разложения (SVD) и анализ главных компонент (PCA). Эти алгоритмы были предложены для решения проблем, возникающих при использовании анамнестических методов (Su and Khoshgoftaar, 2009).

Во многих случаях идея модельных методов, а также одно из основных преимуществ методов этого типа, заключается в том, что с их помощью можно построить модель, которая будет меньше по объёму занимаемой памяти. Плюс ко всему, использование моделей позволяет учитывать не только похожесть объектов, но и их ценность (Гомзин, Коршунов, 2012).

Однако, несмотря на некоторые преимущества, у методов этого типа есть и существенные недостатки. Во-первых, модель требует значительно большего времени для вычисления, во-вторых, требует повторного вычисления, как только обновляется матрица данных, что происходит каждый раз, когда пользователь снова оценивает какой-либо объект. В основном, незначительные изменения в матрице данных не учитываются, тем не менее, как только их становится больше, модель нужно тренировать по-новому (Levinas, 2014).

2.8.8 Рекомендательные системы, основанные на нескольких критериях, или мультиатрибутивные рекомендательные системы (multi-criteria recommender systems)

Этот тип рекомендательных систем можно назвать более инновационным по сравнению с предыдущими классическими подходами. При применении традиционных подходов, таких как коллаборативная фильтрация и подход, основанный на содержании, учитываются только общие оценки объектам, что, однако, не может пояснить, почему пользователи поставили такие оценки. К примеру, два пользователя одинаково оценили один и тот же фильм, но по разным причинам: одному нравится его жанр и режиссёр, а другому нравится актёр и актриса. Таким образом, всё большее количество работ, написанных в последние годы, были направлены на то, чтобы распределить пользовательские оценки по атрибутам объектов и в результате были разработаны так называемые мультиатрибутивные РС. К примеру, в работе Адомавициуса и Квона (Adomavicius and Kwon, 2007) классический алгоритм коллаборативной фильтрации был усовершенствован с помощью использования установленных пользователем мультиатрибутивных оценок для вычисления близости между пользователями. Они также предложили вычислять общий рейтинг объекта с помощью функции объединения оценок, данных отдельным его атрибутам. Этот подход показал себя лучше по сравнению с традиционным методом коллаборативной фильтрации, основанном на общей оценке (Wang and Chen, 2012).

2.8.9 Рекомендации, основанные на пользовательских отзывах

Ещё одним из более современных методов составления рекомендаций в РС является метод, основанный на использовании отзывов. При использовании этого метода система учитывает пользовательские отзывы о продуктах, однако изначально в своей основе он лишь подразумевал улучшение традиционного метода коллаборативной фильтрации с помощью формирования одномерных виртуальных рейтингов на основании результатов классификации тональности отзывов (Poirier, Tellier, Fessant, and Schluth, 2010; Zhang, Ding, Chen, Li and Zhang, 2012). Только в некоторых работах был тщательно проработан эффект использования многомерной оценки тональности на уровне атрибутов объектов. К примеру, в своей работе об использовании текстовых отзывов для составления рекомендаций Якоб, Вебер, Мюллер и Гуревич предложили использование метода многомерного разложения матрицы (Jakob, Weber, Mьller, and Gurevych, 2009), для того, чтобы смоделировать отношения между пользователями, фильмами и мнениями с точки зрения отдельных характеристик (Wang and Chen, 2012).

Техники коллаборативной фильтрации показывают очень хорошие результаты, когда система располагает достаточным количеством информации о рейтингах. Однако в условиях проблемы разреженности рейтингов, с которой часто сталкиваются РС, их эффективность падает в связи с низким покрытием пространства для рекомендаций или со сложностями в плане предоставления пользователям возможности выражения своих предпочтений в виде линейных рейтингов. Для того чтобы справиться с этой проблемой был разработан метод рекомендаций, основанных на содержании, при применении которого система опирается на содержание объектов, и на его основании находит объекты, содержание которых похоже на содержание тех, которые понравились данному пользователю. В некоторых исследованиях было предложено использование других типов получаемой от пользователя информации, например, использование тэгов (произвольно выбранные/написанные ключевые слова) (Marinho et al., 2011; Zhao, Du, Nauerz, Zhang, Yuan and Fu, 2008), а также использование социальных отношений (таких как дружба, принадлежность к какой-либо организации, доверительные отношения) для увеличения точности рекомендаций. Однако этих методов всё также недостаточно, особенно в тех случаях, когда о деятельности какого-либо пользователя мало данных. Их эффективность также ограничена в условиях высокого уровня общей разреженности данных (Chen, Chen and Wang, 2015).

В (Chen, Chen and Wang, 2015) авторы разделяют исследования в сфере РС, основанных на отзывах, на две основные категории в зависимости от того, с какой целью используются отзывы:

А) Основанное на отзывах моделирование пользовательского профиля.

Б) Основанное на отзывах моделирование профиля продукта (Chen, Chen and Wang, 2015).

Исследования из первой категории они, в свою очередь, разделяют на подгруппы в зависимости от того, на каком типе пользовательского профиля авторы исследования акцентируют своё внимание: профиль, основанный на ключевых словах, то есть профиль, который строится с помощью извлечения из отзывов часто употребляемых терминов; основанные на профиле рейтингов, то есть те, где отзывы используются либо для того, чтобы сделать вывод о том, как бы пользователь оценил какой-либо объект (когда он не выставлял оценки), либо для дополнения существующих оценок; основанные на предпочтениях в отношении каких-либо характеристик, в которых в отличие от исследований, основанных на рейтингах, анализируется не то, насколько пользователю понравился какой-либо объект, а то, почему он ему понравился (Chen, Chen and Wang, 2015).

...