Проектные решения по разработке рекомендательного сервиса для онлайн-кинотеатра

1. Модель должна быть способна находить похожие отзывы. Наиболее эффективный способ добиться этого на сегодняшний день -- использовать векторную модель, а затем производить операции сравнения векторов между собой с помощью расчёта косинусного расстояния.

2. Модель должна уметь работать с мультиязычными токенами (как минимум, русский и английский языки). В результате просмотра нескольких десятков отзывов пользователей на сервисе «Кинопоиск» выяснилось, что в отзывах встречаются англоязычные названия фильмов, имена актёров, режиссёров. Отбрасывать эту информацию нежелательно, так как это весьма релевантная часть отзыва.

3. Модель должна максимально учитывать семантику отзыва. Идея модели состоит в том, чтобы поиск по описанию возвращал не только отзывы, содержащие слова из запроса пользователя (как происходит при полнотекстовом поиске), но и учитывал близкие по значению слова.

4. Для каждого отзыва моделью должен быть рассчитан единый семантический вектор, характеризующий данный отзыв. В этом векторе должны быть учтены все векторы входящих в отзыв слов или N-грамм. Производить операции напрямую с векторами слов по отдельности извне отзыва нет никакого практического смысла, поэтому можно ограничиться сохранением только итогового вектора смысла отзыва целиком.

Исходя из данных требований и особенностей моделей для обработки текстовой информации, можно сделать вывод о том, что для модели поиска по описанию с учетом семантики («нечёткого» поиска) наиболее предпочтительным вариантом является архитектура, основанная на ячейке (ячейках) LSTM, поскольку именно такой вариант обеспечивает наибольшую эффективность запоминания информации искусственными нейронными сетями.

Для того, чтобы модель получила возможность вычислять векторы слов (предложений, документов) таким образом, чтобы они включали в себя семантическую информацию, ее необходимо соответствующим образом обучить. Однако обучение модели LSTM до приемлемого уровня является задачей, которую сложно переоценить в плане трудозатратности -- подразумевает наличие набора данных большого размера, а также доступ к серьезными вычислительным мощностям. На данный момент такая возможность есть, как правило, у крупных компаний (Google, Amazon, Яндекс). Для небольших команд или организаций гораздо более реальной представляется возможность аренды облачных мощностей для обучения модели. Однако существуют также предварительно обученные на больших датасетах модели. Для задачи поиска по описанию вполне можно воспользоваться одной из таких моделей, если она удовлетворяет сформулированным требованиям.

Один из популярных фреймворков Python, позволяющий использовать предобученные модели -- библиотека Sentence-Transformers. Она предназначена для работы с последовательностями -- текстом и изображениями. Кроме официально предоставляемых, Sentence-Transformers также совместима с моделями, размещаемыми разработчиками на Hugging Face Hub. Основные модули библиотеки используют функции фреймворка глубокого обучения PyTorch. При соответствующей настройке это позволяет задействовать вычислительные мощности графического ускорителя, что значительно ускоряет работу.

4. Моделирование семантических векторов отзывов. Поскольку для расчета вектора каждого отзыва требуются значительные вычислительные мощности, используется графический адаптер, имеющий большее количество вычислительных блоков по сравнению с CPU. Рассчитанные вложения векторов сохраняются в постоянную память, и при последующем запуске вновь не рассчитываются.

5. Реализация Telegram-бота и его коммуникации с моделью. Данный бот принимает запросы от пользователей и направляет их в модель, которая осуществляет кодирование текста запроса в семантический вектор. Затем осуществляется поиск наиболее схожих векторов отзывов с вектором запроса пользователя. Итоговый результат ранжируется в соответствии с метрикой ранжирования и режимом, выбранным пользователем. При ранжировании учитывается метрика схожести, возвращаемая моделью для каждого отзыва и рейтинг соответствующего фильма, к которому относится отзыв.

При выдаче результатов поиска фильмов по описанию необходимо провести ранжирование фильмов по некому критерию. Авторами предлагается реализовать три различных варианта ранжирования фильмов:

Для того, чтобы найти ближайшие к текстовому запросу пользователя отзывы и, соответственно, фильмы, необходимо с помощью модели рассчитать семантический вектор запроса. Запрос пользователя передается модели с помощью того же метода encode, который использовался для расчета вложений отзывов. Преимущество семантических моделей в данном случае состоит в том, что вектор в меньшей степени зависит от длины последовательности, чем

в случае с моделями, основанными на «арифметике слов». В случае, например, Word2Vec, вектор будет тем более разрежен, чем короче входная последовательность. Итоговое количество измерений такой модели напрямую зависит от количества слов в словаре, тогда как семантическая модель на выходе всегда дает вектор фиксированной длины, не зависящей от корпуса и задаваемой в качестве гиперпараметра модели. Таким образом, после кодирования текста запроса возвращаемый вектор состоит из 768 элементов и может быть сравнен с векторами отзывов. Метод cos_sim модуля util библиотеки Sentence-Transformers позволяет рассчитать косинусное расстояние между векторами. После расчета данной метрики необходимо выбрать векторы отзывов, наиболее схожие с вектором текстового запроса пользователя. Далее метки отзывов фильмов сопоставляются с данными о фильмах по индексу.

В рамках реализации модели был разработан сервис для отправки запросов, Telegram-бот. Telegram-бот может включать внутри себя нужные функции, либо отправлять API-запрос к сервису, где будет размещена модель.

Рисунок 2. Приветственное сообщение Telegram-бота (составлено авторами)

Нужный функционал предоставляет библиотека Python-Telegram-Bot. После получения аутентификационных данных для доступа к API Telegram, предназначенного для ботов, можно реализовать метод, проверяющий наличие новых сообщений в чате бота. При поступлении нового сообщения бот совершает следующую последовательность действий:

Если сообщение является командой запуска бота («/start») -- в ответ пользователю отправляется справка о том, как пользоваться ботом и какие команды он поддерживает (рис. 2).

2. Если сообщение является командой «/priority» (с передачей в качестве параметра 1, 2 или 3), то происходит смена режима ранжирования. Таким образом, команда «/priority 1» активирует режим ранжирования «по схожести», и так далее. На рисунке 3 показан пример последовательной смены режимов ранжирования.

3. В остальных случаях бот отправляет текст сообщения в функцию. Полученный результат ранжируется функцией в зависимости от текущего режима, преобразуется в текст и возвращается пользователю.

Рисунок 3. Пример команд смены режимов ранжирования (составлено авторами)

Для использования сервиса рекомендаций в продуктивной среде можно предложить следующие направления улучшения результатов модели и качества рекомендаций:

1. Поскольку в данной реализации выбранный пользователем режим сохраняется только в памяти программы (Telegram-бота), при перезапуске информация об уже сделанных выборах теряется. Для ее сохранения следует использовать базу данных.

2. Информация, содержащаяся в отзывах, обладает высокой степенью субъективности. Кроме того, нет никаких гарантий, что отзывы будут релевантны содержанию фильма. Наиболее продуктивным представляется использование информации, включающей описание сюжета фильма, основных действующих лиц, событий. На момент проведения исследования не удалось найти подобный русскоязычный ресурс, содержащий достаточное количество описаний и фильмов. Представляется, что наличие подобной информации позволит значительно повысить релевантность поиска.

3. Одним из путей развития идеи различных режимов ранжирования может быть добавление новых признаков в формулу расчета метрики ранжирования или создание новых режимов, например, «по дате выхода». Особенно перспективным представляется дополнение или улучшение «сбалансированного» режима, поскольку, исходя из результатов анкетирования пользователей, существует группа пользователей, использовавшая данный режим чаще других.

4. Способность модели предоставлять релевантные рекомендации также сильно зависит от количества токенов, которые «знает» модель. Для увеличения содержательности рекомендаций необходимо увеличить количество собранных фильмов и отзывов.

Выводы