Выявление паттернов поведения пользователей в системах машинного восприятия методами машинного обучения

По результатам анализа релевантных исследовательских работ, можно сказать, что: Алгоритмы машинного обучения, используемые в рекомендательных системах, используются универсально вне зависимости от контекста поставленной задачи;

Внимание исследователей в основном целиком и полностью сконцентрировано на используемых инструментах машинного обучения, при этом практически не обсуждается такой важный, с точки зрения качества конечного результата, этап, как разработка модели признаков (Feature Engineering): как артефакты поведения пользователя трансформируются в признаки, по какому принципу строится модель признаков, какие признаки являются наиболее значимыми, а от каких можно отказаться.

Таким образом, проведенный анализ показал, что разработка признаков является потенциально слабым и недостаточно изученным этапом в процессе решения задачи машинного обучения и требует более детального изучения и совершенствования.

2.4 Машинное обучение в системах машинного восприятия: выводы

Рекомендательные системы являются популярными для технологий машинного восприятия информационными системами, поскольку по своему функционалу представляют собой частный случай систем принятия решений и пользуются большим успехом в решении задач по предложению товаров и услуг, формированию подборок фильмов и музыки, развитию таргетированной рекламы. Машинное обучение, в свою очередь, предоставляет обширный универсальный функционал для решения задач рекомендательных систем, в том числе для задач выявления паттернов поведения пользователей. Однако тем не менее, остается неисследованным в достаточной мере вопрос формирования признаков для дальнейшего использования при построении модели машинного обучения.

По этой причине в рамках данной исследовательской работы было решено рассматривать этап разработки признаков (Feature Engineering) для учета паттернов поведения пользователей в рекомендательных моделях. Таким образом, гипотеза данной работы: учет паттернов поведения в модели признаков повышает качество рекомендаций в модели.

ГЛАВА 3. ПОДХОД К РАЗРАБОТКЕ МОДЕЛИ ПРИЗНАКОВ ДЛЯ ЗАДАЧИ ФОРМИРОВАНИЯ ПРЕДСКАЗАНИЙ В РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ С УЧЕТОМ ПАТТЕРНОВ ПОВЕДЕНИЯ ПОЛЬЗОВАТЕЛЯ

3.1 Общая концепция

Итак, в предыдущих главах был приведен подробный обзор, что такое паттерны поведения человека и чем может быть полезно их использование, что такое машинное обучение и из каких этапов состоит процесс решения задач методами машинного обучения, а также анализ существующих решений и исследований.

Рисунок 3. Общая концепция подход к разработке модели признаков: схема взаимодействия человека и рекомендательной системы

В результате было выявлено, что наиболее слабым местом - а значит, потенциально его исследование может положительно сказаться на качестве модели - в процессе решения задачи построения модели методами машинного обучения с учетом паттернов поведения пользователя является этап разработки признаков (Feature Engineering). По этой причине, предлагаемый подход к выявлению и включению данных о паттернах поведения пользователя в модель машинного обучения сконцентрирован именно на этом этапе.

Суть предлагаемого подхода заключается в соотнесении артефактов поведения человека с языком их интерпретации в рекомендательной системе (рис. 3).

Для этого предлагается модифицировать традиционный этап разработки признаков под задачу учета паттернов поведения пользователя.

В основу разработанного в рамках данной работы подхода легли, с одной стороны, поведенческие концепции психологии личности - в первую очередь, структура психики и характеристики поведения человека (глава 1), а с другой - общие принципы применения инструмента машинного обучения (глава 2) и результаты исследования рекомендательных систем в рамках предыдущей исследовательской работы «Алгоритмы машинного слуха в рекомендательных системах» [37].

3.2 Разработка подхода

Традиционно, этап разработки признаков при решении любой задачи машинного обучения принято понимать, как решение следующих взаимосвязанных задач (шагов) [47]:

Извлечение признаков (Feature Extraction): в рамках этого шага необходимо специфичные для предметной области данные перевести на математический язык, понятный для системы, т.е. числовые векторы. И, если с технической точки зрения существует достаточно инструментов и методов, чтобы из текста, изображений, звука, геоданных и т.д. считать нужные данные, то на вопрос «А какие же исходно нужно взять данные, к которым применить эти инструменты и методы?», как показал анализ в главе 2, как такового ответа нет - по большей части, в качестве ответа на этот вопрос обычно ссылаются на то, что процесс подбора признаков требует творческого подхода.

Преобразование признаков (Feature Transformation): чистка сырых данных, полученных на предыдущем шаге, путем применения таких методов, как понижение размерности, уменьшение шума, нормализация и др.;

Выбор признаков (Feature Selection): на этом этапе необходимо отсеять незначимые признаки путем тестирования признаков с помощью алгоритмов машинного обучения, позволяющих оценить значимость признака (простейший пример - логистическая регрессия), с помощью статистических методов или перебором.

Если вернуться к предлагаемому подходу, то уточним теперь, что суть предложения - расширить шаг «Извлечение признаков» и постараться ответить на вопрос «Какие исходно нужно взять данные, чтобы модель учитывала паттерны поведения пользователя?». Прежде, чем перейти к дальнейшему пошаговому описанию подхода, необходимо отметить, что данное предложение не является единственно верным и не подразумевает единственность полученного с помощью него решения в силу того, что, во-первых, даже в рамках одной психологии личности существует более одной поведенческой концепции [57], а во-вторых, несмотря на попытку упорядочить этап разработки признаков, он все равно остается творческим и зависит от конечной постановки задачи.

Шаг 1. Разработка схемы признаков рекомендуемого объекта.

На этом этапе необходимо выделить максимальное количество признаков, описывающих объект, который рекомендует система, причем важно учесть не только признаки в данных, если таковые уже имеются, но и при необходимости скомбинировать числовые признаки до семантического значения. Для этого в качестве основы предлагается использовать самую базовую концепцию описания объекта в информатике, которая говорит о том, что у любого объекта есть такие признаки, как свойства, действия, поведение и состояния [58]. В целом предполагается, что формат схемы признаков может быть любой, однако для простоты рекомендуется использовать дерево признаков или майнд-карту (рис. 4). Хорошей практикой для данного этапа является техника мозгового штурма.

Рисунок 4. Пример форматов построения схемы признаков для рекомендуемого объекта

Шаг 2. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (неявный подход).

Следующим шагом необходимо каждому из выявленных признаков объекта по возможности указать хотя бы 1 пользовательский сценарий - точку взаимодействия пользователя с признаком объекта рекомендации в системе, который происходит для пользователя в неявном виде, то есть сценарий может быть отслежен рекомендательной системой посредством неявного подхода (см. глава 2). Признаки и пользовательские сценарии необходимо оформить как таблицу в следующем формате:

Результатом этапа должна стать таблица, оформленная по формату, указанному выше.

Шаг 3. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (явный подход).

Этот шаг по своей сути идентичен шагу 2, однако его отличие заключается в том, что теперь необходимо для признаков объекта рекомендаций указать такие пользовательские сценарии, где точка взаимодействия пользователя с признаком объекта существует в системе в явном виде, т.е. сценарий отслеживается системой с помощью явного подхода. Точка взаимодействия, таким образом, формируется системой, например, она может быть сформирована в виде вопроса с просьбой оценить тот или иной признак объекта (любимые жанры кино или исполнители песен) или наличие в системе функционала оценки самого объекта (лайк под песней или оценка фильма). Здесь нужно отметить, что поскольку, как было уже указано в главе 2, практика показывает, что пользователи не очень любят отвечать на явные вопросы, рекомендуется ограничить количество таких сценариев до необходимого минимума, т.е. необязательно, чтобы у каждого признака объекта появился соответствующий ему явный пользовательский сценарий. Признаки и пользовательские сценарии необходимо также сформулировать в следующем формате и оформить в виде таблицы по аналогии с шагом 2:

Шаг 4. Консолидация и соотнесение выявленных пользовательских сценариев с атрибутами поведения человека.

В рамках разрабатываемого подхода предлагается соотносить неявный подход получения данных системой с атрибутами невербального поведения пользователя (как осознанного, так и неосознанного), поскольку подобно тому, как при общении с живым человеком нельзя однозначно сказать, были ли невербальные атрибуты его поведения проявлены осознанно или нет, в системе также далеко не всегда данные, полученные неявным образом, можно трактовать однозначно. Соответственно, явный подход получения данных системой в рамках данного подхода приравнивается к вербальному поведению человека: на заданный системой в явном виде условно вопрос человек осознанно отвечает, транслируя информацию (= реагирует вербально) [59]. машинный обучение паттерн поведение

Таким образом, на данном этапе необходимо объединить результаты, полученные на шагах 2 и 3, в единую таблицу, а затем соотнести каждую точку взаимодействия с признаком объекта с признаками поведения человека, отражающего ту или иную составляющую его психики. В результате должно получиться сопоставление в следующем формате:

Для того, чтобы это сделать, необходимо воспользоваться таблицей 3, которая основана на проведенном анализе и разработанной в главе 1 таблице декомпозиции психики человека. Каждой составляющей приводится в соответствие предлагаемый способ измерения действий пользователя и получения данных о них в рекомендательной информационной системе. Поскольку как таковой формально обособленной классификации или типологии действий пользователя в информационных системах в ходе анализа научных источников не было выявлено, в качестве отправной точки использовались работы Bart P. Knijnenburg, Martijn C. Willemsen, Zeno Gantner, Hakan Soncu и Chris Newell «Explaining the user experience of recommender systems», Zhang D., Zhou L., Kehoe J. L. и Kilic I. Y. «What Online Reviewer Behaviors Really Matter? Effects of Verbal and Nonverbal Behaviors on Detection of Fake Online Reviews» и Nъсez-Valdez E. R., Quintana D., Gonzбlez Crespo R., Isasi P. и Herrera-Viedma, E. «A recommender system based on implicit feedback for selective dissemination of ebooks» [59-61].

Таблица 3. Отображение психики человека на его действия в рекомендательной системе

Шаг 5. Формирование первичного списка признаков для учета паттернов поведения пользователя.

На базе сформированного списка пользовательских сценариев и признаков отражения психики в поведении человека, необходимо оформить таблицей признаки пользователя и обратной связи:

Стоит отметить, что признаки поведения человека содержат в себе не только непосредственно признаки пользователя (в терминах рекомендательных систем), но также и явную/неявную обратную связь, которая в дальнейшем может быть использована для формирования оценки композиции пользователем в системе.

При формировании первичного списка признаков необходимо также учитывать существующие технические ограничения аппаратного обеспечения и требования к системе: так, использование в качестве интерфейса смарт-устройства (например, смартфона или «умных» часов) дает зачастую больше возможностей к выявлению тех или иных признаков поведения, нежели стандартный веб-интерфейс, например, за счет наличия в смартфоне датчиков движения можно оценить бодрость и активность пользователя.

Примечание: на данном этапе речь идет о первичном списке признаков - для первой итерации тестирования и оценки модели МО, поэтому рекомендуется формировать простые признаки. В дальнейших итерациях при необходимости улучшать качество модели можно комбинировать и объединять простые признаки в более сложные и затем сравнивать результаты оценки моделей для того, чтобы понять, какой перечень признаков подходит к модели больше всего.

Шаг 6. Приведение первичного списка признаков к математическому формату. Заключительным шагом в этапе извлечения признаков является непосредственное приведение признаков к математическому формату: определить для каждого признака тип данных и способ извлечения. В зависимости от типа исходных данных, для этого применяются различные известные подходы: токенизирование текста, кодирование изображений, преобразование дат и другие [47].

3.3 Подход к разработке модели признаков для задачи формирования предсказаний в рекомендательной системе с учетом паттернов поведения пользователя: выводы

Таким образом, в совокупности весь этап разработки признаков позволяет учесть в модели специфические данные, связанные с процессом проявления у пользователя его паттернов поведения в тех или иных артефактах, и в итоговом виде выглядит следующим образом:

Извлечение признаков (Feature Extraction):

Разработка схемы признаков рекомендуемого объекта.

Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (неявный подход).

Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (явный подход).

Консолидация и соотнесение выявленных пользовательских сценариев с атрибутами поведения человека.

Формирование первичного списка признаков для учета паттернов поведения пользователя.

Приведение первичного списка признаков к математическому формату.

Преобразование признаков (Feature Transformation);

Выбор признаков (Feature Selection).

ГЛАВА 4. ФОРМИРОВАНИЕ ПРЕДСКАЗАНИЙ В РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ ПО ПОДБОРУ МУЗЫКАЛЬНЫХ КОМПОЗИЦИЙ С ИСПОЛЬЗОВАНИЕМ ПРЕДЛОЖЕННОГО ПОДХОДА

4.1 Постановка эксперимента

Цель проведения эксперимента - проверка на практике предложенного в главе 3 подхода к разработке признаков, а также тестирование гипотезы о том, что использование данных о паттернах поведения пользователя в рекомендательных системах, которые используют методы машинного обучения для формирования рекомендаций, повышает качество рекомендаций.

Задачи эксперимента:

Провести разработку признаков и подготовку данных согласно предложенному в главе 3 подходу;

Разработать модели рекомендаций и провести ряд экспериментов:

без включения признаков, характеризующих вербальное и невербальное поведение пользователя в системе;

с использованием признаков вербального и невербального поведения пользователя в системе, разработанных по предложенному в главе 3 подходу;

сравнить использование вербальных признаков с использованием невербальных признаков;

Сделать вывод о качестве предсказаний и оценить эффективность примененного метода.

Нулевая гипотеза эксперимента: использование данных о паттернах поведения пользователя влияет на качество рекомендаций.

Альтернативная гипотеза: использование в модели данных о паттернах поведения пользователя не оказывает влияние на качество рекомендаций.

В рамках эксперимента рассматривается рекомендательная система по подбору музыкальных композиций.

В качестве модели рекомендательного алгоритма в рамках данного эксперимента используется гибридная модель по стратегии stacking, разработанная в ходе исследования предыдущей работы «Алгоритмы машинного слуха в рекомендательных системах» [37].

Примечание к эксперименту: как уже ранее упоминалось, процесс разработки признаков является творческим - основная задача предложенного подхода заключается в попытке несколько систематизировать и упростить этот процесс. По этой причине, описанный ниже ход эксперимента не является единственно верным.

4.2 Средства и инструменты

Для построения модели использовался язык Python (исходный код эксперимента размещен в открытом репозитории GitHub) [62]. В дополнение к этому, для обработки данных использовались пакеты NumPy, pandas и sklearn. Для построения рекомендательных моделей использовался пакет tensorrec. При тестировании гипотезы с помощью статистических тестов использовалась библиотека stats пакета SciPy. В качестве данных о музыкальных композициях используется часть данных из открытого датасета музыкального рекомендательного сервиса Spotify. Данные о пользователях были получены с помощью опросника.

4.3 Подготовка данных для эксперимента: применение предложенного подхода к разработке признаков

Прежде, чем перейти к построению моделей, необходимо подготовить данные и разработать признаки, которые будут использоваться затем моделью машинного обучения. Для этого применяется разработанный в главе 3 подход.

Шаг 1. Разработка схемы признаков рекомендуемого объекта.

Исследуемая в рамках эксперимента рекомендательная система является музыкальной рекомендательной системой, т.е. объектом рекомендаций в системе является музыкальная композиция. В системе можно зарегистрироваться, искать песню, слушать ранее сохраненные песни или плейлист рекомендаций, которые по одной предлагает система. Исходя из этого и с учетом имеющихся данных о музыкальных композициях (табл. 4), с помощью дерева признаков получаем схему признаков (рис. 5).

Шаг 2. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (неявный подход).

Таблица 4. Описание признаков музыкальных композиций, используемых в модели (датасет Spotify)

Рисунок 5. Схема признаков для музыкальной рекомендательной системы

Теперь необходимо для каждого признака музыкальной рекомендации, выявленного на шаге 1, определить точки взаимодействия пользователя с ними в системе, которые являются неявными для пользователя. Для этого воспользуемся предложенным форматом для выявления таких сценариев (табл. 5). При заполнении таблицы необходимо учитывать доступные в системе сценарии, в данном случае это:

регистрация в системе;

поиск и прослушивание отдельных композиций в системе;

прослушивание ранее сохраненные композиции;

прослушивание плейлиста композиций, рекомендуемых системой.

Например, для признака музыкальной композиции «Название» в системе может быть такой сценарий: при прослушивании песни пользователь может переключить песню - сказать наверняка, сделал ли он это из-за того, что увидел название, нельзя, поэтому такую точку взаимодействия можно выделить как неявную. В то же время, для признака «Сохранить» нельзя указать неявную точку взаимодействия, так как для того, чтобы сохранить песню к себе в плейлист, пользователь должен в явном виде это сделать. Для признаков, с которыми нет неявных точек взаимодействия в рамках пользовательских сценариев, в таблице ставится прочерк.

Для выявления точек взаимодействия пользователя с признаками рекомендуется использовать технику мозгового штурма.

Таблица 5. Точки и сценарии взаимодействия пользователя с музыкальными композициями в системе (неявные)

Шаг 3. Определение точек и сценариев взаимодействия пользователя с объектом рекомендаций в системе (явный подход).

После этого нужно проделать ту же процедуру для выявления точек взаимодействия пользователя с признаками в системе, которые являются явными. При заполнении таблицы (табл. 6) необходимо также учитывать доступные в системе сценарии.

Например, на этом этапе для признака «Название» можно выделить такую точку взаимодействия, как поиск по названию, и наоборот, для признака «Danceability» нет явного сценария в системе, так как даже когда пользователь сохраняет композицию к себе в плейлист или оценивает ее как понравившуюся, нельзя однозначно сказать, что песня понравилась из-за показателя «Danceability».

Таблица 6. Точки и сценарии взаимодействия пользователя с музыкальными композициями в системе (явные)

Шаг 4. Консолидация и соотнесение выявленных пользовательских сценариев с атрибутами поведения человека.

Теперь нужно объединить выявленные сценарии и соотнести с признаками поведения человека с помощью таблицы 3 (гл. 3). Для удобства, каждый сценарий дополнительно помечается как Я - явный или Н - неявный. В качестве технических ограничений аппаратного обеспечения принимается, что рекомендательная система рассчитана на использование с помощью персонального компьютера, ноутбука с тачпадом. В системе не предусмотрен модуль распознавания речи.

Таблица 7. Подбор признаков поведения человека для точек взаимодействия пользователя с признаком музыкальной композиции в системе

Шаг 5. Формирование первичного списка признаков для учета паттернов поведения пользователя.

Поскольку для проведения данного эксперимента данные о пользователях были получены искусственным путем (с помощью опросника) в виду технических ограничений, а количество данных само по себе мало, то, чтобы избежать проблему переобучения в дальнейшем, для модели будет использоваться ограниченное количество признаков пользователя и композиции. По этой причине в рамках данного этапа ниже (табл. 8) описаны не все возможные признаки пользователя и обратной связи, которые можно получить из таблицы шага 4, а лишь малое количество - для демонстрации применения подхода и непосредственного применения. Кроме того, все также действует техническое ограничение: рекомендательная система рассчитана на использование с помощью персонального компьютера, ноутбука с тачпадом, в системе не предусмотрен модуль распознавания речи, изображений.

Таблица 8. Признаки пользователя и обратной связи

Шаг 6. Приведение первичного списка признаков к математическому формату. Для определенных на шаге 5 признаков пользователя и обратной связи определим способ извлечения и необходимый тип данных (табл. 9). Здесь также стоит отметить, что поскольку данные о пользователях для эксперимента были собраны с помощью опросника, применение специфических методов не понадобится.

Таблица 9. Типизация признаков по типам данных

Таким образом, в результате использования подхода были выявлены признаки пользователей, а также их обратной связи, которые могут быть использованы для построения матрицы взаимодействия (оценок). Помимо обозначенных в таблице 9 признаков пользователя дополнительно добавлены такие признаки, как пол (бинарный) и возраст (целый). Это очень популярные в рекомендательных системах признаки, и они необходимы для адекватного сравнения моделей (см. п. 4.4). В таблице 10 представлены итоговые признаки пользователя, которые были использованы при проведении эксперименты, с учетом того, что данные о пользователях были собраны с помощью опросника (имитация работы рекомендательной системы).

Таблица 10. Описание признаков пользователей, используемых в моделях эксперимента

4.4 Построение модели и тестирование гипотезы

В качестве модели рекомендательной системы для эксперимента были выбраны модель коллаборативной фильтрации и гибридная модель. Модель коллаборативной фильтрации позволит оценить вклад признаков пользователя вне влияния признаков музыкальных композиций. На примере же гибридной модели можно будет оценить, как поведет себя модель, если к признакам пользователей также добавить и признаки музыкальных рекомендаций. Модели коллаборативной фильтрации и гибридная модель были разработаны в рамках курсовой работы «Алгоритмы машинного слуха в рекомендательных системах» [37]: модель коллаборативной фильтрации базируется на расчете коэффициента корреляции Пирсона, гибридная модель строится с использованием стратегии stacking, для оценки признаков музыкальных композиций в гибридной модели используется матрица похожести соседей. Для оценки рекомендаций используется бинарная оценка по принципу:

,

В качестве метрик качества рекомендаций были выбраны Average Precision (средняя точность), Average Recall (средняя полнота) и Average F (средняя F-мера), поскольку целевой признак модели - оценка музыкальной рекомендации - является бинарным и используется ранжирование предсказаний, соответственно нужно оценить качество ранжирования. Для оценки используются первые 10 элементов отсортированного списка рекомендаций.

Для тестирования обеих моделей используется следующий набор признаков пользователей: cut_user_features и full_user_features - первый содержит только основную информацию о пользователе: user state ID, timestamp, gender, age, второй - расширенную информацию для тех же самых пользователей: user state ID, timestamp, gender, age, is_active, mood, reaction, temperament. В свою очередь, признаки музыкальных композиций в полном составе (см. табл. 4) используются только в гибридной модели, а в модели коллаборативной фильтрации используется только признак song_id.

Также необходимо отметить, что модели тестируются на малых выборках - всего в эксперименте участвуют 16 пользователей, 82 песни и 160 оценок. Это, безусловно, оказывает большое влияние на качество проведенного эксперимента и в некоторой мере объясняет низкие результаты метрик качества.

Результаты эксперимента для коллаборативной фильтрации и гибридной модели отображены соответственно в таблицах 11 и 12.

Таблица 11. Результат эксперимента на модели коллаборативной фильтрации

Таблица 12. Результат эксперимента на гибридной модели рекомендаций

Поскольку эксперимент проводится на малой выборке и модели формируют предсказания для одних и тех же песен и пользователей, для оценки значимости различий в моделях можно применить статистические тесты для малых парных выборок - критерий Стьюдента (если выборка подчиняется нормальному распределению) / тест Уилкоксона (если выборка не подчиняется нормальному распределению). Для тестирования полученных предсказаний на нормальность используется критерий Шапиро-Уилка. Для тестирования гипотезы о равенстве дисперсий для применения t-критерия используется критерий Флигнера-Килина. Уровень значимости для всех статистических тестов - 5% (=0,05). Результаты статистических тестов представлены в таблице 13.

Таблица 13. Результаты статистического сравнения моделей предсказания

4.5 Оценка эффективности и выводы

Для того, чтобы оценить эффективность от применения предложенного подхода и справедливость заявленной в рамках эксперимента гипотезы, были вычислены не только метрики качества рекомендаций, но и статистические тесты - для оценки значимости различий между предсказаниями моделей. Поскольку размер обучающей и тестовой выборки мал, значения метрик качества получились в общем низкие, а для оценки значимости использовались статистические тесты для малых выборок.

По результирующим значениям метрик качества и проведенных статистических тестов, можно сказать, что:

Модель коллаборативной фильтрации с использованием данных о поведении пользователя в совокупности показала результат выше, чем модель коллаборативной фильтрации с использованием только базовых знаний о пользователе (пол и возраст), однако поскольку результат t-теста показал, что гипотеза о равенстве средних не может быть отвергнута, различия между этими моделями нельзя считать статистически значимыми, то есть разницу в метриках качества моделей рекомендаций считать достоверными нельзя.

Гибридная модель с использованием данных о поведении пользователей показала существенно более высокий результат по метрике Recall-at-10 и F-мере, как в сравнении с гибридной моделью, которая не учитывает данные о пользователе, так и по отношению к модели коллаборативной фильтрации - в отличие от последней, различия между моделями оказались статистически значимыми, о чем говорит критерий Уилкоксона: нулевая гипотеза о равенстве медиан отвергается, поэтому можно считать показания метрик качества рекомендаций достоверными.

Таким образом, хотя на основе проведенной оценки нельзя делать однозначный вывод о преимуществе использования данных о поведении пользователя в различных рекомендательных системах, так как объем данных, на котором проводился эксперимент, мал, тем не менее, гибрид...