Разработка и исследование метода прогнозирования популярности видеоконтента

III этап: применение полносвязного слоя к OneHotEncoder представлениям категориальных признаков для понижения их размерности.

Гипотеза: тематика и актуальная популярность канала являются значимыми факторами популярности видео, планируемого к опубликованию на канале, при этом визуальные характеристики видео могут не учитываться.

Результат проверки: Гипотеза не доказана в связи с возможным нецелесообразным применением сети MLP, так как применение нейросетевых моделей менее целесообразно для анализа табличных данных.

На основе данных о применении методов прогнозирования популярности видеоконтента, представленных в обзоре литературы (раздел 3), автором исследовались различные визуальные, лингвистические характеристики заголовка как факторы популярности видеороликов.

Вместе с тем, гипотезы о достаточности этих данных для прогнозирования популярности видеороликов не подтвердились. В этой связи было предложено использовать количественные метаданные видеороликов для решения задачи (пункт 5.7) с использованием нейросетевой модели. Однако, как подтверждают практики, использование нейросетевых моделей не демонстрирует хороших результатов при обучении на табличных данных.

6. Метод прогноза популярности видеоконтента на основе статистики видеоконтента и видеоканала YouTube c помощью ансамбля деревьев

6.1 Обоснование применения ансамбля деревьев

Градиентный бустинг (далее - GB) - технология машинного обучения, используемая для задач классификации и регрессии, которая строит модель машинного обучения на основе ансамбля небольших предсказывающих моделей - обычных деревьев решений. При реализации данной технологии каждая последующая предсказывающая модель исправляет ошибки предыдущей. Таким образом, достигается защита от переобучения, обеспечивается гибкость модели в новых условиях. Кроме того, как показано в [41], данная технология успешно используется для обучения на табличных данных. Технология GB оптимальная для обучения на большом количестве разнопорядковых данных, какими являются метаданные роликов.

6.2 Этапы реализации метода

Этапы и подходы к его программной реализации метода определены исходя из следующей гипотезы: тематика и актуальная популярность канала являются значимыми факторами популярности видео, планируемого к опубликованию на канале. При этом модель также использует компактные представления заголовков и превью видео для классификации.

I этап реализации метода: применение подхода OneHotEncoder [35]¶ для кодирования категориальных признаков исследуемого видео (день недели и час публикации видео);

II этап реализации метода: подготовка признакового описания превью видео и его заголовка:

Для создания признакового описания заголовка применяется предобученная нейронная сеть BERT [42]. После подачи на вход заголовка, его признаковым описанием является среднее по скрытым состояниям нейронной сети BERT (вектор размерностью 768). Для снижения размерности признакового описания применяется метод главных компонент. В качестве признакового описания рассматривается 12 главных компонент.

Для создания компактного описания превью видео используется нейронная сеть Resnet50, предобученная на изображениях из Инстаграм [50]. Для каждого изображения она выдает счетчик популярности этого изображения. Также мы добавляем длину видео к рассматриваемым признакам.

III этап реализации метода: Применение различных реализаций ансамблей деревьев: GradientBoostingClassifier [43] (библиотека scikit-learn), RandomForestClassifier [44; 45] (библиотека scikit-learn), XGBClassifier [46] (библиотека XGBoost [47]). Gradientboosting применяется лишь к закодированным категориальным признакам и вещественным числам и к количественным метаданным видеороликов (количество просмотров, лайков и дислайков предыдущего видео, опубликованного на канале; количество подписчиков канала; дата публикации видео (измеряемая в секундах от времени проведения эксперимента). RandomForestClassifier и XGBClassifier применяются помимо этих данных к закодированным превью видео и заголовку.

Новизна подхода, предложенного автором, заключается в обучении вышеуказанных ансамблей деревьев для решения задачи прогнозирования популярности видеоконтента на данных, известных до момента публикации видео.

6.3 Методика и результаты тестирования метода

В основе методики тестирования метода - сравнение результатов прогнозирования популярности видео, полученными при применении предложенного метода, с результатами применения двух простейших моделей: первая из которых предсказывает всем рассматриваемым видео то, что будут популярными (метка “1”), а вторая модель - предсказываем всем видео, что они будут непопулярными (метка “0”).

В таблице 5 приведены данные, отражающие параметры моделей и результаты работы двух простейших методов и реализации ансамбля деревьев GradientBoostingClassifier: в колонках 1 - название модели, 2 - learning rate (размер шага обучения), 3 - число деревьев в ансамбле (num_estimators), 4 - максимальная глубина каждого дерева, в колонках 5-8 - метрики качества, посчитанные на валидационном множестве, в колонках 9-12 - метрики качества на тестовом множестве.

Таблица 5. Параметры и результаты работы двух простейших методов и GradientBoostingClassifier.

В таблице 6 приведены данные, отражающие параметры моделей и результаты работы двух простейших методов и реализации ансамбля деревьев RandonForestClassifier [44]: в колонках 1 - название модели, 2 - learning rate (размер шага обучения), 3 - число деревьев в ансамбле (num_estimators), 4 - максимальная глубина каждого дерева, в колонках 5-8 - метрики качества, посчитанные на валидационном множестве, в колонках 9-12 - метрики качества на тестовом множестве.

Таблица 6. Параметры и результаты работы двух простейших методов и RandomForestClassifier.

В таблице 7 приведены данные, отражающие параметры моделей и результаты работы двух простейших методов и реализации ансамбля деревьев XGBClassifier: в колонках 1 - рассматриваемый тип данных, 2 - максимальная глубина дерева, 3 - число деревьев в ансамбле (num_estimators), 4 - минимальное количество элементов для образования листа(min_leaf), в колонках 5-8 - метрики качества, посчитанные на валидационном множестве, в колонках 9-12 - метрики качества на тестовом множестве.

Таблица 7. Параметры и результаты работы двух простейших методов и XGBClassifier.

Метрика качества “Accuracy” [48] (доля верно предсказанных объектов (в нашем случае - видеороликов) от общего количества объектов) используется как самая распространённая в рассмотренных исследованиях (раздел 3). Вместе с тем, данная метрика обладает недостатком - она является не показательной на несбалансированных (по причине неравенства долей непопулярных и популярных классов).

Для устранения этого недостатка, применены метрики, характеризующие модель более комплексно. Метрика качества “Recall” демонстрирует долю количества верно предсказанных популярных объектов (в нашем случае - видеороликов) в общем количестве фактически популярных объектов. Метрика качества “Precision” представляет собой долю правильно предсказанных популярных объектов в общем количестве предсказанных объектов. Метрика “ROC-AUC” характеризует, насколько модель правильно сортирует объекты по убыванию популярности и позволяет предсказывать разный уровень популярности объектов.

Можно заметить, что значения метрик качества прогноза на валидационном множестве выше, чем значения аналогичных метрик на тестовом множестве. Предполагается, что это объясняется порядком формирования подмножеств, описанном в пункте 2. Таким образом, допустим вывод о необходимости использовать данных последних из опубликованных видеороликов в качестве обучающей выборки.

В таблицах 4-6 приведены выборочные результаты экспериментов, проведенных с различными реализациями ансамблей деревьев. Для перебора параметров использовался поиск параметров по сетке GridSearchCV [49].

Отмечается, что лучшее значение метрики RocAuc в классификаторе RandomRandomForestClassifier достигается при использовании всех типов признаков. Однако, модель учитывающая также текстовое описание заголовка незначительно уступает в показателе RocAuc и Accuracy на тестовом множестве.

При применении XGBClassifier можно отметить, что показатели модели после учёта данных о показателях популярности превью видео показатели качества прогноза ухудшаются в сравнении с результатами применения модели, которая добавляет к вещественным признакам лишь текстовое описание заголовка.

Реализация с лучшими параметрами достигает следующих метрик качества на тестовом подмножестве: Accuracy - 0,87; Precision - 0,63; Recall - 0,49; RocAuc - 0,72 (для каждой из метрик диапазон значений - от нуля до единицы, больше - лучше).

Проведено исследование влияния признаков на значение прогноза. В диаграмме приведены данные о важности десяти признаков, оказывающих наибольшее влияние на предсказание популярности (рисунок 3) . Важность признака измеряется в долях единицы - в весе, который назначает модель этому признаку при прогнозировании популярности.

Можно заменить, что максимальное влияние на прогнозируемую популярность нового видео оказывает количество просмотров последнего опубликованного видео на канале и количество подписчиков канала. Кроме того, важными признаками являются время планируемого опубликования вновь созданного видео, а также количества дислайков предыдущего видео. Интересно отметить, что также сильно на ожидаемую популярность влияет длительность видео. Возможно, видеохостинг заинтересован в продвижении длинных видео. Также можно отметить, что визуальные признаки(в этой модели превью видео) вновь не является значимым признаков в предсказании популярности.

Рисунок 3. Диаграмма важности признаков видеоконтента

Проведенное исследование доказало наибольшую значимость следующих характеристик для прогнозирования популярности видеоконтента:

- актуализированной популярности канала (характеризуется количеством просмотров, лайков и дислайков предыдущего видео, опубликованного на канале, временным лагом от публикации этого предыдущего видео до момента предполагаемой публикации видео, задача по прогнозированию популярности которого решается);

- популярности канала (характеризуется количеством подписчиков канала, анализируемом в рамках II этапа применения модели);

- длительность видео;

- время и день публикации предыдущего видео (определяется в рамках I этапа применения метода);

- глубиной просмотра (косвенно характеризуется количеством просмотров предыдущего видео и незначительной длительностью временного лага между временем публикации предыдущего видео и того видео, количество просмотров которого прогнозируется в случае его опубликования на канале в момент эксперимента);

- содержание (контент, тема) видеоролика, который в рамках модели учитывается посредством акцента на данных канала в целом, а не отдельного ролика в частности (приоритет канала и его тематики);

- визуальные признаки превью видео;

- заголовок видео.

Примечательно, что меньшая значимость качества съемки, а значит и визуальных признаков видео как фактора популярности, а большее значение перечисленных пяти характеристик подтверждается практиками [см., напр., 40].

Заключение

В рамках данной работы критерием “популярности”, под которым в рамках данной бакалаврской работы решено считать включение (попадание) видеоролика в ТОП-20% от исследуемого множества.

В рамках работы проведён анализ применения в аналогичных исследованиях следующих методов оценки популярности видеоконтента: метод прогноза популярности при помощи признаков настроения и содержания видео; Popularity-SVR; Popularity-LRCN; Popularity prediction c помощью механизма внимания. В результате выявлены возможные элементы моделей машинного обучения, которые могут быть использованы при предложении нового метода: свёрточные сети с долгосрочной памятью, градиентный бустинг, предобученные эмбеддинги Glove.

Для анализа ранее применяемых и для тестирования предложенных методов собраны данные о признаках 11 000 видео, опубликованных на видеохостинге YouTube, для чего разработано специальное программное обеспечение (парсер), открыты 70 пользовательских счетов на видеохостинге YouTube.

Предложены и протестированы методы, использующие как табличные, так и визуальные данные видео для прогноза популярности вновь создаваемого видеоконтента:

метод прогноза популярности на основе признаков настроения и содержания видео;

метод прогнозирования популярности на основе регрессии опорных векторов;

метод прогнозирования популярности на основе сверточной сети с долгосрочной памятью;

предсказание популярности с помощью механизма внимания.

Применение этих моделей было основано на предположениях о важности визуальных признаков и (или) заголовков видео для прогнозирования популярности вновь созданного видео. Однако, визуальной информации оказалось недостаточно для предсказания популярности видео, что соответствует мнению практиков о меньшей значимости визуальных признаков и недостаточности популярного названия видеоролика для обеспечения его популярности [см., напр., 40].

Кроме того, разработаны следующие методы прогноза популярности видеоконтента:

- на основе статистики видеоконтента и видеоканала YouTube с помощью ансамбля деревьев, учитывающий только данные об актуальной активности пользователей и авторов контента видеоканала, а также время публикации на нём вновь созданного видео;

- разработана модель, учитывающая текстовые заголовки видео и превью видео

Таким образом было подтверждено, что тематика и актуальная популярность канала являются значимыми факторами популярности видео, планируемого к опубликованию на канале. Применение методов прогноза популярности видеоконтента на основе статистики видеоконтента и видеоканала YouTube с помощью ансамбля деревьев является перспективным. Лучшая модель достигает следующих значений метрик качества на тестовом подмножестве: Accuracy - 0,87; Precision - 0,63; Recall - 0,49, то есть 87% видеороликов верно классифицируется как популярные/непопулярные корректно; среди роликов, отнесённых к классу популярные, 63% являются популярными; 49% действительно популярных видеороликов определены корректно.

Учитывая, что значения метрик на валидационном подмножестве выше, чем значения аналогичных метрик на тестовом, при применении метода рекомендуется использовать данные последних из опубликованных видеороликов в составе обучающей выборки.

С помощью анализа важности для предсказания популярности признаков лучшей модели определены признаки, имеющие наибольшее влияние на значение прогноза популярности вновь созданного видео: количество просмотров, лайков и дислайков последнего ранее опубликованного видео на канале, где планируется публикация вновь созданного видео, количество подписчиков этого канала, а также время и дата планируемого опубликования вновь созданного видео. Кроме того, выявлено, что фактор опубликования видео в 23:00, в 9:00 и в четверг является важным. Предложенный метод может быть использован для прогнозирования популярности при публикации на выбранном канале YouTube.

Представляется важным, что удалось доказать важность для попадания в ТОП вновь созданного видео не только исторической популярности канала, определяемой по числу его подписчиков, но также и значение актуализированной популярности канала, которая характеризуется количеством просмотров, лайков и дислайков предыдущего видео, опубликованного на канале. Фактором популярности вновь публикуемого видеоконтента является содержание (тематика) канала, что косвенно подтверждается учётом в методе данных канала в целом, а не отдельного ролика в частности. Данный вывод подтвержден практикой: значительную долю ТОП YouTube удерживают тематические каналы и видеоролики на них.

В ходе обучения модели в тренировочное множество отнесены только те данные, которые доступны до даты публикации видео, что обеспечивает достоверность и гарантирует возможность тиражирования модели.

В рамках дальнейших исследований возможно осуществить сравнительный анализ эффективности применения всех предложенных в бакалаврской работе методов, но для их тестирования получить данные о тематически схожих и примерно одинаково популярных каналов и данные об опубликованных на них видео. Таким образом возможно осуществить прогнозирование популярности имеющих разные заголовки, визуальные и иные характеристики видео, которые планируются к публикации на этих каналах. Кроме того, в рамках совершенствования мeтода Categorical и Real numbers Gradient Boosting следует собрать и обработать данные о длительности и частоте просмотра канала постоянными пользователями (глубина просмотров) и о стабильности (периодичности) времени и количества публикаций на канале.

В качестве рисков и ограничений можно отметить, что виды метаданных, необходимых для создания метода, изменяются во времени, YouTube изменяет API, следовательно, специальное программное обеспечение, разработанное для сбора данных, будет нуждаться в постоянной доработке. Кроме того, проведение работа осложнялась тем, что отсутствуют в открытом доступе предобученные на основе данных YouTube базовые модели Машинного обучения для решения задачи прогнозирования популярности видеоконтента. Кроме того, ряд признаков видеоконтента имеют имеют лингвистические, психологические и иные характеристики. В связи с этим, для разработки новых методов оценки популярности видеоконтента целесообразно проводить междисциплинарные исследования.

Список используемой литературы

1. Alpaydin E. Introduction to Machine Learning: Adaptive Computation and Machine Learning series. The MIT Press, 2009. 584 p.

2. Chandler D., Munday R. A Dictionary of Social Media. Oxford University Press, 2016. 275 p.

3. Вицелярова К.Н. Словарь по маркетингу. Армавир, 2013. 54 с.

4. Словарь языка интернета.ru / [под ред. М.А. Кронгауза]. М.: АСТ-Пресс, 2016. 196 с.

Размещено на Allbest.ru