Восстановление истинной динамики поисковых запросов из данных googletrends и улучшение параметров соответствующих моделей

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Восстановление истинной динамики поисковых запросов из данных googletrends и улучшение параметров соответствующих моделей

Аннотация

Статья посвящена комплексному исследованию инструмента GoogleTrends, показывающего динамику популярности поисковых запросов в интернете и используемого для прогнозирования различных социально-экономических показателей.Показаны наличие нестационарного множителя в данных GoogleTrends, алгоритм его расчета и порядок применения для корректирования данных GoogleTrends. Доказано, что использование скорректированных данных приводит к увеличению качества моделей.

Ключевые слова: GoogleTrends, поисковые запросы, интернет

google trends поисковый запрос

Abstract

This studyincludes a comprehensive study of the Google Trends tool. We show theexistence of a non-stationary component in Google Trends data. We provide the algorithm to calculate that component and to adjust it to Google Trends data.We demonstrate negative influence of discovered component on quality of models, which use Google Trends as predictor.

Key words: Google Trends, search queries, internet

Сегодня поисковые системы публикуют в открытом доступе информацию о популярности практически любого поискового запроса, что открывает новые возможности для своевременной оценки и прогнозирования социально-экономических показателей. Так, для изучения динамики популярности запросов в поисковой системе Google, используется инструмент GoogleTrends.

Изучение данного инструмента началось с момента его появления. Ряд исследователей из разных стран доказали возможность использования GoogleTrends для предсказания вспышек эпидемий гриппа [1], прогнозирования ставки безработицы, спроса на автомобили, инфляции, оборота розничной торговли [2],[3], результаты референдумов [4] и многих других процессов.

GoogleTrends является одним из наиболее популярных инструментов для исследования поведения пользователей интернета и прогнозирования. GoogleTrends- это инструмент анализа динамики поисковых запросов, разработанный и предоставляемый компанией GoogleInc. [5]

GoogleTrends предоставляет данные в виде временных рядов, характеризующих динамику популярности того или иного запроса или группы запросов в поисковой системе Google. Каждое значение ряда рассчитывается как доля поисковых запросов по заданной ключевой фразе к общему числу поисковых запросов в указанном регионе. Данные нормализованы: наибольшее значение в указанном периоде приравнено к 100%. [5]. Все данные доступны за период от 1 января 2004 года, однако методика сбора данных с 1 января 2011 года изменилась.

Согласно описанию GoogleTrends, каждую точку на графике можно представить следующим образом:

Где:

Xt значение,выдаваемое сервисом GoogleTrendsза период t;

ДYt- доля запросов по заданному ключевому слову от общего числа запросов в поисковой системе Googleза период t;

ДYmax - максимальное значение ДYt за весь период наблюдений.

Раскроем показатели ДYt и ДYmax:

Где Zt - общее количество запросов в системе Googleза период t, а k-номер периода, в которомДYt = ДYmax. Заметим, чтоYk не всегда равноYmax, так как значение Ymax зависит от двух переменных. Дальнейшее преобразование приведет нас к следующему равенству:

Из уравнения (3) следует, что данные GoogleTrends содержат непостоянный множитель Gmt = Zk / Zt.

Динамика Zk и Zt совпадает с динамикой посещаемости поисковой системы Google в данном регионе. Посещаемость Googleв России оценивает и публикует компания TNS. [6]

Тест KPSS[7] указывает на нестационарность рядов Zt и Gmt. Таким образом, использование данных GoogleTrendsбез удаления множителя Gmtприведет к смещенным оценкам. Случаи построения моделей с удалением множителя Gmt автору неизвестны.

Докажем это на примере:

Используются ежемесячные данные пассажирооборота общественного транспорта [8] (Yt) и динамики популярности поисковых запросов по ключевым фразам «Билет на самолет + авиабилет + авиаперелет», «Отпуск», «Купить билет» в России [5](X it), а также ежемесячные данные посещаемости поисковой системы Googleдля расчета множителя Gmt.[6]

Для получения корректных оценок значения Yt были нормированы на максимальное значение Y't = Yt / Ymax. Для X it были рассчитаны множители Gm it и получены модифицированные временные ряды X' it. Было проверено, что временные ряды Y't, X itX' itявляются интегрированными первого порядка.

Была рассчитана парная коинтеграционная регрессия между зависимой переменной Y't и каждой из объясняющих переменных X it,X' it на различных лагах. Значения F и tстатистик при оценке коинтеграции не рассматриваются. Наилучшего результата удалось добиться на первом лаге, что говорит об опережающем характере объясняющих временных рядов. Коэффициенты регрессии и описательные статистики отражены в Таблице 1.

Таблица 1. Параметры коинтеграционной регрессии и описательные статистики

Из значений KPSS-статистики следует, что как исходная, так и модифицированная динамика запросов по ключевым фразам 1, 2 и 4 коинтегрирована с нормированным пассажирооборотом в России. Динамику запросов по ключевой фразе «Отпуск» нельзя назвать коинтегрированной с Y't, так как уровень значимости KPSS-теста остатков превышает критическое значение 0,1. Таким образом, наличие связи между динамикой поисковых запросов ключевым фразам 1, 2 и 4 с пассажирооборотом доказано.

При переходе от исходной динамики X itк скорректированной на Gmt наблюдается рост коэффициента коинтеграционной детерминации, что доказывает существование Gmtи говорит о его верной оценке.

Литература

1. Polgreen, P.M., Chen, Y., Pennock, D.M., Nelson, F.D. Using Internet Searches for Influenza Surveillance // Clinical Infectious Diseases, 47, 1443-8, 2008 г.

2. Борочкин А.А. Использование статистики поисковых запросов в сети интернет для краткосрочного прогнозирования макроэкономических переменных // Деньги и Кредит № 8, 2013 г.

3. Nich McLaren, Rachana Shanbhoge. Using internet search data as economic indicators // Bank of England Quarterly Bulletin. June 2011.

4. Amaryllis Mavragani, Konstantinos P. Tsagarakis YES or NO: Predicting the 2015 GReferendum results using Google Trends // Technological Forecasting and Social Change Том 109, Стр. 1-5, 2016 г.

5. Справка по инструменту GoogleTrends // [Электронный ресурс]. Режим доступа: https://support.google.com/trends/answer/4365533?hl=ru&ref_topic=6248052

6. Данные о посещаемости крупнейших интернет-ресурсов // TNS [Электронный ресурс]. Режим доступа: http://mediascope.net/services/media/media-audience/internet/information/?arrFilter_pf[YEAR]=2017&set_filter=Y

7. Kwiatkowski, D.; Phillips, P. C. B.; Schmidt, P.; Shin, Y. Testing the null hypothesis of stationarity against the alternative of a unit root // Journal of Econometrics. №54 (1-3), стр. 159-178. 1992

8. Мониторинг социально-экономического развития

Размещено на Allbest.ru