Анализ дружеских связей VK с помощью Python

Размещено на http://www.allbest.ru/

Санкт-Петербургский политехнический университет

Институт Прикладной математики и механики

Кафедра теоретической механики

Курсовая работа на тему:

«Анализ дружеских связей VK с помощью Python»

Лосева Татьяна

Санкт-Петербург

2017

Оглавление

Введение

1. Получения данных пользователя с помощью API Вконтакте

2. Алгоритм обработки данных

3. Визуализация обработанных данных: построение графов

Итоги

Выводы

Список используемой литературы

Введение

Все мы знакомы с теориейо шести рукопожатиях. Недавний анализ сети Фейсбука вывел число 4,7. Мы решили проверить эти данные, только в той соцсети, в которой «живём» (а именно, ВКонтакте).

Наша задача - анализ дружеских сетей Вконтакте,разработана на языке программирования Python.Она позволяет построить социальный граф своей странички в сети Вконтакте. Социальный граф -- это информация о некоторой группе людей и об отношениях между ними (в данном случае о том, кто с кем дружит). Но часто под этим словосочетанием также подразумевается и схематичное изображение этой информации -- в виде точек и линий между ними. Если определенным образом переставить точки, то можно видеть, как выделяются подгруппы людей, внутри которых почти все дружат между собой (подгруппа одноклассников, одногруппников, коллег по работе) -- это называется кластеризацией.

Чтобы построить социальный граф, нам надо:

1. Получить список всех друзей текущего пользователя и представить их в виде точек на плоскости.

2. Для каждого друга из п.1 получить его друзей, общих с текущим пользователем.

3. Точку каждого друга соединить линиями с точками других друзей, которые есть у него в друзьях.

Для более точного восприятия этого понятия можно рассмотреть пример:

У Вас есть все из перечисленных друзей (A, B, C, D, E, F H, K). В свою очередь у друга 'A' есть Ваш друг 'E' и 'F'. У друга 'B' есть Ваши друзья 'C', 'D', 'H', 'K'. Ваш друг 'C' дружит с 'D' и 'K'.

Главной целью нашей работы является анализ дружеских связей Вконтакте с помощью социального графа.

Задачи, выполнимые в ходе работы :

1. Получение данных пользователь с помощью API ВКонтакте

2. Обработка полученных данных.

3. Визуализация обработанных данных : построение графов с помощью модулейNetworkX и Matplotlib

1. Получения данных пользователя с помощью API Вконтакте.

Рассмотрим принципы работы API ВКонтакте.

API (application programming interface) -- это посредник между разработчиком приложений и какой-либо средой, с которой это приложение должно взаимодействовать. API упрощает создание кода, поскольку предоставляет набор готовых классов, функций или структур для работы с имеющимися данными.

API ВКонтакте -- это интерфейс, который позволяет получать информацию из базы данных vk.com с помощью http-запросов к специальному серверу. Вам не нужно знать в подробностях, как устроена база, из каких таблиц и полей каких типов она состоит -- достаточно того, что API-запрос об этом «знает».

Для работы с VK API в Python есть две популярные библиотеки: vk и vk_api.

В своём проекте мы использовали библиотеку vk_api. После того, как модуль был установлен, нам необходимо создать Standalone-приложение, после чего мы сможем использовать нужные нам методы API, которые будут описаны далее. Приложение создается здесь -- выберем Standalone-приложение.

Для дальнейшей работы нам понадобится ID приложения, его можно найти во вкладке «настройки».

ВКонтакте -- социальная сеть, где есть дружеские связи, настройки приватности и даже черные списки. Многое зависит от того, кто просматривает страницу: кто-то увидит на ней всю ту же информацию, что и владелец, а кто-то -- лишь общедоступные данные.

В API этот принцип сохраняется. Если Вы скрыли список своих групп от не-друзей, то и через API Ваши не-друзья не должны его увидеть. Поэтому почти все методы требуют авторизации пользователя перед началом работы. Проще говоря, сервер должен знать, кто к нему обращается за информацией, чтобы предоставить ее в том же виде, что и в основной версии сайта.

В общем случае для идентификации в API используется специальный ключ доступа, который называется access_token. Токен -- это строка из цифр и латинских букв, которую Вы передаете на сервер вместе с запросом. Из этой строки сервер получает всю нужную ему информацию.

После получения токена, нам необходимо получить право доступа.

Для этого мы использовали используйте параметр scope диалога авторизации. Когда мы получали токен для своего приложения, в scope было указано значение friends -- и в окне авторизации приложение запросило доступ к друзьям.

Теперь мы можем делать вызов необходимого нам метода от своего имени.

Мы использовали методы для работы с друзьями:

· friends.get- возвращает список идентификаторов (id) друзей пользователя.

· friends.getMutual- возвращает список идентификаторов общих друзей между парой пользователей.

Таким образом,с помощью методов APIVK мы получаем списки друзей, которые далее нужно будет сортировать.

2. Алгоритм обработки данных

После получения списков друзей с помощью методов APIVK,нам нужно будет их отсортировать.Делать эту будем следующим образом :

1. Мы принимаем строку из 25 id, разделенных запятыми, вынимаем по одному id, делаем запрос к friends.get, а нужная нам информация будет приходить в словаре, где ключи -- это id, а значения -- список друзей данного id.

2. При первом запуске мы отправим хранимой процедуре список друзей текущего пользователя, id которого указан в настройках. Список будет разбит на несколько частей (N/25 -- это и число запросов), связано это с ограничением количества обращений к API Вконтакте.

3. Получение ответа.

Всю полученную информацию мы сохраняем в словаре, например:

Ключи 1, 2 и 3 были получены при глубине, равной 1. Предположим, что это и были все друзья указанного пользователя (0).

Если глубина больше 1, то далее воспользуемся разностью множеств, первое из которых -- значения словаря, а второе -- его ключи. Таким образом, мы получим те id (в данном случае 0 и 4), которых нет в ключах, разобьем их опять на 25 частей и отправим хранимой процедуре.

Тогда в нашем словаре появятся 2 новых ключа:

Таким образом,суть в том, что мы просто составляем таблицу по поисковым запросам,точнее даже не таблицу, а словарь.У нас есть первоначальная таблица idдрузей :

Затем, c помощью цикла у каждого idмы смотрим количество общих друзей с другими id.

3. Визуализация обработанных данных : построение графов

Для визуализации графов мы использовали библиотеку NetworkX.

Рассматривается библиотека NetworkX предназначенная для создания, манипуляции и изучения структуры, динамики и функционирования сложных сетевых структур.

Рассмотрены основы использования библиотеки в качестве инструмента обучения, прикладного программирования или научных исследований. вконтакте библиотека сетевой

Библиотека networkX создана на языке Python и предназначена для работы с графами и другими сетевыми структурами.

Основные принципы визуализации :

· Использование классов для работы с простыми графами;

· Узлом графа является изображение, (а именно круг);

· Встроенные процедуры для создания графов базовых типов;

· Получение таких характеристик графа как степени вершин, высота графа, диаметр, радиус, длинны путей, центр, промежуточности, и т. д.;

· Визуализировать сети в виде 2D.

Используемые методы :

1.Graph - реализация простого неориентированного графа. Дополнительные вершины между двумя узлами игнорируются, возможны узлы соединённые с самим собой.

Пример создания пустого графа :

2.Узлы и дуги - составляющие любого графа. Любой узел или дуга имеют уникальный идентификатор, по которому можно получить всю информацию с ним связанную, также дополнительно могут существовать имена более удобные для реализации текущего алгоритма нежели идентификаторы, также позволяющие получить эти данные.

Мы создаем граф с помощью метода последовательного добавление узлов и дуг .Дуги могут быть добавлены также и из массивов данных:

В своей программе мы использовали именно этот способ.

3. Получение информации о графе

Кроме создания графа обычно нужно получать информацию о его узлах, дугах.Основнымиметодами,кторые мы использовали для этого, я получение массивов узлов и дуг (edges() и nodes() соответственно).

4.Визуализация графов

Основной целью библиотеки является работа с графами, и их визуальное отображение вторично, но реализовано, так-как является важным инструментом анализа.

Предоставлены удобные методы для отображения графов с использованием Python библиотеки Matplotlib.

Простой пример визуализации графа:

Результаты работы программы

Полученныйсоциальный граф дружеских связей.

Заключение

Таким образом, в ходе работы над проектом, был построен социальный граф дружеских связей в социальной сети Вконтакте. Мы смоглипроанализировать информацию о некоторой группе людей и наглядно увидеть связьмежду ними. Из результатов программы можно увидеть, как выделяются подгруппы людей, внутри которых почти все дружат между собой--та самая кластеризация, о которой говорилось во введении.

Список используемой литературы

1. https://ru.wikipedia.org/wiki/Анализ_социальных_сетей

2. https://ru.wikipedia.org/wiki/Социальный_граф

3. Документация API VK : https://vk.com/dev/manuals

4. Документация NetworkX : https://networkx.readthedocs.io/en/stable/

5. Документация Matplotlib: https://matplotlib.org

Размещено на Allbest.ru