Построение семантических сетей - это анализ связей, определяющий появление ключевых фраз в документе, что необходимо для обеспечения навигации.

Извлечение фактов проводится в целях улучшения процессов классификации, поиска и кластеризации.

Такой элемент text mining как формирования ответов на запросы состоит из следующих этапов: поиск информации в документе для отбора тех частей текста, которые могут содержать ответ, фильтрация фраз, похожих на ожидаемый ответ и поиск правильного ответа [33].

Под термином «индексирование» изначально понималось присвоение документам/запросам тематических индексов, отражающих некие атрибуты их классификации. Со временем направление приобрело смысл процесса некого «перевода» описаний документов/запросов с естественного языка на формализованный, то есть эти описания представляют собой перечни ключевых слов и словосочетаний, отражающих их тематическое содержание. Такая форма получила название поискового образа описаний; при этом поисковый образ запроса представляет собой логическую конструкцию, где слова и словосочетания соединены при помощи логических и синтаксических операторов [28].

Поиск по ключевым словам (keyword searching) использует результаты тематического индексирования для поиска документов, отвечающих указанным требованиям, в частности, содержащих указанные пользователем ключевые слова [28]. Ключевое слово в text mining определяется как набор слов, отражающих и представляющих содержимое текста. Существует множество лингвистических и математических методов, позволяющих находить ключевые слова; наиболее распространенный из них - анализ частоты появления слов в тексте.

Обобщая представленную выше информацию, можно сделать следующие выводы:

– Text mining, или интеллектуальный анализ текста - направление в искусственном интеллекте, целью которого является получение информации из коллекций текстовых документов, основываясь на применении эффективных в практическом плане методов машинного обучения и обработки естественного языка.

– Основными элементами text mining являются классификация, кластеризация, построение семантических сетей, извлечение фактов, суммаризация, формирование ответов на запросы, тематическое индексирование и поиск по ключевым словам.

2.2. Методы и модели text mining

Процесс интеллектуального анализа текста можно условно разделить на четыре этапа. На первом этапе происходит сбор документов из различных источников, то есть мы собираем коллекцию документов. Затем происходит предварительная обработка путем проверки множеств форматов и символов и применяются инструменты text mining. После этого документ переходит на этап анализа текста. Здесь имеется в виду семантический анализ документа, который помогает определить ключевые слова и словосочетания, в полной мере отражающие смысл текста. В результате мы получаем новые, полезные для нас знания [50].

Главная проблема интеллектуального анализа текста - это сложность естественного языка. Для естественного языка характерна неоднозначность, то есть один термин может иметь несколько значений, либо одно и тоже значение характерно для нескольких понятий. Такая неоднозначность приводит к сложностям во время процесса извлечения и анализа информации. Ведь одну и ту же фразу можно интерпретировать по-разному, и, соответственно, мы получаем разные значения. Человек может определить конкретное значение определенного текста, поскольку он понимает контекст и может чувствовать эмоциональную окраску, машине справиться с этим гораздо сложнее.

Обычно используются четыре метода интеллектуального анализа текста [50]:

– Метод, основанный на терминах (Term Based Method (TBM));

– Метод, основанный на фразах (Phrase Based Method (PBM));

– Метод, основанный на концепциях или понятиях (Concept Based Method (CBM));

– Метод шаблонной систематики (Pattern Taxonomy Method (PTM)).

Для метода, основанного на терминах характерно то, что документ анализируется, опираясь на термин (слово, обладающее смысловым значением). Данный метод обладает высокой вычислительной производительностью. Недостатком метода являются нерешенные проблемы многозначности и синонимии [50]. Также стоит обратить внимание на то, что семантическое значение многих терминов не всегда отражает то, что нужно пользователю.

В методе, основанном на фразах документ анализируется через фразы. Достоинством фраз является то, что они менее неоднозначные в сравнении с терминами. Фраза обладает большей семантической значимостью, несет в себе более конкретную смысловую нагрузку. Для интеллектуального анализа текста метод, основанный на фразах обладает высокой эффективностью, поскольку фразы имеют подчиненные статистические свойства терминов и низкую частоту появления в тексте [50].

В методе, основанном на концепциях или понятиях, анализ терминов производится на основе предложений и уровня документа [50]. Методы text mining в основном базируются на статистическом анализе слова или целой фразы. Статистический анализ частоты появления термина определяет значимость слова вне документа. Важно понимать, что два термина могут с одинаковой частотой встречаться в одном и том же документе, но один из них более целесообразно применять для понимания текста. При работе с данной моделью стоит обращать больше внимания на термины, передающие семантику текста, то есть его смысл. Метод, основанный на концепциях включает в себя три компонента. Первый компонент проводит анализ семантической структуры предложений. Второй компонент создаёт концептуальный онтологический граф для описания смысловых структур. Третий компонент извлекает концепции (верхнее, ключевое понятие), базирующиеся на первых двух компонентах. Это делается для того, чтобы построить векторы признаков или свойств, используя стандартную модель векторного пространства. Понятийно-ориентированная модель способна эффективно выявлять различия между «неважными» терминами и значимыми терминами, описывающими смысл предложения. Обычно понятийно-ориентированная модель базируется на технологии обработки естественного языка.

В методе шаблонной систематики характерен для анализа документов берется некий образец. Шаблоном или образцом принято считать уже обнаруженные знания [50].

Образцы структурируются в систематику с помощью отношений наследования. Шаблоны могут быть открыты с помощью таких технологий data mining, как правило ассоциации, «наиболее частый элемент множества», последовательный интеллектуальный анализ шаблонов и закрытый анализ шаблонов. Использование образцов в text mining неэффективно, так как некоторые полезные длинные шаблоны с высокой специфичностью не имеют поддержки, то есть они низкочастотны. Также не все часто встречающиеся короткие шаблоны являются полезными. Имеет место проблема неправильного истолкования шаблонов, приводящая к неэффективной производительности анализа текста.

Метод шаблонной систематики применяет два процесса: приведение в действие шаблона и его развитие. Данный метод совершенствует найденные в текстовых документах шаблоны. Результаты, полученные путем экспериментов, показывают, что основанная на шаблонах модель, работает лучше, чем другие модели, основанные на методах data mining, понятийно-ориентированная модель, а также модели, основанной на терминах [23].

Обобщая выше написанное, можно сделать следующие вывод о том, что процесс интеллектуального анализа текста можно условно разделить на четыре этапа: сбор документов из различных ресурсов, предварительная обработка текста, применение технологии text mining, анализ текста. Обычно используются четыре метода интеллектуального анализа текста: метод, основанный на терминах, метод, основанный на фразах, метод, основанный на концепциях или понятиях и метод шаблонной систематики.



2.3 Понятие Social mining

Сегодня социальные сети являются неотъемлемой частью жизни общества. Они используются как средство коммуникации между людьми, для распространения информации в сети, проведения рекламных и политических кампаний. Исследованиями в области моделирования и анализа социальных сетей активно занимаются университеты Карнеги-Меллон, Стэнфорд, Оксфорд, INRIA, а также компании Facebook, Google, Yahoo!, LinkedIn. Также стоит отметить работы таких исследователей как Свинцовский А.А. [17] и Мария Гатти [38].

Само понятие социальной сети появилось и начало активно использоваться на Западе еще во второй половине ХХ века при изучении социальных связей и отношений между людьми. Согласно определению Патюкова С. В. и Коврига Е. В. «социальная сеть (Интернет) - интерактивный многопользовательский веб-сайт, контент которого наполняется самими участниками сети. Сайт представляет собой автоматизированную социальную среду, позволяющую общаться группе пользователей, объединенных общим интересом. Связь осуществляется посредством веб-сервиса внутренней почты или мгновенного обмена сообщениями» [15].

С развитием современных информационных технологий появилось множество различных виртуальных социальных сетей, таких как Twitter, Facebook, Вконтакте и др. С их помощью можно отслеживать взаимосвязи между пользователями сети, активность людей в обществе, а также собирать и анализировать информацию. Таким образом, актуальным вопросом является так называемый Social Networks Mining, или интеллектуальный анализ социальных сетей.

Согласно определению Давыдова А.А., «Social Networks Mining - компьютерные системы для выявления полезных знаний из социальных сетей, в частности, автоматического интеллектуального извлечения неочевидных и полезных знаний из Large-Scale Web Social Networks в режиме реального времени» [8]. То есть, Social Mining - это использование методов и алгоритмов Data Mining для поиска и обнаружения знаний и зависимостей в социальных сетях.

Чаще всего для анализа и визуализации в Social Networks Mining применяются графы, где узлами или акторами являются пользователи сети (люди) или группы людей, а с помощью дуг изображаются связи либо потоки информации между акторами.

Актуальными задачами Social Mining являются:

– Анализ информационных потоков;

– Персонификация предложений;

– Поиск аномалий, компьютерных ботов и мошенников.

Под анализом информационных потоков понимается поиск самых активно общающихся в социальных сетях объектов, поиск объектов, обладающих наибольшим количеством связей, выявление самых “влиятельных” объектов. Анализ информационных потоков применяют в рекламе, маркетинге, безопасности, корпоративной психологии и оптимизации сетей.

Персонификация предложений необходима для того, чтобы сделать социальную сеть привлекательней для пользователей. Основной задачей персонификации предложений является выявление интересов пользователей и предоставление им информации в соответствии с их запросами и интересами. С помощью кастомизации сервисов и персонифицированного представления информации можно привлечь и удержать пользователей в социальной сети [32].

Нередко бывает, что в социальной сети можно наблюдать пользователей с подозрительно высокой активностью. Примером может быть массовая рассылка сообщений, содержащих ссылки на вредоносные ресурсы. В таком случае необходимы эффективные методы поиска аномалий, компьютерных ботов и мошенников. Это может помочь улучшить политику безопасности пользователей в социальной сети.

Анализ социальных сетей можно осуществить с помощью графовых моделей. Они применяются для моделирования коммуникационных связей между пользователями сети, анализа распространения информации, а также поиска различных сообществ. Любую социальную сеть можно представить в виде графа G=(V, E), где V является множеством вершин графа, а E - множеством ребер графа; V=N - количество вершин в графе. Как ранее отмечалось, вершины графа - это акторы, или пользователи социальной сети, а ребра - это связи между ними. Обычно рассматриваются такие типы отношений как дружба между людьми и интересы [26].

Существует три вида графовых моделей [26]:

– Стохастические блоковые модели. Такие модели задаются матрицей A размера NЧN, где N - число групп (блоков) участников. Элемент aij?[0, 1] показывает плотность связей между участниками сети, принадлежащими к группе vi, и участниками, принадлежащими к группе vj. При этом граф не содержит дополнительных ребер и вершин, соответствующих связям участников внутри одной группы [26];

– Вероятностные графовые модели задаются матрицей A размера NЧN, где N - число участников сети. Элемент aij?[0, 1] показывает вероятность взаимодействия участника vi и участника vj в течение определенного периода времени;

– Обычные графовые модели задаются матрицей связности A размера NЧN [26].

Обобщив представленную выше информацию можно сделать вывод о том, что Social Mining является важным инструментом анализа социальных сетей, с помощью которого можно получить необходимую информацию для оптимизации работы самой сети, обеспечить безопасность пользователей сети и проводить эффективные маркетинговые кампании. Важными задачами Social Mining являются анализ информационных потоков, персонификация предложений и поиск аномалий, компьютерных ботов и мошенников. Анализ социальных сетей проводится с помощью графовых моделей.

2.4 Применение техник Text Mining для работы в социальных сетях

2.4.1 Предварительная обработка текста

В процессе сбора текст может показаться несвязанным, обладать слабой организацией, также часть информации может быть утеряна. Неструктурированный текст может привести к некачественному анализу текста, что в свою очередь повлияет на точность выводов [37]. На фазе предварительной обработки текста документы упорядочиваются по категориям. Предварительная обработка гарантирует успешное выполнение анализа текста, но может потребовать значительного времени обработки [37]. Существует два основных метода предварительной обработки текста: извлечение признаков и выбор признаков.

Процесс извлечения признаков может быть далее разделен на следующие категории: морфологический анализ, синтаксический анализ и семантический анализ. Для морфологического анализа характерна работа с отдельными словами, представленными в текстовом документе, которая заключается в токенизации, удалении «стоп-слов» и стемминге, или процессе нахождения основы слова для заданного исходного слова [37]. При токенизации документ обрабатывается как последовательность строк слов и разделяет слова, удаляя знаки препинания [46]. В процессе удаления «стоп-слов» из текста устраняются такие слова как «и», «или». Удаления стоп-слов повышает эффективность и результативность обработки текста, поскольку количество слов в документе сокращается [49]. Стемминг - это методика лингвистической нормализации, обычно используемая для приведения слова к корневой форме, например, слово «лесной» может быть сокращено до корневой формы «лес» или слово «ходьба» может быть уменьшено до корневой формы «ход» [37, 49]. Существует несколько типов алгоритмов стемминга, например, алгоритмы поиска, усечения окончаний, лемматизации, аффикс-стеммеры и т.д.

Чтобы интерпретировать логическое значение предложения, требуется грамматически правильное предложение (Юань 2010). Синтаксический анализ дает знания о грамматической структуре языка. Техника синтаксического анализа включает в себя: лексико-грамматический анализ и парсинг.

Лексико-грамматический анализ обычно используется для добавления грамматически связанных контекстуальных знаний об одном слове в предложении. Если лексический класс слова известен, то выполнение лингвистического анализа становится намного проще [56]. В научной литературе упоминаются различные подходы для проведения лексико-грамматического анализа на основе словарей [56]. Наиболее многообещающими подходами являются морфологический анализ на основе правил и стохастическая модель, такая как скрытая марковская модель (СММ). В подходе, основанном на правилах, текст разбивается на токены, которые в дальнейшем используются для анализа. Парсинг - это метод, используемый для изучения грамматической структуры предложения. Предложение представлено в виде древовидной структуры, называемой деревом синтаксического разбора, которое в основном используется для анализа правильного грамматического порядка в предложении. Дерево синтаксического разбора может быть построено с использованием подхода сверху вниз или снизу-вверх [42].

Также важно понимать значение предложения. Метод определения ключевых слов используется для определения полезного содержимого из текстового сообщения [42]. Техника определения ключевых слов полностью основана на WordNet-Affect, который является семантическим тезаурусом, где понятия, связанные с эмоциями («эмоциональный концепт»), представлены с помощью слов, обладающих эмоциональной составляющей («эмоциональных слов»). WordNet-Affect состоит из такого подмножества синсетов (набор синонимов) WordNet, где каждый синсет, соответствующий «эмоциональному концепту», может быть представлен с помощью «эмоциональных слов» [31]. Другим примером является SentiWordNet, использующий синонимы WordNet для измерения эмоций на основе двух шкал, таких как положительные эмоции и отрицательные эмоции [34].

Техника выделения ключевых слов основана на ключевых словах, специально используемых для описания определенных эмоций в тексте [34]. Однако основным недостатком метода определения ключевых слов является зависимость от наличия очевидных эмоциональных слов в тексте. Например, эмоция «грусть» не может быть извлечена из предложения «я потерял свои деньги», поскольку в предложении не упоминается слово «грустно».

Основная цель выбора признаков - исключить лишнюю информацию из целевого текста. Выбор признаков происходит путем выбора важных признаков при оценивании слов. Важность слова в документе представлена назначенным баллом [40].

Текстовый документ представлен в виде векторно-пространственной модели. В векторно-пространственной модели каждое измерение представляет отдельный термин в виде отдельного слова, ключевого слова или фразы. Матрица документа может быть представлена n документами и m терминами, где любая ненулевая запись в матрице указывает на наличие термина в документе [40]. Векторы признаков представляют признаки документа. Для расчета векторов признаков были предложены два основных метода: частота термина (TF) и обратная частота документа (IDF) [49].

TF определяет, как часто термин встречается в коллекции документов. Информация о теме документа может быть идентифицирована по количеству появлений термина, связанного с темой [49]. IDF рассматривает наименее часто встречающиеся слова в документе, которые содержат информацию по теме. Метод TF-IDF является комбинацией TF и IDF, большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.

2.4.2 Text Mining с использованием методов классификации

Классификация текста - это метод интеллектуального анализа, который классифицирует каждый текст по категориям. Классификация может быть далее разделена на две категории: классификация текста на основе машинного обучения и классификация текста на основе онтологии [37].

Классификация текстов на основе машинного обучения включает количественные подходы к автоматизации обработки естественного языка, в которых используются алгоритмы машинного обучения.

Отношения, атрибуты и классы в онтологии могут быть иерархически структурированы как таксономии [37]. Дерево решений - это метод семантического описания понятий и сходства между понятиями [37]. Деревья решений используются для классификации во многих областях, например, для финансового анализа, в астрономии, молекулярной биологии и для интеллектуального анализа текста. Поскольку классификация текста зависит от большого количества релевантных признаков, недостаточное количество релевантных признаков в дереве решений может привести к плохой производительности в классификации текста [37].

Метод опорных векторов (SVM) используется для анализа данных в классификационном анализе. В отличие от других методов классификации, алгоритм SVM использует как отрицательные, так и положительные обучающие наборы данных для построения гиперплоскости, которая разделяет положительные и отрицательные данные. Документ, наиболее близкий к поверхности решений, называется опорным вектором [33].

Нейронная сеть искусственного интеллекта (ANN) - это параллельные распределенные системы обработки, вдохновленные биологическими нейронными системами [33]. Сеть состоит из большого количества сильно взаимосвязанных процессорных элементов (нейронов), работающих вместе для решения любой конкретной проблемы. Благодаря способности извлекать значимую информацию из огромного набора данных, нейроны были сконфигурированы для применения в таких областях, как распознавание образов, извлечение признаков и устранения шумов. В нейронной сети связь между двумя нейронами определяет влияние одного нейрона на другой, в то время как вес на связи определяет силу влияния между двумя [43]. В нейронных сетях используются две основных метода обучения: с учителем и без учителя. При обучении с учителем ANN обучается с помощью набора входных данных и шаблонов, предоставляемых внешним экспертом или интеллектуальной системой. При обучении без учителя (кластеризация) нейронная сеть имеет тенденцию выполнять кластеризацию путем корректировки весов на основе аналогичных входных данных и распределения задачи среди взаимосвязанных элементов обработки [43].

Генетический алгоритм - это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, аналогичных естественному отбору в природе [43]. Множественные решения проблемы представлены в виде генома. Алгоритм создает множество решений и применяет генетические операторы для определения лучшего результата.

Стоит отметить, что статистические методы представления документов недостаточны, потому что статистический подход игнорирует семантические отношения между словами (Luger 2009). То есть, алгоритм обучения не может идентифицировать концептуальные закономерности в тексте [43]. Решением данной проблемы могут быть онтологии за счет введения явной спецификации концептуализации, основанной на понятиях, описаниях и семантических отношениях между понятиями [43]. Онтология представляет семантику информации и классифицируется как: онтология предметной области (состоит из понятий и взаимосвязей понятий о конкретной области предмета, таких как биологическая онтология или промышленная онтология), и онтология экземпляров, связанный с автоматическая генерация веб-страниц [43].

Основными компонентами онтологий являются: классы, атрибуты, отношения, функциональные термины и правила. Онтология должна быть формальной [43]. Формальное отношение может быть представлено через классы и экземпляры [43]. Языки, основанные на онтологии, являются декларативными языками и обычно выражают логику вычислений, основанную либо на логике первого порядка, либо на описательной логике.

Различные алгоритмы классификации применяются для классификации и анализа текста. Однако исследования [44] показывают, что комбинация различных алгоритмов классификации (т.е. гибридный метод) обеспечивает лучшие результаты и повышенную производительность категоризации текста чем применение какого-либо одного метода. Результат применения гибридного подхода к крупным текстовым корпусам сильно зависит от наборов тестовых данных. Следовательно, нет гарантии, что высокий уровень точности, достигнутый одной испытательной выборкой, также будет достигнут в другой выборке. Кроме того, для повышения производительности гибридного метода необходимо заранее определить или инициализировать несколько параметров. Выбор подхода классификации для анализа текста в социальных сетях полностью зависит от набора данных и характера исследуемой проблемы [44]. Результат анализа показывает, что SVM и ANN показали хорошие результаты в нескольких сравнениях. Основная цель сравнения гибридного подхода состоит в том, чтобы подчеркнуть применимость различных алгоритмов классификации и дополнить их ограничения [44].

2.4.3 Text Mining с использованием кластеризации

Кластеризация документов включает в себя специальные методы и алгоритмы, основанные на обучении без учителя [43]. При кластеризации числа, свойства и принадлежность классов заранее не известны [43]. Документы могут быть сгруппированы по определенной категории, например, медицинской, финансовой или юридической.

В научной литературе [48] различные методы кластеризации состоят из разных стратегий для идентификации похожих групп данных. Методы кластеризации можно разделить на три категории: иерархическая кластеризация, кластеризация по разделам и семантическая кластеризация.

Иерархическая кластеризация преобразовывает группу документов в древовидную структуру, где родительские / дочерние отношения можно рассматривать как тему / подтему [48]. Иерархическая кластеризация может быть выполнена с использованием агломеративных или дивизионных методов [48].

Агломеративный метод использует подход «снизу-вверх» путем последовательного объединения ближайших пар кластеров, пока все объекты не образуют один большой кластер [48]. Ближайший кластер можно определить, рассчитав расстояние между объектами n-мерного пространства. Агломеративные алгоритмы обычно классифицируются на основе измерений межкластерного сходства. Наиболее популярными мерами сходства между кластерами являются одиночная, полная и средняя связь [48].

В [56] авторы предложили методы агломеративной иерархической кластеризации для кластеризации текста. Сначала был применен генетический алгоритм для достижения фазы выбора признаков в текстовом документе. Затем похожие наборы документов были сгруппированы в небольшие кластеры. И наконец, авторы предложили алгоритм кластеризации текста, чтобы объединить все кластеры в окончательный кластер текста [56]. Предложенный подход можно использовать для группировки аналогичных текстов с сайтов социальных сетей.

Дивизионный метод использует нисходящий подход, начиная с одного и того же кластера и рекурсивно разбивая кластер на более мелкие кластеры, пока каждый документ не окажется в каком-либо кластере [56]. Вычисления, необходимые для дивизионной кластеризации, являются более сложными по сравнению с агломерационным методом. Следовательно, агломеративный метод используется чаще.

Иерархическая кластеризация очень полезна из-за структурного иерархического формата. Однако этот подход может пострадать от плохой корректировки производительности после выполнения операций слияния или разделения, что обычно приводит к снижению точности кластеризации [56]. Более того, кластерный подход необратим, и на полученные результаты могут влиять шумы.

Разделенные кластеры также известны как неиерархические кластеры [56]. Чтобы определить взаимосвязь между объектами, используется векторная матрица объектов. Характеристики каждого объекта сравниваются, и объекты, состоящие из одинаковых шаблонов, помещаются в кластер. Разделяющая кластеризация в последствии может быть определена как итеративная разделяющая кластеризация, где алгоритм повторяется до тех пор, пока объект кластера не стабилизируется на протяжении итераций. Количество кластеров должно быть определено заранее [56]. К методам разделяющей кластеризации относятся методы К-средних, К-медиан, метод нечеткой кластеризации С-средних, алгоритм однократного прохода, вероятностные алгоритмы.

Внедрение методов интеллектуального анализа текста в социальных сетях имеет ряд проблем для исследователей, таких как:

Социальные сети содержат большие объемы текстовых данных, эти данные являются динамичными и могут содержать шумы. Кроме того, интерпретация символов эмоций (смайликов) для выражения какого-либо конкретного понятия или эмоций, выраженных через текст, остается сложной задачей для исследователей. Конфиденциальность и доверие в онлайн-коммуникации также является серьезной проблемой.

Еще одной проблемой современности является внедрение методов интеллектуального анализа текста в облачной инфраструктуре, которые позволят людям получить доступ к технологиям и масштабируемым услугам через Интернет [53]. Однако в облачных вычислениях у пользователя могут возникнуть трудности в процессе хранения и извлечения документа [53].

Чтобы преодолеть трудности, исследователи должны применять различные методы анализа текста в социальных сетях, которые могут отфильтровывать соответствующую информацию из больших корпусов текстов. Однако определение того, использовать ли кластерный или классификационный подход для анализа текста в социальных сетях, все еще остается сложной задачей, которая полностью зависит от набора данных и характера исследуемой проблемы. В будущем инструменты интеллектуального анализа текста также могут использоваться в качестве интеллектуального агента, который может извлекать персональные профили пользователей из социальных сетей и пересылать соответствующую информацию пользователям, не требуя явного запроса.

Выводы по главе 2

Электронные текстовые документы широко доступны благодаря появлению Интернета. Разработано множество технологий для извлечения информации из огромных коллекций текстовых документов с использованием различных методов интеллектуального анализа текста. Однако извлечение информации становится более сложной задачей, когда текстовая информация не структурирована в соответствии с грамматическим правилами. Люди не заботятся о правописании и грамматической конструкции предложения, когда они общаются друг с другом с помощью различных социальных сетей (Facebook, Twitter, ВКонтакте). Извлечение логических шаблонов с точной информацией из такой неструктурированной формы является важной задачей.

В данной главе была дана характеристика различных методов интеллектуального анализа текста, отмечено применение этих методов при анализе социальных сетей, представлен обзор всех существующих методов интеллектуального анализа текста, которые можно использовать для извлечения логических шаблонов из неструктурированных и грамматически некорректных текстовых данных, представленных в социальных сетях.

Глава 3. Проектирование агента, реализующего алгоритмы text mining, для моделирования социальных сетей

Авторы работы [38] попытались проанализировать распространение информации в эгоцентрической сети, имеющей уникальный узел в качестве источника. Исследование основано на стохастическом мультиагентном подходе, когда каждый агент формируется по определенным правилам с использованием данных, взятых в реальной социальной сети Twitter. Процесс моделирования состоит из шести фаз и является итерационным.

Первая фаза состоит из выгрузки данных из реальной социальной сети. После этого во время второй фазы выполняется классификация тем и настроений сообщений (постов), извлеченных из данных выборки. Затем на третьем этапе из ранее классифицированных данных создаются наборы выборок для каждого пользователя. Каждый набор содержит сообщения пользователя и сообщения из его/ее новостной ленты (то есть сообщения пользователей, на которых он/она подписан/а). Каждая модель поведения пользователя строится из этих наборов (четвертая фаза), а модели используются в качестве входных данных для стохастического симулятора (пятая фаза). Модель запускается на выполнение, и цикл выполняется несколько раз, пока не найдется наиболее точная модель.

В данной работе Гатти предлагает метод имитационного моделирования поведения пользователей в социальной сети. Данные, взятые из Twitter, позволили построить отдельные стохастические модели, для представления поведения каждого пользователя при публикации сообщений, связанных с Бараком Обамой и его предвыборной кампанией 2012 года или другими темами. Эксперименты с двумя различными сценариями показали, что удаление ядра эгоцентрической сети (аккаунта Обамы) или самых активных пользователей влияет на объем сообщений, особенно если речь идет о теме, связанной с ядром. В тоже время удаление 100 самых активных пользователей оказывает больше влияния, чем само ядро.

Эксперименты продемонстрировали, что предлагаемый подход является перспективным для моделирования поведения пользователей в социальной сети.

Опираясь на опыт Гатти в моделировании социальных сетей, мы хотим предложить подход к анализу и классификации сообщений пользователей социальной сети для выявления так называемых «фейковых» (ложных) новостей. А именно мы предлагаем внедрить в модель агента, реализующего алгоритмы Text Mining, для проведения качественного анализа постов пользователей, и в последствии выявления пользователей, являющихся распространителями ложного контента. При верном выявлении и устранении распространителя информации данного типа можно повлиять на распространение фейковых новостей по сети в целом. Планируется применить данного агента в системе моделирования Triad, разработанную в ПГУ.

3.1 Разработка требований к проектированию мультиагентной системы

В целом методологию проектирования мультиагентной системы можно представить следующим образом: <среда - функции MAC - роли агентов - отношения между агентами - базовые структуры MAC - модификации>. Методология проектирования включает следующие этапы:

– Формулирование цели разработки MAC;

– Определение основных и вспомогательных функций агентов в MAC;

– Уточнение состава агентов и распределение функций между агентами, выбор архитектуры агентов;

– Выделение базовых взаимосвязей между агентами в MAC ;

– Определение возможных действий агентов;

– Анализ реальных текущих или предполагаемых изменений внешней среды.

При проектировании мультиагентной системы агенты рассматриваются как набор неких ролей. Агенты находятся в определенных отношения друг с другом. Следовательно, важно предварительно обозначить исходные функции, т.е. роли агентов, определить их обязательства по отношению друг к другу. Также важно сформировать исходные и развивающиеся структуры агентов на базе определенных функция и исследовать соответствие данных структур характеру решаемых задач в выделенных проблемных областях.

Целью разработки МАС является сбор информации о реальной социальной сети, об ее структурных характеристиках. В задачи проектирования и разработки МАС входит:

– Мониторинг развития существующих и появления новых актуальных обсуждаемых тем;

– Определение характера обсуждения;

– Выявление активных групп и сообществ;

– Определение инициатора обсуждения;

– Оценка влиятельности пользователей;

– Прогнозирования роста популярности тем.

Пользователи, заинтересованные в сборе и анализе информации о реальной социальной сети:

– Органы государственной власти и местного самоуправления;

– Предприятия государственного и частного сектора экономики (коммерческие, исследовательские организации, СМИ, силовые структуры);

– Общество (политические партии, физические лица).

Система должна обеспечивать устойчивое функционирование при любых возможных вариантах ее эксплуатации пользователем, анализировать различные объекты социальной сети (от отдельно взятого пользователя/сообщения до сети в целом) и учитывать различные связи между этими объектами (цитирование, комментирование). Также система должна интегрироваться с подсистемами сбора данных из различных открытых источников (социальные сети, блоги, средства массовой информации) и быть способной к обработке большого массива данных.

В нашей системе присутствуют мобильный агент, перемещающийся по социальной сети и отвечающий за сбор контента, два агента анализа текста, отвечающие за предварительную обработку текстов сообщений и извлечение признаков для последующей классификации, интеллектуальный агент анализа текста, который отвечает за обучение модели классификации и распределение сообщений по категориям «фейковый контент» и «истинный контент».

Прежде чем перейти непосредственно к проектированию системы, следует определить какой именно контент мы относим к так называемым фейковым новостям, то есть необходимо определить характеристики ложных новостей. В качестве общих характеристик можно отметить репутацию Интернет-ресурса, на котором опубликована новость, и качество лексики, присутствующей в тексте. Для этого мы обратимся к исследованию [14], чьи авторы предлагают следующие характеристики в качестве модулей алгоритма:

- проверка оригинальности URL-адреса новости на соответствие домену искомого сайта, поскольку сайты-двойники могут полностью имитировать крупные онлайн-издания, на которые принято ссылаться;

- проверка даты публикации новости, ведь обычно фальшивые новости не датируются;

- присутствие в тексте грамматических и пунктуационных ошибок;

- проверка на наличие внутренней согласованности анализируемого материала, поскольку части текста могут быть не согласованы друг с другом;

- поиск совпадений фрагментов разных;

- несвязанные факты в опубликованных материалах;

- анализ ссылок-источников в статье - если в материале в качестве источника указана поддельная новость, то она тоже является фейковой;

- поиск привлекающих внимание (сенсационных) слов - чаще всего материалы, имеющие в своих заголовках и ключевых словах подобную лексику, могут быть ложными;

- ссылки на неавторитетных экспертов в обсуждаемой теме;

- несовпадение времени создания изображений и их загрузки с реальными временными рамками событий в новости.

Таким образом, к фейковому контенту мы относим материалы, не содержащие фактической информации, не соответствующие стандартом журналистской этики, и обладающие характеристиками, представленными выше.

3.2 Классификация тем

Перед описанием интеллектуального агента анализа текста, разрабатываемого нами, стоит описать метод классификации сообщений, использованный Гатти [38]. Задача классификации тем состоит в том, чтобы классифицировать сообщение как связанное с определенной темой или кампанией (о политике, маркетинге и т.д.). Используется подход, основанный на ключевых словах: изначально был составлен список ключевых слов для определения каждой темы. Затем текст каждого сообщения разбивается на токены с использованием пробелов и знаков препинания в качестве разделителей. Затем токенизированный текст отбрасывается или классифицируется как принадлежащий к одной из интересных тем следующим образом:

– Если публикация содержит ключевые слова более чем из одной темы, он удаляется;

– Если публикация не содержит ни одного слова хотя бы из одной темы, то он классифицируется как «Другие темы»;

– Если публикация содержит хотя бы одно слово, принадлежащее к одной теме, то он классифицируется в соответствующую тему.

Стоит отметить, что сообщения, содержащие ключевые слова из более чем одной темы не учитывались, поскольку проблема неоднозначности не была решена.

3.3 Проектирование архитектуры мультиагентной системы и функциональности агентов

Целью данной работы является проектирование и разработка интеллектуальной агентно-ориентированной системы обработки текста, которая занимается сбором, обработкой и классификацией текстов сообщений/ постов в социальных сетях. В данной работе была предпринята попытка реализации подхода проектирования интеллектуального агента на основе технологии Text Mining.

В процессе проектирования системы были составлены диаграммы прецедентов и последовательностей.

Диаграмма прецедентов показывает, как пользователь взаимодействует с предлагаемой системой на основе интеллектуальных агентов, а на диаграмме последовательности изображается последовательность действий, выполняемых различными агентами в системе.

Рисунок 3.1 Диаграмма прецедентов. Взаимодействие пользователя с системой

Как показано на диаграмме прецедентов, пользователь вводит текст в систему, затем агент добычи (обработки) текста 1, основанный на методе ключевых слов, определяет ключевые слова, затем интеллектуальный агент определяет контекст для “ключевых слов”, после чего агент добычи (обработки) текста 2, основанный на методе ключевых слов, определяет значение ключевого слова в определенном контексте, находит связанные документы, считает значение матрицы весов, и затем прикрепляет это значение к документу. Затем интеллектуальный агент ранжирует документы на основе значений весовой матрицы.

Также была составлена диаграмма последовательностей, на которой изображена последовательность взаимодействия агентов внутри системы (Рисунок 3.2.):

Рисунок 3.2 Диаграмма последовательностей

Интеллектуальный анализ текста в основном включает в себя область поиска информации, которая означает нахождение документов, содержащих ответы на вопросы, а не нахождение самих ответов, и для этого используются статистические показатели и методы, с помощью которых производится автоматическая обработка текстовых данных и сравнение с заданным вопросом. Проблемой в данном случае является автоматизация обработки текста. Этот вопрос можно решить с помощью интеллектуальных агентов.

На рисунке 3.3 изображена диаграмма классов интеллектуального анализа текста.

Рисунок 3.3 UML диаграмма классов

Рисунок 3.4 Блок схема мультиагентной системы анализа текста

На рисунке 3.4. показана архитектура интеллектуальной агентно-ориентированной системы обработки текста. В нашей системе присутствуют мобильный агент, перемещающийся по социальной сети и отвечающий за сбор контента, два агента анализа текста, отвечающие за предварительную обработку текстов сообщений и извлечение признаков для последующей классификации, интеллектуальный агент анализа текста, который отвечает за обучение модели классификации и распределение сообщений по категориям «фейковый контент» и «истинный контент».

3.4 Модель обнаружения фейковых новостей в социальной сети

Общий подход к обнаружению ложного контента представлен на рисунке 3.5. На начальном этапе происходит предварительная обработка набора данных путем удаления ненужных символов и слов из данных. Затем извлекаются элементы n-граммы, и формируется матрица признаков, представляющая документы. На последнем этапе классификации происходит обучение модели. Нами были исследованы такие алгоритмы машинного обучения как метод опорных векторов (SVM), Наивный Байес (KNN) и деревья принятия решений.

Рисунок 3.5 Процесс классификации

N-граммная языковая модель

N-граммная модель - это популярный подход к идентификации и анализу характеристик, используемый в языковом моделировании и в обработке текста на естественном языке. Это непрерывная последовательность объектов длиной n (слов, байтов, слогов или символов). Чаще всего для классификации текстов используются N-граммные модели на основе слов и символов. Мы используем модель, основанную на словах, для представления контекста сообщения (поста) и формирования признаков для классификации сообщений. Мы разрабатываем простой n-граммовый классификатор, чтобы различать ложный и истинный контент. Идея состоит в том, чтобы генерировать различные наборы n-граммовых частотных профилей из обучающих данных для представления ложного и истинного контента. Мы используем несколько базовых n-граммовых функций, основанных на словах, и исследуем влияние длины n-грамм модели на точность различных алгоритмов классификации.

Предварительная обработка данных

Перед представлением данных с использованием N-граммной модели данные должны быть подвергнуты предварительной обработке, то есть необходимо провести удаление стоп-слов, токенизацию, приведение всех символов в нижний регистр, сегментация предложений и удаление знаков пунктуации. Таким образом мы удалим ненужные данные и уменьшим фактический размер данных. Мы создали универсальную функцию предварительной обработки для удаления знаков препинания и символов, не являющихся буквами, из каждого документа, затем все символы в документе были переведены в нижний регистр. Кроме того, был создан N-граммный токенайзер на основе слов для разрезания текста документа по длине n.

Удаление стоп-слов

При классификации текстов стоп-слова могут создавать шумы. Эти слова необходимы для соединения мысли или для формирования структуры предложения. Мы относим к стоп-словам союзы и предлоги. Эти слова удаляются из каждого документа, а обработанные документы сохраняются и передаются на следующий этап работы агента.

Стемминг

После токенизации данных необходимо преобразование токенов в стандартную форму. Например, слова «Бег», «Бегать» и «Бегун» будут сокращены до слова «бег». Мы используем стемминг для того, чтобы сделать классификацию быстрее и эффективней. Мы используем стеммер Портера, являющийся наиболее часто используемым алгоритмом стемминга из-за его точности.

Извлечение признаков

Одной из проблем классификации текста является обучение модели на многомерных данных. В документах содержится большое количество терминов и фраз, которые приводят к высокой вычислительной нагрузке в процессе обучения. Кроме того, нерелевантные и лишние признаки могут повлиять на точность и производительность классификатора. В своем исследовании мы использовали такие методы извлечения признаков, как TF и TF-IDF.

После извлечения функций с использованием TF или TF-IDF мы обучаем классификатор, чтобы решить, отнести документ в категорию ложных или истинных новостей. Мы разбили данные на обучающую (80%) и тестовую (20%) выборки.

Предположим, что Д = [di] 1?i? m - это наш обучающий набор, состоящий из m документов di.

Используя метод извлечения признаков (т.е. TF или TF_IDF), мы рассчитываем значения признаков, соответствующие всем терминам / словам, включенным во все документы обучающей выборки, и выбираем p терминов tj (1?j?p) с наибольшим значения функций. Далее мы строим матрицу признаков X = [xij] 1?i? m, 1?j?p, где:

Другими словами, xij соответствует извлеченному признаку (используя TF или TF-IDF) для термина tj для документа di. Такое значение равно нулю (0), если термин отсутствует в документе.

После того, как была осуществлена предварительная обработка текста и проведена процедура извлечения признаков, можно перейти к процедуре классификации. Нами были выбраны следующие алгоритмы машинного обучения: Наивный Байесовский классификатор, логистическая регрессия и классификатор случайный лес. Схема работы интеллектуального агента, отвечающего за классификацию представлена на рисунке 3.6.

Рисунок 3.6 Схема работы интеллектуального агента

Используется один из выбранных нами методов классификации, затем происходит обучение модели распознавать, относится контент сообщений к истинному или ложному, после чего на тестовой выборке происходит проверка модели и классификация.

В процессе работы был разработан оригинальный алгоритм для выявления фейковых новостей и проведено тестирование работы алгоритма с использованием программных средств RStudio. Был проведен подробный анализ данных о реальных и фейковых новостях и сгенерировано несколько графиков всех переменных для категориев новостей. Код на языке R в приложении А.

Мы проанализировали заголовки и тексты новостей и вывели термины и фразы, которые связаны с фейковыми новостями и включены в заголовок или текст новости. Существуют некоторые общие слова и фразы, которые могут быть связаны с определенным типом новостного сообщения. Для проанализированных нами заголовков фейковых новостей характерны такие слова как «muslim», «isi», «refuge», «white», «hillari», в то время как такие слова, как «presidenti», «shoot», «bomb», «debat», «state», «donald», «trump» чаще встречаются в реальных новостях.

Рисунок 3.7 Анализ частотности терминов в заголовках

Для содержательной части статей с ложным контентом характерны слова «hillari», «clinton», «obama». Несмотря на то, что эти слова могут встречаться и в истинных новостях, они в большей степени связаны именно с фейками. Для настоящих новостей характерны слова «donald», «trump», «said», «stori», «think», «need». Мы также наблюдаем, что слова, связанные с социальными сетями, такими как «twitter», «facebook», также чаще всего связаны с фейковыми новостями. Можно сказать, что Facebook и Twitter вставляют в статьи с ложным контентом для того, чтобы привлечь внимание, ведь большинство людей используют социальные сети.

Рисунок 3.7 Анализ частотности терминов в теле статей

Мы разработали модели, которые классифицируют новости на две категории: фейковые и ложные новости. Для каждой модели мы использовали разные признаки:

1) Термины, используемые в заголовке статьи новостей.

2) Термины, используемые в основной части статьи новостей.

3) Комбинация терминов, используемых в заголовке и основной части статьи новостей.

Мы будем использовать три различных классификатора для обнаружения поддельных новостей: логистическая регрессия, случайный лес, наивный байесовский классификатор. Наименее точные результаты показал наивный байесовский классификатор, точность моделей составила 54% во всех случаях. Точность модели логистической регрессии оказалась выше, самый лучший результат (67%) показала модель, где в качестве признаков использовались термины и из заголовков, и из тела статьи. В ходе анализа выяснилось, что наиболее точные результаты показали классификатор случайный лес, точность модели с использованием терминов из заголовков и основной части статей составила 80%.

В ходе исследования также было выявлено, что для получения более эффективной классификации можно анализировать источник статьи, видео и изображения внутри статей.

Предлагаемая система будет служить базой для конкретных областей, где требуется интеллектуальный анализ текста на основе агентов, например, для моделирования социальных сетей с целью анализа текстовых сообщений и публикаций пользователей. Интеллектуальный агент должен выполнять два алгоритма: алгоритм принятия решений и алгоритм классификации.



Заключение

В нашей работе представлены материалы, связанные с автоматизацией построения моделей реальной социальной сети в системах имитационного моделирования. В центре внимания работы были сосредоточены проблемы разработки интеллектуальных агентов, реализующих алгоритмы Text Mining.

Был сделан вывод о том, что программный агент - это некая сущность, система, которая обладает не только свойствами объекта (существовать и объединять), но и свойствами, необходимыми для взаимодействия с внешней средой. Концепция агента заключается в том, что она запускается и проявляет активность самостоятельно. Агент обладает следующими свойствами: автономность, социальное поведение, реактивность, активность, базовые знания, убеждения, желания, цели, обязательства и намерения. Агентов можно классифицировать в зависимости от их степени развития внутреннего представления о внешнем мире, выделено два класса - когнитивные (интеллектуальные) и реактивные агенты. Сегодня агенты активно используются в разных сферах жизни общества: поиск и сортировка информации в интернете, формирование отчетов, мониторинг и наблюдение за различными системами и т.д. В рамках первой главы были подробно изучены понятия агент, мультиагентная система, методы построения архитектуры мультиагентных систем, координация поведения и моделирование взаимодействия агентов внутри МАС.

...