Электронные текстовые документы широко доступны благодаря появлению Интернета. Разработано множество технологий для извлечения информации из огромных коллекций текстовых документов с использованием различных методов интеллектуального анализа текста. Однако извлечение информации становится более сложной задачей, когда текстовая информация не структурирована в соответствии с грамматическим правилами. Люди не заботятся о правописании и грамматической конструкции предложения, когда они общаются друг с другом с помощью различных социальных сетей (Facebook, Twitter, ВКонтакте). Извлечение логических шаблонов с точной информацией из такой неструктурированной формы является важной задачей.

Во второй главе была дана характеристика различных методов интеллектуального анализа текста, отмечено применение этих методов при анализе социальных сетей, представлен обзор всех существующих методов интеллектуального анализа текста, которые можно использовать для извлечения логических шаблонов из неструктурированных и грамматически некорректных текстовых данных, представленных в социальных сетях.

В результате работы была разработана архитектура системы интеллектуальных агентов, реализующих алгоритмы Text Mining для построения модели реальной социальной сети с целью ее использования в системе имитационного моделирования. Предлагаемая система может служить базой для конкретных областей, где требуется интеллектуальный анализ текста на основе агентов, например, для моделирования социальных сетей с целью анализа текстовых сообщений и публикаций. Был разработан оригинальный алгоритм для выявления фейковых новостей, а также проведено тестирование работы алгоритма агента с использованием программных средств RStudio.

В заключение хотелось бы еще раз отметить, что социальные сети создали условия, когда сомнительная информация может беспрепятственно и стремительно распространяться. И фейковый контент представляет собой эффективный вид технологии коммуникаций, требующий внимания и изучения. Поэтому актуальной является задача разработки автоматизированных вычислительных систем для распознавания и устранения фейкового контента в социальных сетях. Наше исследование представляет одно из возможных решений данной задачи за счет методов определения информации такого вида в социальных сетях, основанных на использовании систем с элементами Text Mining и машинного обучения.

Список использованной литературы

1) Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие / Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. - М.: МИЭМ, 2011. - 272 с.

2) Барсегян А.А. Анализ данных и процессов: учеб. пособие- Пер. с англ. под ред. В. Г. Трилиса.- СПб.: БХВ-Петербург, 2009 - 512 с.

3) Барсегян А.А. и др. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP - 2-e изд. - СПб.: БХВ-Петербург, 2008.

4) Большая советская энциклопедия (1-е издание), Словник: А - Аколла. Источник: т. I (1926): А - Аколла, стлб. 410-411

5) Вулдридж М., Дженнингс Н. Интеллектуальные агенты: теория и практика. Knowledge Eng. Rev., vol. 10(2), pp. 115-152, 1995

6) Горковенко Д. К. Применение методов text mining для классификации информации, распространяемой в социальных сетях // Молодой ученый. - 2016. - №14. - С. 66-72. - URL https://moluch.ru/archive/118/32878/ (дата обращения: 15.04.2019).

7) Городецкий В. И. Многоагентные системы: основные свойства и модели координации поведения «Информационные технологии и вычислительные системы.» - 1998. - N1.

8) Давыдов А.А. Системная социология: анализ мультимедийной информации в Интернете. М.: ИС РАН, 2009. URL: http://www.isras.ru/index.php?page_id=988 (дата обращения: 15.04.2019).

9) Дюк В.А., Флегонтов А.В., Фомина И.К. Применение технологий интеллектуального анализа данных в естественнонаучных, технических и гуманитарных областях. Известия Российского государственного педагогического университета им. А.И. Герцена. 2011. № 138. с. 77 - 84.

10) Иванов К. К., Лужин В. М., Кожевников Д. В. Программные агенты и мультиагентные системы // Молодой ученый. - 2017. - №7. - С. 11-13. - URL https://moluch.ru/archive/141/39879/ (дата обращения: 20.04.2019).

11) Кузьмин Д.А., Селютин Д.Г., Покидышева Л.И. Анализ средств разработки мультиагентных систем // Вестник КрасГУ. - Вып.7. - Серия «физ.-мат. науки». - 2006'7. - С.186-72.

12) Лефевр В. Конфликтующие структуры. - М.: Советское радио, .973.

13) Нвана Х. Программные агенты: Обзор. Knowledge Engineering Review, Vol.11, No.3, 205-244, Cambridge University Press (англ.)

14) Некрасов Г.А., Романова И.И. Разработка поискового робота для обнаружения веб-контента с фейковыми новостями // Инновационные, информационные и коммуникационные технологии. 2017. № 1. С. 128-130., с. 129

15) Патюков С. В., Коврига Е. В. Социальная сеть: понятие, история возникновения, современное положение дел // Юный ученый. - 2017. - №2. - С. 75-77. URL: http://yun.moluch.ru/archive/11/873/ (дата обращения: 17.03.2019

16) Pайгородский А. М. Модели случайных графов и их применение // Труды МФТИ. 2010. Т. 2. № 4. С. 130 - 140.

17) Свинцовский А. А. Теоретические аспекты моделирования социальных сетей/Свинцовский Антон Александрович // Информационное общество, 2013,N № 6.-С.16-21

18) Серенко А., Детлор Б. Интеллектуальные агенты как инновация, Artificial Intelligence & Society, 18(4), 364-381

19) Сети ЭВМ и телекоммуникации. Архитектур и сетевые технологии. Г.И. Анкудинов, И.Г. Анкудинов, А.И. Стрижаченко, С-Пб., 2006. Стр. 127-149.

20) Стефен Хааг, Управление информационными системами в информационный век, 2006, р 224-228

21) Тарасов В.Б. Нетрадиционные и гибридные логики в моделировании интеллектуальных агентов. I. Искусственные деятели, интенциональные характеристики и пути их моделирования// Известия РАН: Теория и системы управления. 2000. - №5. - С.5-17.

22) Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. - М.: Эди­ториал УРСС, 2002

23) Федюшкин Н.А., Федосин С. А. Основные технологии интеллектуального анализа текста - Развитие технических наук в современном мире. Сборник научных трудов по итогам международной научно-практической конференции - № 3 - г. Воронеж - 2016 - 128 с.

24) Федюшкин Н.А., Федосин С. А. Понятие, проблемы и разновидности интеллектуального анализа текста - Проблемы и достижения в науке и технике. Сборник научных трудов по итогам международной научно-практической конференции - № 3 - г. Омск - 2016 - 206 с.

25) Цетлuн М. Л. Исследования по теории автоматов и моделированию биологических систем. - М.: Наука, 1969.

26) Чураков А.Н. Анализ социальных сетей // Социологические исследования. 2001. № 1. С. 109-121.

27) Шермер Б. Программные агенты, наблюдение и право на неприкосновенность частной жизни: законодательная база для наблюдения с помощью агентов. Leiden University Press, 2007, p.140. (англ.)

28) Aggarwal C. C., Zhai C. Mining Text Data. - Springer, 2012. - 527 p. - ISBN 9781461432234.

29) Al-Heeti A. Facebook Will Fight Fake News with Real Newspaper Ads (and More) // CNET. May 23, 2018.

30) Brooks R.A. Intelligence without Representation Artificial Intel1igence. - 1991. - No. 47.

31) Carlo Strapparava, Alessandro Valitutti. WordNet-Affect: an Affective Extension of WordNet (англ.): LREC. - 2004. - Vol. 4. - P. 1083-1086.

32) Carrington P., Scott J., Wasserman S. Models and Methods in Social Network Analysis. Cambridge.: Cambridge University Press, 2005.

33) Do Prado H. A. Emerging Technologies of Text Mining: Techniques and Applications / Ed. by H. A. Do Prado, E. Ferneda. - Idea Group Reference, 2007. - 358 p. - ISBN 1599043734.

34) Esuli, A. & Sibastiani, F. 2006. SentiWordNet: a publicly available lexical resource for opinion mining. In Proceedings of the 5th International Conference on Language Resources and Evaluation, 417-422.

35) Fake news and disinformation online. Report. European Union, 2018. URL: https://ec.europa.eu/digital-single-market/en/news/final-results-eurobarometer-fake-news-and-online-disinformation

36) FERBER J. Les Syst`emes multi-agents: vers une intelligence collective. I.I.A. Informatique intelligence artificielle. - InterEditions, 1995. - URL: https://books.google.ru/books?id=R7VBAAAACAAJ (дата обращения - 10.04.2019).

37) Forman, G. & Kirshenbaum, E. 2008. Extremely fast text feature extraction for classification and indexing. In Proceedings of 17th ACM Conference on Information and Knowledge Management, California, USA, 26-30.

38) Gatti M., Appel A. P., Nogueira dos Santos C., Pinhanez C. Z. A simulation-based approach to analyze the information diffusion in Microblogging Online Social Network // Proceedings of Winter Simulation Conf. Piscataway, New Jersey. 2013. P. 1685?1696.

39) Georgeff М.Р., Rao S. Social plans: Preliminary report j j Proceedings of зrd European Workshop оп Modeling Autonomous Agents and Multi-Agent Worlds, 1992, North Hol1and.;

40) Hua, J., Tembe, W. D., Dougherty, E. R. & Edward, R. D. 2009. Performance of feature-selection methods in the classification of high-dimension data. Pattern Recognition 42(3), 409-424.

41) Ian Dickinson (1991-07-11). "Open Systems Strategy from IBM". Newsgroup: comp.unix.misc.

42) Ling, H. S., Bali, R. & Salam, R. 2006. Emotion detection using keywords spotting and semantic network. In Proceedings of International Conference on Computing and Informatics IEEE (ICOCI), 1-5.

43) Luger, G. F. 2008. Artificial Intelligence: Structure and Strategies for Complex Problem Solving, 6th edition. Addison Wesley.

44) Miao, D., Duan, Q., Zhang, H. & Jiao, N. 2009. Rough set based hybrid algorithm for text classification. Journal of Expert Systems with Applications 36(5), 9168-9174.

45) Michael Wooldridge, An Introduction to MultiAgent Systems, John Wiley & Sons Ltd, 2002, paperback, 366 pages

46) Negi, P. S., Rauthan, M. M. S. & Dhami, H. S. 2010. Language model for information retrieval. International Journal of Computer Applications 12(7), 13-17.

47) Ofcom: Children and parents: media use and attitudes report. Research document. 2018 URL: https://www.ofcom.org.uk/__data/assets/pdf_file/0024/134907/Children-and-Parents-Media-Use-and-Attitudes-2018.pdf

48) Sathiyakumari, K. & Manimekalai, G. 2011. A survey on various approaches in document clustering. International Journal of Computer Technology and Application (IJCTA) 2(5), 1534-1539.

49) Shekar, C. B. H. & Shoba, G. 2009. Classification of documents using Kohonens self organizing map. International Journal of Computer Theory and Engineering (IACSIT) 1(5), 610-613.

50) Sonali Vijiay Gaikwad, Archana Chaugule, Pramod Patil. Text Mining Methods and Techniques- International Journal of Computer Applications - Volume 85 - No 17

51) StafSoft. Электронный учебник по статистике. Text Mining. URL http://statsoft.ru/home/textbook/modules/sttextmin.html (дата обращения: 20.04.2019).

52) STONE P., VELOSO M.. Multiagent Systems: A survey from a machine learning perspective // Autonomous Robots. - 2000. - Vol. 8, No. 3. - P. 345-383.

53) Survey of Text Mining I: Clustering, Classification, and Retrieval / Ed. by M. W. Berry. - 2004. - Springer, 2003. - 261 p. - ISBN 0387955631.

54) W. Frawley, G. Piatetsky-Shapiro, C. Matheus Knowledge Discovery in Databases: An Overview. - AI Magazine. - 1992. - С. pp. 213-228.

55) William T. Cockayne, Michael Zydd, Mobile Agents , Manning Publication Co., 2001.

56) Yonghong, Y. & Wenyang, B. 2010. Text clustering based on term weights automatic partition. In Proceedings of 2nd International Conference on Computer and Automation Engineering (ICCAE), 373-377.

57) Yoshida, K., Tsuruoka, Y., Miyao, Y. & Tsujii, J. 2007. Ambiguous part-of-speech tagging for improving accuracy and domain portability of syntactic parsers. In Proceedings of 20th International Conference on Artificial Intelligence, 1783-1788.

58) Yuan, L. 2010. Improvement for the automatic part-of-speech tagging based on Hidden Markov Model. In Proceedings of 2nd International Conference on Signal Processing System IEEE (ICSPS), 744-747.



Приложение А. Алгоритм для анализа и классификации новостей

library(tm)

library(plyr)

library(tidyverse)

library(reshape2)

library(e1071)

library(glmnet)

library(randomForest)

buzzfeed_real <- read_csv('../input/BuzzFeed_real_news_content.csv')

buzzfeed_fake <- read_csv('../input/BuzzFeed_fake_news_content.csv')

buzzfeed_df = rbind(buzzfeed_real, buzzfeed_fake)

buzzfeed_df$type <- sapply(strsplit(buzzfeed_df$id, "_"), head, 1)

dim(buzzfeed_df)

summary(buzzfeed_df)

buzzfeed_df <- buzzfeed_df %>% select(c("id","title","text","source","type","images","movies"))

buzzfeed_df$movies<- ifelse(is.na(buzzfeed_df$movies) , 0, 1)

buzzfeed_df$images<- ifelse(is.na(buzzfeed_df$images) , 0, 1)

buzzfeed_fake$source <- gsub("www.addic|author.addic", "addic",buzzfeed_fake$source)

buzzfeed_real$source <- gsub("www.addic|author.addic", "addic",buzzfeed_real$source)

buzzfeed_real$source <- with(buzzfeed_real, reorder(source, source, function(x) length(x)))

ggplot(data = buzzfeed_real) +

ggtitle("source count of real news in Buzzfeed") +

geom_bar(aes(x= source),fill = "green") + coord_flip()

buzzfeed_fake$source <- with(buzzfeed_fake,reorder(source, source, function(x) length(x)))

ggplot(buzzfeed_fake) +

ggtitle("source count of fake news in Buzzfeed") +

geom_bar(aes(x=source),fill = "red") + coord_flip()

common_source <- intersect(buzzfeed_real$source,buzzfeed_fake$source)

source_type_counts = table(buzzfeed_df$source, buzzfeed_df$type)

ggplot(buzzfeed_df[which(buzzfeed_df$source %in% common_source),]) +

geom_bar(aes(x = source,fill = type),position = "dodge") + coord_flip() +

ggtitle("common source of real and fake news in Buzzfeed")

ggplot(buzzfeed_df) +

geom_bar(aes(x= factor(movies), fill = type),position = "dodge") +

xlab("Movies linked to news") + ylab("counts") +

theme() + ggtitle("News category wise movies")

ggplot(buzzfeed_df) +

geom_bar(aes(x= as.factor(images), fill = type),position = "dodge")+

xlab("Images in news") + ylab("counts") +

Продолжение приложения А

theme() + ggtitle("News category wise images")

clean_text <- function(x){

gsub("…|?|?"|‹|”|“|?|'", " ", x)

}

preprocess_corpus <- function(corpus){

corpus <- tm_map(corpus, content_transformer(tolower))

corpus <- tm_map(corpus, removeNumbers)

corpus <- tm_map(corpus, removePunctuation)

corpus <- tm_map(corpus, clean_text)

corpus <- tm_map(corpus, removeWords, stopwords("english"))

corpus <- tm_map(corpus, removeWords, c("eagle rising","freedom daily"))

corpus <- tm_map(corpus,stemDocument)

corpus <- tm_map(corpus, stripWhitespace)

return (corpus)

}

find_category_representative_words_using_chi_sq <- function(dtf_matrix, categories, top_n=20){

dtm_df <- data.frame(dtf_matrix)

chi2vals <- apply(dtf_matrix, 2, function(x){

chisq.test(as.numeric(x), categories)$statistic

})

features_subset <- names(sort(chi2vals, decreasing = TRUE))[1:top_n]

dtm_df$NewsType <- categories

cat_freq_df <- dtm_df %>% group_by(NewsType) %>% summarise_each(funs(sum))

top_words_freq <- cat_freq_df[, c(features_subset, "NewsType")]

return (top_words_freq)

}

title_corpus <- Corpus(VectorSource(buzzfeed_df$title))

title_dtm <- DocumentTermMatrix(preprocess_corpus(title_corpus))

title_dtm_matrix <- as.matrix(title_dtm)

title_top_words_freq <- find_category_representative_words_using_chi_sq(title_dtm_matrix,buzzfeed_df$type,20)

ggplot(melt(title_top_words_freq),aes(x =variable, y=value,fill = NewsType)) + geom_col(position = "dodge") + coord_flip() + xlab("Top 20 words") + ylab("Term Frequency of words") +

theme() + ggtitle("Most discriminatory words in the title of news")

body_corpus <- Corpus(VectorSource(buzzfeed_df$text))

body_dtm <- DocumentTermMatrix(preprocess_corpus(body_corpus))

body_dtm_matrix <- as.matrix(body_dtm)

body_top_words_freq <- find_category_representative_words_using_chi_sq(body_dtm_matrix,buzzfeed_df$type,30)

ggplot(melt(body_top_words_freq),aes(x =variable, y=value,fill = NewsType)) +

geom_col(position = "dodge") + coord_flip() + xlab("Top 30 words") + ylab("Term Frequency of words") +

theme() + ggtitle("Most discriminatory words in the body of news article")

Продолжение приложения А

title_length <- rowSums(title_dtm_matrix)

tl_df <- data.frame(title_length, buzzfeed_df$type)

t.test(tl_df[tl_df$buzzfeed_df.type == "Real",]$title_length, tl_df[tl_df$buzzfeed_df.type == "Fake",]$title_length)

ggplot(tl_df ,aes(x = title_length, fill = buzzfeed_df.type)) +

geom_density(alpha=0.5) +

guides(fill=guide_legend(title="News type")) +

xlab("Title length") + ylab("Density") + theme() +

ggtitle("Density distribuiton of title length for real and fake news")

BigramTokenizer <-

function(x)

unlist(lapply(ngrams(words(x), 2), paste, collapse = " "), use.names = FALSE)

corpus <- VCorpus(VectorSource(buzzfeed_df$text))

bigram_matrix <- DocumentTermMatrix(corpus, control = list(tokenize = BigramTokenizer))

bigram_freq <- sort(colSums(as.matrix(bigram_matrix)), decreasing=TRUE)

find_top_bigram <- function(bigrams, top_n){

top_bigram_list <- c()

for(bigram in bigrams){

unigrams <- strsplit(bigram," ")

if(!(unigrams[[1]][1] %in% stopwords("en") | unigrams[[1]][2] %in% stopwords("en"))){

top_bigram_list <- c(top_bigram_list, bigram)

}

if (length(top_bigram_list) ==top_n){

break

}

}

return (top_bigram_list)

}

features_subset <- find_top_bigram(names(bigram_freq), 20)

dtm_bigram_df <- data.frame(as.matrix(bigram_matrix[, intersect(colnames(bigram_matrix),features_subset)]))

dtm_bigram_df$NewsType <- buzzfeed_df$type

cat_freq_bf_df <- dtm_bigram_df %>% group_by(NewsType) %>% summarise_each(funs(sum))

ggplot(melt(cat_freq_bf_df),aes(x =variable, y=value,fill = NewsType)) +

geom_col(position = "dodge") + coord_flip() + xlab("bigrams") + ylab("bigrams_frequency") +

theme() + ggtitle("High frequency bigrams in the body of news article")

set.seed(123)

n_obs <- nrow(buzzfeed_df)

prop_split <- .75

training_index <- sample(1:n_obs, round(n_obs * prop_split))

inspect(title_dtm[100:105,100:105])

sparse_title_dtm <- removeSparseTerms(title_dtm, .997) # 750 terms

sparse_title_dtm

title_dtm <- as.matrix(sparse_title_dtm)

Продолжение приложения А

y_true <- as.matrix(buzzfeed_df$type)

x_train <- title_dtm[training_index, ]

x_test <- title_dtm[-training_index, ]

nb_title <- naiveBayes(x=x_train , y=as.factor(y_true[training_index]))

predicted_rf_title <- predict(nb_title, x_test)

accuracy_nb_title <- sum(y_true[-training_index] == predicted_rf_title)/ length(predicted_rf_title)

accuracy_nb_title

glm_fit_title <- glmnet(x_train , y_true[training_index], family = "binomial")

predicted_glm_title <- predict(glm_fit_title, x_test, type = "class")

accuracy_glm_title <- sum(y_true[-training_index] == predicted_glm_title)/ length(predicted_glm_title)

accuracy_glm_title

set.seed(123)

rf_title <- randomForest(x=x_train, y=as.factor(y_true[training_index]),ntree = 50)

rf_title

predicted_rf_title <- predict(rf_title, newdata=x_test)

accuracy_rf_title <- sum(y_true[-training_index] == predicted_rf_title)/ length(predicted_rf_title)

accuracy_rf_title

sparse_body_dtm <- removeSparseTerms(body_dtm, 0.97) # 1337 terms

sparse_body_dtm

body_dtm <- as.matrix(sparse_body_dtm)

y_true <- as.matrix(buzzfeed_df$type)

x_train_body <- body_dtm[training_index,]

x_test_body <- body_dtm[-training_index, ]

nb_body <- naiveBayes(x=x_train_body , y=as.factor(y_true[training_index]))

predicted_naive_body <- predict(nb_body, x_test_body)

accuracy_naive_body <- sum(y_true[-training_index] == predicted_naive_body)/ length(predicted_naive_body)

accuracy_naive_body

glm_fit_body <- glmnet(x_train_body , y_true[training_index], family = "binomial")

predicted_glm_body <- predict(glm_fit_body, x_test_body, type = "class")

accuracy_glm_body <- sum(y_true[-training_index] == predicted_glm_body)/ length(predicted_glm_body)

accuracy_glm_body

set.seed(123)

rf_body <- randomForest(x=x_train_body, y=as.factor(y_true[training_index]))

rf_body

predicted_rf_body <- predict(rf_body, newdata=x_test_body)

accuracy_rf_body <- sum(y_true[-training_index] == predicted_rf_body)/ length(predicted_rf_body)

accuracy_rf_body

Окончание приложения А

title_body_dtm <- body_dtm

common_features <- intersect(colnames(body_dtm), colnames(title_dtm))

title_body_dtm[,common_features] <- body_dtm[,common_features]+ title_dtm[,common_features]

title_only_features <- setdiff(colnames(title_dtm), colnames(body_dtm))

title_body_dtm <- cbind(title_body_dtm, title_dtm[,title_only_features])

nb_body_tb <- naiveBayes(x=title_body_dtm[training_index, ] , y=as.factor(y_true[training_index]))

predicted_nb_tb <- predict(nb_body, title_body_dtm[-training_index, ])

accuracy_nb_tb <- sum(y_true[-training_index] == predicted_nb_tb)/ length(predicted_nb_tb)

accuracy_nb_tb

glm_fit_title_body <- glmnet(x=title_body_dtm[training_index, ] , y=y_true[training_index], family = "binomial")

predicted_glm_tb <- predict(glm_fit_title_body, title_body_dtm[-training_index, ], type = "class")

accuracy_glm_tb <- sum(y_true[-training_index] == predicted_glm_tb)/ length(predicted_glm_tb)

accuracy_glm_tb

set.seed(123)

rf_tb <- randomForest(x=title_body_dtm[training_index, ], y=as.factor(y_true[training_index]))

predicted_rf_tb <- predict(rf_tb, newdata=title_body_dtm[-training_index, ])

accuracy_rf_tb <- sum(y_true[-training_index] == predicted_rf_tb)/ length(predicted_rf_tb)

accuracy_rf_tb

Размещено на Allbest.ru

...