Программная система для анализа сходства тем иностранных новостных сайтов
Анализ приложений для анализа новостных сайтов, их сильных и слабых сторон. Разработка программного обеспечения по обработке новостей, реализуемое на языке Python, для скачивания главных мировых новостей с сайтов, опубликованных в течение нескольких лет.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | дипломная работа |
| Язык | русский |
| Дата добавления | 01.12.2019 |
| Размер файла | 2,4 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
По графику можно заметить, что 06.12.2018 был всплеск новостей, каждая страна имела пересечения между собой. В ходе изучения новостей этого дня, была выявлена тенденция новости на основе выражений «Stephen Colbert» и «Russia». В ходе анализа новостного контента, было выявлено, что в данный день вышло шоу, в котором ведущий одной из самых популярных программ США рассказывал о своей поездке в Россию. Самыми публикуемыми странами этой новости стали Англия и Австралия.
Еще один явный всплеск произошел 08.12.2018 в ходе анализа новостей этого дня выявлено, что самая популярная новость -- это новость о судебном процессе над бывшим адвокатом Дональда Трампа. Данная новость, как видно из графика особенно ярко выражена среди стран Англии, Австралии и США. Если рассматривать отношении данных стран к этой новости, то можно сделать вывод, что программа работает с долей ошибок. Так как словарь регулярных выражений строится на основе новостей Австралии, то явное сходство контента меду Англией и Австралией объясняется методом составления словаря, а также количеством публикуемых новостей. Также на представленном графике представлено сходства с США, которое показывает явную принадлежность новости к стране.
Таким образом, можно сделать вывод, что полученная в ходе разработки, программа сравнивает новостной контент разных стран, но при этом может дать лишь поверхностную оценку различия новостей, а для глубокого изучения, нужна более детальная проработка программного обеспечения.
Выводы
В настоящей выпускной квалификационной работе были рассмотрены принципы парсинга сайтов, а также принципы обработки естественного языка. Проанализированы схожие проекты, выделены их достоинства и недостатки, выделены их методы по обработке естественного языка. Проведено исследование на нахождение и сравнение методов и систем для наиболее эффективной реализации приложения.
Написана программа для анализа новостных ресурсов. Приложение включает в себя подпрограммы:
· по выгрузке новостей за 15 месяцев 5 разных сайтов различных стран;
· для создания словаря на основе регулярных выражений;
· для обработки новостей по заданному словарю;
· для сравнения новостей между собой, на нахождение совпадений;
· для реализации оконного приложения под Windows 10.
Все части итогового приложения написаны на языке python.
В настоящей работе проведено исследование на корреляцию новостей за 2 недели, чтобы наглядно продемонстрировать работу программы. Для этого был составлен график, на котором показана корреляция. По итогам анализа выявлено, что программа работает исправно, выявлены ошибки на совпадения, но они являются несущественными на фоне обработки всех новостей.
Список литературы
Размещено на Allbest.ru
...Подобные документы
Страницы сайтов как набор текстовых файлов, размеченных на языке HTML. Виды сайтов, их классификация. Характеристика сайта: статический или динамический. Проблема безопасности web-сайта. Исследование программного обеспечения и языков программирования.
дипломная работа [850,3 K], добавлен 11.01.2015Анализ аппаратных и программных средств предприятия ТОО "Alicesystems", занимающегося разработкой web-сайтов. Выбор структур, топологий и технологий разработки системы. Технологии создания сайтов и выбор площадки. Описание программно-аппаратных средств.
отчет по практике [690,9 K], добавлен 29.05.2015Анализ средств формирования рейтинга Интернет-сайтов. Критерии оценки веб-сайтов при проведении Интернет-конкурса. Выбор браузера и разработка архитектуры плагина. Описание плагина средствами языка UML. Разработка и реализация программных модулей.
дипломная работа [3,2 M], добавлен 12.08.2017Классификация сайтов по технологиям, влияющим на дизайн и функциональность. Исследование языков программирования для web-сайтов. Характеристика особенностей личных и коммерческих сайтов. Разработка и реализация сайта Института математики и информатики.
отчет по практике [5,1 M], добавлен 09.12.2014Современные тенденции разработки и принципы классификации web-сайтов. Сайт как средство развития бизнеса. Технологии, применяемые при разработке web-сайтов, системы управления контентом. Разработка web-сайта для ЗАО "Кондитерская фабрика "Саратовская".
дипломная работа [4,1 M], добавлен 01.10.2012Критерии оценки сайтов при проведении Интернет-конкурса. Примеры популярных ресурсов с возможностью оценивания. Программная реализация плагина с использованием языков программирования HTML, CSS, PHP, JavaScript. Оценка качества разработанного продукта.
дипломная работа [2,6 M], добавлен 27.10.2017Управление электронным бизнесом. Изучение технологии создания сайта предприятия с использованием выбранных бесплатных конструкторов сайтов. Сравнительный анализ макетов сайтов, разработанных для организации с помощью конструкторов "Nethouse" и "А5".
курсовая работа [867,2 K], добавлен 23.03.2016Обзор методов и средств по созданию и проектированию Web–сайтов. Языки программирования для создания Web–сайтов. Анализ достоинств и недостатков систем управления сайтом CMS. Разработка дизайна и макета сайта. Расчет затрат на разработку продукта.
дипломная работа [1,1 M], добавлен 02.06.2016Разработка сайта для осведомления любителей компьютерных игр о новинках, публикации новостей, участия в обсуждении игр. Основные понятия Web-технологий. Особенности установки пакета Apache и программы создания и редактирования Web-сайтов Joomla 1.5.
дипломная работа [5,4 M], добавлен 06.07.2012История появления первого в мире сайта info.cern.ch в 1991 году. Страницы сайтов как набор текстовых файлов, размеченных на языке HTML. Использование конструктора при разработке сайтов. Создание сайта "с нуля", разработка дизайна, верстка, оформление.
реферат [21,5 K], добавлен 26.05.2015Разработка структуры web-сайта новостей, наполнение его содержательной информацией. Выбор платформы для создания сайта, его обоснование. Установка и редактирование шаблона, создание разделов и категорий. Добавление материала на сайт, его тестирование.
дипломная работа [1,5 M], добавлен 24.01.2016Анализ основных средств для создания Web-сайтов. Обзор и сравнительный анализ СУБД, применяемых в Web-программировании. Анализ методов продвижения Web-сайтов. Проектирование Web-сайта в области коммунального хозяйства. Разработка графического дизайна.
курсовая работа [3,0 M], добавлен 07.11.2013Анализ современных концепций построения сайтов онлайн-тестирования. Разработка автоматизированного тестирующего комплекса – обучающего Web-приложения, позволяющего проводить контроль уровня знаний математики с применением языка программирования Php.
дипломная работа [865,8 K], добавлен 24.06.2013Анализ дизайна сайта с точки зрения его привлекательности для пользователей и на предмет удобства. Факторы, влияющие на восприятие пользователем информации. Основные критерии оценки туристических web-ресурсов. Сравнение сайтов Trаvel.ru и "100 дорог".
реферат [18,6 K], добавлен 19.06.2011Знакомство с основными принципами построения Web-сайтов. Рассмотрение этапов создания простой страницы HTML. Анализ способов форматирования сайтов. Общая характеристика видов списков: маркированные, нумерованные. Особенности таблиц каскадных стилей.
курсовая работа [2,5 M], добавлен 18.07.2014История образования ТОО "ABC Design". Разработка программного и информационного обеспечения компьютерных сетей, автоматизированных систем вычислительных комплексов и сервисов. Работа с CRM системой Task Manager и с панелью управления сайтов JOOMLA.
отчет по практике [727,4 K], добавлен 13.07.2017Выбор типовой архитектуры. Схема работы Shell-скрипта. Вывод информации на сайт. Обеспечение его безопасности. Внедрение проекта на сервер. Построение заключительного запроса. Оценка времени работы приложения. Настройка авторизации по открытому ключу.
курсовая работа [950,6 K], добавлен 22.03.2018Анализ существующих сайтов образовательный учреждений учебных сайтов Астраханской области. Обзор среды реализации разработки веб-сайта. Требования к официальным сайтам образовательных учреждений. Разработка логической структуры веб-сайта колледжа.
дипломная работа [6,1 M], добавлен 10.06.2014Психолого-педагогические основы формирования системно-деятельностного подхода обучения. Обзор существующих конструкторов сайтов, обоснование выбора сервиса Wix. Ознакомление обучающихся с правилами безопасности в сети Интернет. Технологии создания сайтов.
дипломная работа [428,9 K], добавлен 07.09.2017Анализ систем статистики сайтов и факторы, учитываемые при оценке посещаемости. Наиболее популярные счетчики. Построение модели оценки посещаемости сайта skalyariya.ru. Анализ матрицы коэффициентов парных корреляций и построение уравнения регрессии.
отчет по практике [135,5 K], добавлен 28.04.2014
