Размещено на http://www.allbest.ru/

Содержание

Введение

Глава 1. Постановка задачи и обзор университетских рейтингов

1.1 Постановка задачи и основные этапы решения

1.2 Обзор некоторых университетских рейтингов

1.2.1 Times Higher Education World University Ranking

1.2.2 Webometrics

Глава 2. Вспомогательные программы

2.1 Teleport Pro

2.2 SPSS Statistics

2.3. Программа для нахождения векторов файлов по ключевым словам

Глава 3. Методы классификации

3.1 Кластерный анализ

3.2 Классификация

3.3 Наивный байесовский классификатор

3.4 Метод k-ближайших соседей

3.5 Оценка качества обучения

Глава 4. Анализ и результаты

Заключение

Список литературы

Приложения

Введение

В настоящее время широкое распространение приобрели всевозможные рейтинги университетов. В каждом из этих рейтингов, университеты оцениваются по разным критериям.

В частности, Webometrics, измеряет активность университетов в интернет среде. Данный рейтинг учитывает в своей оценке такие критерии как: количество ссылок с других сайтов, общее количество страниц сайта, количество файлов, хранящихся в открытом доступе и количество размещенных на сайте статей и число их цитирований. Однако, следует отметить некоторые недостатки этого рейтинга. Например, в этом алгоритме ранжирования не учитывается, что ВУЗы могут поддерживать множество различных доменов. Плюс ко всему, Webometrics не производит учёт интернет-ресурсов подразделений и филиалов учебных учреждений. Так же стоит заметить, что этот рейтинг не использует в качестве инструментария для сбора информации о веб-сайтах российскую поисковую систему Яндекс Яндекс - российская поисковая система . В добавлении к недостаткам хочется заметить, что считается только количество файлов, расположенных на сайтах университетов, при этом не учитывается то, какие именно это файлы, другими словами, создатели этого рейтинга не рассматривают наполнение хранящихся документов.

Существует и другой рейтинг университетов, который уже оценивает не активность того или иного учебного заведения в интернет среде, а рассматривает научную составляющую. Рейтинг Times Higher Education World University Ranking оценивает университеты по множеству критериев, приведем основные: академическая репутация университета, включая научную деятельность и качество образования; научная репутация университета в определенных областях; общая цитируемость научных публикаций, нормализованная относительно разных областей исследований.

В добавление к перечисленным, следует отметить еще один из рейтингов университетов Academic Ranking of World Universities. Он составляется институтом высшего образования шанхайского университета Цзяо Тун, именно поэтому чаще употребляется название Шанхайский Рейтинг. При составление этого рейтинга, берутся в расчет только те университеты, чьи преподаватели или выпускники имеют Нобелевскую или Филдсовскую премию и/или публикуют в научных изданиях цитируемые научные исследования. Говоря о критериях ранжирования высших учебных заведений, можно отметить несколько из них: число часто цитируемых в научных изданиях публикаций, число статей, опубликованных в Nature Nature (в переводе с англ. «Природа») -- один из самых старых и авторитетных общенаучных журналов. Публикует исследования, посвящённые широкому спектру вопросов, в основном естественно-научной тематики. или Science Science («Наука») -- академический журнал Американской ассоциации содействия развитию науки (AAAS). Считается одним из самых авторитетных научных журналов. и число часто цитируемых публикаций. Эти и другие показатели нормируются по численности персонала учебных учреждений.

В ресурсах университетских веб-сайтов можно выделить три раздела документов, выкладываемых администрацией, сотрудниками и студентами: учебный, научный и административно-организационный. Таким образом, каждый университет можно охарактеризовать вектором из трех компонент:

1) доля учебного контента - x;

2) доля научного контента - y;

3) доля административно-организационного контента - (1-x-y)

для каждого исследуемого университета. В этой дипломной работе существенный интерес обращен к доле учебного и научного контента.

Возникает задача измерения этих долей из общего наполнения интернет-ресурсов «ведущих», «средних» и «отстающих» университетов России. Это требуется проанализировать, чтобы подтвердить или опровергнуть гипотезу о том, что на веб-сайтах «ведущих» университетов доля учебного контента будет больше, чем на веб-сайтах «средних» и, тем более, «отстающих» университетов.

За основу был взят рейтинг университетов Webometrics. Но, так как данный рейтинг рассматривает исключительно количество размещенных в открытом доступе файлов, хочется рассмотреть данный критерий более подробно. В этой выпускной квалификационной работе будут рассмотрены файлы по внутреннему содержанию. На сайт учебного заведения можно выложить любые файлы в любом количестве, а это значит, что, если выложить, например, тысячу или две тысячи файлов на сайт, то отдельно взятый университет может подняться в рейтинге Webometrics, при этом, не внеся никакого вклада в научное сообщество. Будет предложен метод, который улучшит уже существующий рейтинг. Метод, по которому можно будет сравнивать учебные учреждения по их присутствию во всемирной паутине, учитывая то, какие именно документы выкладываются в открытый доступ.

В первой главе этой работы будет подробно описана постановка задачи и основные этапы решения, а так же произведен обзор уже существующих рейтингов университетов. Во второй главе произведен обзор использованных программ. В третьей главе описаны методы и алгоритмы, с помощью которых была решена поставленная задача. И, наконец, в четветой главе будут приведены как промежуточные, так и итоговые результаты и вывод, который можно сделать исходя из них.

Глава 1. Постановка задачи и обзор университетских рейтингов

1.1 Постановка задачи и основные этапы решения

В этом разделе будет подробно описана постановка задачи, а так же главные этапы решения задачи.

Было решено взять 15 российских университетов для анализа наполнения их интернет-ресурсов. Первые пять - из первой двадцатки:

· Московский Государственный Университет имени М.В. Ломоносова (1)

· Санкт-Петербургский государственный университет (2)

· Национальный исследовательский ядерный университет «МИФИ» (3)

· Национальный исследовательский университет МФТИ (6)

· Национальный исследовательский университет Высшая школа экономики (17)

В скобках указано место в национальном рейтинге университетов Национальный Рейтинг Университетов - http://unirating.ru/rating_common.asp. Данные за 2012 год. .

Вторая пятерка взята из середины рейтинга:

· Омский государственный университет имени Ф.М. Достоевского (43)

· Удмуртский государственный университет (46)

· Иркутский государственный университет (48)

· Новгородский государственный университет имени Ярослава Мудрого (57)

· Самарский государственный университет (58)

И, наконец, последняя пятерка с конца рейтинга:

· Северо-Осетинский государственный университет имени Коста Левановича Хетагурова (78)

· Курский государственный университет (88)

· Елецкий государственный университет им. И.А. Бунина (96)

· Калмыцкий государственный университет (101)

· Камчатский государственный университет имени Витуса Беринга (105)

Необходимо понять какие именно файлы находятся в открытом доступе этих российских учебных учреждений. Предварительно был произведен обзор некоторых существующих рейтингов учебных заведений. Затем в этой работе описаны алгоритмы, методы и вспомогательные программы, которые использовались для решения ранее поставленной задачи. Теперь поговорим о более существенных этапах решения.

Для начала нужно скачать все документы с интернет-сайтов этих университетов. Затем, случайным образом из этих документов были выбраны 100 файлов, за счет которых, мы будем обучать алгоритм, используя метод кросс-валидации, обучающую и тестовые выборки. Эти 100 документов были вручную перебраны, и каждому была присвоена метка о том, какую именно информацию он содержит. Более подробно это будет расписано в четвертой главе.

Просмотрев и прочитав эти документы, необходимо понять какие слова характеризуют научную и учебную литературу. Взято за аксиому, что в разных университетах научная и учебная литература описывается схожим языком, а это значит, что можно выявить «ключевые» слова, по которым будет производиться последующий анализ наполнения интернет-ресурсов учебных учреждений.

Обучив алгоритм на обучающей выборке и проверив на тестовой, уже можно на входные данные брать файлы из каждого университета в отдельности, а на выходные получать процент научных, учебных и администаривно-организационных документов для каждого университета. Что, собственно, и требуется.

Исходя из результатов исследования, можно будет сделать вывод о том, есть ли корреляция между местом в рейтинге определенного университета и долями учебных и научных документов, находящихся в открытом доступе на его интернет-сайте.

Предполагается, что доля научных и учебных документов у университетов из нашей первой пятерки будет несколько выше по сравнению с долями из второй и тем более и третьей пятерки. Вектора для каждого университета будут состоять из двух компонент (доля научных файлов, доля учебных файлов; долю административно-организаионных файлов можно не включать, так как сумма этих компонент составляет единицу, а это значит, что третий элемент в векторе не является показательным), следовательно, можно будет изобразить на плоскости каждый университет. А на картинке уже будет видно, есть ли зависимость по этим критериям. Предполагается, что эти 15 университетов можно будет разбить на три кластера: «ведущие», «средние» и «отстающие» университеты. Но, также возможны и выбросы.

1.2 Обзор некоторых университетских рейтингов

В этом разделе рассмотрим существующие рейтинги университетов. Будет описано, какие цели исследователи ставят перед собой, а так же будут рассмотрены критерии и главные недостатки рейтингов. Будет подробно рассказано о следущих рейтингах университетов: Times Higher Education World University Ranking и Webometrics.

1.2.1 Times Higher Education World University Ranking

Times Higher Education World University Ranking 2013-2014 единственный рейтинг мировых университетов, который оценивает научные исследования под руководством учебных заведений во всех своих основных задачах - преподавательской, научной и в задаче передачи знаний.

Основные элементы в формуле ранжирования

Создатели этого рейтинга используют 13 показателей эффективности, которые способны обеспечить наиболее полное и сбалансированное сравнение университетов.

Эти 13 показателей были сгруппированы по пяти областям:

1. Преподавание: среда обучения (30% от итоговой оценки рейтинга)

2. Исследование: объем, доход и репутация (30%)

3. Цитирование: влияние исследований (30%)

4. Доход: доход от инноваций (2,5%)

5. Интерционализм: международность персонала, студентов(7,5%).

Исключение из рейтинга

Университеты не входят в Times Higher Education World University Rankings, если они не обучают магистрантов; если они обучают только одной узкой специальности; или если количество их исследовательских статей составило менее 1000 публикаций в период между 2007 и 2011 (200 в год).

В некоторых исключительных случаях, учреждения, которые находятся ниже порога в 200 статей в год, включаются, если они имеют особый акцент на дисциплины с обычно низким объёмом публицирования, таких как машиностроение, искусство и другие гуманитарные науки.

Результаты

Для расчета общего рейтинга, были созданы, так называемые "Z-score" для всех наборов данных за исключением результатов репутации научных исследований.

При вычислении «Z-score» стандартизуются различные типы данных по единой шкале, тем самым обеспечиваются справедливые сравнения между различными типами данных, преобразуя при объединении различную информацию в единый рейтинг.

Интернационализм: международность студентов и преподавателей (7.5%)

Способность университета привлекать студентов, магистрантов, а так же и аспирантов со всех уголков планеты является залогом его успеха на мировой арене: этот фактор измеряется отношением иностранных к отечественным студентам и является 2,5% от общей оценки.

Лучшие университеты также конкурируют за лучших преподавателей со всего мира. Поэтому в этой категории принимается также 2,5% от общей оценки отношение количества иностранного к числу отечественного персонала.

Третий показатель вычисляется как отношение в университете общего числа научных журнальных публикаций, к числу публикаций, которые имеют, по крайней мере, одного иностранного соавтора. Вес этого показателя также составляет 2,5%.

Исследования: объем, доход, репутация (30%)

Эта категория включает в себя три показателя. Наиболее значимый, с учетом его веса в оценке в 18%, учитывает репутацию университета за научные достижения среди своих коллег, основанные на ежегодном опросе свыше 10 000 представителей международного академического сообщества.

Эта категория основана на доходе от университетских исследований, и нормируется по численности персонала.

Это достаточно спорный показатель, так как его результаты могут изменятся под влиянием национально-политических и экономических обстоятельств.

Но доход имеет решающее значение для развития научных исследований мирового уровня, и исходя от этого, исследователи включили его в общую оценку.

Этот показатель полностью нормируется, учитывая, что в каждом ВУЗе есть свое профильное направление. Научные гранты в области точных наук зачастую больше, чем гранты социальных наук, искусства и гуманитарных исследований. В общей оценке вес этого показателя составляет 6%.

Так же считается количество статей, опубликованных в научных журналах. Число и здесь нормируется по общему размеру, а также стандартизированы по теме. Этот показатель также имеет вес 6%.

Цитирование: влияние исследований (30%)

Имея вес 30% от общей оценки, он является самым влиятельным и значимым из всех 13 показателей и рассматривает роль университетов в распространении новых знаний и идей.

Этот критерий оценивается путем подсчета количества цитирований работ, опубликованных университетом, учеными по всему миру. Ссылки на эти документы, сделанные в течение шести лет, с 2007 по 2012 год, также ссуммируются.

Цитирование помогает показать, какой вклад каждый университет вносит в копилку человеческих знаний.

Данные полностью нормированы для того, чтобы они в полном объеме отражали цитирование между различными предметными областями. Это означает, что ВУЗы с высоким уровнем научно-исследовательской деятельности, в научных областях с традиционно высокой цитируемостью, в должной мере не получают справедливого преимущества.

Доход: доход от инноваций (2.5%)

Возможность университетов развить индустрию инноваций, изобретений и консультаций стала основной миссией современного образования.

Этот критерий отражает такие методы «передачи знаний», как, например, на сколько серьезный доход от исследований получает учебное учреждение в области промышленности. Этот параметр нормирован по численности научных сотрудников, которые работают в этом университете.

«Доход: доход от инноваций» показывает то, сколько бизнес готов платить за исследования университета. Именно поэтому, возможность привлечения финансирования на конкурентном рынке является полезным показателем качества институтов.

Данная категория оценивается как 2,5% от общей оценки.

Образование: учебный процесс (30%)

Этот параметр насчитывает пять отдельных показателей для того, чтобы обеспечить четкое понимание различных условий обучения в каждом учебном заведении, начиная от студенческой, и заканчивая, академической точек зрения.

Самым весомым показателем в этом критерии используется результат крупнейшего в мире опроса Академической Репутации.

Thomson Reuters проводил свой последний опрос ученых весной 2013 года.

Они рассмотрели на сколько сильно воспринимается престиж учреждения в каждом из показателей: исследование и преподавание. Всего было опрошено 10 000 человек.

Результаты этого опроса, касательно преподавания, составляют 15% от общей оценки рейтинга.

Опрос показывает, что в тех учебных заведениях, где есть весьма неплохое соотношение учащихся и сотрудников, есть уверенность, что в этом университете учащийся получит должное внимание со стороны преподавателей.

Этот показатель составляет 4,5% от общей оценки рейтинга.

В том числе, в этой категории оценивается количество дипломных работ бакалавров, которые присуждаются в каждом учреждении.

Считается, что учреждения с высокой плотностью студенческих научно-исследовательских работ, являются более наукоемкими.

Количество степеней, выданных бакалаврам, оценивается как 2,25% от общей оценки.

Категория «Образование» также использует данные о количестве докторских степеней в каждом из учебных учреждений. Данный критерий так же нормируется по общему числу сотрудников университета.

Магистранты, как правило, оцениваются вместе с аспиратнами, то есть этот критерий не считает отдельно аспирантов и магистранов. Times Higher Education World University Ranking считает количество защищенных магисторских и аспирантских научно-исследовательских работ и нормирует этот параметр по уникальности предложенных работ, учитывая сочетание уникальных тем, отражающие различные дисциплины, и составляет 6% от общей оценки.

Последний показатель - это отношение дохода института к общему количеству персонала.

Этот критерий оценивается уже с поправкой на паритет покупательной способности, поэтому все страны и все университеты во всех странах могут конкурировать на равных. Этот показатель оценивается в размере 2,25% из общей оценки.

1.2.2 Webometrics

Ranking Web или просто Webometrics - крупнейший академический рейтинг высших учебных заведений. Начиная с 2004 года каждые шесть месяцев осуществляется оценивание университетов с помощью Cybermetrics Lab (испанского Национального Исследовательского Совета, CSIC) для обеспечения надежной, многомерной, новой и полезной информации о производительности университетов со всего мира, основанного на их интернет-присутствии.

История

В Cybermetrics Lab развивается качественное исследование интернет-ресурсов университетов с середины девяностых. Первый рейтинг был представлен в ходе EASST/4S-конференции в Билефельд (1996), а сбор данных с веб-сайтов европейских университетов начался в 1999 году при поддержке ЕС Funded Project EICSTES. Эти усилия являются продолжением наукометрических исследований, которые начались в 1994 году и, которая была представлена на конференции International Society for Scientometrics and Informetrics (ISSI, 1995-2011) и на конфереции International Conferences on Science and Technology Indicators (STI-ENID, 1996-2012) и опубликованы в авторитетных научных журналах (Journal of InformetricsJournal of Informetrics - академический журнал, который публикуется раз в квартал и покрывает следущие области: исследования наукометрии и информетрики, Journal of the American Society for Information Science and TechnologyThe Journal of the Association for Information Science and Technology - академический журнал из области информатики, опубликованный Вилли-Блеквелом от имени Association for Information Science and Technology, где Association for Information Science and Technology - это некоммерческая организация специалистов в области информатики., Scientometrics Scientometrics -- журнал, издаваемый экспертами в области наукометрии (англ.: Scientometrics). Выпускается непрерывно с 1978 года. В настоящее время издаётся совместно Akadйmiai Kiadу и Springer Science+Business Media (ISSN 0138-9130)., Journal of Information Science Journal of Information Science - академический журнал, который покрывает исследования информатики, управление информацией и некоторые аспекты управления знаниями., Information Processing & Management Information Processing & Management (IPM) - академический журнал. Он был основан как Information Storage and Retrieval в 1963 г.; в 1975 г. его сменило нынешнее название. и другие). В 1997 году Cybermetrics Lab начали выпуск электронной версии научного журнала Научный журнал (рецензируемый или реферируемый научный журнал) -- журнал, в котором присылаемые статьи перед публикацией представляются на рецензирование независимым специалистам, которые обычно не входят в состав редакции журнала и ведут исследования в областях, близких с тематикой статьи. с открытым доступом, Cybermetrics, посвященной публикации Webometrics.

В 2003 году после публикации шанхайским университетом иностранных языков Шанхайский университет иностаранных языков - университет в Шанхае. Основная специализация - изучение иностранных языков и международное обучение. прорывного нового рейтинга, Academic Ranking of World Universities (ARWU), создатели этого рейтинга решили принять нововведения. Ранжирование будет построено из общедоступных интернет-ресурсов, сочетающий переменные в комплексный показатель, и с действительно глобальным охватом. После принятия нововведений, первое издание, предложенное командой Cybermetrics Lab, вышло в 2004 году, оно обновляется дважды в год, начиная с 2006 года.

Цели и мотивация

Первоначальной целью рейтинга является продвижение присутствия в интернете академической информации, поддержка инициативы открытого доступа для существенного увеличения передачи научных и культурных знаний, полученных в университетах, для всего мирового сообщества. Публикация рейтингов является одним из самых мощных и успешных инструментов для запуска процессов изменений, происходящих в учебных заведениях.

Целью ранжирования университетов является не оценка интернет-сайтов, их дизайна или удобства и простоты использования или популярности их содержания, которая считается по количеству посещений, или по количеству посетителей.

Рейтинг надежен/справедлив тогда, когда сайт полностью отражает лицо университета. Во втором десятилетии двадцать первого века, интернет является ключом для будущего всех университетских миссий и задач, так как он является важнейшим средством коммуникации будущего канала для дистанционного обучения, открытого форума, поиском и нахождения финансирования и ресурсов для различных научных исследований.

Основные принципы

Webometrics оценивает все ВУЗы мира, а не только несколько сотен институтов из развитых стран.

Webometrics постоянно проводит новые исследования для повышения качества рейтинга.

Cybermetrics Lab анализирует ссылки для оценки качества, так как это гораздо более мощный инструмент, по их мнению, чем анализ количества цитирований или академические опросы.

Если абитуриенты пытаются выбрать университет, онидолжны использовать дополнительные критерии. Рейтинг Webometrics хорошо коррелирует с качеством предоставляемого образования и академического престижа, но и другие не академические переменные так же должны быть приняты во внимание.

Проект и доля показателей в общей оценки

Создатели рейтинга Webometrics используют научную модель для взвешивания каждого из показателей.

Все значения должны быть нормированы для справедливого сравнения показателей.

Последний вариант рейтинга(на момент написания работы) построен следующим образом:

Видимость (50%)

Влияние. Качество содержания веб-сайтов оценивается через «виртуальный референдум», подсчет всех внешних ссылок на сайт данного университета, которые расположены по другим доменам. Эти ссылки указывают на признание институционального престижа, успеваемости, ценности информации и полезности предоставляемых услуг. Этот показатель расчитывается как квадратный корень суммы количества «обратных» ссылок и количества доменов производящие эти «обратные» ссылки. Так что важна не только популярность ссылок, но еще и разнообразие ссылок. Максимальный нормированный результат - показатель влияния.

Деятельности (50%)

Присутствие (1/3). Общее число интернет-страниц, размещенных на главном домене (включая все дочерние домены) университета, индексируемые крупнейшем коммерческой поисковой системой Google Google -- крупнейшая в интернете поисковая система, принадлежащая корпорации Google Inc.. Этот показатель ставится в невыгодное положение, если имеются дополнительные или альтернативные домены помимо центральных, например, сайты на иностранных языках.

Открытый доступ (1/3). Были проведены исследования для того, чтобы оценить «открытость» сайтов университетов. Был произведен подсчет, так называемых, Rich Files - это все такие файлы(pdf, doc, docx, ppt), которые хранятся на сайтах университета в открытом доступе. Предметом исследования являются такие файлы, которые были опубликованны в последнее время, а именно в период с 2008 по 2012 года.

Совершенство (высокое качество) (1/3). Академические труды и исследовательские работы, которые опубликованы в международных журналах играют очень важную роль в рейтинге ВУЗов. Если использовать просто общее число статей, это может привести к ошибке или к несправедливому результату, поэтому работники Webometrics решили ограничить данный показатель. Брались только те публикации, которые являются частью 10% наиболее цитируемых статей в соответствующих областях науки.

Преимущества и недостатки рейтинга

Покрытие. Webometrics является крупнейшим мировым рейтингом по количеству анализируемых ВУЗов, но, к сожалению, нет классификации различных типов институтов. То есть исследовательские университеты перечислены вместе с колледжами или духовными семинариями. Однако, не сложно их всех разбить на разные подгруппы и содать для каждой подруппы собственные субрейтинги.

Зависимость от размера. Нет дискуссии об этой проблеме в наиболее популярных рейтингах, в том числе и в Webometrics. Хоть размер и не относится к числу ученых или студентов (Гарвард не очень большой в этом смысле), но, вероятно, относится к ресурсам (текущего финансирования). Но эта критика не является правильной, поскольку, на самом деле, ни один из рейтингов, действительно, не учитывает такие показатели, как, например, экономическое богатство государства. Экономическое богатство государства может быть измерено в терминах ВВП (США, Китай, Япония) или в единицах ВВП на душу населения (Люксембург, ОАЭ, Норвегия), оба показателя являются правильными, но их цели совершенно различны и результаты будут, естесственно, разными.

Поддельные и неаккредитованные университеты. Порой очень сложно вычислить неаккредитованные ВУЗы, так как каждый год появляются новые и необходимо проверять каждый из них. Исследователи Webometrics проводит проверку в том числе и в интернете. Проверяют наличие независимых доменов у международных филиалов.

Отсутствие Яндекса. Пожалуй, самый главный недостаток этого рейтинга для российских университетов, является отсутствие инструментария для сбора информации о веб-сайтах, российской поисковой системы Яндекс. Так как Яндекс ищет ответы на запросы преимущественно в рунете Рунет (русскоязычный Интернет, русский Интернет, Интернет на русском языке) -- часть Интернета на русском языке. Распространён на все континенты, включая Антарктиду, но больше всего сконцентрирован в СНГ и, в особенности, в России., это позволило бы «поднять» российские ВУЗы, на мой взгляд, значительно выше в рейтинге.

Внутренние компоненты Rich Files. К сожалению, исследователи Webometrics не учитывают внутренние компоненты файлов, хранящихся на сайтах университетов в открытом доступе, а считается только их количество. А это не является четким критерием ранжирования учебных учреждений. Согласитесь, что, при желании, можно загрузить на сайт, например, несколько тысяч разных документов, которые никак не смогут помочь ни преподавателям, ни студентам, ни абитуриентам. А исходя из критериев создателей этого рейтинга, получается, что, если это будет проделано, то каждый университет может подняться в рейтинге, не затратив почти никаких усилий.

Был произведен обзор рейтингов. Далее рассмотрим вспомогательные программы, которые использовались для будущего анализы данных.

Глава 2. Вспомогательные программы

В этой главе будут рассмотрены вспомогательные программы, которые использовались для скачивания файлов с сайтов, а так же их дальнейшего анализа.

2.1 Teleport Pro

Teleport Pro - это универсальный высокоскоростной инструмент для получения данных из интернета. Эта программа запускает до десяти одновременных потоков для скачивания файлов и страниц, дает доступ к защищенным паролем сайтам, фильтрует файлы по размеру и типу, произдовит поиск по ключевым слова, а так же делает многое другое. Teleport Pro способен читать HTML5 HTML5 (англ. HyperText Markup Language, version 5) -- язык для структурирования и представления содержимого всемирной паутины., CSS3 CSS3 (англ. Cascading Style Sheets 3 -- каскадные таблицы стилей третьего поколения) -- активно разрабатываемая спецификация CSS. Представляет собой формальный язык, реализованный с помощью языка разметки., и DHTML Dynamic HTML или DHTML -- это способ создания интерактивного веб-сайта, использующий сочетание статичного языка разметки HTML, встраиваемого (и выполняемого на стороне клиента) скриптового языка JavaScript, CSS (каскадных таблиц стилей) и DOM (объектной модели документа).. Главная особенность этой программы заключается в том, что она действительно ищет и находит все файлы, расположенные на сайте. Teleport Pro может:

· Скачать весь или часть веб-сайта на компьютер, что позволит просматривать сайт напрямую с жесткого диска на гораздо большей скорости, чем если бы просматривали сайт в режиме онлайн

· Создать точный дубликат, или зеркало интернет-сайта, с полной структурой подкаталогов и всех необходимых файлов

· Производить поиск по веб-сайту файлов определенного типа и размера

· Скачивать список файлов на известные адреса

· Исследовать каждый веб-сайт, на который есть ссылка с центрального(главного, основного)

· Искать по сайту информацию либо файлы по ключевым словам

· Составлять список всех страниц и файлов на сайте

Особенности Программы Teleport Pro:

· Поддерживается все операционные системы для Win32, включая Windows 95, 98, Me, NT, 2000, XP, 2003, Vista, 2008, Windows 7 и Windows 8

· Возможность синтаксического анализа Синтаксический анализ (жарг. парсинг) в лингвистике и информатике -- процесс сопоставления линейной последовательности лексем (слов, токенов) естественного или формального языка с его формальной грамматикой. Результатом обычно является дерево разбора (синтаксическое дерево).. Более тщательное изучение сложных сайтов

· Десять одновременных потоков получение данных на максимально возможной скорости

· Читает HTML5, CSS3, и DHTML

· Может извлекать файлы из серверов FTP(File Transfer Protocol) FTP (англ. File Transfer Protocol -- протокол передачи файлов) -- стандартный протокол, предназначенный для передачи файлов по TCP-сетям (например, Интернет). FTP часто используется для загрузки сетевых страниц и других документов с частного устройства разработки на открытые сервера хостинга.

· Полный просмотр оффлайн. Имеет процесс зеркалирования веб-ресурсов

· Project Scheduler позволяет планировать проекты, для того, чтобы запустить их в любое время, на любом соединении. Возможно запланировать проекты, выполняемые в определенной последовательности, например, каждый новый проект начинается, когда предыдущий заканчивается

· Фильтры позволяют загружать файлы, соответствующие нужному типу и размеру по заданным ограничениям

· Есть возможность самостоятельно настроить внутреннюю и внешнюю глубину поиска и скачивания файлов по сайту

· Получает доступ к защищенным паролем сайтам

· Простота в использовании. На интуитивном уровне можно понять все действия, для того, чтобы добиться поставленной цели

Эта программа была использована для скачивания всех файлов(.doc, .docx, .pdf) с сайтов университетов для того, чтобы в дальнейшем производить анализ уже именно по скаченным файлам.

2.2 SPSS Statistics

SPSS Statistics - программный пакет используется для статистического анализа. Долго именуемая, как SPSS Inc. она была приобретена компанией IBM в 2009 г. Текущая версия (версия 2014 года) официально названа IBM SPSS Statistics. Сопутствующие продукты из той же семьи используются для исследования, разработки и внедрения технологий (IBM SPSS Data Collection), data mining Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных) -- собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. (IBM SPSS Modeler).

Название данного програмного обеспечения расшифровывается как Статистический пакет для социальных наук (Statistical Package for the Social Sciences, SPSS), хотя программное обеспечение теперь является популярным и в других областях, в том числе медицинских наук, маркетинга и анализа данных.

Обзор

SPSS является широко используемой программой для статистического анализа в социальных науках. Он также используется исследователями рынка, исследователями в области здравоохранения, образования, маркетинга, data mining и другими.

Базовая версия Statistics включает в себя:

· Описательная статистика: cross tabulation

· Двумерная статистика: t-критерий Стьюдента t-критерий Стьюдента -- общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках., дисперсионный анализ Дисперсионный анализ -- метод в математической статистике, направленный на поиск зависимостей в экспериментальных данных путём исследования значимости различий в средних значениях[1][2]. В отличие от t-критерия, позволяет сравнивать средние значения трех и более групп., корреляция (двумерная, частичная)

· Прогноз для численных результатов: линейная регрессия

· Идентификации групп: факторный анализ, кластерный анализ (двухэтапный, метод k-средних, иерархический)

Синтаксис команды программирования позволяет воспроизводить, упрощать повторяющиеся задачи и обрабатывать сложные манипуляции с данными с их дальнейшем анализом. Кроме того, некоторые сложные приложения можно запрограммировать только в синтаксисе и, к сожалению, они не доступны в меню. Данные также могут быть вставлены в файл с помощью кнопки «вставить», которая присутствует в каждом меню. Программы могут запускаться в интерактивном режиме или автоматическом. Кроме того, макроязык Макроязык -- набор правил для объявления и использования макросов. Макросы используются в языках программирования, например, в ассемблере и в прикладных программах, например, в Microsoft Office. может использоваться для записи команд на языке программирования Python Python(в русском языке распространено название питон) -- высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода.. Python, введенный только в SPSS 14, заменил менее функциональный Sax Basic Язык Sax Basic отличается от обычного Visual Basic лишь специальной библиотекой типов., хотя Sax Basic так же остается доступным. Начиная с четырнадцатой версии, SPSS можно управлять с помощью Python или программы Visual Basic .NET Visual Basic .NET (VB.NET) -- это объектно-ориентированный язык программирования, который можно рассматривать как очередной виток эволюции Visual Basic (VB), реализованный на платформе Microsoft .NET., используя предоставленные плагины Плагин(англ. plug-in, от plug in «подключать») -- независимо компилируемый программный модуль, динамически подключаемый к основной программе и предназначенный для расширения и/или использования её возможностей. Плагины обычно выполняются в виде разделяемых библиотек..

Наборами данных SPSS являются структура двумерных таблиц, где строки, как правило, представляют собой случаи(cases) (например, физические лица или домашние хозяйства), а столбцы представляют собой измерения (такие как возраст, пол, доход домашнего хозяйства). Определяются только два типа данных: числовые и строка (или «string»). Обработка всех данных происходит последовательно, шаг за шагом проходя по файлу.

Графический интерфейс пользователя Графический интерфейс пользователя, графический пользовательский интерфейс (англ. Graphical user interface, GUI) -- разновидность пользовательского интерфейса, в котором элементы интерфейса (меню, кнопки, значки, списки и т. п.), представленные пользователю на дисплее, исполнены в виде графических изображений. имеет два представления, которые можно включить или выключить, нажав на одну из двух вкладок в нижней левой части окна SPSS Statistics. В отличие от электронных таблиц, ячейки данных могут содержать только цифры или текст, в то время как формулы в этих ячейках храниться не могут. «Variable View» показывает весь словарь метаданных Метаданные - структурированные данные, представляющие собой характеристики описываемых сущностей для целей их идентификации, поиска, оценки, управления ими, где каждая строка представляет собой переменную и показывает имя переменной, метки переменной, значение переменной, ширину печати, тип измерения и множество других характеристик. Клетки в обоих представлениях можно редактировать вручную, определенные структуры файлов позволяют передавать данные без записи, используя синтаксис команды. Почти всегда это является достаточным для небольших наборов данных. Большие наборы данных, такие как статистические опросы чаще создаются через програмное обеспечение «data entry». Эти наборы данных считываются в SPSS.

SPSS Statistics может считывать и записывать данные из ASCII ASCII (англ. American Standard Code for Information Interchange) -- американская стандартная кодировочная таблица для печатных символов и некоторых специальных кодов(текстовые файлы; в том числе из иерархических файлов), других статистических пакетов, электронных таблиц и баз данных. Так же SPSS Statistics может считывать и записывать данные на внешние таблицы реляционных баз данных такие как ODBC ODBC (англ. Open Database Connectivity) -- это программный интерфейс (API) доступа к базам данных, разработанный фирмой Microsoft, в сотрудничестве с Simba Technologies на основе спецификаций Call Level Interface (CLI), который разрабатывался организациями SQL Access Group, X/Open и Microsoft. и SQL SQL (англ. structured query language -- «структурированный язык запросов») -- формальный непроцедурный язык программирования, применяемый для создания, модификации и управления данными в произвольной реляционной базе данных, управляемой соответствующей системой управления базами данных (СУБД)..

Статистические показатели выводятся в файловый формат .spv. Результаты могут быть экспортированы в текстовые файлы (.txt) или в Microsoft Word (.doc, .docx), Acrobat Adobe PDF (.pdf), Microsoft Excel (.xml, .xls, .xmlx, .xlsx) и другие форматы. Кроме того, вывод может быть получен в виде данных (с помощью команды OMS), как текст с разделителями табуляции или в различные графические форматы изображений (.jpeg, .png, .bmp и .emf).

SPSS Statistics Server является версией SPSS Statistics с архитектурой клиент/сервер. Он имеет некоторые функции не доступные в версии для настольных ПК, например, оценочные функции.[1] (Оценочные функции включены в настольной версии от версии 19.)

Особенности IBM SPSS Statistics

Ниже приведены некоторые особенности и приемы, которые можно найти в последней версии этой программы. Они разработаны для того, чтобы помочь решить поставленные задачи с помощью SPSS Statistics в любое время и в любом месте; строить более точные модели для повышения качества прогноза, получить аналитические результаты быстрее и работать более продуктивно.

Улучшить модель прогнозирования с помощью моделирования методом Монте-Карло Метод Монте-Карло (методы Монте-Карло, ММК) -- общее название группы численных методов, основанных на получении большого числа реализаций стохастического (случайного) процесса, который формируется таким образом, чтобы его вероятностные характеристики совпадали с аналогичными величинами решаемой задачи.

Моделирование методом Монте-Карло было улучшено в последней версии, по сравнению с предедущими, чтобы помочь строить более точные модели прогнозирования при неопределенных входных данных, в том числе:

· SPSS Statistics поддерживает использование типа string(строка), позволяя нечисловые переменные использовать в моделировании

· Поддержка автоматического линейного моделирования (Automatic Linear Modeling; далее ALM). Можно экспортировать модели из ALM и использовать их в качестве входных данных для моделирования

Выполнить больше работы за меньшее время

SPSS Statistics 22(последняя версия, на момент написания работы) включает в себя повышение производительности, чтобы работать быстрее и эффективнее:

· Можно разрешить другим приложениям считывать/записывать зашифрованные файлы данных SPSS Statistics с помощью dll

· Создать сводную таблицу (pivot table[2])выхода для непараметрических процедур

рейтинг ранжирование формула классификатор

2.3 Программа для нахождения векторов файлов по ключевым словам

Для решения данной задачи была необходимость написать программу, которая получая на вход N файлов типа doc и pdf, а так же k слов, на выходе выдавала бы N векторов, длиной k. Причем вектора такие: первые элемент вектора, относящегося к первому файлу, является отношением количества вхождений этого слова на длину всего файла, где длина - число слов в файле, и так далее для остальных элементов. Это было реализованно, на языке программирования С# C# (произносится си шарп) -- объектно-ориентированный язык программирования. C# относится к семье языков с C-подобным синтаксисом, из них его синтаксис наиболее близок к C++ и Java. . Код программы в приложении №1. Работает эта программа следущим образом:

1. Считает число документов в указанной папке

2. Считает количество слов, заданных в отдельно лежащем текстовом документе(.txt)

3. Считывает слова из файла

4. Сканирует каждый файл по очереди на наличие заданных слов, если находит, то к счетчику вхождений, добавляется единица

5. Считает длину файла(количество слов)

6. В конце делит число вхождений слова на длину файла и записывает это число в вектор

7. Переходит к следующему слову

8. Когда все слова в первом файле подсчитаны и первый вектор заполнен, программа переходит к следующему файлу

9. Все такие вектора записываются в текстовый файл (.txt)

Итого получается, что на выходе мы имеем текстовый файл, в котором N векторов, длины k. Если один из pdf-файлов не является конвертированным doc-файлом, то есть этот документ полностью является отсканеным(картинкой), тогда на выходе этот вектор не учитывается(на выходе имеем N-q векторов, где q - число pfd-файлов такого рода). Тоже самое и с doc-файлами: если этот документ полностью является картинкой и в нем вообще нет слов, тогда этот документ не учитывается. Также, если документ не имеет русских слов, то есть он написан на другом языке, то мы его тоже не учитываем (идет поиск только по русским файлам). Отношение числа вхождений слова на длину файла записывается в вектор вещественным числом и шестью знаками после запятой. Было решено взять шесть знаков после запятой для более точного результата.

Глава 3. Методы классификации

В машинном обучении есть основная задача - обучение без учителя. Цель обучения без учителя заключается в том, чтобы найти скрытые структуры в непомеченных данных.

Обучение без учителя тесно связано с проблемой оценки плотности в статистике.[3] Однако, обучение без учителя охватывает также и многие другие методы, которые стремятся обобщить и объяснить основные характеристики данных. Многие методы, применяемые в обучение без учителя, основанные на методах data mining, используются для предварительной обработки данных.

Подходы обучения без учителя включают в себя:

· кластерный анализ (например, метод k-средних или иерархическая кластеризация)[4]

· классификацию (например, методом k-ближайших соседей)

· скрытые Марковские модели Скрытая марковская модель (СММ) -- статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов

3.1 Кластерный анализ

Кластерный анализ или кластеризация заключается в том, чтобы сгруппировать объекты таким образом, чтобы более похожии между собой объекты попали в одну группу (называемую кластером). Различные способы статистического анализа данных используются во многих областях, в том числе в машинном обучении, распознавание образов, анализе изображений, информационном поиске и в биоинформатике.

Задача может быть решена с помощью разных алгоритмов, которые существенно различаются в определении кластера и эффективности его нахождения. Кластеризация может быть сформулирована в виде многокритериальной задачи оптимизации. Алгоритм кластеризации и параметры (в том числе и такие значения, как функции расстояния или просто метрика, плотность или порог ожидаемого количества кластеров) зависят от индивидуального набора данных и планируемого использования результатов. Другими словами: у пользователя на руках данные и поставленная задача, и он сам выбирает подходящие параметры и алгоритм кластеризации, учитывая задачу и набор данных, чтобы решить ее быстрее и удобнее.

Определение

По словам Владимира Эстил-Кастро, понятие «кластер Тем не менее, давайте приведем одно из определений этого понятия

Кластер (англ. cluster -- скопление) -- объединение нескольких однородных элементов, которое может рассматриваться как самостоятельная единица, обладающая определёнными свойствами.» не может быть точно определено - это является одной из причин, почему существует так много алгоритмов кластеризации.[5] Разные исследователи используют различные методы кластеризации. Так как поиск кластеров производится по средствам различных алгоритмов, в значительной мере варьируется и их свойства. Понимание «методов кластеризации» является ключом к пониманию различий между разными алгоритмами. Типичный метод кластеризации включает в себя:

· Модель включения объекта в кластер, например: иерархическая кластеризация, строит кластеры, основанные на расстоянии между объектами

· Центройдная модель: например, алгоритм k-средних представляет каждый кластер как один средний вектор

· Модель подпространств: бикластеризация (также известная как двухэтапный кластерный анализ)

· Графики на основе моделей: клики Кликой в неориентированном графе G = (V, E) называется подмножество вершин C Ѓє V, такое что для любых двух вершин в C существует ребро их соединяющее. Это эквивалентно утверждению, что подграф, порождённый C является полным.

Кластерный анализ представляет собой в основном набор таких кластеров, как правило, содержащие все объекты в наборе данных. Кроме того, он может указать отношения между кластерами, например, иерархию, внедренную в кластеры между ними.

Кластеризацию можно условно разделить на:

· жесткую кластеризацию: каждый объект принадлежит к кластеру или не принадлежит

· мягкую кластеризацию (также: нечеткую кластеризацию): каждый объект, в определенной степени, принадлежит к каждому кластеру (например, принадлежность к кластеру с некоторой вероятностью)

Существуют также более тонкие различия между разными алгоритмами кластерного анализа, например:

· строгое разбиение кластеризации: здесь каждый объект принадлежит ровно к одному кластеру

· строгое разбиение кластеризации с островами: объекты могут и не принадлежать к кластерам, и считаются выбросами

· накладываемая кластеризация (также: альтернативная кластеризация, multi-view кластеризация): объекты могут относиться более чем к одному кластеру

· иерархическая кластеризация: объекты, которые принадлежат к кластеру-ребенку также принадлежат и к кластеру-родителю

3.2 Классификация

В машинном обучении и статистики, существует такое понятие, как классификация - это определение тестовой выборки к определенной категории (подгруппе), на основании обучающей, чьи категории (подгруппы) уже известны. В отдельных наблюдениях анализируется набор измеримых свойств, известных как различные независимые переменные. Эти свойства могут быть категорированы по-разному (например, "A", "B", "AB" или "O", для групп крови; порядковый номер; целочисленные, например число появлений слова в файле).

Алгоритм, реализующий классификацию, известен как классификатор. Термин «классификатор» иногда также относится и к математической функции, выходными данными реализуемого алгоритма классификации являются данные о принадлежности объектов к подгруппам.

3.3 Наивный байесовский классификатор

В машинном обучении, наивные байесовские классификаторы составляют семейство из простых вероятностных классификаторов, основанных на прикладной теореме Байеса.

Наивный байесовский классификатор - популярный метод классификации, предназначенный для классификации документов Классификация документов -- одна из задач информационного поиска, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа.. Он является конкурентоспособным в этой области с более продвинутыми методами, в том числе с методом опорных векторов Метод опорных векторов (англ. SVM, support vector machine) -- набор схожих алгоритмов обучения с учителем, использующихся для задач классификации и регрессионного анализа.. [16]

В простых терминах, наивный Байесовский классификатор предполагает, что значение определенной функции не связано с наличием или отсутствием любых других функций, заданной переменной класса. Например, плод может считаться «яблоком», если он красный, круглый, и около 3см в диаметре. Наивный байесовский классификатор учитывает все эти особенности и самостоятельно просчитывает вероятность того, что этот фрукт - яблоко, независимо от наличия или отсутствия других свойств.

...