Кластерный анализ разработки современных алгоритмов обработки данных

Размещено на http://www.allbest.ru/

ФГБОУ ВО «Владивостокский государственный университет

Кластерный анализразработки современных алгоритмов обработки данных

Сенкальский Р.А.

Когда информационные технологии и огромный поток информации увеличивается в обществе постоянно, тогда для обработки данных требуются новые методы, одним из которых является кластерный анализ. Кластерный анализ - это многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, а также упорядочивания объектов в сравнительно однородные группы [1]. Кластерный анализ применяется во многих сферах, таких как медицина, биология, маркетинг, социология и т.д. Задачами кластерного анализа является классификация и типология объектов, исследование объектов на предмет полезности концептуальных схем, исследование данных на присутствие типовых данных, выделенных каким-либо способом. Целью кластерного анализа является разбиение на группы схожих объектов для исследования данных из кластерной структуры.

Рассмотрим примеры применения кластерного анализа. Одним из способов применения кластерного анализа является его использование в аппаратном обеспечении. Кластер - это группа компьютеров, объединенных высокоскоростными каналами связи, представляющая с точки зрения пользователя в единый аппаратный ресурс [2]. Другими словами, это группа нескольких вычислительных систем выполняющие общие действия, которые представляются единой системой. Данная группа обычно состоит из нескольких компьютеров, связанных между собой, при этом используется как единый ресурс. кластерный аппаратный файл интерфейс

Существуют следующие виды кластеров:

? Отказоустойчивые кластеры (High-availabilityclusters, HA, кластеры высокого уровня)

? Кластеры с балансировкой нагрузки (Loadbalancingclusters)

? Вычислительныекластеры (High performance computing clusters, HPC) ? Системы распределенных вычислений[2].

Если анализировать действия кластеров серверов, то чаще всего она функционируют на раздельных компьютерах, что позволяетповышает производительность за счет распределения нагрузки на аппаратные ресурсы и обеспечивает отказоустойчивость на аппаратном уровне. Основной принцип, используемый при организации кластера сервера, на уровне программного протокола, это исполнение на одном аппаратном обеспечении по нескольку программных серверов. Такое использование может быть востребовано:

? при разработке и тестировании кластерных решений;

? при необходимости обеспечить доступность кластера только с учётом частых изменений конфигурации серверов - членов кластера, требующих их перезагрузки (перезагрузка производится поочерёдно) в условиях ограниченных аппаратных ресурсов [2]. В качестве примеров применения кластера можно привести использование такого программного обеспечения как: Google, Yandex, Youtube, 1C, ORACLE, CISCO, MS SQL.

Рассмотрим второй пример использование кластеризации на решении задач на поиск информации по заданным параметрам. Результаты поиска формируются на основе группировки при поиске файлов, веб-сайтов, тем самым показывая один из приемов кластерного анализа обработки данных. Данный метод представляет пользователю использование быстрого поиска из набора заведомо известных подмножеств и исключения заведомо менее релевантного, что повышает использование интерфейса по сравнению с использование простого сортированного списка. Для кластеризации поиска можно использовать следующее программное обеспечение:

? поисковая машина компании Vivнsimo - Clusty;

? российская поисковая система - Nigma;

? облачная - Quintura.

Кластерный анализ обработки данных может быть использован в области цифрового изображения, когда цифровое изображение разбивается на отдельные области с целью распознавания объектов или с целью обнаружения границ. Также одна из областей изучения информатики является интеллектуальный анализ данных. В ходе решения задач анализа данных, которые в основном применяются в решении экономических, математических, статистических задач, также применяется кластерный анализ обработки данных. В решении таких задач наилучшим вариантом является выделение группы объектов, которые схожи для аналитического решения, изучить особенности выделенной группы, построить отдельную модель, чем решать задачу для всех данных. Примером такой задачи может быть анализ в области маркетинга, когда необходимо разработать единую стратегию для товаров, клиентов, покупателей.

Рассмотрим третий пример кластерного анализа на примере нейронных сетей.

STATISTICA - современная, мощная и чрезвычайно быстрая среда по созданию нейросетевых моделей, а также является нейросетевым программным продуктом, который был переведен на русский язык и появилась эта программа в 1984 году и разрабатывается до сих пор. Данный программный продукт STATISTICA Automated Neural Network (SANN) это один из самых передовых и эффективных нейросетевых продуктов на рынке. В этом программном продукте используются уникальные инструменты автоматического нейросетевого поиска, автоматизированной нейронной сети (АНС), легкая в использовании как для новичков, так и для экспертов в области нейросетевых вычислений [3]. В данной программе можно выбирать данные, выполнять кодирование номинальных значений, а также решать задачи временных рядов и выполнять регрессию. Используя инструмент автоматического нейросетевого поиска Автоматизированные нейронные сети (АНС) пользователь пройдет все этапы создания нейронных сетей и выберет наилучший вариант, тем самым подтверждая простоту и аналитическую мощность данного программного продукта. Достоинством программы является поддержка ассамблеи нейросетей и нейросетевых архитектур практически неограниченного размера. Еще одно достоинство это огромное количество графических и статических возможностей, которые облегчают интерактивный исследовательский анализ. Программа поддерживает загрузки и анализ нескольких моделей, а также имеет опциональную возможность генерации исходного кода на языках С, С++, С#, Java, PMML (Predictive Model Markup Language), которая может быть легко интегрирована во внешнюю среду для создания собственных приложений, интерфейс представлен на Рисунке 1 [3].

Рисунок 1. Интерфейс программы STATISTICA.

Современный человек уже не можем представить себе жизнь без Интернета (т.е. без работы кластера в аппаратном обеспечении). Кроме планирования, моделирования и расчетов, кластерный анализ применяется при создании нейронных сетей, например в экономической деятельности, когда необходимо проанализировать количество данных в конкретных ситуациях, как анализ рынка ценных бумаг, анализ и прогноз курса валют, оценить оптимальное распределение ресурсов и т.п. Кластерный анализ в области искусственного интеллекта проникает в нашу повседневную жизнь, в виде интеллектуальных помощников, которые решают различные задачи в быту («умные» домашние приборы), на производстве («умные» машины). В эпоху информатизации кластерный анализ получил широкое применение не только в научной среде, но и в обычной жизни.

Размещено на Allbest.ru