Исследование и анализ трудоемкости алгоритмов концептуальной классификации
Изучение задачи концептуальной классификации и способов оценки качества классификации. Исследование программных систем концептуальной классификации, их функциональных характеристик. Анализ методов и этапов оценки трудоемкости алгоритмов классификации.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | статья |
Язык | русский |
Дата добавления | 16.07.2018 |
Размер файла | 341,7 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
Исследование и анализ трудоемкости алгоритмов концептуальной классификации
Стельмах Игорь Игоревич, студент
Фадеева Марина Викторовна, старший преподаватель
Волгоградский государственный технический университет
Введение
В данной работе дается определение концептуальной классификации, обзор концептуальных алгоритмов классификации, средняя оценка их трудоемкости и их применение.
Огромный объем данных, который постоянно используется в современном мире требует специальных методов обработки [5, 6]. Цель каждой обработки - это анализ и получение каких - либо выводов. Удобным методом для работы с огромными объемами является классификация. Ее задача из множества единичных объектов получить конечные множества, которые объединяют эти единичные объекты по определенным признакам. Так как в большинстве случаев в процессе классификации объектов исследователь как правило не обладает полным знанием и объем выборки ограничен, то следует обратить внимание на те алгоритмы, которые способны решить данную проблему. С этой задачей хорошо справляются концептуальные алгоритмы, то есть алгоритмы, использующие в своей основе априорные вероятности [2]. Это дает им неоспоримые преимущества перед классическими алгоритмами.
Целью данной работы является: снижение трудоемкости алгоритмов концептуальной классификации. Для достижения поставленной цели был очерчен круг исследовательских задач:
· Провести анализ концептуальной классификации, алгоритмов концептуальной классификации, методов оценки трудоемкости алгоритмов.
· Составить математическое описание информационной системы оценки трудоемкости алгоритмов концептуальной классификации.
· Выполнить программную реализацию информационной системы оценки трудоемкости алгоритмов концептуальной классификации.
· Определить параметры, влияющие на эффективность реализованных алгоритмов информационной системы оценки трудоемкости алгоритмов концептуальной классификации.
Постановка задачи
Классификация является задачей разбиения множества объектов на некоторые группы, которые называются классами. Внутри каждой группы должны находиться «схожие» объекты, тогда как объекты разных группы должны быть максимально отличны.
Большим достоинством классификации является то, что она позволяет выполнить разбиение объектов не по одному заданному параметру, а по заданному набору признаков. Недостатком данного подхода является четкое задание классов, на которые необходимо разбить данные. Но концептуальные алгоритмы позволяют производить классификацию не на основе четких данных, а на основе вероятности принадлежности к тому или иному классу. Это делает их более гибкими и удобными для решения многих задач. Но встает вопрос о целесообразности использования данных алгоритмов. И самым первым вопросом, на который следует ответить, это является ли вероятностная классификация достаточно качественной для ее использования [2].
Оценка качества классификации может быть выполнена двумя способами [1]:
1. Формальный способ. Формальный способ основывается на определении некоторых формальных критериев. Лучшим считается то решение, для которого значение формального критерия максимально.
2. Экспертный способ. Решение оценивается специалистами заданной предметной области.
В программной реализации планируется реализовать рассмотренные методы концептуальной классификации и определить параметры, влияющие на их трудоемкость.
В качестве систем аналогов были рассмотрены следующие:
1. Экспертная система нечеткой кластеризации нейропроцессорных систем (Система 1);
2. Система Эйдос;
3. Интеллектуальная система для комплексной диагностики промышленного оборудования (Система 2);
4. Система «Довольный Гражданин»;
В качестве критериев для сравнительного анализа программных продуктов, выберем следующие:
A1 - загрузка данных из файла;
A2 - выбор метода классификации;
A3 - визуализация результатов классификации в виде текста;
A4 - визуализация результатов классификации графически;
A5 - оценка трудоемкости алгоритмов классификации.
Для определения весов критериев воспользуемся аналитической иерархической процедурой Саати [3-4].
Матрица парных сравнений, средние геометрические и веса критериев представлены в таблице 1.
Таблица 1. Матрица парных сравнений, средние геометрические и веса критериев
A1 |
A2 |
A3 |
A4 |
A5 |
Среднее геометрическое |
Веса критериев |
||
A1 |
1 |
1/3 |
1/5 |
1/5 |
1/7 |
0,29 |
0,04 |
|
A2 |
3 |
1 |
1/3 |
1/3 |
1/5 |
0,58 |
0,08 |
|
A3 |
5 |
3 |
1 |
1/3 |
1/5 |
1,00 |
0,14 |
|
A4 |
5 |
3 |
3 |
1 |
1/3 |
1,72 |
0,24 |
|
A5 |
7 |
5 |
5 |
3 |
1 |
3,50 |
0,49 |
|
Сумма |
7,09 |
1 |
Диаграмма весовых коэффициентов для критериев A1, A2, A3, A4, A5 представлена на рис. 1.
Рисунок 1. Весовые коэффициенты критериев качества
Выполним проверку матрицы попарных сравнений на непротиворечивость [4].
Суммы столбцов матрицы парных сравнений: R1=21; R2=12,33; R3=9.53; R4=4.87; R5=1.88.
Путем суммирования произведений сумм столбцов матрицы на весовые коэффициенты альтернатив рассчитывается вспомогательная величина L = 5.38. Индексом согласованности ИС = (L-N)/(N-1) = 0.078.
Величина случайной согласованности для размерности матрицы парных сравнений: СлС = 1.12.
Отношение согласованности ОС=ИС/СлС = 0.07. не превышает 0.2, поэтому уточнение матрицы парных сравнений не требуется.
Выберем категориальную шкалу от 0 до 7 (где 0 - качество не удовлетворительно, 7 - предельно достижимый уровень качества на современном этапе) для функциональных возможностей программных продуктов.
Определим (по введенной шкале) количественные значения функциональных возможностей Xij(таблица 1.2). Вычислим интегральный показатель качества для каждого программного продукта [4].
трудоемкость алгоритм концептуальная классификация
Таблица 2. Интегральные показатели качества
Критерии |
Весовые коэф-ты |
Программные продукты |
Базовые значения |
Разрабатываемая система |
||||
Система 1 |
Система Эйдос |
Система 2 |
Система «Довольный Гражданин» |
|||||
a1 |
0,04 |
5 |
4 |
4 |
5 |
5 |
6 |
|
a2 |
0,08 |
3 |
5 |
4 |
4 |
4,2 |
5 |
|
a3 |
0,14 |
5 |
6 |
5 |
5 |
4,6 |
6 |
|
a4 |
0,24 |
5 |
6 |
4 |
2 |
4,6 |
6 |
|
a5 |
0,49 |
1 |
4 |
2 |
0 |
2,4 |
5 |
|
Интегр. показ-ль качества Q |
2,94 |
4,85 |
3,15 |
1,69 |
3,512 |
5,47 |
где Qj=?ai*Xij интегральный показатель качества для j-го программного средства.
Построим лепестковую диаграмму интегрального показателя качества каждого программного продукта (рис. 2).
Рисунок 2. Лепестковая диаграмма интегральных показателей качества программных продуктов
Лепестковая диаграмма значений характеристик качества функциональных возможностей (критериев) представлена на рисунке 3.
Рисунок 3. Лепестковая диаграмма значений функциональных характеристик
На рисунке 4 показана диаграмма верхнего уровня процесса «Анализ трудоемкости алгоритмов классификации».
Рисунок 4. Диаграмма верхнего уровня процесса «Анализ трудоемкости алгоритмов классификации».
Входной информацией являются набор входных данных (массив данных, которые необходимо классифицировать, т.е. разбить на группы) и тип алгоритма (программное средство позволяет выбрать один из трех алгоритмов для выполнения классификации и соответственно оценивается его трудоемкость). Данная входная информация используется на всех этапах анализа трудоемкости алгоритмов классификации.
Выходной информацией в процессе анализа трудоемкости алгоритмов классификации являются: результаты оценки трудоемкости алгоритмов и результат оценки качества классификации.
Исполнителями процесса являются пользователь системы и информационная система (ИС).
Управление процессом осуществляется на основании математической модели алгоритмов оценки точности регрессионных моделей.
На рисунке 5 показана детализация процесса «Анализ трудоемкости алгоритмов классификации».
Рисунок 5. Детализация диаграммы А1 «Анализ трудоемкости алгоритмов классификации».
Анализ трудоемкости алгоритмов классификации осуществляется в пять этапов:
1. задание необходимых исходных данных для выполнения анализа» - на данном этапе пользователь загружает в систему файл, содержащий данные, которые необходимо классифицировать (т.е. разбить на группы);
2. реализация выбранного алгоритма классификации» - на данном этапе выполняется классификация загруженных пользователем данных на основании выбранного им алгоритма, результаты классификации отображаются пользователю;
3. расчет коэффициентов качества классификации» - выполняется расчет коэффициентов качества классификации в соответствии с описанной математической моделью;
4. оценка трудоемкости алгоритмов классификации» - на данном этапе выполняется оценка трудоемкости выбранного алгоритма классификации на заданном наборе данных;
5. сохранение результатов анализа в БД» - на данном этапе выполняется сохранение в БД информации об исходных данных, выбранном алгоритме классификации и результатах оценки качества классификации и трудоемкости алгоритма.
Список литературы
1. Морозов А.О., Рыбанов А.А. Экспертная оценка программных продуктов для расчета метрических характеристик физической схемы базы данных // Современные научные исследования и инновации. 2015. № 1-1 (45). С. 97-102.
2. Назаров А. О. Модель и метод концептуальной кластеризации объектов, характеризуемых нечеткими параметрами // Фундаментальные исследования. 2014. №9-5 С.993-997.
3. Рыбанов А. Определение весовых коэффициентов сложности тем учебного курса на основе алгоритма Cаати // Педагогические измерения. 2014. № 4. С. 21-28.
4. Рыбанов А.А., Макушкина Л.А. Технология определения весовых коэффициентов сложности тем дистанционного курса на основе алгоритма Саати // Открытое и дистанционное образование. 2016. № 1 (61). С. 69-79.
5. Рыбанов А.А., Усмонов М.С.О., Попов Ф.А., Ануфриева Н.Ю., Бубарева О.А. Информационные системы и технологии/Научный ред. И. А. Рудакова / Центр научной мысли (г. Таганрог). Москва, 2013. Том Часть 4. -90 с.
6. Черняев А.О., Рыбанов А.А. Разработка и исследование алгоритмов автоматизированного проектирования логических схем реляционных баз данных // В мире научных открытий. -2010. -№ 4, ч. 11. - C. 128-129.
Размещено на Allbest.ru
...Подобные документы
Роль классификации документов в решении задач информационного поиска. Методы автоматической классификации документов и этапы построения классифицирующей системы: индексация документа, построение классификаторов на базе обучающих данных, оценка их работы.
курсовая работа [354,2 K], добавлен 13.01.2013Программная реализация метода оптимальной классификации одномерного упорядоченного множества на основе "склеивания с ближайшим". Проверка работоспособности программы на основе алгоритмов классификации, вычислительные эксперименты по оценке эффективности.
курсовая работа [414,4 K], добавлен 24.05.2015Пример дерева решений. Анализ древовидной структуры данных. Предикторные (зависимые) переменные как признаки, описывающие свойства анализируемых объектов. Решение задач классификации и численного прогнозирования с помощью деревьев классификации.
презентация [391,1 K], добавлен 09.10.2013Создание системы предобработки данных; разработка системы классификации на базе методов и алгоритмов машинного обучения, их реализация в программной системе. Предобработка информации, инструкция пользователя, система классификации, машинный эксперимент.
дипломная работа [917,1 K], добавлен 31.01.2015Программное обеспечение для получения исходных данных для обучения нейронных сетей и классификации товаров с их помощью. Алгоритм метода обратного распространения ошибки. Методика классификации товаров: составление алгоритма, программная реализация.
дипломная работа [2,2 M], добавлен 07.06.2012Изучение характеристик, классификации, функций и основных элементов экспертных систем. Исследование их структуры и отличительных особенностей от другого программного обеспечения. Описания методов проектирования и области применения экспертных систем.
реферат [38,1 K], добавлен 18.09.2013Виды машинного обучения, его основные задачи и методы. Подходы к классификации: логистическая регрессия, наивный байесовский классификатор, стохастический градиентный спуск, K-ближайший сосед, дерево решений, случайный лес, метод опорных векторов.
курсовая работа [436,9 K], добавлен 14.12.2022Анализ классификаций туристских предложений и построение обобщенной классификации. Разработка методики подбора актуального туристического предложения на основе созданной классификации и проекта информационной системы (ИС). Частичное прототипирование ИС.
дипломная работа [3,3 M], добавлен 01.07.2017Классификации архитектур вычислительных систем. Организация компьютерных систем. Устройство центрального процессора. Принципы разработки современных компьютеров. Эволюция микропроцессорных систем. Увеличение числа и состава функциональных устройств.
дипломная работа [1,4 M], добавлен 29.01.2009Основные понятия агентов, термины и определения, принципы классификации. Линейные модели многоагентных систем. Постановка задачи линейного программирования, свойства ее решений. Графический и симплексный способы решения ЗЛП. Использование Microsoft Excel.
курсовая работа [662,4 K], добавлен 03.11.2014Схема организационной структуры управления информационных и аналитических технологий аппарата администрации. Математическая постановка задачи классификации информационных сообщений СМИ. Описание информационного обеспечения на примере АИС "Классификатор".
дипломная работа [677,2 K], добавлен 28.07.2009Исследование процессов, методов и средств технологии хранения информации. Изучение единиц измерения памяти и классификации запоминающих устройств. Характеристика основных способов кодирования данных на компьютере на сегодняшний день, таблиц кодировок.
курсовая работа [86,9 K], добавлен 07.12.2011Изучение принципа работы интернет-аукциона (на примере сайта molotok.ru). Способ получения информации с веб-ресурсов. Разработка программного обеспечения с целью создания исходных данных для обучения нейронных сетей и классификации товаров с их помощью.
дипломная работа [2,0 M], добавлен 29.06.2012Изучение возможностей среды статистических вычислений R для классификации многомерных неоднородных ассиметричных данных с помощью Expectation-Maximization (EM) алгоритмов. Использование R для анализа модели смеси вероятностных распределений (FMM).
реферат [1,8 M], добавлен 09.12.2014История классификации и кодирования. Стандартизация передачи записей в электронную историю болезни. Клинические коды Рида RCC. Системы медицинской классификации в Украине. Унифицированная система медицинского языка UMLS. Особенности и классификация кодов.
реферат [38,2 K], добавлен 13.12.2009Модели оценки кредитоспособности физических лиц в российских банках. Нейронные сети как метод решения задачи классификации. Описание возможностей программы STATISTICA 8 Neural Networks. Общая характеристика основных этапов нейросетевого моделирования.
дипломная работа [1,4 M], добавлен 21.10.2013Методы анализа данных, применяемые в диагностике. Кластерный анализ, иерархическая группировка. Система статистического анализа, язык программирования, интерфейс для связи. Установка для контроля сварных соединений. Векторы классификации для измерений.
дипломная работа [769,3 K], добавлен 03.01.2014Анализ алгоритмов, оценка параметров алгоритма (эффективности, сложности, правильности). Комплексный анализ эффективности алгоритма на основе комплексной оценки ресурсов формальной системы. Верификация при коллективной разработке программных систем.
презентация [234,9 K], добавлен 22.10.2013Характеристика Русского Учебного Корпуса. Типы ошибок в русском учебном корпусе, совместная встречаемость тегов, алгоритм классификации. Проблема несбалансированности выборки. Результаты классификации, вклад признаков в различные классификаторы.
курсовая работа [51,5 K], добавлен 30.06.2017Изучение понятия локальной вычислительной сети, назначения и классификации компьютерных сетей. Исследование процесса передачи данных, способов передачи цифровой информации. Анализ основных форм взаимодействия абонентских ЭВМ, управления звеньями данных.
контрольная работа [37,0 K], добавлен 23.09.2011