Data mining подход к вопросу анализа эффективности методов автоматизированного неразрушающего контроля

Методы автоматизированного неразрушающего контроля в рамках задачи кластеризации данных по применению коротковолнового электромагнитного излучения при дефектоскопии. Методы исследования: самоорганизующиеся карты Кохонена в рамках Data Mining подхода.

Рубрика Программирование, компьютеры и кибернетика
Вид статья
Язык русский
Дата добавления 11.11.2018
Размер файла 1,0 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Data mining подход к вопросу анализа эффективности методов автоматизированного неразрушающего контроля

Овечкин М.В.

Аннотация

В статье описан анализ эффективности методов автоматизированного неразрушающего контроля в рамках задачи кластеризации данных по применению коротковолнового электромагнитного излучения при дефектоскопии. Методы исследования: самоорганизующиеся карты Кохонена в рамках Data Mining подхода. Актуальность работы заключается в том, что в связи с повышением требовании к качеству и надежности выпускаемых изделий все большее значение приобретают физические методы автоматизированного контроля металлов и изделий из них, не требующие вырезки образцов или разрушения готовых изделий. Автор отметил общие черты методов коротковолнового электромагнитного контроля изделий. В статье обоснована эффективность подхода Data Mining к подходу построения гипотезы о взаимосвязях групп данных по неразрушающему контролю изделий. В качестве инструмента выбран метод самоорганизующихся карт Кохонена. Приведен пример части обучающих данных и параметры настройки нейронной сети, выполняющей задачу визуализации и кластеризации. Изображены полученные в результате обработки сети матрица расстояний и карта кластеров, приведены дальнейшие направления исследований, заключающиеся в разработке методов компьютерной обработки изображений в рамках автоматизированных систем неразрушающего контроля.

Ключевые слова: неразрушающий контроль, электромагнитное излучение, Кохонен.

DATA MINING APPROACH TO EFFECTIVENESS ANALYSIS ISSUE OF AUTOMATED NON-DESTRUCTIVE CONTROL METHODS

Research article

Ovechkin M.V.*

Orenburg State University, Orenburg, Russia

* Corresponding author (maxov-1[at]mail.ru)

Abstract

The article describes the analysis of the effectiveness of automated non-destructive testing methods within the framework of the problem of clustering data on the application of short-wave electromagnetic radiation in flaw detection. Research methods are as follows: Kohonen self-organizing maps within the Data Mining approach. The relevance of the work lies in the fact that in connection with increasing requirement for quality and reliability of manufactured products, physical methods of automated control of metals and products from them, which do not require cutting out samples or destroying finished products, become increasingly important. The author noted the general features of the methods of short-wave electromagnetic control of products. The article substantiates the effectiveness of the Data Mining approach to the approach of constructing a hypothesis on the interrelationships of data groups for non-destructive testing of products. As a tool, the method of self-organizing Kohonen maps was chosen. An example of a part of training data and neural network configuration parameters performing the task of visualization and clustering is given. The resulting matrix of distances and a map of clusters are shown, further directions of research are presented, which consist in the development of methods for computer image processing within the framework of automated nondestructive testing systems.

Keywords: non-destructive testing, electromagnetic radiation, Kohonen.

В связи с повышением требовании к качеству и надежности выпускаемых изделий все большее значение приобретают физические методы автоматизированного контроля металлов и изделий из них, не требующие вырезки образцов или разрушения готовых изделий.

Таким образом, системы управления технологическими процессами по результатам диагностики технических объектов широко распространены в различных областях промышленности. В частности, к ним относятся системы оптического контроля и диагностики сварных соединений, а также неразрушающего контроля (НК) и диагностики деталей и конструкций [1]. Применение НК обеспечивает необходимый фактический запас прочности и надежности машин и механизмов при одновременном снижении количества материалов и массы. НК позволяет перейти к полной автоматизации производства, освободить контролеров от утомительной и однообразной работы [2].

Согласно исследованиям российского ученого Н.П. Алешина [3], составлена оценка выявляемости дефектов различными видами НК (рис. 1). На основании исследований, можно сделать вывод, что, лидерами по эффективности являются следующие методы: акустический,  радиационный, оптический и вихретоковый.

Рис. 1 - Диаграмма оценки эффективности дефектоскопии неразрушающими методами контроля (по результатам исследования Н.П. Алешина[2])

Известно, что значение энергии на спектрограмма электромагнитного излучения возрастает с увеличением частоты волны [4], вследствие чего, к коротковолновым методам, помимо электромагнитного и радиационного,  можно отнести капиллярный (при использовании ультрафиолетового просвечивания), поскольку все эти методы имеют общую природу как механизма контроля, так и принципов анализ полученных результатов.

Проанализируем актуальность методов при помощи самоорганизующихся карт Кохонена.  Данная технология относится к области анализа Data Mining. Традиционные методы анализа данных (статистические методы) и OLAP в основном ориентированы на проверку заранее сформулированных гипотез (verification-driven data mining) и на «грубый», разведочный анализ, составляющий основу оперативной аналитической обработки данных (OnLine Analytical Processing, OLAP), в то время как одно из основных положений Data Mining - поиск неочевидных закономерностей. Инструменты Data Mining могут находить такие закономерности самостоятельно и также самостоятельно строить гипотезы о взаимосвязях. Поскольку именно формулировка гипотезы относительно зависимостей является самой сложной задачей, преимущество Data Mining по сравнению с другими методами анализа является очевидным. Большинство статистических методов для выявления взаимосвязей в данных используют концепцию усреднения по выборке, приводящую к операциям над несуществующими величинами, тогда как Data Mining оперирует реальными значениями [5].

Самоорганизующаяся карта Кохонена (англ. Self-organizing map -- SOM) -- нейронная сеть с обучением без учителя, выполняющая задачу визуализации и кластеризации. Идея сети предложена финским учёным Т. Кохоненом [7]. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования, выявление наборов независимых признаков, поиска закономерностей в больших массивах данных, разработке компьютерных игр, квантизации цветов к их ограниченному числу индексов в цветовой палитре: при печати на принтере и ранее на ПК или же на приставках с дисплеем с пониженным числом цветов, для архиваторов (общего назначения) или видео-кодеков. Является одной из версий нейронных сетей Кохонена [6]. Общая схема работы сети представлена на рисунке 2 [8]. Для анализа данных и построения SOM использована программа Deductor Academic.

Рис. 2 - Общая схема работы сети Кохонена

автоматизированный кохонен data mining

В  наборе данных Input Layer участвовали данные по оценке эффективности методов контроля, рынку продукции дефектоскопов и рынку предложения услуг по неразрушающему контролю: Input Layer = [Метод (X1), Предложение по оборудованию (X2), Предложение по услугам (X3), Бальная эффективность (X4)]

Группа входных значений по бальной эффективности представлены на основании свертки данных из таблицы 1.

Таблица 1 - Данные для входных значений по бальной эффективности

Объект контроля

Вид НМК

Электро-магнитный

(радиационный,

оптический

Капилляр-
ный

Токових-
ревой

Магнит-ный

Акустичес-
кий

Тепловой

Радиоволно-
вой

Неферромагнитные материалы

Проволока, в диапазоне диаметром

1-14 мм

4

0

5

0

5

0

0

0,01-1 мм

4

0

5

0

5

3

0

Прутки, в диапазоне диаметром

156-1000 мм

5

0

5

0

5

0

0

30-100 мм

5

0

5

0

5

0

0

3-40 мм

5

0

5

0

5

0

0

Листы, плиты толщиной

4-10 и более мм

5

4

5

0

5

0

0

0.1-3.9 мм

5

4

5

0

5

0

0

0.1-1 мм

4

4

5

0

5

3

3

Сортовой прокат

5

4

4

0

5

0

0

Отливки

5

5

0

0

4

3

0

Сварные соединения

3

4

3

3

5

3

0

Клеевые соединения

4

4

0

0

5

4

5

Паяные соединения

3

3

3

0

5

3

0

Резьбовые соединения

0

4

3

5

0

0

0

Ферромагнитные материалы

Проволока

4

0

5

5

5

3

0

Прутки с диаметром в диапазоне

30-10 мм

5

0

5

5

5

0

0

3-4 мм

5

0

5

5

5

0

0

Трубы сварные с диаметром в диапазоне

150-1000 мм

4

4

5

5

5

0

0

50-150 мм

4

4

5

5

5

0

0

30-40 мм

4

4

5

5

5

0

0

Листы, плиты толщиной

4-10 и более мм

4

4

4

4

5

0

0

0,1-3,9 мм

4

4

5

5

5

0

0

0,1-1 мм

4

4

5

5

5

3

3

Сортовой прокат

4

4

3

3

5

0

0

Отливки

4

4

3

3

4

0

0

Суммарная оценка

103

68

103

58

118

25

6

Оценка проведена в виде системы: «5» - «отлично», «4» - хорошо, «3»- удовлетворительно, «1» - «не используется».

Группа входных значений по бальной эффективности представлены на основании свертки значений по бальной эффективности применения методов.

Разделение множества между обучающем и тестовым  - 95 и 5% . Группам кластеров назначена равноценная значимость.

В качестве входной сети была произведена кластеризация на 6 регионов  по  следующим группам методов неразрушающего контроля (рисунок 3). Изображены кластеры (слева направо): ультразвуковой контроль; тепловизионный контроль; магнитопорошковый контроль; методы коротковолнового электромагнитного контроля; вихретоковые методы; визуальный контроль.

Рис. 3 - Кластеризация входных данных по группам методов неразрушающего контроля

Входные данные по рынкам товаров и услуг объединены в следующие кластеры (рис. 4):

Рис. 4 - Кластеризация данных по рынкам товаров и услуг НК. Слева - предложения по оборудованию; справа - предложения по услугам

Полученная в результате обработки сети матрица расстояний[9], содержащая в качестве элементов расстояния между объектами в метрическом пространстве и карта кластеров (по 6 сегментам) представлены на рисунке 5:

Рис. 5 - Результаты обработки входных данных. Слева - матрица расстояний; справа - карта кластеров

В результате кластерного анализа сформирована следующая диаграмма (рис. 6):

Рис. 6 - Диаграмма результатов кластерного анализа

Таким образом, можно сделать вывод о лидерстве именно электромагнитных методов для автоматизированного контроля сложных изделий на производстве. Основным недостатком метода электромагнитного контроля  является то, что рассеянное излучение в зависимости от энергии первичного излучения изменяет качество визуального результата контроля, снижает контрастность и четкость изображения [10], а, следовательно, и чувствительность самого метода; вследствие этого явления дефекты малого размера тяжело различить без применения средств автоматизации.

Дальнейшие направления исследований заключаются в том, что применение коротковолновых электромагнитных методов неразрушающего дефектоскопии базируется на методах обработки и распознавания изображений, полученных в результате проведения технологического процесса контроля. Это делает актуальным разработку методов компьютерной обработки изображений в рамках автоматизированных систем неразрушающего контроля.

Финансирование

Статья подготовлена по результатам работы, выполненной при государственной финансовой поддержке проекта по гранту президента № МК - 5451.2018.8.

Funding

The article is based on the results of work carried out with the state financial support of the project under the President's Grant No. MK-5451.2018.8.

Список литературы / References

1. Овечкин М. В. Автоматизация управления обслуживающими аппаратами на основе распознавания графических данных / М. В. Овечкин, Н. З. Султанов, Е. В. Костина // Интеллект. Инновации. Инвестиции.  - 2015. - № 2. - С. 65-69.

2. Проскурин Д. А. Получение идентификационных моделей дефектов поверхности прямошовных сварных труб / Д. А. Проскурин // Материалы V Всероссийской научно-практической конференции «Компьютерная интеграция производства и ИПИ-технологии» - Оренбург: ИП Осиночкин Я. В., 2011. - C. 263-271.

3. Алешин Н.П. Радиационная и магнитная дефектоскопия металлоизделий / Н.П. Алешин, В.Г. Щербинский // М.: Высшая школа. - 1991. - 271 с.

4. Electromagnetic Radiation and Radio Waves [Электронный ресурс] URL: http://www.mpoweruk.com/radio.htm (дата обращения: 14.08.2018).

5. Чубукова И.А. Data Mining / И.А. Чубукова - М: Бином, - 2008.- 324 с.

6. Kohonen Self-Organizing Maps (Third Extended Edition) / T. Kohonen. - New York, 2001. - 501 p.

7. Самоорганизующаяся карта Кохонена - Википедия [Электронный ресурс] URL: https://ru.wikipedia.org/wiki/Самоорганизующаяся_карта_Кохонена (дата обращения: 14.08.2018).

8. SOMz: Self Organizing Maps and random atlas [Электронный ресурс] URL: http://matias-ck.com/mlz/somz.html (дата обращения: 14.08.2018).

9. Kohonen, T. Self-Organizing Maps (Third Extended Edition) / T. Kohonen. - New York, 2001. - 501 p.

10. Chen, C.H. Handbook of pattern recognition and computer vision / C.H. Chen, L.F. Rau // World Scientific Publishing Co. Pte. Ltd., 1995. - 984 с.

Список литературы на английском языке / References inEnglish

1. Ovechkin M. V. Avtomatizaciya upravleniya obsluzhivayushchimi apparatami na osnove raspoznavaniya graficheskih dannyh [Automation of control of service devices on the basis of recognition of graphic data] / M. V. Ovechkin, N. Z. Sultanov, E. V. Kostina // Intellekt. Innovacii. Investicii [Intelligence. Innovations. Investment.]. - 2015. - № 2. - P. 65-69. [in Russian]

2. Proskurin D. A. Poluchenie identifikacionnyh modelej defektov poverhnosti pryamoshovnyh svarnyh trub [Obtaining identification models of surface defects of straight-seam welded pipes] / D. A. Proskurin // Materialy V Vserossijskoj nauchno-prakticheskoj konferencii «Komp'yuternaya integraciya proizvodstva i IPI-tekhnologii» [Materials of the V all-Russian scientific-practical conference «Computer integration of production and IPI-technologies»] - Orenburg: IP Osinochkin YA. V., 2011. - P. 263-271 [in Russian]

3. Aleshin N. P. Radiacionnaya i magnitnaya defektoskopiya metalloizdelij [Radiacionnaya i magnitnaya defektoskopiya metalloizdelij] / N. P. Aleshin, V. G. SHCHerbinskij // M.: Vysshaya shkola. - 1991. - 271 p. [in Russian]

4. Electromagnetic Radiation and Radio Waves [Electronic resource] URL: http://www.mpoweruk.com/radio.htm (accessed: 14.08.2018).

5. CHubukova I.A. Data Mining / I.A. CHubukova - M: Binom, - 2008. - 324 p. [in Russian]

6. Kohonen Self-Organizing Maps (Third Extended Edition) / T. Kohonen. - New York, 2001. - 501 p.

7. Самоорганизующаяся карта Кохонена - Википедия [Self-organizing Kohonen map - Wikipedia] [Electronic resource] URL: https://ru.wikipedia.org/wiki/Самоорганизующаяся_карта_Кохонена (accessed: 14.08.2018). [in Russian]

8. SOMz: Self Organizing Maps and random atlas [Electronic resource] URL: http://matias-ck.com/mlz/somz.html (accessed:08.2018).

9. Kohonen, T. Self-Organizing Maps (Third Extended Edition) / T. Kohonen. - New York, 2001. - 501 p.

10. Chen, C.H. Handbook of pattern recognition and computer vision / C.H. Chen, L.F. Rau ; World Scientific Publishing Co. Pte. Ltd., 1995. - 984 с.

Размещено на Allbest.ru

...

Подобные документы

  • Описание функциональных возможностей технологии Data Mining как процессов обнаружения неизвестных данных. Изучение систем вывода ассоциативных правил и механизмов нейросетевых алгоритмов. Описание алгоритмов кластеризации и сфер применения Data Mining.

    контрольная работа [208,4 K], добавлен 14.06.2013

  • Основы для проведения кластеризации. Использование Data Mining как способа "обнаружения знаний в базах данных". Выбор алгоритмов кластеризации. Получение данных из хранилища базы данных дистанционного практикума. Кластеризация студентов и задач.

    курсовая работа [728,4 K], добавлен 10.07.2017

  • Data mining, developmental history of data mining and knowledge discovery. Technological elements and methods of data mining. Steps in knowledge discovery. Change and deviation detection. Related disciplines, information retrieval and text extraction.

    доклад [25,3 K], добавлен 16.06.2012

  • Анализ проблем, возникающих при применении методов и алгоритмов кластеризации. Основные алгоритмы разбиения на кластеры. Программа RapidMiner как среда для машинного обучения и анализа данных. Оценка качества кластеризации с помощью методов Data Mining.

    курсовая работа [3,9 M], добавлен 22.10.2012

  • Совершенствование технологий записи и хранения данных. Специфика современных требований к переработке информационных данных. Концепция шаблонов, отражающих фрагменты многоаспектных взаимоотношений в данных в основе современной технологии Data Mining.

    контрольная работа [565,6 K], добавлен 02.09.2010

  • Классификация задач DataMining. Создание отчетов и итогов. Возможности Data Miner в Statistica. Задача классификации, кластеризации и регрессии. Средства анализа Statistica Data Miner. Суть задачи поиск ассоциативных правил. Анализ предикторов выживания.

    курсовая работа [3,2 M], добавлен 19.05.2011

  • Перспективные направления анализа данных: анализ текстовой информации, интеллектуальный анализ данных. Анализ структурированной информации, хранящейся в базах данных. Процесс анализа текстовых документов. Особенности предварительной обработки данных.

    реферат [443,2 K], добавлен 13.02.2014

  • Роль информации в мире. Теоретические основы анализа Big Data. Задачи, решаемые методами Data Mining. Выбор способа кластеризации и деления объектов на группы. Выявление однородных по местоположению точек. Построение магического квадранта провайдеров.

    дипломная работа [2,5 M], добавлен 01.07.2017

  • Классификация задач Data Mining. Задача кластеризации и поиска ассоциативных правил. Определению класса объекта по его свойствам и характеристикам. Нахождение частых зависимостей между объектами или событиями. Оперативно-аналитическая обработка данных.

    контрольная работа [26,1 K], добавлен 13.01.2013

  • Понятие информационных систем и принципы их проектирования. Изучение различных методов извлечения знаний, построение оптимальной информационной системы Data Mining, позволяющей разбивать набор данных, представленных реляционными базами данных на кластеры.

    аттестационная работа [4,7 M], добавлен 14.06.2010

  • Сущность и понятие кластеризации, ее цель, задачи, алгоритмы; использование искусственных нейронных сетей для кластеризации данных. Сеть Кохонена, самоорганизующиеся нейронные сети: структура, архитектура; моделирование кластеризации данных в MATLAB NNT.

    дипломная работа [3,1 M], добавлен 21.03.2011

  • OLAP как автоматизированные технологии сложного (многомерного) анализа данных, Data mining - извлечение данных, интеллектуальный анализ. Виды запросов к многомерной базе данных, их содержание и анализ полученных результатов. Схема "звезда", "снежинка".

    презентация [132,1 K], добавлен 19.08.2013

  • Проблемы оценки клиентской базы. Big Data, направления использования. Организация корпоративного хранилища данных. ER-модель для сайта оценки книг на РСУБД DB2. Облачные технологии, поддерживающие рост рынка Big Data в информационных технологиях.

    презентация [3,9 M], добавлен 17.02.2016

  • Особенности разработки системы автоматизированного контроля знаний специалистов по дефектоскопии. Обзор автоматизированных систем обучения и контроля знаний. Психологические механизмы усвоения знаний. Принципы создания эффективной тестирующей программы.

    дипломная работа [1,8 M], добавлен 30.08.2010

  • Создание структуры интеллектуального анализа данных. Дерево решений. Характеристики кластера, определение групп объектов или событий. Линейная и логистическая регрессии. Правила ассоциативных решений. Алгоритм Байеса. Анализ с помощью нейронной сети.

    контрольная работа [2,0 M], добавлен 13.06.2014

  • Data Mining как процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). Его закономерности и этапы реализации, история разработки данной технологии, оценка преимуществ и недостатков, возможности.

    эссе [36,8 K], добавлен 17.12.2014

  • Анализ существующих музыкальных сетей, профиля музыкального файла. Технологии и возможности Web 2.0. Анализ алгоритмов в Data Mining. Структура социальной сети. Набор графических элементов, описывающий человека в зависимости от прослушиваемой музыки.

    дипломная работа [3,7 M], добавлен 20.04.2012

  • Анализ возможности разработки системы автоматизированного контроля на базе микроконтроллера МК51. Анализ структурной схемы МК51, портов ввода/вывода данных, возможности организации доступа к внешней памяти. Обзор системы команд МК51. Резидентная память.

    курсовая работа [108,7 K], добавлен 15.01.2012

  • Сущность, структура, алгоритм функционирования самообучающихся карт. Начальная инициализация и обучение карты. Сущность и задачи кластеризации. Создание нейронной сети со слоем Кохонена при помощи встроенной в среды Matlab. Отличия сети Кохонена от SOM.

    лабораторная работа [36,1 K], добавлен 05.10.2010

  • A database is a store where information is kept in an organized way. Data structures consist of pointers, strings, arrays, stacks, static and dynamic data structures. A list is a set of data items stored in some order. Methods of construction of a trees.

    топик [19,0 K], добавлен 29.06.2009

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.