Модели автоматизации проектирования технологических процессов роботизированной сборки

Анализ возможностей голосового ввода информации необходимо начать с анализа методов цифровой обработки сигналов. Акустическое колебание, формируемое в речевом тракте человека, является непрерывно изменяющимся процессом. С математической точки зрения его можно описать функцией непрерывного времени t. Аналоговые (непрерывные во времени) сигналы будут обозначаться через ха(t). Речевой сигнал можно представить и последовательностью чисел, например, х(n). Если последовательность чисел представляет собой последовательность мгновенных значений аналогового сигнала, взятых периодически с интервалом Т, то эта операция дискретизации обозначается через ха(nТ).

Обработка сигналов включает преобразование их в форму, удобную для дальнейшего использования. Таким образом, значительный интерес представляют дискретные системы или, что то же самое, преобразования входной последовательности в выходную. Подобные преобразования далее изображаются на структурных схемах. Многие системы анализа речевых сигналов разработаны для оценивания переменных во времени параметров по последовательности мгновенных значений речевого колебания. Подобные системы имеют многомерный выход, т. е. одномерная последовательность на входе, представляющая собой речевой сигнал, преобразуется в векторную последовательность на выходе.

Анализ сигналов и расчет систем значительно облегчаются при их описании в частотной области. В этой связи полезно кратко остановиться на представлении сигналов и систем в дискретном времени с использованием преобразования Фурье и z-преобразования.

Описание сигнала в дискретном времени с помощью преобразования Фурье задаётся в виде

, (3.1)

. (3.2)

Дискретное преобразование Фурье широко используется при вычислении корреляционных функций, спектров и при реализации цифровых фильтров [74, 87, 89-101, 105-107], а также часто используется и при обработке речевых сигналов [100, 101, 108-113].

Спектральный анализ является методом обработки сигналов, который позволяет выявить частотный состав сигнала. Поскольку анализируемые сигналы во многих случаях имеют случайный характер, то важную роль в спектральном анализе играют методы математической статистики. Частотный состав сигналов определяют путем вычисления оценок спектральной плотности мощности. Задачами её вычисления являются обнаружение гармонических составляющих в анализируемом сигнале и оценивание их параметров. Для решения указанных задач требуется соответственно высокая разрешающая способность по частоте и высокая статистическая точность оценивания параметров [97, 114].

Для обеспечения голосового ввода информации подход к анализу звуковой информации методом, основанным на преобразовании Фурье, был рассмотрен в качестве классического метода.

На основании вышеуказанного метода обработки звуковой информации и приведенных формул было создано программное обеспечение, реализующее распознавание голосовой информации.

Для реализации функции распознавания голосовых команд промышленного робота была создана функция OpenData. После того, как данные о записанной информации занесены в массив, функция вызывает функции, отвечающие за преобразование этого массива. Прежде всего, вызывается функция Noise, которая на основании разделения вокализованного звука и невокализованного переписывает массив с данными о звуке в новый массив, содержащий лишь участки вокализованного звука.

График, отражающий модули значений массива до преобразования, приведен на рис. 3.5.

Рис. 3.5. Абсолютные значения массива аудиоданных

График, отражающий модули значений массива после обработки функцией Noise, представлен на рис. 3.6.

Рис. 3.6. Модули значений массива после обработки функцией Noise

После этого проводится обработка в окне Хэмминга. График, полученный в результате этого преобразования,приведен на рис 3.7.

Рис. 3.7. График функции, после обработки в окне Хэмминга

Далее выполняется преобразование Фурье для коэффициентов, взвешенных окном Хэмминга. После этого производится фильтрация. Затем проводится обратное преобразование Фурье. Далее следует операция клиппирования, на основании графика которой, делается вывод о том, какое слово было произнесено. На рис. 3.8 приведены графики сигнала для слова «вперёд».

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.8. Графики сигнала для слова «вперёд»

На рис. 3.9 приведены графики сигнала для слова «назад».

На рис. 3.10 приведены графики сигнала для слова «стоп».



а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.9. Графики сигнала для слова «назад»

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.10. Графики сигнала для слова «стоп»

На рис. 3.11 приведены графики сигнала для слова «вправо».

На рис. 3.12 приведены графики сигнала для слова «влево».

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.11. Графики сигнала для слова «вправо»

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.12. Графики сигнала для слова «влево»

На рис. 3.13 приведены графики сигнала для слова «один».

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.13. Графики сигнала для слова «один»

На рис. 3.14 приведены графики сигнала для слова «два».

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.14. Графики сигнала для слова «два»

На рис. 3.15 приведены графики сигнала для слова «пять».

а

б

а - график вокализованной части сигнала;

б - график сигнала после клиппирования.

Рис. 3.15. Графики сигнала для слова «пять»

Недостатком предложенного метода распознавания слов является необучаемость программы, отнесение всех произнесенных слов к какому-то из заложенных в программе, а также невозможность настройки в конкретном помещении без специалиста. К достоинствам программы можно отнести независимость программы от диктора, кроме случаев дефекта дикции. Указанный метод может быть использован при голосовом формировании управляющих команд робота. Для голосового ввода информации в САПР технологических процессов роботизированного производства предлагается использование искусственной нейронной сети (ИНС). Разработано программное обеспечение, реализующее многослойный персептрон на основе переходных функций различного вида. Полученные результаты используются при создании подсистемы ввода голосовой информации САПР технологических процессов роботизированного производства.

Целью данного этапа работы является описание основных особенностей разработки системы анализа голосовой информации в составе САПР технологических процессов роботизированного производства с использованием нейронной сети, что позволит сократить время и стоимость проектирования на 15-20%. Поставленная цель достигается решением следующих задач: разработка программной модели многослойного персептрона, анализ процесса обучения голосовым командам при различной топологии нейронной сети, отработка распознавания управляющих голосовых команд, анализ и формирование технологических операций и переходов промышленного робота. Разработка программного обеспечения производится в среде программирования Visual C++.

Нейронные сети также имеют свойство классификации объектов по их числовым параметрам. При обучении сети с учителем можно научить сеть распознавать объекты, принадлежащие заранее определенному набору классов. Если же сеть обучается без учителя, то она может группировать объекты по классам в соответствии с их цифровыми параметрами.

Таким образом, на базе нейронных сетей можно создавать обучаемые и самообучающиеся системы.

Использование нейронной сети, как одного из средств реализации интеллектуального анализа данных, позволяет решить следующие задачи:

- моделировать сложные нелинейные зависимости между данными и целевыми показателями;

- выявлять тенденции в данных (при наличии временных рядов) для построения прогнозов;

- работать с зашумленными и неполными данными;

- получать содержательные результаты при относительно небольшом объёме исходной информации с возможностью усовершенствования модели по мере поступления новых данных;

- выявлять аномальные данные, значительно отклоняющихся от «открытых» устойчивых закономерностей и т.д. [99, 103, 115-119].

Возможность создания самообучающихся систем на базе искусственных нейронных сетей является важной предпосылкой для их применения в системах распознавания речи.

После выделения информативных признаков речевого сигнала признаки представляются в виде некоторого набора числовых параметров. Далее задача распознавания примитивов речи (фонем и аллофонов) сводится к их классификации при помощи обучаемой нейронной сети [102].

Нейронные сети можно использовать и в более высоких уровнях распознавания слитной речи для выделения слогов, морфем и слов, что как уже было отмечено, является более целесообразным при обучении ограниченному количеству слов-команд.

Для реализации системы голосового ввода информации в САПР УП робота предлагается использовать многослойный персептрон со скрытым слоем, описывающемся функцией гиперболического тангенса в первом случае и сигмоидной функцией во втором. Сигмоидная функция имеет следующий вид:

, (3.3)

где Wi - веса (коэффициенты синапса), на которые умножаются входные значения;

xi - входные значения для данного слоя;

И - некий входной порог.

Для коррекции ошибок используется алгоритм обратного распространения [119].

1. Начальные значения весов всех нейронов всех слоев V(t=0) и W(t=0) полагаются случайными числами.

2. Сети предъявляется входной образ Xб, в результате формируется выходной образ ykYб. При этом нейроны последовательно от слоя к слою функционируют по следующим формулам:

- скрытый слой:

, (3.4)

; (3.5)

- выходной слой:

, (3.6)

, (3.7)

где f(x) - переходная функция слоя.

3. Функционал квадратичной ошибки сети для данного входного образа имеет вид:

, (3.8)

где - реальный выход сети;

- желаемое значение.

Данный функционал подлежит минимизации. Классический градиентный метод оптимизации состоит в итерационном уточнении аргумента согласно формуле:

, (3.9)

где h - скорость обучения.

Функция ошибки в явном виде не содержит зависимости от веса Vjk, поэтому воспользуемся формулами неявного дифференцирования сложной функции

, (3.10)

, (3.11)

. (3.12)

Здесь учтено полезное свойство сигмоидной функции f(x): ее производная выражается только через само значение функции, f'(x)=f(1-f). Таким образом, все необходимые величины для подстройки весов выходного слоя V получены.

4. На этом шаге выполняется подстройка весов скрытого слоя. Градиентный метод дает:

. (3.13)

Вычисления производных выполняются по тем же формулам, за исключением некоторого усложнения формулы для ошибки .

, (3.14)

. (3.15)

При вычислении был применен принцип обратного распространения ошибки: частные производные берутся только по переменным последующего слоя. По полученным формулам модифицируются веса нейронов скрытого слоя. Если в нейронной сети имеется несколько скрытых слоев, процедура обратного распространения применяется последовательно для каждого из них, начиная со слоя, предшествующего выходному, и далее до слоя, следующего за входным. При этом формулы сохраняют свой вид с заменой элементов выходного слоя на элементы соответствующего скрытого слоя.

5. Шаги 2-4 повторяются для всех обучающих векторов. Обучение завершается по достижении малой полной ошибки или максимально допустимого числа итераций [117].

Для задания дальнейшего распознавания голосовых команд целесообразно использовать модель искусственных нейронных сетей (ИНС), в частности, реализованную в программе NeuroSolutions. Одним из видов нейронных сетей являются обучаемые сети. Этот вид сетей используют для неформализуемых задач, к разряду которых относится распознавания речи. В процессе обучения сети автоматически изменяются такие её параметры, как коэффициенты синаптических связей, а в некоторых случаях и топология [118, 120].

Пакет NeuroSolutions представляет визуальную среду конструирования моделей искусственных нейронных сетей. В соответствии с концепцией этой программы ИНС представляется совокупностью элементов типа Axon с различными передаточными функциями (например, единичной, ступенчатой, сигмоидной функцией или функцией гиперболического тангенса). Элементы Axon соединяются с элементами семейства синапсов (полного или выборочного характера связей). На выходе сети, обычно, размещают элемент, который обеспечивает определение погрешности обучения. Внешний вид персептрона представлен на рис. 3.16.

Рис. 3.16. Многослойный персептрон со скрытым слоем на основе функции гиперболического тангенса, построенный в NeuroSolutions

При построении модели сети в её начале располагают входной слой, который представлен простым элементом - аксоном (Axon). После этого необходимо определиться с формой переходной функции скрытого и выходного слоёв, в данном случае выбран гиперболический тангенс (Tahn Axon). Слои соединяются с помощью полных синапсов (Full Synapse). После выходного слоя устанавливается элемент определения квадратичной погрешности (L2 Criterion). Для управления процессом обучения установлен элемент Static Control, обратная связь организована с помощью элемента Back Static Control; чтоб подавать сигнал в сеть, на вход поставлен элементом File; для обеспечения желаемого сигнала на выходе установлен элемент File1; для наблюдения за процессом обучения и построения кривой обучения, устанавливаются датчики информации Matrix Viewer.

В случае распознавания голосовой информации на вход персептрона, построенного у NeuroSolutions, подаются образцы голосовых команд в форме последовательностей дискретных значений сигналов (до 2304 отсчётов). Количество отсчётов определяет размер входного слоя сети. Пропорционально к длине сигнала устанавливается размер скрытого слоя персептрона (24, 48, 256). Размер выходного слоя определяется характером желаемого результата. В случае использования скрытого слоя с функцией в форме гиперболического тангенса, на выходе сети можно использовать диапазон значений [-1, 1]. Если в качестве скрытого слоя использовать сигмоидную функцию, то устанавливается диапазон значений [0, 1].

В ходе экспериментов с программой проводилось обучение сети отдельным фонемам, слогам и словам, которые формируют голосовые команды. В частности исследовалось обучение следующим словам: «вперед» (Сигнал1), «влево» (Сигнал2) и «стоп» (Сигнал3). Количество этапов обучения - 30. При использовании скрытого слоя с функцией в форме гиперболического тангенса и линеаризованного гиперболического тангенса, кривая обучения Сигналу1 должна сходиться к -1; Сигналу2 - к 0; Сигналу3 - к 1. На рис. 3.17 приведены графики обучения персептрона со скрытым слоем на основе функции гиперболического тангенса (размер скрытого слоя - 48x1). Рис. 3.18 представляет графики обучения персептрона со скрытым слоем на основе функции гиперболического тангенса (размер скрытого слоя - 24x1).

Рис. 3.17. Обучение персептрона со скрытым слоем на основе функции гиперболического тангенса (размер скрытого слоя - 48x1)

По результатам исследования свойств сети, необходимо отметить, что при использовании скрытого слоя с функцией в форме гиперболического тангенса мощностью 256х1, обучение не происходит, при уменьшении мощности скрытого слоя обучение выполняется быстрее и качественнее, лучшие результаты достигнуты при его размерности 24х1.

Рис. 3.18. Обучение персептрона со скрытым слоем на основе функции гиперболического тангенса (размер скрытого слоя - 24x1)

При использовании сигмоидной функции и линеаризованной сигмоидной функции скрытого слоя, кривая обучения Сигналу1 должна сходиться к 0; Сигналу2 - к 0,5; Сигналу3 - к 1. На рис. 3.19 представлены графики обучения персептрона со скрытым слоем на основе сигмоидной функции (размер скрытого слоя - 48x1), а на рис. 3.20 - такой же тип скрытого слоя, но его размерность составляет 256х1.



Рис. 3.19. Обучение персептрона со скрытым слоем на основе сигмоидной функции (размер скрытого слоя - 48x1)

Рис. 3.20. Графики обучения ИНС со скрытым слоем на основе сигмоидной функции с размером скрытого слоя 256x1

При использовании скрытого слоя с сигмоидной функцией мощностью 24х1 процесс обучения протекает очень медленно, при увеличении мощности скрытого слоя обучение выполняется быстрее и качественнее, лучшие результаты достигнуты при его размерности 256х1.



Рис. 3.21. Графики обучения ИНС со скрытым слоем на основе линеаризованного гиперболического тангенса с размером скрытого слоя 48x1

При использовании скрытого слоя с функцией в форме линеаризованного гиперболического тангенса мощностью 256х1 обучение вообще не происходит, лучшие результаты достигнуты при его размерности 48х1 (рис. 3.21), при удалении от этого значения отмечается снижение качества обучения (рис. 3.22), а при увеличении до 256х1 результаты ухудшаются.

Рис. 3.22. Графики обучения ИНС со скрытым слоем на основе линеаризованного гиперболического тангенса с размером скрытого слоя 24x1

При использовании скрытого слоя с функцией в форме линеаризованной сигмоидной функции лучшие результаты достигнуты при его размерности 48х1, что равняется корню квадратному из размера входного слоя (рис. 3.23).

Рис. 3.23. Графики обучения ИНС со скрытым слоем на основе линеаризованной сигмоидной функции с размером скрытого слоя 48x1

Изменение размерности даёт такие результаты: чем больше отклонение от значения 48х1, тем хуже проходит процесс обучения, при значениях 24х1 та 256х1 обучение вообще не происходит.

В ходе выполнения диссертационной работы также разработано собственное программное обеспечение, моделирующее работу многослойного персептрона. В качестве переходной функции скрытого слоя выбрана сигмоидная функция. Первоначально на вход сети подаётся сигнал, который соответствует некоторому слову - команде управления роботом.

Необходимо отметить, что при цифровой записи звуковой информации используются следующие частоты дискретизации сигнала: 11,025 кГц, 22,05 кГц, 44,1 кГц. Наличие высокой частоты значительно усложняет работу программного обеспечения, поэтому для первого эксперимента была использована частота дискретизации, равная 11,025 кГц.

Принятые сигналы управления пропускаются через фильтр и только после этого подаются на вход нейросети. Входной сигнал, представленный в векторном виде, взвешивается с помощью коэффициентов первого синапса (представлены в виде матрицы): коэффициенты синапса умножаются на значения сигнала. Результатом операции также является вектор. Далее сигнал подвергается обработке в скрытом слое, то есть к полученному взвешенному сигналу применяется сигмоидная функция (результат - также вектор). Затем полученный вектор взвешивается с помощью коэффициентов второго синапса (строка): коэффициенты второго синапса умножаются на вектор. Результатом является одно число, к которому на завершающем этапе применится сигмоидная функция. Полученный результат сравнивается с желаемым значением. Разница составляет ошибку обучения. Если она превышает какое-то допустимое значение, корректируются коэффициенты первого и второго синапсов, а исходный сигнал опять пропускается через нейросеть. Процесс продолжается до тех пор, пока ошибка либо не станет допустимой (появляется сообщение, что сеть обучена), либо пока не пройдёт максимальное количество этапов обучения.

Ниже приведены примеры сигналов, которым обучается нейросеть, и графики обучения.

Примеры фрагментов графиков сигналов приведены на рис. 3.24.

Сигнал1 соответствует фрагменту слова «вперёд», сигнал2 - слова «стоп». Желаемое значение на выходе нейросети для сигнала1 было установлено равным 0, для сигнала2 - +0.5. Величина допустимого отклонения была выбрана равной 0.2. Таким образом, если на выходе нейросети при обучении получается значение меньшее или равное 0.2, то считается, что сеть обучена сигналу1. Аналогично для сигнала2: если на выходе значение попадает в диапазон [0.3, 0.7], считается, что сеть обучилась второму сигналу.



Рис. 3.24. Графики фрагментов сигналов

Графики обучения фрагментам сигналов приведены на рис. 3.25. По оси абсцисс отложен номер шага обучения, по оси ординат - величина ошибки. На графике надпись Сигнал1 обозначает значение ошибки для сигнала1, Сигнал2 - ошибку для сигнала2.

Из графика видно, что при обучении сигналу1 допустимое значение ошибки достигается на шестом шаге обучения, а при обучении сигналу2 - на девятнадцатом.

Рис. 3.25. Графики обучения фрагментам сигналов

В ходе проведенных исследований разработано программное обеспечение для анализа голосовой информации с использованием искусственной нейронной сети. В качестве базовой модели нейронной сети был выбран многослойный персептрон. С целью интеграции модели в систему управления роботом, персептрон реализован методами языка С++.

Результаты тестирования показали принципиальную возможность обучения нейронной сети отдельным словам-командам и их распознавания. Полученные результаты и разработанная программа могут использоваться для создания подсистемы ввода голосовой информации САПР технологических процессов роботизированного производства.

Результаты исследований указывают на возможность использования персептронов для распознавания голосовых команд. Ограничивающим фактором в случае использования программы NeuroSolutions является длина сигнала.

По результатам исследований можно сделать вывод, что для решения задачи анализа голосовой информации целесообразно использовать многослойное персептроны с линеаризованными функциями (лучший результат даёт модель с использованием скрытого слоя с функцией линеаризованного гиперболического тангенса).

3.3 Метод голосового ввода информации для системы автоматизации проектирования технологических процессов

При разработке САПР различного назначения необходимым этапом является выбор моделей технологических процессов, который зависит от структуры моделируемого объекта, его свойств, применения объектом различных средств обработки данных. Характер моделей определяет сущность методов проектирования.

Проектирование технологических процессов роботизированного производства чаще всего производится в режиме off-line. На начальных этапах проектирования происходит запоминание наборов рабочих точек траекторий робота. Далее, каждой траектории ставится в соответствие набор команд перемещения. Между командами перемещения обычно размещают выполнение операций манипуляции с рабочими объектами.

Голосовой ввод информации позволяет сократить время, требуемое для задания и ввода рабочих точек перемещений робота, кроме того, увеличивается оперативность коррекции и внесения изменений в готовую программу. В силу сказанного, проведение исследований в области голосового ввода информации является актуальным, особенно с точки зрения САПР технологических процессов.

Метод голосового ввода информации представляет собой описание совокупности приёмов и операций, применяемых при автоматизированном проектировании технологических процессов сборки роботизированного производства.

В частности, он предусматривает, что проектирование технологического процесса сборки с использованием голосового ввода информации для промышленного робота основано на следующих принципах.

1. Размещение сборочных единиц в рабочей области робота определяет характер и последовательность технологических и вспомогательных переходов. В терминах логики предикатов это выражение можно записать следующим образом:

(3.16)

2. Координаты любой точки, любая команда перемещения манипулятора задаётся голосом на ограниченном естественном языке. Это выражение можно представить в следующем виде

(3.17)

3. Команды, последовательность которых обеспечивает выполнение целей технологических или вспомогательных переходов, объединяются в метакоманды. Данное выражение можно записать так:

. (3.18)

4. Последовательности управляющих команд, заданных голосом, реализуют отдельные технологические или вспомогательные переходы, отдельные технологические операции и формируют технологический процесс. Это положение представляется следующей группой формальных выражений:

(3.19)

(3.20)

(3.21)

(3.22)

5. Порядок применения голосового ввода информации устанавливается на основании анализа сборочного чертежа и определяется моделями представления сборочных изделий и технологических процессов.

6. Голосовой ввод информации обеспечивает работу подсистемы ввода информации в САПР управляющих программ роботизированного производства.

При использовании предлагаемого метода ввода информации следует придерживаться такой последовательности действий:

1. Разместить сборочные единицы в рабочей области робота (как правило, составные части размещаются в отдельных ячейках рабочей зоны).

2. Используя голосовой ввод информации, обучить робот контрольным точкам, в которых располагаются основные сборочные единицы; при этом использовать комбинации команд «rotate» (повернуть), «move» (переместить) и команда «fix» (запомнить).

3. Объединить команды, имеющие составной характер, в метакоманды.

4. Используя голосовой ввод информации, задать необходимые перемещения звеньев манипулятора, представляющие собой переходы и операции технологического процесса сборки изделия.

5. Проверить корректность сформированного технологического процесса, повторив процесс сборки, при необходимости внести изменения и обеспечить отладку.

В ответ на введение голосом управляющей команды, система управления роботом должна обеспечить адекватное исполнение реальных команд управления сочленениями манипулятора. Однако вводимые оператором команды могут содержать неточности, ошибки, наконец, могут вводиться в неверном порядке, и в дальнейшем не смогут обрабатываться системой управления роботом. Таким образом, вводимая голосом информация должна быть не только принята и распознана, но и проверена на соответствие определенной логической структуре. Поэтому представляется вполне естественным использовать логическую модель технологических процессов сборки, представленную в п. 2.2.

Построим логическую модель процесса ввода голосовой информации в САПР технологических процессов роботизированного производства. Ее разработка позволит обобщить практические подходы к описанию и реализации реальных команд управления роботом при помощи голосового ввода информации.

Предполагается, что ввод голосовой информации обеспечивается стандартными средствами, например, при помощи стандартной аудиосистемы персональной ЭВМ со штатным микрофоном.

После получения первичной обработки поступившей аудиоинформации формирование голосовых команд можно разбить на следующие этапы:

1. Разбиение последовательности голосовых команд (командной фразы) на отдельные слова. Фраза разделяется на слова на основании признаков изменения энергии речи.

2. Распознавание отдельных слов командной фразы. На данном этапе отдельные слова сопоставляются с имеющимися в библиотеке командами.

3. Определение принадлежности распознанных слов к классам (подразделам библиотеки).

4. Проверка соответствия командной фразы и ее частей формату команд. Определяется, соответствует ли порядок слов фразы какой-либо предусмотренной команде.

5. Проверка смысла фразы. На этапе определяется наличие смысла данной фразы, например, осуществляется проверка, имеет ли робот требуемую (заданную в командной фразе) степень подвижности (колонна, плечо, локоть и т.п.) для выполнения заданной команды.

6. Проверка возможности выполнения команды. Здесь производится проверка возможности робота в данный момент из текущего положения на данном рабочем месте выполнить требуемую команду.

7. Проверка возможности упрощения команды и поиск возможного варианта упрощения выполнения команды.

8. Формирование управляющей команды, которое включает непосредственное составление команды управления роботом.

Отмеченные этапы представляют смысл предложенного метода голосового ввода информации при проектировании роботизированных технологических процессов сборки. Для реализации указанного метода предлагается определить рабочий язык подсистемы голосового формирования управляющих команд.

Библиотека слов рабочего языка системы голосового ввода информации может содержать в себе такие подразделы (понятия):

- команда - экземпляр из списка команд, которые робот способен выполнять;

- звено - экземпляр из списка звеньев робота;

- имя_точки - список точек, координаты которых запомнил робот;

- имя_объекта - экземпляр из списка объектов, с характеристиками (например, размерами), хранящимися в памяти робота;

- угол - градусная мера угла поворота;

- расстояние - значение расстояния перемещения звеньев робота;

- координаты - координаты в мировой системе координат;

- ось - одна из координатных осей в мировой системе координат;

- предлог - список предлогов.

В свою очередь каждое из понятий может быть рассмотрено более детально.

Так, «команда» может принимать следующие значения: «повернуть», «переместиться», «переместить», «запомнить», «открыть», «закрыть», «взять».

Подраздел библиотеки «звено» состоит из следующих слов: «колонна», «плечо», «локоть», «схват».

Классы угол, расстояние и координаты содержат в себе числа, которые в качестве угла представляют собой градусную меру угла поворота заданного звена робота, в качестве расстояния - расстояние перемещения звеньев робота, в качестве координат - координаты перемещения.

Класс ось представляет собой список осей, по которым возможно перемещение: «x», «y», «z».

Класс предлог содержит следующие слова: «на», «в», «к».

Используя слова, содержащиеся в библиотеке можно составить следующие типы форматов команд, в которых правая часть представляет собой непосредственно команды управления на робот-ориентированном языке.

Повернуть <звено> <на> <угол>

(3.23)

где NC - множество команд подсистемы голосового управления;

B - множество звеньев робота;

C - множество предлогов;

D - множество углов поворота;

S - множество команд управления роботом.

Таким образом, данная команда означает, что существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества звеньев робота B и с из множества предлогов С, а также d из множества углов D, что будет выполняться команда MOVE_JOINT, которая принадлежит к множеству команд управления роботом S, с аргументами имени звена робота (b) и градусной меры угла поворота (d).

Переместиться <на> <расстояние> <ось>

(3.24)

где NC - множество команд подсистемы голосового управления;

B - множество предлогов;

C - множество расстояний перемещений;

D - множество координатных осей;

S - множество команд управления роботом.

Эта команда заключается в следующем: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества предлогов B и с из множества расстояний перемещений С, также d из множества координатных осей D, что будет выполняться команда GOS, которая принадлежит к множеству команд управления роботом S, аргументами которой будут расстояния перемещений по каждой оси (x,y,z).

Переместиться <в> <x, y, z>

(3.25)

где NC - множество команд подсистемы голосового управления;

B - множество предлогов;

C - множество координат;

S - множество команд управления роботом.

Смысл данной команды заключается в следующем: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества предлогов B и с из множества координат С, что будет выполняться команда GOS, которая принадлежит к множеству команд управления роботом S, аргументами которой будут расстояния перемещений по каждой оси (x,y,z).

Переместиться <в> <точка c>

(3.26)

где NC - множество команд подсистемы голосового управления;

B - множество предлогов;

C - множество имён точек;

S - множество команд управления роботом.

Данная команда может быть описана следующим образом: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества предлогов B и с из множества имён точек С, что будет выполняться команда GOS, которая принадлежит к множеству команд управления роботом S, с аргументом - именем точки (с).

Запомнить <точка b>

, (3.27)

где NC - множество команд подсистемы голосового управления;

B - множество имён точек;

S - множество команд управления роботом.

Команда может быть пояснена следующим образом: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества имён точек B, что будет выполняться команда LTEACH, которая принадлежит к множеству команд управления роботом S, аргументом которой будет имя точки (b).

Переместиться <к> <объект>

(3.28)

где NC - множество команд подсистемы голосового управления;

B - множество предлогов;

C - множество объектов;

S - множество команд управления роботом.

Данная команда означает, что существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества предлогов B и с из множества объектов С, что будет выполняться команда GOS, которая принадлежит к множеству команд управления роботом S, аргументом которой будет имя объекта (с).

Запомнить < объект>

, (3.29)

где NC - множество команд подсистемы голосового управления;

B - множество объектов;

S - множество команд управления роботом.

Команда поясняется так: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества объектов B, что будет выполняться команда , которая принадлежит к множеству команд управления роботом S с аргументом - именем объекта (b).

Открыть <схват>

, (3.30)

где NC - множество команд подсистемы голосового управления;

B - множество звеньев робота;

S - множество команд управления роботом.

Команда означает, что существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества звеньев робота B, что будет выполняться команда , которая принадлежит к множеству команд управления роботом S. Команда «закрыть описывается» аналогичным образом.

Взять <объект> <в> <точка d>

 (3.31)

где NC - множество команд подсистемы голосового управления;

В - множество объектов;

C - множество предлогов;

D - множество имён точек;

CS - множество последовательностей команд управления роботом.

Данная команда описывается так: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества объектов B и с из множества предлогов С, а также d из множества имён точек D, что будет выполняться последовательность команд cs, которая принадлежит к множеству команд управления роботом CS при условии выполнимости данной команды.

Взять <объект> <в> <x,y,z>

(3.32)

где NC - множество команд подсистемы голосового управления;

В - множество объектов;

C - множество предлогов;

D - множество координат;

CS - множество последовательностей команд управления роботом.

Эту команду можно представить в следующем виде: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества объектов B и с из множества предлогов С, а также d из множества координат D, что будет выполняться последовательность команд cs, которая принадлежит к множеству команд управления роботом CS при условии выполнимости данной команды.

Переместить <объект> <из> <точка d> <в> <точка f>

(3.33)

где NC - множество команд подсистемы голосового управления;

B - множество объектов;

C - множество предлогов;

D - множество имён точек;

CS - множество последовательностей команд управления роботом.

Команда описывается следующим образом: существует а, принадлежащее множеству команд голосового управления NC такое, что для него существует b из множества объектов B и с и е из множества предлогов С, а также d и f из множества имён точек D, что будет выполняться последовательность команд cs, которая принадлежит к множеству команд управления роботом CS при условии выполнимости данной команды.

Представленный набор описаний команд, собственно, и составляет логическую модель, характеризующую основные правила голосового ввода информации в САПР технологических процессов роботизированной сборки. На ее основе разрабатывается конкретное программное обеспечение, способное формировать команды управления промышленным роботом в процессе технологической подготовки производства.

Введенная командная фраза подвергается ряду проверок на соответствие ее составляющих (отдельных слов) классам рабочих слов и выражений, на порядок применения фраз, возможность сочетаний рабочих слов в командной фразе. Практическая ценность полученных результатов состоит в разработке транслятора голосовых команд управления робота.

В ряде случаев при проектировании технологических процессов сборки оператор не может задать точные команды, которые бы полностью обеспечивали выполнение необходимых технологических переходов и операций. В таких случаях целесообразно использовать нечёткие команды, например, «немного левее», «ещё выше», «вперёд» и т.д.

Рассмотрим нечёткие команды, соответствующие смещениям «влево», «вправо», «вперёд», «назад», «вверх», «вниз». Оценим эти смещения с помощью понятий «левее / правее / вперёд / назад / выше / ниже » (left, right, forward, back, up, down), «ещё» (more), «немного левее / правее / вперёд / назад / выше / ниже» (slightly left, right, forward, back, up, down) и «чуть» (a bit). Степени смещения представлены в табл. 3.2.

Таблица 3.2

Степени смещения

Направление	Сильное смещение	Среднее смещение	Слабое смещение	Незначительное смещение
влево	левее (left)	ещё левее (more left)	немного левее (slightly left)	чуть левее (a bit left)
вправо	правее (right)	ещё правее (more right)	немного правее (slightly right)	чуть правее (a bit right)
вперёд	вперёд (forward)	ещё вперёд (more forward)	немного вперёд (slightly forward)	чуть вперёд (a bit forward)
назад	назад (back)	ещё назад (more back)	немного назад (slightly back)	чуть назад (a bit back)
выше	выше (up)	ещё выше (more up)	немного выше (slightly up)	чуть выше (a bit up)
ниже	ниже (down)	ещё ниже (more down)	немного ниже (slightly down)	чуть ниже (a bit down)

При использовании команды «rotate» в данном случае смещение «влево» рассматривается как поворот звена в направлении против часовой стрелки, а смещение «вправо» - поворот звена по часовой стрелке. Если нечёткие смещения задаются в тексте команды «move», тогда смещению «влево» соответствует перемещение схвата манипулятора робота в отрицательном направлении по оси абсцисс (x), «вправо» - перемещение в положительном направлении по оси x, «вперёд» и «назад» соответствуют перемещениям по оси ординат (y), при этом использование слова «вперёд» подразумевает смещение в положительном направлении, а «назад» - в отрицательном, соответственно смещения «вверх» и «вниз» определяют некоторые перемещения со оси аппликат (z), здесь «вверх» обозначает положительное направление перемещения, а «вниз» - отрицательное.

При этом минимальное смещение принимается равным 1 мм, а максимальное - 400 мм. Формализация такого описания для смещения влево в соответствии с [102, 121, 122] может быть проведена с помощью следующей лингвистической переменной <в, T, X, G, M>, где в - наименование лингвистической переменной; T - множество её значений, представляющих собой наименования нечётких переменных, областью определения каждой из которых является множество X; G - синтаксическая процедура (грамматика), позволяющая оперировать элементами множества Т; M - семантическая процедура, позволяющая превратить каждое новое значение лингвистической переменной, образуемое процедурой G, в нечёткую переменную.

В данном случае в - величина смещения влево; T={б1, б2, б3,б4}={чуть левее, немного левее, левее, ещё левее}; X=[1, 400].

Аналогично можно представить все лингвистические переменные.

Необходимо отметить, что количественные значения, соответствующие различным степеням смещения определяются экспертами. В данном случае при использовании команды «move» «чуть левее» может соответствовать смещению на 10 мм в отрицательном направлении по оси x, «немного левее» - на 100 мм, «левее» - на 200 мм, «ещё левее» - на 400 мм.

Построим графики функций принадлежности нечётких множеств для рассмотренных лингвистических переменных (рис. 3.26 и рис. 3.27).

Аналогично можно описать все остальные лингвистические переменные при использовании их в составе команды «move».

Рис. 3.26. Графики принадлежности для нечёткой переменной «левее» для команды «move»

Рис. 3.27. Графики принадлежности для нечёткой переменной «правее» для команды «rotate»

В случае команды «rotate» применяются только переменные «левее» и «правее». Для них степеням поворота присваиваются следующие значения: «чуть левее» - поворот на 2 градуса в отрицательном направлении, «немного левее» - на 5 градусов, «ещё левее» - на 10 градусов, «левее» - на 20 градусов, все значения для степеней поворота при использования переменной «вправо» сохраняются с точностью до знака, что соответствует повороту в положительном направлении.

Таким образом, применение нечёткого задания управляющих команд позволит облегчить и упростить формирование технологических переходов и отдельных технологических операций в САПР ТП, особенно при точной привязке манипулятора к точкам рабочего пространства при задании малых значений перемещений манипулятора.

В ходе выполнения исследований выбрана автоматическая система распознавания речи и используется для управления универсальным промышленным гибким производственным модулем.

После анализа ряда технологий автоматического распознавания слитной речи, ориентированных на персональные компьютеры, была выбрана Microsoft Speech Engine, как технология, которая хорошо интегрируется с операционными системами, которые используются для HMI (human machine interface - человеко-машинный интерфейс) и используется для обеспечения управления производственными ячейками и диспетчерского управления (Windows XP/NT/2000). Также был выбран Microsoft Speech Application Programming Interface (SAPI), вместе с Microsoft Speech SDK (версия 5.1), для разработки речевых приложений обработки голосовых команд. Этот API содержит набор эффективных методов и данных, которые очень хорошо интегрируются в.NET framework 2003, обеспечивая новую платформу разработки, доступную персональным компьютерам. Наконец, SAPI Microsoft 5.1 работает с несколькими механизмами автоматического распознавания речи, которые дают определённую свободу разработчикам в выборе технологии и механизма обработки речи.

Способ автоматического распознавания речи распознает речь от пользователя, определяется грамматиками [123]. Если последовательность, включенная в грамматику, распознана, механизм распознавания порождает событие, которое может быть обработано приложением, и исполнено запланированные действия. SAPI обеспечивает необходимые методы и структуры данных, для извлечения соответствующей информации.

Существует три способа определения грамматик: использование XML файлов, использование бинарных файлов конфигурации (CFG) или использование методов составителя грамматик и структур данных. Использование XML файлов является удобным способом для определения грамматик.

Используется следующая последовательность действий:

1. Описание блока команд начинается с ключевого (предуправляющего) слова «Robot»;

2. Второе слово командной фразы определяет тип необходимого движения: поворот (rotate) или перемещение в точку (move).

3. Последующие слова составляют параметры, связанные с определенной командой.

4. Фраза завершается словом “end”, которое показывает, что задание команды завершено и теперь необходимо приступить к её проверке на правильность задания и выполнения.

Используемая грамматика составлена по типу “TopLevelRule” с предопределенным начальным состоянием, то есть, система автоматического распознавания речи ищет предуправляющее слово «Робот» как предварительное условие к любой распознаваемой командной строке. Упомянутая последовательность слов составляет правила второго уровня, они используются в TopLevelRule и не являются непосредственно распознаваемыми. Правило определено для каждого запланированного действия. Далее представлен синтаксис команды:

Robot <тип_действия><параметры> end,

где «Robot» - предуправляющее слово,

тип_действия - слово, определяющее вид перемещения,

параметры - слова, представляющие параметры, связанные с командой,

“end” - слово, обозначающее завершение ввода команды.

Рассмотрим последовательность простых действий «взять и поставить». Робот, оборудованный пневматическим схватом с двумя пальцами, может взять деталь в одной позиции (названной началом координат) и поставить её в другую позицию (названной конечной). Обе позиции размещены на одном рабочем столе робота РМ-01 (рис. 3.28).

Рис. 3.28. Манипулятор робота РМ-01

Роботу можно задать следующие команды: открыть/закрыть схват, достичь начальное/конечное положение (позиции на 100мм выше позиции начала координат/конечного, соответственно), переместиться в начало координат/конечное положение, переместиться в исходное положение (безопасное положение далеко от стола).

Табл. 3.3 содержит основные методы и свойства, реализованные программой. Данный пример достаточен, чтобы демонстрировать работу голосового интерфейса.

Для задания любой из упомянутых команд, осуществляются следующие грамматики, приведенные в табл. 3.4.

После передачи и активизации грамматики, подсистема автоматического распознавания речи воспринимает голосовые команды и генерирует события распознавания речи. Далее, соответствующие сервисные программы выполняют команды управления роботом.

Таблица 3.3

Методы и свойства реализации программного компонента

Функция	Краткое описание
port.Open	Открывает порт для передачи данных роботу
InitRobot	Инициализация робота
RunJoint	Команда задания перемещения звена
MovePoint	Команда задания перемещения в точку
SetSpeed	Установка скорости
TakeObject	Команда «взять объект»
PutObject	Команда «положить объект»
OnTextRecognized	Вызов функций после распознавания текста
RunVoiceCommand	Выполнение голосовой команды
analys	Анализ голосовой команды
get	Трансляция голосовой команды
excuse	Удаление последнего произнесенного слова из командной фразы
clear	Удаление всего блока команд

Таблица 3.4

Правила, используемые в программе

Название	Значение
TopLevelRule = «Робот»	Предкомандное слово
Правило1 = «move»	Переместиться
Правило2 = «координаты начальной точки»	Задание точки, в которой находится объект
Правило3 = «открыть»	Открыть схват
Правило4 = «закрыть»	Закрыть схват
Правило5 = «move»	Переместиться
Правило6 = «координаты конечной точки»	Задание точки, в которую необходимо переместить объект
Правило7 = «открыть»	Открыть схват
Правило8 = «закрыть»	Закрыть схват
Позиция начала координат	Возврат

Таким образом, суть метода голосового ввода информации состоит в составлении прикладных программ робота путём последовательной записи управляющих команд, заданных оператором робота, и формировании на их основе технологических переходов манипулятора и технологических операций при проектировании роботизированных технологических процессов сборки.

3.4 Выводы к разделу 3

В данном разделе рассматриваются возможности голосового ввода информации при проектировании технологических процессов роботизированной сборки.

Исследование применения классических методов цифровой обработки сигналов показывает удовлетворительные результаты распознавания голосовой информации, которые, однако, являются достаточно громоздкими и потому могут быть рекомендованы с ограничениями к применению в системах голосового ввода информации.

Рассмотрение применения методов искусственных нейронных сетей имеет большие перспективы, однако с точки зрения практической разработки затрудняется отсутствием стандартных программных библиотек моделирования искусственных нейронных сетей.

Проведен анализ особенностей проектирования технологических процессов сборки, сформулированы требования к использованию голосового ввода информации для разработки программного обеспечения технологии роботизированной сборки.

Разработан метод голосового ввода информации, используемый в подсистеме ввода САПР технологических процессов, обеспечивающий интерактивное формирование прикладных программ для сборочного робота.

Сформулированы требования к рабочему языку системы голосового ввода информации, предложена библиотека слов рабочего языка системы голосового ввода информации и рассмотрены методы формирования прикладных программ робота на основе голосового ввода информации, составляющие рабочий язык робота.

Основные результаты, полученные в данном разделе, опубликованы в работах [4, 5, 6, 7, 11, 12, 13, 14, 16, 17].

РАЗДЕЛ 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ПОДСИСТЕМЫ ГОЛОСОВОГО ВВОДА ИНФОРМАЦИИ В САПР ТЕХНОЛОГИЕСКИХ ПРОЦЕССОВ РОБОТИЗИРОВАННОГО ПРОИЗВОДСТВА

4.1 Разработка программного обеспечения для цифровой обработки информации при её голосовом вводе

Рассматриваемый в работе метод голосового ввода информации подсистемы ввода информации САПР технологических процессов имеет целью упростить процесс проектирования технологических процессов сборки роботизированного производства путём интерактивного формирования прикладных программ сборочного робота.

Экспериментальная часть исследований производилась на основе промышленного робота РМ-01 в рамках работ, связанных с разработкой интеллектуальной роботизированной системы. В её состав входят:

- подсистема управления роботом;

- подсистема поддержки принятия решений;

- подсистема технического зрения;

- подсистема голосового ввода информации.

Схематично данная роботизированная система представлена на рис. 4.1.

Поэтому основными задачами, которые ставятся в практической части работы, являются:

- анализ использования стандартных методов обработки аудиоинформации в операционной системе Microsoft Windows и разработка соответствующего программного обеспечения;

- анализ технологии, реализованной в библиотеке Microsoft Speech Engine 5.1 и реализация голосового ввода информации на её основе;

- описание разработки программного обеспечения, реализующего проектирование технологических переходов и операций при помощи голосового формирования управляющих команд.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рис. 4.1. Подсистема голосового ввода информации в общей САПР управляющих программ робота РМ-01

Конечным результатом практической части работы являются рекомендации по составлению технологических инструкций, по использованию голосового ввода информации при автоматизации проектирования технологических процессов роботизированного производства.

4.2 Стандартные средства обработки звуковой информации в операционной системе WINDOWS

При работе со звуковой картой используется следующий алгоритм:

...