Свойства интеллектуального человеко-машинного интерфейса

Размещено на http://www.allbest.ru

Свойства интеллектуального человеко-машинного интерфейса

А.Н. Алфимцев (alfim@iu3.bmstu.ru)

В.В. Девятков (deviatkov@iu3.bmstu.ru)

МГТУ им. Н.Э. Баумана, Москва

На основе проведенного анализа лучших зарубежных и отечественных работ, посвященных интеллектуальным интерфейсам, приводится набор свойств, которыми должен обладать интеллектуальный интерфейс, обеспечивающий взаимодействие информационной системы с человеком.

Введение

На сегодняшний день существует множество определений интеллектуального человеко-машинного интерфейса [Ehlert, 2003]. В данной работе под интеллектуальным человеко-машинным интерфейсом (ИЧМИ) будем понимать интерфейс, обеспечивающий взаимодействие пользователя с информационной системой (ИС) естественным для человека образом с помощью присущих ему модальностей: жестов, голоса, мимики, используя методы искусственного интеллекта и распознавания образов. Создаваемые сегодня интеллектуальные человеко-машинные интерфейсы, использующие мультимодальное взаимодействие, разрабатываются разрозненно, в сугубо прикладных областях, и не имеют единого взгляда на то, какими свойствами они должны обладать, чтобы можно было утверждать, что достигнута «безбарьерность» взаимодействия. Поэтому, целью настоящей работы является формулировка основных свойств, которыми должен обладать интеллектуальный человеко-машинный интерфейс. В работе делается попытка их обоснования как свойств формальной модели ИЧМИ посредника, работающего со знаниями, как о пользователе, так и об ИС. В настоящей работе не рассматриваются конкретные языки представления этих знаний. интеллектуальный интерфейс машинный человек

Далее структура работы состоит из следующих разделов. В разделе 1 обсуждается модель «безбарьерного» ИЧМИ. В разделе 2 описываются и обосновываются основные свойства ИЧМИ: обязательной реакции, обоснования, обучения, моделирования, адаптивности, коллективности, безопасности, скрытого постоянства, мобильности, фильтрации. Раздел 3 является заключительным.

1. Модель ИЧМИ

Исходя из того, что ИЧМИ должна самостоятельно принимать решения о выборе в зависимости от ситуации стратегии «безбарьерного» интерфейса, наиболее подходящей архитектурой для создания ИЧМИ является мультиагентная архитектура. Для удобства формулировки последующих свойств будем полагать, что мультиагентная архитектура ИЧМИ является реактивной [Brooks, 1999]. Моделью каждого из агентов этой архитектуры будет являться конечный автомат, и таким образом, моделью ИЧМИ является совокупность M₁, M₂,…, M_m параллельно функционирующих и взаимодействующих автоматов. Пусть b(t)={b₁(t),..., b_m(t)} - множество внутренних состояний соответственно автоматов {M₁, M₂,…, M_m} в момент времени t, называемое внутренним макросостоянием; y_j(t) =??(b_j(t)) - функция выходов автомата M_j, b_j(t+1)=f_j(x_j(t), b_j(t)) функция переходов автомата M_j, где b_j(t), b_j(t+1)- внутренние состояния автомата M_j; y(t)={y₁(t),..., y_m(t)} - внутреннее макросостояние; внутреннее(b(t)) - предикат, принимающий истинное значение, когда автоматы находятся в макросостоянии b(t), входное(x(t)) - предикат, принимающий истинное значение, когда на входы автоматов поступает входное макросостояние x(t); выходное(y(t)) - предикат, принимающий истинное значение, когда на выходе автоматов появляется выходное макросостояние у(t); y(t)=?(b(t)) - макрофункция выходов, b(t+1)=f(x(t),b(t)) макрофункция переходов автоматов Используя введенные обозначения, сформулируем свойства ИЧМИ в виде формул временной модальной логики. Для этого будем использовать модальные операторы, сведенные в таблицу.

В соответствии с идеологией временной модальной логики символы времени в формулах не употребляются. А согласно теореме Габбэя [Gabbay, 1977] любая формула временной модальной логики может быть переписана в логически эквивалентную форму с использованием правил вида прошлое будущее.

Среда, с которой имеет дело агентная ИЧМИ состоит из пользователей. С этими пользователями агенты общаются с помощью использования предикатов двух типов: посылаемых и получаемых предикатов. Посылаемые предикаты находятся в левой части правила, а получаемые - в правой.

2. Свойства ИЧМИ

2.1 Свойство обязательной реакции

Пользователь обращается к ИЧМИ, используя различные модальности. Будем полагать для простоты здесь и далее до конца статьи, что это обращение происходит в дискретном времени. И какое бы количество модальностей не использовалось в каждый момент времени t набор значений использованных модальностей преобразуется в последовательность входных макросостояний x(t). Это входное макросостояние можно рассматривать как символ некоторого языка. Последовательность таких символов является предложением языка. Если для обращения используется только текстовый язык (например, DISL, GIML, ISML [Guerrero-Garcia et al., 2009]), то входное состояние может соответствовать как отдельному символу этого языка, так и его словам или предложениям. В данном случае для нас это непринципиально. Если для обращения используются сенсоры [Shinjo, 2005], речь, жесты или графика [Maybury, 2002], то и в этом случае мы полагаем, что в результате при обращении к ИЧМИ формируется последовательность входных макросостояний. В ответ на эту последовательность входных макросостояний ИЧМИ формирует ответную реакцию. Эта реакция может быть на том же или другом языке, с использованием тех же или других модальностей, и является последовательностью выходных макросостояний, являющейся ответом на обращение пользователя.

Таким образом, свойство обязательной реакции на языке временной модальной логики выглядит следующим образом.

(x) (входное(x) ? внутреннее(b_i) ?(внутреннее(b_j, b_j=f(x, b_i)) ?выходное (y_j, y_j?=?(b_j))?

Это свойство читается следующим образом: «Когда на входе ИЧМИ в некоторый момент времени появилось входное макросостояние x, то ИЧМИ, находящийся во внутреннем макросостоянии b_i, в следующий момент времени перейдет в состояние b_j и на его выходе появится выходное состояние y_j». И это правило справедливо для всех x. Поэтому можно проверить реакцию ИЧМИ на любое входное макросостояние.

2.2 Свойство обоснования

Пользователь, не понимающий, как ИС в ответ на его обращение к ИМЧИ решает поставленную задачу, вправе требовать обоснования полученного решения [Поспелов, 1989]. В случае выбранной архитектуры ИМЧИ, это обоснование может быть достаточно простым. Поскольку решение задачи - это временная последовательность реакций (выходных макросостояний) y?=?(b), каждое из которых получено в ответ на обращение пользователя одно или последовательность во времени входных макросостояний, то в простейшем случае обоснованием может служить временная последовательность, состоящая из множества троек «выходное макросостояние/входное макросостояние/внутреннее макросостояние», в которой выходное макросостояние получено как результат вычисления макрофункции выхода при переходе из внутреннего макросостояния состояния под воздействием входного макросостояния. Структурирование ответа может быть еще более детальным, но в любом случае оно может быть сведено к иерархии подобных троек «выходное значение/входное значение/внутреннее значение». Подобное свойство обоснования является аналогом функции объяснения, характерной для современных экспертных систем [Стефанюк и др., 2007].

Таким образом, свойство объяснения на языке временной модальной логики на уровне макроопределений выглядит следующим образом.

(у) (выходное(y) ? ((внутреннее(b_i) входное (x)) внутреннее(b_j, b_j=f (x, b_i) ) выходное (y, y?=?(b_j).

Это свойство читается следующим образом: «Когда на выходе ИЧМИ в некоторый момент времени наблюдалось выходное макросостояние y, то в предыдущий момент времени ИЧМИ находился в во внутреннем макросостоянии b_i, а после того, как в этот предыдущий момент времени на него было подано входное макросостояние x, ИЧМИ перешел во внутреннее макросостояние b_j в результате вычисления макрофункции переходов f, вследствие чего на его выходе появилось выходное состояние y как функция ? от состояния b_j». И это правило справедливо для всех y. Поэтому можно получить объяснение на любую реакцию ИЧМИ, представляемую в нашем случае выходным макросостоянием.

2.3 Свойство обучения

Когда пользователь начинает работу ИС, то одной из важных задач ИЧМИ является обучение его тем возможностям, которые ИС предоставляет. Одним из распространенных способов обучения является демонстрация посредством ИЧМИ режимов работы ИС [Попов, 1982]. Каждый режим представлен автоматом. Каждое внутреннее состояние какого-либо автомата может рассматриваться как атомарный шаг выполнения режима, выходное состояние, как демонстрация пользователю результатов выполнения атомарного шага, а входное состояние, как реакция пользователя на демонстрацию выполнения атомарного шага. При такой интерпретации состояний и использовании автоматов для демонстрации режимов работы с возможностью реакции пользователя на каждый атомарный шаг и при условии, что будут продемонстрированы все атомарные шаги и выполнены все реакции пользователя свойство обучения на языке временной модальной логики на уровне макроопределений выглядит следующим образом.

(у_i) (внутреннее(b_i) выходное(y_i, y_i?=?(b_i))? ? ( входное (x) ? внутреннее(b_j, (b_j =f(x, b_i))? выходное(y_j, y_j?=?(b_j)).

Это свойство с использованием описанной интерпретации состояний читается следующим образом: «Если атомарным шагом выполнения демонстрационного режима оказывается b_i, которому соответствует выходное состояние y_i, то в следующий момент времени, если на входе ИЧМИ появляется входное макросостояние x как реакция пользователя, то ИЧМИ переходит к атомарному шагу b_j в результате вычисления макрофункции переходов f, и вычисляется новое выходное состояние y_j как функция ? от состояния b_j». Следует заметить, что реакцией пользователя считается также и отсутствие с его стороны каких-либо реальных действий.

2.4 Свойство персонификации

Это свойство связано с настройкой интерфейса на предпочтения конкретного пользователя. Для нашей архитектуры это означает изменение поведения автоматов таким образом, чтобы оно в наибольшей степени соответствовало особенностям поведения пользователя в процессе взаимодействия с ИЧМИ. Например, если некоторые переходы автоматов оказываются вообще не востребованными длительное время, то они могут быть заблокированы или вообще удалены. Свойство персонификации интерфейса может рассматриваться как обучение самого ИЧМИ взаимодействию с пользователем [Duric et al., 2002], [Ронжин и др., 2006].

Свойство персонификации на языке временной модальной логики на уровне макроопределений, например, может быть следующим:

(x,b_i) (входное(x) внутреннее(b_i)) ?внутреннее(b_j, b_j =f(x, b_i))u выходное(y_j, y_j?=?(b_j)).

Смысл этого свойства состоит в следующем. До тех пор пока появляются входные макросостояния x, когда ИЧМИ находится в макросостоянии b_i, и переход в макросостяние b_j при входном макросостоянии x допустим, то выходное макросостояние y_j тоже допустимо. В противном случае оно недопустимо. Используя операторы модальности, можно ввести и другие свойства персонификации, являющиеся по сути дела ограничениями на поведение автоматной модели ИЧМИ.

2.5 Свойство адаптивности

Свойство адаптивности в отличие от свойства персонификации, которое накладывает ограничения на поведение модели ИЧМИ без изменения, допускает перестройку модели ИЧМИ путем введения состояний и переходов из них или удаления состояний и переходов из них в зависимости от различных ситуаций, в том числе и полученных от пользователя или путем наблюдения за ним. Обычно для этого необходимо анализировать входные данные, полученные, например, от сенсоров [Devyatkov et al., 2009] или наблюдать за поведением пользователя.

Например, приведенное ниже свойство означает, что с тех пор как ИЧМИ, в предыдущие моменты времени перестало попадать во внутреннее состояние b_i, когда на него подается входное состояние x, то переход b_j =f(x, b_i) и выходное состояние y_j?=?(b_j) стали недопустимыми.

(x,b_i) (входное(x)) внутреннее(b_i) ?s (внутреннее(b_j, b_j =f(x, b_i))? выходное(y_j, y_j?=?(b_j))

2.6 Свойство коллективности

Под свойством коллективности понимается способность ИЧМИ обеспечивать нескольким пользователям одновременную работу с одной и той же информацией, например, визуальной [Jung, 2007]. Особенно актуальным, является применение подобного интерфейса в ситуационных центрах, например, для принятия решений по ликвидации последствий чрезвычайной ситуации, когда работает группа людей, состоящая из специалистов различного профиля. При этом ИЧМИ должен обеспечить согласованное принятие решений группой пользователей [Ye, 2005]. В теории игр и теории искусственного интеллекта рассмотрено много таких стратегий. В рамках настоящей статьи невозможно обсудить все эти стратегии и записать их с помощью модальной логики. В качестве примера, можно, например, привести простейшую из стратегий, называемую равновесием Нэша. Согласно этой стратегии, в простейшем случае двух пользователей их поведение должно быть следующим:

если пользователь i принимает решение x_i, то пользователь j не может сделать ничего лучшего, чем принять решение x_j;

если пользователь j принимает решение x_j, то пользователь i не может сделать ничего лучшего, чем принять решение x_i.

На принятом нами языке модальной логики эта стратегия как свойство может быть записана следующим образом:

[(x_i,b) (входное(x_i)) внутреннее(b) ?входное(x_j)]

[(x_j,b) (входное(x_j)) внутреннее(b) ?входное(x_i)]

Остальные свойства ИЧМИ для их представления на языке модальной логики требуют более детального описания модели ИЧМИ, невозможного в рамках ограниченного объема настоящей статьи. Поэтому ограничимся лишь их общим описанием.

2.7 Свойство безопасности данных

Задача обеспечения безопасности данных хорошо изучена и связана, например, с тем, что пользователь может забыть сохранить данные, нечаянно удалить их, отправить данные не по тому адресу и т.п. В связи с этим, ИЧМИ должен обладать свойствами, обеспечивающими информирование пользователя о всех его ошибочных действиях в процессе обработки данных. Описание свойств безопасности на языке модальной логики зависит от конкретных требований к безопасности данных.

2.8 Свойства безопасности доступа

Задача безопасности доступа также хорошо изучена. Средства ИЧМИ, базирующиеся, например, на методах биометрического контроля способны обеспечить высокий уровень безопасности доступа. Описание их на языке модальной логики требуют еще более детального описания всех процессов, которые здесь применяются.

2.9 Свойство безопасности пользователя

Обеспечение безопасности пользователя с точки зрения ИЧМИ сильно связано с конкретной областью применения ИС. Например, в медицинских ИС иногда достаточно вовремя информировать пользователя о давлении и частоте сердечных сокращений, для того чтобы предотвратить не желаемые последствия и передать эти данные на пульт скорой помощи.

2.10 Свойство скрытого постоянства

Это свойство означает способность интерфейса концентрировать внимание пользователя на первоочередных задачах; прогулке, проведении совещания, или любой другой деятельности, требующей полного внимания. ИЧМИ в этих условиях должен ненавязчиво вмешиваться в поведение пользователя. Например, при движении пользователя по лестнице, он может предоставить план здания, наложенный поверх окружающих стен. Подобные технологии уже сегодня получают все большее распространение [Mann, 2002]. Свойство скрытого постоянства ИЧМИ в настоящее время проявляются также в виде операционного и межоперационного постоянств [Ehlert, 2003]. Операционное постоянство означает, что интерфейс всегда готов к взаимодействию с пользователем. Под межоперационным постоянством понимается постоянная доступность для пользователя основной функциональности интерфейса.

2.11 Свойство мобильности

Вне зависимости от области применения, интеллектуальный интерфейс должен быть мобильным. Это подразумевает способность к взаимодействию с другими ИС системами, используя современные протоколы обмена данными [He, 2001], [Harper et al., 2008].

2.12 Свойство фильтрации

Свойство фильтрации, [Раскин, 2005] с одной стороны, состоит в том, что позволяет уменьшать объем информации, которые пользователь обрабатывает при поиске решения задачи, с другой стороны, самостоятельно находит и предоставляет эксклюзивную информацию, которую пользователь не мог получить в силу неспособности осуществить просмотр большого объема данных и обнаружить скрытые закономерности в данных.

Заключение

В работе рассмотрены основные свойства интеллектуального человеко-машинного интерфейса. Главное, что сделано в работе - это попытка описать эти свойства формально на языке временной модальной логики и тем самым начать процесс понимания и формализации свойств ИЧМИ.

Благодарности

Список литературы

[Попов, 1982] Попов Э. В. Общение с ЭВМ на естественном языке.М.: Наука, 1982.

[Поспелов, 1989] Поспелов Д.А. Интеллектуальные интерфейсы для ЭВМ новых поколений // Электронная вычислительная техника. 1989. №3.

[Раскин, 2005] Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем.М: Символ-Плюс, 2005.

[Ронжин и др., 2006] Ронжин А.Л., Карпов А.А., Ли И.В. Речевой и многомодальный интерфейсы. - М: Наука, 2006 .

[Стефанюк и др., 2007] Стефанюк В.Л., Жожикашвили А.В. Сотрудничающий компьютер. - М: Наука, 2007.

[Brooks, 1999] Brooks R. A. Cambrian Intelligence // MIT Press, Cambridge, MA, 1999.

[Devyatkov et al., 2009] Devyatkov V., Alfimtsev A. Dynamic Gesture Recognition Using Fuzzy Model // Proc. WMSCI 2009, Orlando, USA, 2009.

[Duric et al., 2002] Duric Z., Gray W., Heishmen R., Li F., Rosenfeld A., Schunn C., Wechsler H. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction // PIEEE(90), № 7, 2002.

[Ehlert, 2003] Ehlert P. Intelligent user interfaces: introduction and survey.-Research report DKS03-01, the Netherlands, 2003.

[Gabbay, 1977] Gabbay D. Craig Interpolation Theorem for Intuitionistic Logic and Extensions // Journal of Symbolic Logic, 42 (2), 1977.

[Guerrero-Garcia et al., 2009] Guerrero-Garcia J., Munoz-Arteaga J. A Theoretical Survey of User Interface Description Languages: Preliminary Results//LAWC09.

[Harper et al., 2008] Harper R. and oth. Being human: Human-computer interaction in the year 2020.-Microsoft research Ltd, Cambridge, 2008.

[He, 2001] He F., Agah A. Multi-modal human interactions with an intelligent interface utilizing images, sounds and force feedback // Journal of intelligent and robotics systems, №32, 2001.

[Jung, 2007] Jung I. and oth. Intelligent agent based graphic user interface for e-physician // Engineering and Technology, №36, 2007.

[Lindop et al., 2008] Lindop J.E., Treece G.M., Gee A.H., Prager R.W. An intelligent interface for freehand strain imaging// Ultras. in med. and Bio., 34 (7).

[Mann, 2002] Mann S. Intelligent Image Processing. - NY:Wiley-Interscience, 2002.

[Maybury, 2002] Maybury M.T. Language Technology: A Survey of the State of the Art Language Resources // http://www.mitre.org/work/tech_papers, 2002.

[Shinjo, 2005] Shinjo H., Yamaguchi U., Amano A., Uchibe K., Ishibashi A., Kuwamoto H. Intelligent user interface based on multimodal dialog control for audio-visual systems // Hitachi Hyoron, v. 87, №10, 2005.

[Ye, 2005] Ye G. Applying Vision to Intelligent Human-Computer Interaction // Doctoral Thesis, The Johns Hopkins University, 2005.

Размещено на Allbest.ru