Метрики для оценки качества чат-бот приложений

Размещено на http://www.allbest.ru/

Метрики для оценки качества чат-бот приложений

Ураев Денис Алексеевич магистрант, кафедра программного обеспечения информационных технологий, Белорусский государственный университет информатики и радиоэлектроники

Ключевые слова: чат-бот, оценка качества, методы оценки, бизнес-показатели, KPI.

Abstract

Quality assessment metrics of chatbot applications

Urayev Denis Aleskeyevich Master, Information technology software department, Belarusian state university of informatics and radio electronics

Keywords: chat bot, quality assessment, assessment methods, business indicators, KPI.

чат-бот приложение сообщение

Чат-бот приложения с использованием алгоритмов машинного обучения является только развивающимся направлением, поэтому международные стандарты для оценки качества чат- бот приложений еще не выработаны. Однако, так как чат-бот приложения напрямую воспроизводят то, как могут работать реальные люди, то чат-ботов можно считать «сотрудниками» нового поколения. Поэтому, для оценки эффективности чат-бот приложений, я бы предложил использовать KPI метрики (Key Performance Indicator), которые используются в бизнес-оценке как показатель деловой активности сотрудников организаций. С другой стороны, так как чат-боты являются программным обеспечением, для оценки качества также можно использовать стандартные методы оценки ПО [1].

Таким образом, методы оценки качества чат-бот приложений можно разделить на две категории:

1. Методы оценки, для измерения бизнес-показателей.

2. Методы оценки, для измерения технических-показателей.

Оценка бизнес-показателей. Набор метрик, для оценки бизнес-показателей, является самым главным с точки зрения бизнеса, так как помогает рассчитать, в какой срок окупятся затраты на разработку бота и отвечает ли он ожиданиям. Сами KPI в данном случае могут быть разными и зависят от функций бота. Далее приведены самые популярные примеры:

- Снижение загрузки колл-центра. Это одна из самых распространенных задач чат- ботов. Так как большинство запросов в колл-центр являются стандартными, роботы справляются с ними не хуже людей. Они обслуживают пользователей в чатах и по телефону и переводят на «живых» операторов только когда это требуется. К примеру, по данным компаний украинского мобильного оператор «Киевстар», внедрение чат-бота позволяет снизить загрузку операторов на 85% [2].

- Конверсии в покупки. Эта простая метрика актуальна для e-commerce и используется также, как в традиционном маркетинге. Такие бренды, как H&M или Taco Bell используют ботов как интернет-магазин в мессенджере.

- Активация. Одно из преимуществ ботов заключается в том, что после добавления в друзья к пользователю они могут периодически напоминать им о себе и о вашем бизнесе. Например, сообщая о новых акциях в магазине или предлагая интересный контент, связанный с брендом. А по итогам -- просчитывать, какой процент пользователей удалось «вернуть» среди тех, кто давно не заходил на сайт.

- Количество пользователей. Всегда можно отслеживать общее количество пользователей за указанный период времени и сравнивать его с предыдущим периодом. Общее количество складывается из новых пользователей и вернувшихся. Число последних - очень полезная метрика. Она показывает, сколько пользователей повторно используют вашего чат-бота в сравнении с предыдущим периодом. Этот показатель особенно важен тем компаниям, у которых ежедневно большой поток посетителей на сайте или в приложении. Если он растет, значит ваши пользователи были удовлетворены ответом бота ранее и охотно выбирают новый канал коммуникации.

- NPS - индекс потребительской лояльности. Чат-бот является удобным инструментом для проведения опроса и расчета показателя NPS. NPS - это индекс потребительской лояльности, т.е. оценка лояльности пользователей по отношению к продукту и компании. Обычно такой опрос проводят посредством email-рассылок, звонков, всплывающих окон и т.д. С чат-ботом проводить такую оценку удобнее и быстрее. В конце диалога пользователю можно предлагать оценить разговор. Например, чат-бот пишет «Остались ли вы довольны ответом?» Бот предлагает выбрать ответ из нескольких вариантов: «Я спрашивал про другое», «Я не понял ответа», «Ответ не решил проблему». Исходя из ответа, мы можем выявить причину отрицательной оценки, проанализировав историю этого диалога. На основе оценок, полученных от пользователей, данную метрику можно рассчитать по формуле:

NPS = (Сумма оценок от 9 до 10) -- (Сумма оценок от 0 до 6)/ на кол-во всех респондентов * 100

1. Dialog Flow - путь разговора, который определяет разработчик.

2. ML модель классификации сообщений (ML Classification model), для определения намерения пользователей.

3. ML модель для извлечения данных (ML Information Extraction model) из пользовательских сообщений.

Таким образом для оценки качества чат-бота с технической точки зрения будут использованы 3 метрики, которые оценивают каждую из компонент системы. Для этого, из архива сохранённых разговоров будут извлекаться переписки между пользователем и чат- ботом, и данные переписки будут обрабатываться операторами в ручном режиме.

Для оценки качества Dialog Flow задача оператора будет заключаться в том, чтобы отметить каждый ответ чат-бота как уместный или неуместный (неправильный). Иногда чат- боты путаются, и это нормально. Это чаще всего происходит при нетипичных входящих запросах, тех, ответы на которые не заложены в базу знаний бота. Пример формы, для отображения оператору, представлен на рисунке 1.

Для оценки качества классификации сообщений (ML Classification model), оператор должен вручную проклассифицировать каждый запрос от пользователей. Данная оценка является важной, так как правильная классификация исходного намерения пользователя является точкой входа в разговор с чат-ботом. Данный показатель должен быть особенно высоким для определения тех намерений пользователя, которые входят в «область знания» чат-бота. В дальнейшем, ответ оператора будет сравниваться с ответом классификационной ML модели для составления статистики. Также, так как ответы операторов мы считает за «истину», то их ответы в будущем могут быть использованы для перетренировки новых ML моделей. Таким образом будет налажен процесс того обучения и чат-бот будет становиться «умнее».

¦ Repeated messages

¦ IBot's queston/answer is out of context/illogical

¦This response is badly phrased

¦This response is good

Рис. 1. Интерфейс оператора для оценки качества ответов чат-бота

Пример того, как выглядит интерфейс оператора по классификации пользовательских сообщений в архивном разговоре приведен на рисунке 2.

Для оценки качества извлечения данных (ML Information Extraction model) задача оператора выделить ценные данные из пользовательских сообщений (например, имя пользователя, страну, период банковской выписки, почтовый ящик и т.п.). Данные оценки являются особенно важными в чат-ботах, которые работают с личными данными пользователя, их аккаунтами в системах, связанных с деньгами (чат-бот приложения для банков, мобильных операторов и т.п.) Полученные ответы от операторов также будут использованы для генерации статистики и в будущих тренировках новых ML моделей, сохраняя непрерывным процесс «обучения» чат-бота.

Рис. 2. Интерфейс оператора для классификации сообщений

На рисунке 3 представлен пример интерфейса оператора для извлечения данных из пользовательских сообщений в ручном режиме. Процесс извлечения происходит путём тэгирования (выделения с последующей подсветкой) слов и данных внутри сообщения.