Исследование качества услуг интернет-провайдеров

- формирование репрезентативной совокупности опрашиваемых пользователей.

В зависимости от целей, задач и условий проводимого исследования используются следующие формы анкетирования:

- по способу проведения анкетирования (устное, письменное);

- по кругу опрашиваемых (частное лицо, предприниматели, специалисты и др.);

- по количеству одновременно опрашиваемых (единичное, групповое);

- по полноте охвата объектов исследования (выборочное, сплошное);

- по количеству тем, входящих в анкетирование (одна, несколько);

- по уровню стандартизации вопросов анкеты (свободная схема, структурированная);

- по частоте проведения анкетирования (повторяющееся (панельное), одноразовое).

Примерами наиболее приемлемых форм проведения анкетирования пользователей услуг связи являются:

- размещение бланков анкет в офисах и сервисных центрах оператора, где осуществляется непосредственное взаимодействие с пользователем;

- опрос по телефону;

- рассылка анкет по почте;

- рассылка анкет по e-mail;

- размещение интерактивной анкеты на сайте оператора;

- размещение анкеты в "личном кабинете" пользователя на web-pecypce оператора и другие.

Для обеспечения объективности и эффективности результатов анкетирования разработанная анкета должна содержать ясные, однозначно понимаемые, требующие простого ответа (да/нет или балльную оценку) вопросы.

При формировании репрезентативной совокупности опрашиваемых пользователей для каждого оцениваемого вида услуг связи выполняются следующие действия:

- при малом объеме генеральной совокупности пользователей оцениваемым видом услуг связи (до 20) в состав опрашиваемых включаются все пользователи; при большем количестве - формируется выборочная совокупность пользователей;

- определяется существующий состав пользователей данного вида услуг связи: типические группы пользователей (например, частные лица, корпоративные пользователи, операторы связи), количество пользователей в каждой типической группе, удельный вес типической группы в генеральной совокупности пользователей;

- определяется объем выборочной совокупности пользователей в соответствии с известными в теории формулами расчета [3], исходя из допустимой в социологических исследованиях погрешности на уровне 3-5% и значения доверительной вероятности 0,954;

- в случае больших объемов генеральной совокупности пользователей для оцениваемого вида услуг связи (более 200) допускается из соображений экономии времени и ресурсов устанавливать большую допустимую величину ошибки (до 15-20%), а также использовать более простой прием расчета выборочной совокупности: устанавливать объем выборочной совокупности в размере не более 10-15% от объема генеральной совокупности;

- определяется объем каждой типической группы в выборочной совокупности пользователей оцениваемого вида услуг связи пропорционально удельному весу типической группы в генеральной совокупности пользователей;

- формируется выборочная совокупность пользователей путем типического индивидуального бесповторного отбора из генеральной совокупности пользователей.

При таком способе осуществляется отбор отдельной единицы из соответствующей типической группы в генеральной совокупности путем случайной или механической выборки. Каждая отобранная единица может попасть в выборку лишь один раз.

Способ отбора в типические группы выбирает руководитель рабочей группы, проводящей анкетирование.

На этапе сбора информации (проведения опроса) выполняются следующие действия:

- руководитель рабочей группы составляет график проведения работ с учетом состава группы, сформированной для опроса выборочных совокупностей, форм опроса; проводит инструктаж членов группы и обеспечивает их рабочими материалами;

- члены рабочей группы проводят опрос в соответствии с графиком работ, выбранными формами и инструкцией по проведению опроса;

- первичная оценка опрашиваемыми пользователями качества услуг связи осуществляется по принципу "да"/"нет" или с помощью балльной оценки по 4-х балльной шкале:

"отлично"- 5 баллов,

"хорошо" - 4 балла,

"удовлетворительно" - 3 балла,

"плохо"- 2 балла.

После завершения сбора информации следует проверка правильности заполнения анкет. Неправильно заполненные анкеты должны быть либо исключены из общего массива полученной информации, либо доработаны при взаимодействии с респондентами, а в некоторых случаях может быть принято решение о частичном использовании информации из анкеты.

Результаты анкетирования обрабатываются с использованием программных средств и представляются в табличном и(или) графическом виде (диаграмм, гистограмм и т.д.).

Обработка результатов анкетирования пользователей, включенных в выборочные совокупности, состоит в определении следующих оценок:

- среднего значения балльной оценки для каждого из оцениваемых потребительских свойств услуги и/или для качества услуги в целом в выборочной совокупности;

- процент пользователей в выборочной совокупности, удовлетворенных каждым из оцениваемых потребительских свойств услуги и/или качеством услуги в целом.

К удовлетворенным пользователям относятся респонденты, ответившие положительно ("да") на вопрос об удовлетворенности потребительским свойством услуги или услугой в целом либо оценившие потребительское свойство услуги или услугу в целом на "4" и "5".

Учитывая, что в выборочном наблюдении возможны расхождения между выборочными значениями показателей и показателями генеральной совокупности, определяются доверительные пределы для рассчитанных по результатам анкетирования оценок, которые позволяют корректно представить результаты проведенного анкетирования:

, (1)

, (2)

где X ,P - показатели генеральной совокупности,

dX,dP - допустимая ошибка выборочного наблюдения соответственно балльной оценки и процента удовлетворенных пользователей.

Дополнительно для характеристики разброса мнений опрашиваемых пользователей определяются другие статистические характеристики: среднее квадратическое отклонение, коэффициент вариации.

Анализ собранной информации в зависимости от целей социологического исследования может иметь следующие аспекты:

- анализ оценок выборочного наблюдения по показателям качества с точки зрения согласованности и разброса мнений пользователей и их причин, сравнение оценок по разным потребительским свойствам и по видам услуг связи;

- анализ степени удовлетворенности пользователей уровнем качества по видам услуг связи и потребительским свойствам услуг для разных групп пользователей;

- анализ соответствия рассчитанных оценок выборочного наблюдения по показателям качества услуг связи установленным нормативам или целевым показателям;

- анализ динамики оценок показателей качества по видам услуг связи, полученных на основе мнений пользователей за разные периоды проведения анкетирования пользователей услуг связи;

- анализ состава замечаний, высказанных пользователями в ходе анкетирования.

Результаты анализа должны использоваться для осуществления корректирующих и предупреждающих действий, развития и совершенствования деятельности по предоставлению услуг связи.

Результаты проведенного социологического исследования оформляются документально (в виде протокола, акта, отчета, заключения и пр.).

В выходной документ должна быть включена следующая информация:

- цели, задачи и область исследования (виды услуг);

- состав рабочей группы;

- период проведения работ;

- состав пользователей, участвующих в анкетировании;

- используемые формы анкетирования;

- определяемые показатели;

- результаты анкетирования;

- замечания;

- выводы;

- приложения с заполненными анкетами и сводным массивом информации по всем анкетам.

Результаты анкетирования представляются в табличной форме и в форме графиков. С их помощью отражаются рассчитанные по данным анкет оценки выборочного наблюдения.

Представленные результаты анкетирования сопровождаются проведением анализа.

"Замечания" и "Выводы" являются итоговыми разделами выходного документа, содержащими итоговое заключение по оценке качества исследуемых услуг связи пользователями, их замечания и предложения, а также меры, предлагаемые для совершенствования деятельности оператора по предоставлению услуг связи.

2.3 Основные концептуальные положения функционирования системы контроля качества предоставления услуг связи.

Основные задачи и цели системы контроля качества предоставления услуг связи.

Интенсивное развитие информационно-телекоммуникационных технологий, приложений, требующих высоких скоростей передачи данных, роста трафика и связанная с этим тенденция к возрастанию вероятности перегрузки сети связи, приводит к деградации качества услуг связи. Это подтверждается статистикой жалоб на качество оказываемых услуг связи. Согласно данным, опубликованным на Web-сайте Роскомнадзора, количество жалоб за 9 месяцев 2012 года возросло на 20% по сравнению с предыдущих годом. Наибольшее количество жалоб поступило по вопросам качества услуг доступа к Интернету (22% всех обращений), качества работы сети телефонной связи (20%), нарушения правил оказания услуг связи, качества услуг подвижной связи, расчетов за услуги подвижной связи.

Вопросы качества услуг, в том числе услуг связи, относятся к компетенции Роспотребнадзора. В то же время согласно Положению о деятельности Роскомнадзора, федеральный орган исполнительной власти осуществляет государственный контроль и надзор за соблюдением лицензиатами лицензионных условий и требований, включая требования к выполнению Правил оказания услуг связи, в которых предусмотрено, что услуги должны оказываться с требуемым качеством.

Для этого Роскомнадзору необходимо создать систему контроля качества предоставлени услуг связи, в задачи которой входит:

· контроль выполнения требований к оператору по обеспечению качества услуг, включая проверку соблюдения установленных норм на показатели качества услуг связи;

· проведение процедур по сбору статистики, измерениям параметров и расчетам показателей качества услуг связи в рамках претензионной работы по факту обращения граждан;

· бенчмаркинг качества услуг связи для составления рейтинга операторов связи;

· создание единого информационного ресурса (Web-портала) в целях автоматизации технологических процессов по измерению пользователем параметров качества предоставляемых услуг;

· фиксация нарушений требований к качеству услуг, вынесение предупреждений, выдача предписаний об устранении недостатков;

· вовлечение пользователей в процесс контроля качества услуг связи;

· создание дополнительных мер, стимулирующих операторов связи к повышению качества услуг.

Принципы построения и функционирования системы контроля качества предоставления услуг связи

Система контроля качества предоставления услуг (далее - Система) представляет собой комплекс системных и организационных решений, обеспечивающих контроль за соблюдением требований к качеству услуг, оказываемых операторами связи, систематизацию процедур расчета показателей и измерений параметров качества услуг под нагрузкой и сравнения со значениями, определенными в нормативных правовых актах.

Функционирование Системы подразумевает взаимодействие трех участников: Роскомнадзора, операторов связи и абонентов (см. рисунок 2.1).

Рис. 2.1. - Система контроля качества предоставления услуг связи

К функциям Роскомнадзора относятся:

· контроль за соблюдением операторами связи установленных требований к нормам на показатели качества услуг связи;

· контроль за соблюдением операторами связи условий договоров с абонентами в части норм на показатели качества услуг;

· проведение измерений параметров качества услуг связи по факту обращений граждан;

· выявление нарушений, формирование предписаний об их устранении;

· ведение базы данных, содержащих статистику показателей качества услуг связи на сетях разных операторов связи, и опубликование периодических отчетов;

· ведение Web-портала, содержащего информацию о показателях качества услуг связи на сетях разных операторов связи и рейтинг операторов связи;

· взаимодействие с другими органами исполнительной власти, включая Роспотребнадзор в части рассмотрения обращений граждан по фактам нарушения установленных требований к качеству услуг связи.

К функциям оператора связи относятся:

· мониторинг качества услуг связи;

· формирование периодических отчетов по параметрам качества услуг и передача их в базу данных Роскомнадзора;

· опубликование информации по параметрам качества услуг связи на своем Web-портале;

· предоставление абонентам инструмента для измерения параметров качества услуг связи.

Функционирование системы контроля качества предоставления услуг подразумевает вовлечение в процесс контроля качества услуг связи пользователей услугами связи. Абонент, используя инструменты, предоставляемые Роскомнадзором, может самостоятельно проводить измерения параметров качества услуг (см. рисунок 4.1). В случае выявления несоблюдения требований, указанных в договоре на оказание услуг связи, абонент может обратиться с жалобой в Роскомнадзор или Роспотребнадзор, на основании которых могут проводиться внеплановые проверки операторов связи на предмет соблюдения ими требований к качеству услуг связи.

Система предусматривает, что пользователь услугами связи может оценивать потребительские свойства услуги путем участия в опросах.

Требования к средствам измерения и контроля качества оказания услуг связи.

Для проведения испытаний должны применяться средства измерений и контроля качества, удовлетворяющие следующим требованиям:

· поддержка измерительными приборами множества существующих сетевых технологий и тестовых сценариев для различных услуг связи;

· возможность обновления программного обеспечения под требования новых сетевых технологий;

· поддержка дружественного интерфейса, включая наглядность отображения результатов измерений в виде графиков, таблиц и пр.;

· использование стандартных прикладных интерфейсов для возможности программирования тестовых сценариев;

· высокая надежность и широкий диапазон рабочих температур;

· автоматизация выполнения измерений;

· возможность взаимодействия с внешней базой данных в целях получения из нее данных и хранения результатов измерений;

· невысокая стоимость.

Регулярно должно проводиться метрологическое обслуживание (поверка, калибровка) средства измерений и контроля качества услуг связи.

2.4 Показатели качества услуг связи и нормы на данные показатели. Подход к определению показателей качества услуг связи

Перечень лицензируемых услуг связи.

Перечень всех лицензируемых услуг связи утвержден в постановлении Правительства РФ от 18.02.2005 №87 «Об утверждении перечня наименований услуг связи, вносимых в лицензии, и перечней лицензионных условий».

В соответствии с зарубежным опытом требования по контролю качества услуг предъявляются к инфроструктурообразующим услугам связи, включая:

· услуги фиксированной телефонной связи;

· услуги подвижной связи;

· универсальные услуги;

· услуги телематических служб (услуги доступа в Интернет).

Предлагается последовать зарубежному опыту и установить требования к параметрам и показателям качества к вышеперечисленным услугам.

Перечень и описание показателей качества услуг связи.

Параметры качества услуги - значения, полученные в результате измерений и/или опросов пользователей, оценивающих показатели качества услуг.

Показатели качества услуги - значения, полученные в результате расчетов на основании параметров качества услуг связи.

Выбор показателей и параметров качества должен осуществляться по следующим принципам.

Принцип 1: Показатели и параметры качества должны быть понятны абонентам.

Принцип 2: Показатели и параметры должны характеризовать услугу из конца в конец, а не на отдельном участке сети.

Принцип 3: Показатели и параметры должны выбираться на основании лучшей практики.

Принцип 4: Показатели и параметры должны выбираться с учетом методов их оценки (стоимость и трудоемкость проведения измерений и обработки результатов и пр.).

Принцип 5: Перед утверждением показателей и параметров качества регулятор должен проводить их общественное обсуждение с операторами связи и пользователями услугами.

При определении показателей качества услуг связи предлагается использовать модель ETSI, в которой эти показатели объединяются в следующие группы (уровни) (см. рисунок 2.2):

уровень 1 - доступность сети связи;

уровень 2 - доступ к сети;

уровень 3 - доступность услуги, полнота услуги, непрерывность услуги.

уровень 4 объединяет показатели качества, характерные для услуг разного вида.

Доступность сети связи с точки зрения оператора связи характеризует ее способность оказывать услуги связи с требуемым качеством услуг.

Второй уровень, в отличие от первого, объединяет в себе показатели качества услуг на сетях с коммутацией каналов и на сетях с коммутацией пакетов с точки зрения пользователя.

Доступность услуги характеризуется возможностью подключения и регистрации оконечного оборудования в сети оператора связи.

Целостность услуги отражает качество услуги непосредственно для пользователя услугой.

Непрерывность услуги характеризует невозможность прерывания оказания услуги вопреки желанию пользователя.

Каждому из названных аспектов соответствует набор параметров качества, характерных для услуги каждого вида на уровне 4.

При выборе показателей и параметров качества для услуг каждого вида необходимо учитывать:

· показатели и параметры качества услуг, рекомендуемые МСЭ и ETSI;

· показатели качества услуг, установленные национальными стандартами (ГОСТ-Р);

· показатели и параметры качества услуг, установленные в действующих до принятия Федерального закона № 126-ФЗ «О связи» руководящих документах;

· показатели и параметры качества услуг, применяемые зарубежными и российскими операторами связи на практике.



Рис. 2.2. - Модель определения показателей качества услуг в соответствии с ETSI

Показатели качества услуг связи подразделяются на технические показатели и показатели удовлетворенности абонентов и пользователей услугами и приведены в таблицах 2.3 и 2.4 соответственно.

2.5 Нормы на показатели качества услуг связи

На настоящий момент времени в международных стандартах, российских нормативных правовых актах в сфере связи, а также в ГОСТ Р несмотря на то, что присутствуют разные перечни показателей качества услуг, отсутствуют нормы на эти показатели в отношении национальных сетей связи. Единственными нормативными правовыми актами, в которых установлены нормы, которые относятся к качеству услуг, являются:

Постановление Правительства РФ от 21 апреля 2005 г. № 241 «О мерах по организации оказания универсальных услуг связи», где определена скорость передачи данных при предоставлении доступа к сети Интернет с использованием пунктов коллективного доступа;

Приказ Мининформсвязи от 27 сентября 2007 года №113 «Об утверждении требований к организационно-техническому обеспечению устойчивого функционирования сети связи общего пользования», где установлены нормы на показатели времени установления соединения в сетях местной, зоновой и междугородной и международной телефонной связи, а также нормы на показатели потери вызовов в этих сетях;

Приказ Мининформсвязи от 6 февраля 2008 г. № 15 «Об утверждении Правил применения транзитных междугородных узлов автоматической коммутации. Часть II. Правила применения транзитных междугородных узлов связи, использующих технологию коммутации пакетов информации», где установлено требование к качеству речи не ниже 3,5 баллов, которое определяются как среднее значение по пятибалльной шкале.

Кроме того, использованы нормы, установленные в ранее действующем РД 45.254-2002 «Сети сотовой подвижной связи. Нормы на показатели качества услуг связи и методики проведения их оценочных испытаний».

Предлагаемый перечень норм на показатели качества услуг связи сформирован на основании перечисленных выше документов и экспертных оценок и включает в себя две группы норм:

· нормы на технические показатели качества услуг (таблица 2.5);

· нормы на показатели удовлетворенности абонентов и пользователей услугами связи (таблица 2.6).

Необходимо отметить, что перед утверждением норм следует осуществить измерение на действующих сетях операторов связи для подтверждения корректности предлагаемых норм, поскольку часть предлагаемых норм опираются на экспертную оценку. Для этого предлагается следующий подход:

· разработать методологию измерений и расчета параметров качества услуг связи и сбора необходимых данных;

· провести измерения на действующих сетях операторов связи;

· разработать и опубликовать для общественного обсуждения;

· доработать показатели и параметры качества услуг и нормы на них с учетом результатов общественного обсуждения.

3. Оценка качества интернет-доступа на основе мнений потребителей

3.1 Основные параметры анкетирования

Оценка качества услуг связи на основе мнений пользователей осуществляется путем анализа информации, получаемой непосредственно от пользователя при проведении социологических исследований (первичной информации), и информации, получаемой в результате договорной и всей производственно-хозяйственной деятельности оператора (косвенной информации).

Сбор первичной информации для оценки качества услуг связи на основе мнений пользователей осуществляется в ходе сплошного или выборочного обследования пользовательской аудитории.

Таким образом социологическое исследование, проводимое в целях оценки качества услуг связи пользователями, включает следующие этапы:

- подготовку исследования (составление анкета и т.п.);

- проведение сбора информации о мнении пользователей;

- обработку и анализ результатов сбора информации;

- оформление результатов исследования.

В данной работе использован, для сбора первичной информации в целях оценки качества услуг связи, опрос.

Сбор информации при проведении социологических исследований для оценки качества услуг связи пользователями осуществился с помощью анкеты.

Подготовка к проведению исследования включала:

- определение целей, задач и выбор формы анкетирования;

- разработку анкеты, содержащей вопросы для изучения мнения пользователей о качестве услуг связи;

В зависимости от целей, задач и условий проводимого исследования использовались следующие формы анкетирования:

- по способу проведения анкетирования (письменное);

- по кругу опрашиваемых (частное лицо);

- по количеству одновременно опрашиваемых (единичное);

- по полноте охвата объектов исследования (выборочное);

- по количеству тем, входящих в анкетирование (одна);

- по уровню стандартизации вопросов анкеты (свободная схема);

- по частоте проведения анкетирования (повторяющееся).

Анкетирование проводилось при непосредственном взаимодействии с пользователем.

Для обеспечения объективности и эффективности результатов анкетирования разработанная анкета содержит ясные, однозначно понимаемые, требующие простого ответа вопросы.

При формировании репрезентативной совокупности опрашиваемых пользователей для каждого оцениваемого вида услуг связи выполнялись следующие действия:

- было опрошено 50 человек и это является большим количеством. Так как малое количество составляет до 20 человек. При большем количестве - формируется выборочная совокупность пользователей;

- определяется существующий состав пользователей данного вида услуг связи: типические группы пользователей (например, частные лица, корпоративные пользователи, операторы связи), количество пользователей в каждой типической группе, удельный вес типической группы в генеральной совокупности пользователей;

- определяется объем выборочной совокупности пользователей в соответствии с известными в теории формулами расчета [3], исходя из допустимой в социологических исследованиях погрешности на уровне 3-5% и значения доверительной вероятности 0,954;

На этапе сбора информации (проведения опроса) выполнились следующие действия:

- сформировался форм опроса, для опроса выборочных совокупностей,

- после этого проводился опрос в соответствии с выбранными формами и инструкцией по проведению опроса;

- первичная оценка опрашиваемыми пользователями качества услуг связи осуществилась по принципу с помощью балльной оценки по 4-х балльной шкале:

"отлично"- 4 баллов,

"хорошо" - 3 балла,

"удовлетворительно" - 2 балла,

"плохо"- 1 балла.

Если, опрашиваемые люди, ответили довольно или полностью согласно, то 4 баллов и наоборот, если ответили не согласны или не довольны, то 1 балла.

Разработанная анкета предсталена в приложении Б.

3.2 Обработка результатов анкетирования.

После завершения сбора информации проводилась проверка правильности заполнения анкет. Неправильно заполненные анкеты были исключены из общего массива полученной информации.

В работе для оценки результатов анкетирования использовали 2 метода:

Кластерный анализ для выявления проблемных зон на основе данных по вопросу №18, так как данный вопрос является комплексным и фактически представляет 28 оценочных данных, позволяя выявить основные аспекты удовлетворенности потребителей работой персонала компании. Для обработки данных анкетирования использовалась программа Statistika.

Графический анализ выполнялся на основе процентных соотношении в ответах абонентов с 1 по 17 вопросы анкеты. При этом выявляются особенности и недостатки, отмеченные абонентами. Для представления данных в удобном для анализа виде использовалась программа Excel.

На первом этапе обработки для подтверждения согласованности полученных данных был найден коэффициент конкордации.

Пример расчета коэффициента конкордации выполнен для вопроса №18 (Насколько вы довольны обслуживающим персоналом компании (провайдера) следующих сферах). Согласованность остальных вопросов оценили аналогичным образом.

Расчет коэффициента конкордации.

Этап 1. Создание экспертной комиссии.

Число факторов n = 50, Число экспертов m = 7

Этап 2. Сбор мнений специалистов путем анкетного опроса.

Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.

Этап 3. Составление сводной матрицы рангов.

Таблица 3.1 - Сводная матрица рангов

№ п.п. / Эксперты	1	2	3	4	5	6	7
1	4	4	4	4	4	4	4
2	4	4	4	4	4	4	4
3	4	4	4	4	4	4	4
4	4	4	4	4	4	4	4
5	4	4	4	4	4	4	4
6	4	4	4	4	4	4	3
7	3	4	3	4	4	4	3
8	3	4	3	4	3	4	3
9	3	3	3	4	3	4	3
10	3	3	3	3	3	4	3
11	3	3	3	3	3	4	3
12	3	3	3	3	3	4	3
13	3	3	3	3	3	4	3
14	3	3	3	3	3	4	3
15	3	3	3	3	3	4	3
16	3	3	3	3	3	4	3
17	3	3	3	3	3	4	3
18	3	3	3	3	3	4	3
19	3	3	3	3	3	3	3
20	3	3	3	3	3	3	3
21	3	3	3	3	2	3	3
22	2	3	3	3	2	3	3
23	2	3	3	3	2	3	3
24	2	3	3	2	2	3	3
25	2	3	3	2	2	3	3
26	2	3	3	2	2	3	3
27	2	3	3	2	2	3	3
28	2	3	2	2	2	3	3
29	2	3	2	2	2	3	2
30	2	3	2	2	2	3	2
31	2	3	2	2	2	3	2
32	2	3	2	2	2	3	2
33	2	3	2	2	2	3	2
34	2	3	2	2	2	3	2
35	2	2	1	2	2	3	2
36	2	2	1	2	2	3	2
37	2	2	1	2	2	3	2
38	2	2	1	2	2	3	2
39	2	2	1	2	2	3	2
40	2	2	1	2	2	3	2
41	2	2	1	2	2	3	2
42	2	2	1	2	2	3	2
43	2	2	1	2	2	3	2
44	1	2	1	2	2	3	2
45	1	2	1	2	2	2	2
46	1	2	1	2	2	2	2
47	1	1	1	2	2	2	2
48	1	1	1	2	2	2	2
49	1	1	1	1	1	1	2
50	1	1	1	1	1	1	1

Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 50). Переформирование рангов производится в табл. 3.2

Таблица 3.2 - Переформирование рангов 1 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-7	1	4
8-29	2	18.5
30-44	3	37
45-50	4	47.5

Так как в матрице имеются связанные ранги в оценках 2-го эксперта, произведем их переформирование. Переформирование рангов производится в табл. 3.3

Таблица 3.3 - Переформирование рангов 2 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-4	1	2.5
5-16	2	10.5
17-42	3	29.5
43-50	4	46.5

Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл. 3.4

Таблица 3.4 - Переформирование рангов 3 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-16	1	8.5
17-23	2	20
24-44	3	34
45-50	4	47.5

Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл. 3.5

Таблица 3.5 - Переформирование рангов 4 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-2	1	1.5
3-27	2	15
28-41	3	34.5
42-50	4	46

Так как в матрице имеются связанные ранги в оценках 5-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.3.6

Таблица 3.6 - Переформирование рангов 5 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-2	1	1.5
3-30	2	16.5
31-43	3	37
44-50	4	47

Так как в матрице имеются связанные ранги в оценках 6-го эксперта, произведем их переформирование. Переформирование рангов производится в табл. 3.7

Таблицы 3.7 - Переформирование рангов 6 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1-2	1	1.5
3-6	2	4.5
7-32	3	19.5
33-50	4	41.5

Так как в матрице имеются связанные ранги в оценках 7-го эксперта, произведем их переформирование.

Таблицы 3.8 - Переформирование рангов 7 эксперта

Номера мест в упорядоченном ряду	Расположение факторов по оценке эксперта	Новые ранги
1	1	1
2-22	2	12
23-45	3	34
46-50	4	48

Таблица 3.9 - Обновленная сводная матрица рангов

№ п.п. / Эксперты	1	2	3	4	5	6	7
1-5	47.5	46.5	47.5	46	47	41.5	48
6	47.5	46.5	47.5	46	47	41.5	34
7	37	46.5	34	46	47	41.5	34
8	37	46.5	34	46	37	41.5	34
9-18	37	29.5	34	46	37	41.5	34
19-20	37	29.5	34	34.5	37	19.5	34
21	37	29.5	34	34.5	16.5	19.5	34
22-23	18.5	29.5	34	34.5	16.5	19.5	34
24-27	18.5	29.5	34	15	16.5	19.5	34
28	18.5	29.5	20	15	16.5	19.5	34
29-34	18.5	29.5	20	15	16.5	19.5	12
35-43	18.5	10.5	8.5	15	16.5	19.5	12
44	4	10.5	8.5	15	16.5	19.5	12
45-46	4	10.5	8.5	15	16.5	4.5	12
47-48	4	2.5	8.5	15	16.5	4.5	12
49	4	2.5	8.5	1.5	1.5	1.5	12
50	4	2.5	8.5	1.5	1.5	1.5	1

Таблица 3.10 - Матрица рангов

Факторы/Эксперты	1	2	3	4	5	6	7	Сумма рангов	d	d2
x1- x5	47.5	46.5	47.5	46	47	41.5	48	324	145.5	21170.25
x6	47.5	46.5	47.5	46	47	41.5	34	310	131.5	17292.25
x7	37	46.5	34	46	47	41.5	34	286	107.5	11556.25
x8	37	46.5	34	46	37	41.5	34	276	97.5	9506.25
x9	37	29.5	34	46	37	41.5	34	259	80.5	6480.25
x10- x18	37	29.5	34	34.5	37	41.5	34	247.5	69	4761
x19- x20	37	29.5	34	34.5	37	19.5	34	225.5	47	2209
x21	37	29.5	34	34.5	16.5	19.5	34	205	26.5	702.25
x22- x23	18.5	29.5	34	34.5	16.5	19.5	34	186.5	8	64
x24- x27	18.5	29.5	34	15	16.5	19.5	34	167	-11.5	132.25
x28	18.5	29.5	20	15	16.5	19.5	34	153	-25.5	650.25
x29- x34	18.5	29.5	20	15	16.5	19.5	12	131	-47.5	2256.25
x35- x43	18.5	10.5	8.5	15	16.5	19.5	12	100.5	-78	6084
x44	4	10.5	8.5	15	16.5	19.5	12	86	-92.5	8556.25
x45- x46	4	10.5	8.5	15	16.5	4.5	12	71	-107.5	11556.25
x47- x48	4	2.5	8.5	15	16.5	4.5	12	63	-115.5	13340.25
x49	4	2.5	8.5	1.5	1.5	1.5	12	31.5	-147	21609
x50	4	2.5	8.5	1.5	1.5	1.5	1	20.5	-158	24964
?	1275	1275	1275	1275	1275	1275	1275	8925		373178.5

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.

Этап 4. Анализ значимости исследуемых факторов.

В данном примере факторы по значимости распределились следующим образом (табл. 3.11).

Таблица 3.11 - Расположение факторов по значимости

Факторы	Сумма рангов
x50	20.5
x49	31.5
x47- x48	63
x45- x46	71
x44	86
x35- x43	100.5
x29- x34	131
x28	153
x24- x27	167
x22- x23	186.5
x21	205
x19- x20	225.5
x10- x18	247.5
x9	259
x8	276
x7	286
x6	310
x1- x5	324

Этап 5. Оценка средней степени согласованности мнений всех экспертов.

Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 373178.5, n = 50, m = 7

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).

T1 = [(63-6) + (153-15) + (223-22) + (73-7)]/12 = 1211

T2 = [(83-8) + (263-26) + (123-12) + (43-4)]/12 = 1652.5

T3 = [(63-6) + (213-21) + (73-7) + (163-16)]/12 = 1155.5

T4 = [(93-9) + (143-14) + (253-25) + (23-2)]/12 = 1588

T5 = [(73-7) + (133-13) + (283-28) + (23-2)]/12 = 2037.5

T6 = [(183-18) + (263-26) + (43-4) + (23-2)]/12 = 1952.5

T7 = [(53-5) + (233-23) + (213-21)]/12 = 1792

?Ti = 1211 + 1652.5 + 1155.5 + 1588 + 2037.5 + 1952.5 + 1792 = 11389

W = 0.87 говорит о наличии высокой степени согласованности мнений экспертов.

Этап 6. Оценка значимости коэффициента конкордации.

Для этой цели исчислим критерий согласования Пирсона:



Вычисленный ч2 сравним с табличным значением для числа степеней свободы K = n-1 = 50-1 = 49 и при заданном уровне значимости б = 0.05

Так как ч2 расчетный 297.34> табличного (67.50481), то W = 0.87 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

Для вопросов с 1 по 17 коэфффициент конкордации аналогичным образом был рассчитан и равен то W = 0.7, т.е. величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

Обработка с ипользоанием программы Statistica.

В ходе анализа в программе Statistica собранные данные по вопросу №18 были разбиты на кластеры, отображенные на рисунке 3.1.

Из диаграмм на рисунке 3.1. видно, что:

-В первую выборку (Cluster 1) включены ответы абонентов, которые довольны профессионализмом и вежливостью.

-Во вторую выборку (Cluster 2) включены ответы абонентов, которые довольны только вежливостью.

- В третью выборку (Cluster 3) включены ответы абонентов, которые довольны дружелюбием и общей производительностью персонала.

- В четвертую выборку (Cluster 4) включены ответы абонентов, которые довольны информированностью и компетентностью персонала.

- В пятую выборку (Cluster 5) включены ответы абонентов, которые чаще всего жаловались на оперативность и готовность помочь.



Рисунок-3.1. Кластерный анализ удовлетворенности работой персонала

Процентное соотношение абонентов, включенных в соответствующие кластеры приведено на рисунке 3.2.

Рисунок 3.2.- Процентное соотношение абонентов в кластерах

По результатам кластерного анализа можно выявить следующие проблемные места:

Кластеры 1 и 2 показывают, что 78% опрошенных недостаточно высоко оценивают профессионализм и вежливость персонала. Это означает, что в данных компаниях необходимо чаще проводить тренинги с персоналом по работе с клиентом, обратить внимание на результаты опроса клиентов по качеству работы персонала и реагировать на каждое недовольства клиента в отношении конкретных работников. Профессионализм повышать специальными лекциями по особенностям работы оборудования и сервисов.

Третий кластер показывает, что дружелюбие и общая производительность отмечена 36% опрошенных. Это означает, что преимущественно абоненты получают ожидаемый результат. Однако, необходимо следить за соблюдением нормативных значений контрольных сроков исполнения заданий.

Кластер 4 подтверждает выводы пункта 1, т.е абон...