Проектная организация как метод управления внутренними процессами в рамках деятельности предпринимательского университета

Для каждой школы из нашей выборки был получен средний балл за ЕГЭ по русскому языку и математике. Собранные данные охватывают временной период в 2 года (2014 и 2015). Как было уже упомянуто ранее, итоговая база данных составила 119 наблюдений: для 42 школ-партнеров УШК было собрано 77 аналогов. К сожалению, для некоторых школ из составленной для исследования выборки не было необходимых данных. Иными словами, в тот или иной отчетный год не было выпускников, сдававших в школе Единый государственный экзамен по русскому языку или математике. Таким образом, в 2015 году ЕГЭ по русскому языку не писали в трех школах, а по математике - сразу в пяти. Следовательно, база данных по предметам «русский язык» и «математика» в 2015 году составила 74 и 72 наблюдения соответственно.

Анализ кросс-секционных данных производился в программе для статистического анализа STATA. Основой практической части исследования стало проведение парного t-теста (t-тест парных выборок или зависимый t-тест), позволяющего верифицировать или опровергнуть выдвинутые нами ранее гипотезы. Идея теста заключается в сравнении средних значений выборок и тестировании этих значений на предмет равенства [Handbook of Biological Statistics. Paired t-test]. На наш взгляд, в рамках данной работы нет необходимости подробно вдаваться в принцип расчета вспомогательных значений (например, значения t-показателя или числа степеней свободы), используемых для реализации теста; важна лишь сама интерпретация полученных результатов.

Обоснование применимости данного метода к нашему исследованию заключается в том, что он позволяет выявлять значимые различия между двумя схожими друг с другом группами данных. Таким образом, можно определить наличие «шифта» - значимого эффекта, созданного в результате каких-либо существенных изменений. Кроме того, данный метод позволяет получить количественную оценку выявленного эффекта.

Обязательным условием для парного t-теста было измерение одних и тех же (или очень схожих) данных либо в два разных момента на временном горизонте, либо подвергаемых двум разным условиям «внешней среды». Таким образом, эффект должен был быть создан либо за счет временной разницы, либо ввиду разных оказывающих влияние внешних условий [More on the paired t-test in Stata. Johns Hopkins Bloomberg School of Public Health]. То есть при отсутствии временного разрыва и при прочих равных условиях значения двух выборок должны были бы оказаться идентичными.

В нашем случае, очевидно, реализуется второй вариант, который подразумевает формирование данных при различных внешних обстоятельствах. Внешним условием выступало участие УШК в совершенствовании профессиональных компетенций педагогов. Таким образом, вторая группа школ, которые не являлись партнерами Кластера, существовала вне этого внешнего условия. Следовательно, мы пытались определить, являлось ли среднее по разностям значений двух выборок статистически значимо отличным от нуля.

Однако перед непосредственной процедурой тестирования нам необходимо было учесть ряд важных допущений для нашей выборки, чтобы зависимый t-тест мог показать достоверные результаты. Невыполнение этих условий могло повлечь смещение рассчитываемых значений и, соответственно, привести к ошибочным выводам.

Во-первых, все величины должны были быть непрерывными [Paired Sample T-Test. Statistics Solutions]. В нашем случае шкала значений варьировалась от нуля до 100, а переменная могла принимать любое значение в заданном диапазоне; таким образом, условие отсутствия дискретности подтвердилось в отношении наших данных.

Во-вторых, в рамках выборки обязательным было наличие двух категориальных связанных групп или подобранных между собой пар [The ultimate tutorial “Paired t-test using Stata”]. В нашем случае выборка была представлена 77 парами, каждая пара включала в себя показатель для школ, сотрудничавших с Кластером, и показатель для школ-аналогов, подобранных с учетом сходных характеристик. Общее число школ, вовлеченных в работу УШК, - 42, однако для некоторых учреждений-«кластерников» было подобрано сразу несколько аналогов, поэтому общее число пар в конечном итоге составило 77. Безусловно, не все школы сотрудничали с УШК, начиная с 2009 года. Многие образовательные учреждения не были постоянными участниками, покидая программу, но при этом были случаи, когда школы возвращались в Кластер вновь. Некоторые школы меняли либо профили для подготовки преподавателей, либо самих педагогов, нуждавшихся в повышении предметных компетенций. Несмотря на все эти нюансы, мы предполагаем, что агрегированный положительный эффект от участия школ в программе Университетско-школьного кластера должен оказаться значительным и продолжительным. Таким образом, мы ожидали, что к 2014 или 2015 году эффект от деятельности образовательного проекта будет очевидным и сможет перекрыть все незначительные влияния от внутренней «текучести», осуществляемой школами внутри Кластера.

Два других допущения было решено проверить непосредственно в программе STATA. Ввиду работы с реальными данными невыполнение этих двух условий могло оказаться вполне закономерным, однако при таком исходе всегда есть выход из сложившейся ситуации: можно было подвергнуть данные модификации либо сменить t-тест на другой статистический метод анализа. Тем не менее, мы должны были учитывать, что невыполнение хотя бы одного условия могло привести к ошибке в полученных в конечном итоге результатах.

Третье допущение заключалось в отсутствии выбросов в разностях значений двух выборок [The ultimate tutorial “Paired t-test using Stata”] (под разностью значений мы понимаем превышение баллов за ЕГЭ в школах-партнерах УШК над баллами за экзамен в обычных школах). Выброс - это результат измерения, выделяющийся из общей выборки. Проблема заключается в том, что выбросы могут сместить значения внутри выборки и тем самым оказать негативное влияние на парный t-тест, искажая разности между двумя группами и уменьшая точность получаемых результатов. Кроме того, выбросы могут также повлиять на статистическую значимость теста. В нашем случае мы выявляли наличие выбросов при помощи графического анализа: для каждой отдельной пары значений была сгенерирована переменная, представляющая из себя их разность, а далее для каждой такой переменной был построен график типа «ящик с усами». Графический анализ показал, что анализируемые данные характеризуется небольшим числом выбросов, требующих дальнейшего исключения из рассматриваемой в ходе исследования выборки. «Ящичковая диаграмма» для ЕГЭ по русскому языку в 2014 году до и после удаления выбросов представлена на Рисунке 2.

Таким образом, чтобы исключить критические выбросы, мы ввели ограничение на наши данные: разности между баллами за ЕГЭ по русскому языку в 2014 году в школах-участницах Кластера и школах-аналогах должны были превышать значение (-12) (исключили два наблюдения). Следовательно, в выборке присутствовали две пары, где средний балл по русскому языку в обычной школе превышал результат школы из УШК на 12 или более баллов. саморазвивающийся университет образовательный проект

Такой вывод можно сделать после сравнения p-value (вероятности), представленной в последнем столбце, с уровнем значимости, который в данном случае мы установили традиционно равным пяти процентам. Следовательно, с 95-процентной вероятностью можно утверждать, что разности значений двух выборок для математики и русского языка в 2014 и 2015 годах распределены по нормальному закону. Кроме того, нормальность распределения мы также подтвердили графическим анализом, гистограммы для переменных представлены на Рисунках 6 и 7.

Рисунок 6 Гистограмма разностей значений двух групп с наложением нормального распределения (русский язык и математика, 2014 год)

Рисунок 7 Гистограмма разностей значений двух групп с наложением нормального распределения (русский язык и математика, 2015 год)

Таким образом, все четыре необходимых для анализируемой выборки условия были удовлетворены в полной мере. Такой исход гарантирует безошибочность результатов зависимого t-теста, являющегося ключевым элементом практической части магистерской диссертации. Теперь можем приступить к финальной стадии эмпирического исследования, в которой процедура реализации t-теста позволит подтвердить или опровергнуть гипотезу о наличии статистически значимых различий между двумя анализируемыми группами.

В рамках данного теста очень важным является процесс определения контрольной и экспериментальной групп. Ошибка на данном этапе также может привести к недостоверным результатам. В нашем случае контрольной группой будут являться школы-аналоги, квалификацию преподавателей в которых можно считать обычной в контексте данного исследования. Экспериментальной группой будем считать школы, сотрудничающие с Университетско-школьным кластером; эффект от взаимодействия с этим образовательным проектом пока что можно назвать неизученным, то есть экспериментальным. Наша задача заключалась в том, чтобы подтвердить значимое присутствие данного эффекта, для чего мы и осуществляем парный t-тест.

Для t-теста парных выборок нулевая гипотеза (H0) заключалась в том, что средние значения двух групп (экспериментальной и контрольной) равны между собой; иными словами, между двумя группами отсутствуют значимые различия. Альтернативная гипотеза (H1) предполагала неравенство средних значений, то есть присутствие значимой разницы. Если p-value не меньше установленного уровня значимости (в нашем случае традиционно 5%), то нулевая гипотеза не отвергается. В обратном случае принималась альтернативная гипотеза о наличии статистически значимых различий.

2.3 Обсуждение результатов анализа эффектов от реализации проекта «Университетско-школьный кластер»