Процедури та алгоритми експертного оцінювання

Размещено на http://www.allbest.ru/

Процедури та алгоритми експертного оцінювання

Боднар О.С.

Анотація

Описано сутність понять "процедура" та "алгоритм", проаналізовано підходи до процедур експертного оцінювання і виділено три їх типи. Виявлено вплив процедур на якість експертного оцінювання, зроблено аналіз процедурної структури компонентів експертного оцінювання та побудовано процедурну модель.

Ключові слова: процедура, алгоритм, алгоритм процедур, процедурна структура експертного оцінювання.

Метою статті є аналіз наукових розробок щодо процедур та алгоритмів експертного оцінювання педагогічних об'єктів, структурування і алгоритмізація процесу експертного оцінювання та дослідження впливу процедур і алгоритмів на об'єктивність і якість експертних висновків. Завданнями статті є такі: розкрити сутність понять "процедура" та "алгоритм", проаналізувати результати дослідження із зазначеної теми, запропонувати процедурну модель експертного оцінювання.

Об'єктивність результату будь-якого прикладного дослідження безпосередньо залежить від конструктивності процедур і їх алгоритмізації. Хоча регламентація процедур експертного дослідження всесторонньо описана у науково-методичній літературі, процес удосконалення та конкретизації даної проблеми в дослідженнях з менеджменту освіти продовжується. Актуальність цих розроблень продиктована передусім швидкими темпами розвитку технологізації аналітичних та оцінювальних методик в освітньому менеджменті та запитами громадськості не тільки щодо результатів оцінювання педагогічної системи школи, але і щодо самої організації експертного оцінювання.

Розглянемо трактування понять, пов'язаних з експертним оцінюванням. Термін "процедура" трактується як встановлення порядку дій при проведенні певних операцій чи науково-практичної діяльності [10]; визначена послідовність пізнавальних і організаційних заходів чи дій під час застосування вибраного методу до якогось складного об'єкта дослідження; модифіковані форми методу, які відповідають специфіці предметної сфери науки та об'єкта дослідження [3]. Процедурами називають також інструментарій експертного оцінювання: рецензування, інтерв'ювання, анкетування [11]. Сукупність методів і процедур складають методику [3, 73]. Близьким до розглядуваного є поняття "алгоритм" - чітко задана послідовність виконання тих чи інших дій, змін, обчислень над окремими об'єктами чи їх сукупністю [10, с.158]. Сутнісний зв'язок між поняттями "процедура" та "алгоритм" є діалектичним. Тобто процедури - це етапи експертного оцінювання. Алгоритми, у свою чергу, це конкретні дії для виконання кожного етапу. оцінювання процедура пізнавальний

Існують різні підходи до процедур оцінювання. Зокрема, за умови операційного підходу вибирається критерій, згідно з яким необхідно оцінювати ступінь ефективності того чи іншого способу дії; далі розглядається перелік можливих способів дій; потім ураховуються прогнозовані і випадкові умови; останній крок - приймається до уваги характер досліджуваного об'єкта (суб'єкта), його можливу протидію [12].

Процедури освітнього експертного оцінювання аналогічні до процедур будь-якого оцінювання, а також до проведення соціально-психологічних, психологічних, психолого-педагогічних, соціологічних досліджень.

Якщо експертиза проводиться за замовленням навчального закладу, тобто має характер педагогічного аудиту, у змісті процедур передбачається укладання договору, який визначав би предмет педагогічного аудиту, технічні умови, терміни виконання, порядок-здачі-прийому роботи, відповідальність сторін, можливість дострокового договору, порядок розгляду спірних ситуацій, додаткові послуги, юридичні адреси та банківські реквізити сторін [1]. Проаналізуємо питання побудови оцінювання. Наприклад, В.І.Маслов алгоритм процедури оцінювання будує у такому порядку: формулювання мети і завдань оцінювання; добір інформації, необхідної для оцінювання; розроблення програми (плану роботи) оцінювальної діяльності; добір виконавців та їх інструктаж; організація здійснення контрольної діяльності; збирання, систематизація, первісний аналіз інформації; узагальнення підсумкової інформації та її аналіз; розроблення пропозицій щодо покращення справ та їх документальне оформлення [6].

Досить детально алгоритмізує процедури експертного оцінювання В.С. Черепанов [13]. Він виділяє підготовчий етап, етапи діяльності робочої групи, експертної комісії, технічної групи і заключний етап. Відмінність такого підходу (порівняно з іншими) полягає в тому, що пропонується структура процедур за повним циклом дослідження. Для прикладу, один з алгоритмів етапу робочої групи передбачає проведення пілотного дослідження з подальшим доробленням системи критеріїв, анкет і методики відбору експертів. Однак, автор не розглядає питання формування гіпотетичних оцінок. Не досить чітко представлений алгоритм заключного етапу, не визначено ролі і місця самооцінок навчального закладу. Однак, не зважаючи на зазначене, ці процедурні алгоритми до цього часу слугують орієнтиром у побудові моделей системи технологій експертного оцінювання.

Т.Г. Новикова процедури експертного оцінювання інновацій описує за такою схемою: реєстрація заявки на експертну діяльність; вибір та узгодженість експертної групи; узгодженість та обумовленість термінів проведення експертизи; проведення експертизи і підготовка експертного висновку; визначення можливостей наступної реалізації інновації [8]. Характерною рисою цих експертних процедур є те, що автором детально розписано функції всіх суб'єктів експертного оцінювання і сформовано вимоги до структури експертних висновків.

З погляду Л.І.Даниленко, на процедуру експертного оцінювання впливає характер експертизи. Зокрема, за умови емпіричного характеру здійснюється опис, аналіз та діагноз, а наукового (теоретичного) - процедура відображає повний цикл педагогічного дослідження [7].

Аналізуючи інші дослідження з експертного оцінювання, простежуємо тотожність його основних процедурних елементів: підготовчий, організаційний і заключний етапи. Дослідники лише варіюють алгоритмічні дії всередині кожного етапу відповідно до концепцій експертного оцінювання і специфічних організаційно-педагогічних засад.

Окрім загальноприйнятих технологічних процедур, вирізняють процедурні елементи, які застосовує безпосередньо експерт. Зокрема, йдеться про процедури інтерпретаційні (виявлення значення об'єкта) та герменевтичні (виявлення смислу, занурення в поняття). Використання цих процедур обумовлене тим, що завдання експерта полягає "не просто в дескрипції (описі) досліджуваної предметної області, а в тому, щоб дана дескрипція була виражена в аксіологічних поняттях, тобто в термінах ціннісних висловлювань" [9, с.151].

Однією із процедур, яка ще мало представлена у публікаціях, є обумовлення прав та обов'язків експертів. Незважаючи на те, що вони законодавчо закріплені, у кожному окремому випадку ці поняття можуть конкретизуватись. Важливою процедурою експертного оцінювання є опитування експертів, яку М.М. Китаєв називає складною та делікатною науковою роботою, а не просто способом отримання загальних суджень [4]. Успішне проведення експертного оцінювання залежить також від створення психологічного мікроклімату в процесі опитування, забезпечення зацікавленого і активного ставлення експертів до результатів експертизи. Слушною є думка С.Б. Кримського про те, що найчастіше вартісним є не сам процес формування групової оцінки, а правомірність результату цього процесу [3, c.117].

Отже, у розробленнях з експертного оцінювання наявним є процедурний алгоритм як сукупність послідовних дій якогось етапу; алгоритм процедур як встановлений порядок формування етапів, які, в свою чергу, включають систему конкретних послідовних дій.

Обумовлення і прийняття алгоритму процедур експертизи здійснюється на підготовчому етапі. До їх формування застосовують два загальноприйняті концептуальні підходи: побудова моделі явища чи процесу, який досліджується, до початку експертного оцінювання і в ході пізнання суті об'єкта дослідження [4].

Після проведення процедур вимірювання та експертного оцінювання рекомендують проводити аналіз процедур, їх нормоконтроль, а також виокремлювати певні еталони процедур, дій, обставин, умов їх виконання [5].

Таким чином, у наукових працях всебічно розглянуто формування процедур та алгоритмів експертного оцінювання. Однак, управлінська практика в системі освіти і далі потребує прикладних досліджень в аспекті уніфікації, нормоконтролю, виділення і деталізації структурних елементів, поглиблення технологічних аспектів, обумовлення функцій суб'єктів у всіх процедурних алгоритмах експертного оцінювання.

На основі проаналізованих джерел, доходимо висновку про обумовлення трьох типів процедур освітньої експертизи: доекспертних, власне експертних і післяекспертних. У перші із зазначених процедур входять вибір та ідентифікація об'єкта, формування цілепокладання, вибір суб'єктів та обґрунтування їх функцій у кожному процедурному алгоритмі, обумовлення прав та обов'язків експертів, інструментарію, укладання процедурних алгоритмів та їх нормоконтроль, розроблення системи технологій, формування системи параметрів, показників, критеріїв оцінювання.

Власне експертні процедури включають вибір і групування об'єктів, їх опис, збір самооцінок, формування гіпотетичних оцінок, індивідуальні та групові експертні оцінки об'єктів за системами параметрів, показників та критеріїв оцінювання, узгодження групових оцінок, вибір та оцінка рекомендацій, побудову прогностичних моделей розвитку об'єктів.

Такі процедури, як прийняття рішень на основі експертних оцінок, що включають вибір способів розвитку об'єкта, формування освітньої політики та цілепокладання на основі експертних оцінок, консультування, відносять до післяекспертних процедур.

Вибір процедур може залежати від таких чинників:

- кваліфікації експертів (експертам можуть запропонувати схему проведення, а можуть довірити самим її розробити);

- рівня стартової (наявної) представленої інформації (заклад освіти надає повністю інформацію, частково, не надає зовсім);

- мети експертизи (підтвердити реальність наявної інформації, відхилити інформацію як нереальну, доповнити інформацію новими даними частково; збір, оброблення та експертні висновки здійснюються самими експертами);

- методів оцінювання.

Елементами технологізації процедур експертного оцінювання є таблиці, протоколи, діагностичні карти, кваліметричні моделі.

Алгоритм процедур експертного оцінювання локальних чи комплексних аспектів педагогічних об'єктів можна представити за такими етапами:

1. Ідентифікація об'єкта експертизи; окреслення меж параметрів цього об'єкта.

2. Виділення основних ознак об'єкта з позицій системного підходу та складання його описової моделі. Розпізнавання параметрів статичного чи динамічного станів об'єкта.

3. Чітка регламентація часових параметрів у експертному дослідженні, зокрема: оцінка динаміки розвитку об'єкта в заданих часових межах на основі моніторингових досліджень; оцінка результату педагогічного проекту чи системи у фіксований момент часу; оцінка ефективності навчально-виховної діяльності за певний проміжок часу тощо.

4. Обумовлення цілепокладання експертного оцінювання, побудова дерева цілей.

5. Відбір, оцінка, підготовка експертів та формування експертної групи.

6. Укладання, адаптування або вибір еталонної моделі системи показників і критеріїв оцінювання.

7. Вибір моделі оцінювання педагогічного об'єкта: кваліметричної, шкально-критеріальної, критеріально-емпіричної.

8. Обумовлення процедурних моментів кожного етапу експертного оцінювання та їх нормоконтроль.

9. Відбір та експертна оцінка інструментарію дослідження

10. Збір та аналіз індивідуальних експертних оцінок.

11. Застосування методик отримання узгоджених колективних експертних оцінок.

12. Розроблен пакету рекомендацій, вибір та оцінка пакету.

13. Прогнозування розвитку системи педагогічного об'єкта.

14. Прийняття управлінських рішень та формування цілепокладання способів розвитку педагогічного об'єкта.

Для кожної з названих процедур розробляється відповідний алгоритм дій.

Можна виділити декілька підходів до проектування процедурних етапів для отримання індивідуальної експертної оцінки:

- експертні висновки готуються лише на основі поданих статистичних та емпіричних даних на основі нормовідповідності;

- експерт сам діагностує об'єкт дослідження і за власною моделлю показників готує експертні висновки;

- експерт називає набір діагностичних ознак, які необхідні йому для експертного твердження і чекає їх отримання.

Розглядаючи експертне оцінювання не з системного, а з діяльнісного підходу, доцільно, на нашу думку, всі процедури розписати за компонентами, зображеними у таблиці 1.

Таблиця 1

Процедурна структура компонентів експертного оцінювання

Структурування процедур та побудова алгоритмів експертного оцінювання допомагає передбачити функції всіх суб'єктів експертного оцінювання, визначати підходи, пріоритети в оцінюванні, регламентувати поведінку експертів, уникати впливу суб'єктивних факторів, посилювати організаторські аспекти, оптимізувати експертну діяльність у часі.

Таким чином, можемо зробити висновок, що процедури та алгоритми є вагомими інструментами оцінювання, відмінність між якими є незначною. Тому можна говорити про алгоритмічні процедури, якщо вони мають ознаки алгоритмів. Разом із тим, варто використовувати і поняття "процедурний алгоритм", тобто частину процедури, яка містить певну сукупність послідовність дій. Процедури експертного оцінювання є загальновідомими, оскільки містяться у всіх видах експертиз. Алгоритми експертного оцінювання педагогічних об'єктів відображені в алгоритмах побудови критеріїв, систем показників, методів індивідуальної та групової експертних оцінок. Однак, вважаємо, що алгоритмізація процедур потребує подальшого вдосконалення, наповнення етапів конкретним функціональним змістом, чіткого розмежування управлінських функцій суб'єктів експертного оцінювання у процедурах та алгоритмах.

Список використаної літератури

1. Бочерашвили В. Педагогический аудит как технология измерения и оценки качества знаний //Школьные технологии. - 2004. - №3. - С.156-169.

2. Братченко С.Л. Гуманитарная экспертиза в образовании: критерии личностного роста //Школьные технологии. - 2001. - №4. - С.137-152.

3. Экспертные оценки в социологических исследованиях. /С.Б. Крымский, Б.Б. Жилин, В.И. Паниотто и др.; Отв. ред. С.Б. Крымский; АН УССР, Ин-т философии. - К.: Наукова думка, 1990. - 320с.

4. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64с.

5. Лобашев В.Д., Лобашев И.В. Характеристики процессов и элементов оценивания //Стандарты и мониторинг. - 2005. - №5. - С.23-30.

6. Маслов В.І. Наукові основи та функції процесу управління загальноосвітніми навчальними закладами: Навчальний посібник. - Тернопіль: Астон, 2007. - 134с.

7. Науково-організаційні основи експертизи інноваційної діяльності в регіоні: Науково-методичний посібник /Даниленко Л.І., Паламарчук В.Ф., Зайченко О.І. та ін. /За ред. Л.І.Даниленко. - Логос, 2006. - 196 с.

8. Новикова Т.Г. Теоретические подходы к технологии экспертизы инновационных проектов //Школьные технологии. - 2002. - №1. - С. 161-169.

9. Оноприенко В.И., Рыжко Л.В. Экспертная деятельность как феномен культуры. //Наука і наукознавство. - 1994. - №1-2.- С.150-156.

10. Полонский В.М. Словарь по образованию и педагогике. - М.: Высшая школа, 2004. - 512с.

11. Соловйов В.П., Ткаченко О.И. Методологические и информационно-технологические аспекты экспертного оценивания в сфере научно-технической деятельности //Наука і наукознавство. -1994. - №1-2.- с.156-166.

12. Тахтамышева Г.Ч. Как управлять качеством образования в условиях образовательной школы //Стандарты и мониторинг. - 2003. - №3. - с.43-53.

13. Черепанов В.С. Экспертные оценки в педагогических исследованиях. - М.: Педагогика, 1989. - 152 с.

Размещено на Allbest.ru