Тестологическая грамотность преподавателя иностранного языка

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

на тему

Тестологическая грамотность преподавателя иностранного языка

основная образовательная программа бакалавриата по направлению подготовки 45.03.02 «Лингвистика»

Исполнитель: Обучающийся 3 курса

Образовательной программы

«Теория перевода и межъязыковая коммуникация»

Профиль «Английский язык»

очно-заочной формы обучения

Пузанова Евгения Сергеевна

Санкт-Петербург 2018



Введение

В настоящий момент система образования в Российской Федерации переживает серьезные изменения, связанные со сменой модели ее культурного развития. Так или иначе, любые реформы, происходящие в системе образования, связаны с преподавателем, так как педагог реализует на практике все нововведения.

Несомненно, одно из главных качеств педагога - это желание учиться и узнавать новую информацию, касаемую его профессиональной деятельности. Педагог, как профессионал своего дела, должен быть открыт всему новому, иметь способность к нестандартному мышлению, самостоятельно принимать решения. Этому не способствует тот факт, что, к сожалению, современный преподаватель обременен огромным количеством должностных инструкций, которые обязывают его соблюдать формальные требования и составлять образовательные программы по постоянно меняющимся шаблонам.

На данный момент существует профессиональный стандарт «Педагог» для школы и дополнительного образования есть профессиограмма учителя, но нет профессионального стандарта

«Преподаватель высшей школы». Все это дает нам право утверждать, что тема тестологической грамотности преподавателя в настоящее время актуальна и востребована. Соответственно, введение нового профессионального стандарта преподавателя должно также изменить стандарты его подготовки или переподготовки в центрах повышения квалификации.

Профессиональный стандарт одновременно с расширением границ деятельности педагога также повышает и его ответственность за результат труда, посредством предъявления требований к его квалификации и критериев ее оценки. В связи с различным уровнем квалификации среди педагогов, предусматривается поэтапное введение профессионального стандарта преподавателя высшей школы. Профессиональный стандарт педагога отражает его профессиональную деятельность. Он также постоянно наполняется психолого-педагогическими компетенциями, которые помогают преподавателю в решении новых проблем, возникающих перед ним. Стандарт также предъявляет требования к личностным качествам преподавателя, неотделимых от его профессиональных компетенций, таких как: готовность учить всех без исключения, независимо от их способностей и особенностей развития.

Тестовая технология является одним из направлений совершенствования контроля знаний в современном образовании. Согласно методике преподавания, использование тестов - это одно из наиболее эффективных средств и методов проверки языковых знаний, навыков и умений. Следовательно, возникает вопрос об особых навыках и умениях преподавателя, которые входят в методическую компетенцию, а их формирование и развитие - в направление, называемое за рубежом «Assessment Literacy» (http://www.teachingenglish.org.uk, 2018).

На данный момент в России существует несколько центров тестирования: Центр тестирования профессионального образования (г. Москва), Центр оценки качества образования ИСРО РАО, Центр тестирования выпускников общеобразовательных учреждений Российской Федерации, Центр психологического и профессионального тестирования ”Гуманитарные технологии” при МГУ и множество других, в которых также профессионально занимаются работой с тестовыми методиками. Однако эти центры не случайно называются тестами тестирования, а не “тестологии”.

Цель данного исследования (ВКР) - определить основное содержание тестологической грамотности преподавателя английского языка как части методической компетенции.

Для достижения этой цели, в рамках выпускной квалифицированной работы решается ряд следующих задач:

1) изучить литературу и документацию по предмету;

2) рассмотреть основные понятия тестологии (тест, его форму содержание, классификации, а также функции тестового контроля);

3) изучить структуру и содержание методической компетенции преподавателя иностранного языка;

4) определить место тестологической компетенции в профессиограмме преподавателя иностранного языка.

Для решения поставленных задач, были выбраны следующие методы исследования: анализ педагогической, методической и психологической литературы по проблеме исследования; эксперимент (метод анкетного опроса).

Объект исследования -- тестологическая компетенция преподавателя иностранного языка.

Предметом исследования является содержание тестологической компетенции преподавателя иностранного языка.

Гипотеза настоящего исследования состоит в том, что тестологическая грамотность преподавателя иностранного языка является неотъемлемой частью его методической компетенции и на сегодняшний день требует развития в рамках курсов повышения квалификации (и других форм).

Экспериментальная база исследования. Исследование проводилось на филологическом факультете Санкт-Петербургского государственного университета. В исследовании принимали участие 19 преподавателей.

Методолгическую базу исследования составляют:

по вопросам тестирования (В.С.Аванесов (2005); И.Н. Ерофеева (2012); Е.В.Заруцкая (2017); В.И. Звонников (2007), М.Б. Челышкова (2007); И.Л. Колесникова (2017); А.А. Коренев (2017); Л.Крокер (2010); В.И. Кузнецова (2011);И.А. Рапопорт (1972); И.Ю.Павловская (2017); И. А. Цатурова (1969); М. Б. Челышкова (2002));

по вопросам педагогической деятельности преподавателя (Н.В. Кузьмина (1989);К.С. Махмурян (2006); И. Ю. Павловская, Н. И. Башмакова (2007); С.Ф. Шатилов (1986)).

Нормативные документы РФ:

Профессиональный стандарт "педагог” (педагогическая деятельность в сфере дошкольного, начального общего и среднего общего образования) от 18 октября 2013 г. N 544н.



Глава 1. Становление тестирования как метода оценивания и контроля

Первые тесты достижений по иностранным языкам были изданы в Америке в 1925 году, они включали в себя субтесты на знание грамматических и лексических аспектов языка. Эти тесты также использовали в школах Англии (И.Ю. Павловская, Н.И. Башмакова, 2007). В СССР первый иностранный тест был составлен в 1928 году Н. Э. Маммуной. Затем в 1930-м М. Герасимович также составил тесты по немецкому языку (И.А. Рапопорт, Р. Сельг, И. Соттер,1987). В России отношение к тестированию в России было неоднозначным. Политическая обстановка в стране в период с 1936 по 1956 год привела к значительному сокращению публикации тестового материала. В 1956 году возобновился интерес к психологическим и педагогическим тестам. В этот период времени публикует свою работу «Из истории развития тестов в СССР и за рубежом» И. А. Цатурова (И.А.Цатурова, 1969), эта работа стала ключевым событием в развитии отечественной тестологии. С середины 1990-х годов начался новый этап в развитии тестирования в России. С 1995 года стали проводить тестирование абитуриентов, а в 2001-м ввели единый государственный экзамен (ЕГЭ).

1.1 Определение понятия «тест» в тестологии

С теоретической точки зрения термин «тест» в тестологии -- это метод исследования, а с практической -- средство измерения. В научной литературе по тестологии, тесты являются средством измерения и освещаются со стороны практического подхода (И.Ю.Павловская, Н. И. Башмакова, 2007). По мнению И. А. Рапопорт, Р. Сельг и И. Соттер, тест -- это серия вопросов и заданий, подготовленная в соответствии с определенными правилами и прошедшая предварительную экспериментальную проверку.

В. С. Аванесов считает, что педагогический тест - это система заданий определенного формата, которая способствует качественному измерению уровня обученности тестируемых (В.С.Аванесов, 2005). Также в зависимости от классификации теста (обучающие, контролирующие тесты и пр.) тест может быть интерпретирован по-разному. В свою очередь термин «тестирование» означает составление и апробацию тестов, обработку и интерпретацию их результатов (И. Ю. Павловская, Н. И. Башмакова, 2007, с. 86).

1.2 Виды и функции педагогических тестов

Основными характеристиками любого теста являются его целостность и структурированность. Как правило, тестирование ориентировано на самоорганизацию и самоподготовку.

Для определения уровня обученности, способностей и контроля принято выделять несколько основных функций тестирования. Основными являются обучающая (реализуется во время закрепления тестовых материалов), управленческая (анализ результатов тестирования), диагностическая (получение первичных данных о знаниях тестируемых), воспитательная (повышение уровня ответственности тестируемых за свои достижения; речь идет об учащихся средней школы) и развивающая функции (результаты сказываются на мотивации учащихся (В.И. Звонников, М. Б. Челышкова, 2010).

Э. А. Штульман классифицирует тесты по следующим критериям (Э.А. Штульман, 1972) : структура; содержание; цель применения; частота использования; место и условия проведения теста, а также способ статистической обработки полученных результатов.

С точки зрения применения теста и периодичности его использования можно выделить входной, промежуточный и итоговый педагогические тесты. Входной тест является инструментом распределения обучающихся по группам на основе уровня владения языком. Промежуточный тест отражает прирост знаний приобретенных за определенный отрезок времени (И.Л. Колесникова, 2017). Итоговый тест осуществляет контроль уровня сформированности речевых умений и степени усвоения учебного материала в соответствии с программой.

М.Б.Челышкова считает, что основная цель итогового тестирования -- это объективная оценка результатов обучения по окончанию курса (М.Б.Челышкова, 2002).

На сегодняшний день тестирование - это одна из самых современных форм контроля знаний и умений учащихся, которая позволяет определить объем, уровень и время усвоения информации, а также умение анализировать и использовать информацию (И.Н. Ерофеева, Т. Е.Нестерова, Е.Е.Юрков, 2012). Очевидными преимуществами тестирования являются: экономия времени на ответ - контроль большого количества учащихся одновременно, минимум времени и усилий на проверку тестовых работ и строго регламентированная процедура проведения тестирования.

Показатели тестов отражают результаты усвоениия учащимся учебной программы, умений учащихся, а не только наличие у них определенного количества усвоенных знаний (В.И. Звонников, М.Б. Челышкова, 2007). Тесты успешности используют стандартизированную форму оценки, они дают возможность сравнить уровень достижений у обучающегося в области предмета в целом, а также в его отдельных разделах с уровнями достижений каждого обучающегося в группе, а также со средним уровнем достижений в группе.

В.И. Кузнецова выделяет две группы тестологических компетенции? (В.И.Кузнецова, 2011):

1) организационно-управленческие тестологические компетенции; они отражают способности преподавателя к постановке целеи? тестирования, а также к определению времени, необходимого для выполнения теста (задания теста);

2) аналитико-конструктивные тестологические компетенции; они отражают способности преподавателя к составлению тестовых материалов, их корректировке и анализу результатов.

Главная проблема при формировании тестологической компетенции преподавателя - это усвоение правильного речевого и неречевого поведения во время тестирования (И.Ю. Павловская,2017). Так как неправильное поведение тестора может дезориентировать испытуемого , что приведет к неполной реализации возможностей тестируемого и появления ошибок в его речи.

Другая проблема касается повышение качества образования. Для того, чтобы решить эту проблему, нужна профессиограмма преподавателя, в которой будут прописаны основные функции преподавателя и требования к его знаниям, умениям, навыкам, а также личностным качествам, которые необходимы для осуществления его профессиональной деятельности.

Зарубежная методика преподавания содержит огромное количество экзаменов, определяющих уровень методической подготовки преподавателя. Все они проводятся в тестовой форме. Часть из них является заключительным этапом обучения и подразумевает итоговый контроль, который сдается после прохождения специального курса обучения. Данные квалификационные экзамены называются CELTA (Certificate in English Language Teaching to Adults) и DELTA (Diploma in English Language Teaching to Adults) (https://www.britishcouncil.org, 2018). Кандидаты, успешно окончившие специальный курс обучения, предполагающий посещение занятий и постоянный текущий контроль получают допуск к этим экзаменам. В данный курс также входит педагогическая практика, написание курсовой работы и оформление портфолио. Экзамен DELTA предъявляет более строгие требования к кандидатам нежели экзамен CELTA и является экзаменом по завершении курса повышения квалификации. Более того, для зачисления и прохождения курса подготовки к DELTA, кандидат должен находится в статусе практикующего учителя и иметь сертификат CELTA.

Современная языковая стратегия россии?ского образования находится на стадии разработки новых систем тестирования. В проекте Европеи?ского Союза ТЕМПУС ПРОСЕТ IV (“Promoting Sustainable Excellence in Testing and Assessment of English”), который ориентирован на профессиональную подготовку/переподготовку преподавателей по иностранному языку с помощью использования международных тестов, приняли участие 11 Российских вузов (https://www.britishcouncil.org, 2018). Также в связи с переходом на новые стандарты образования, которые ориентированы на компетентностныи? подход, подготовку будущих преподавателей иностранного языка, необходимо осуществлять также учитывая положения Болонскои? Декларации и, следовательно, ориентируясь на формирование тестологическои? компетенции преподавателя иностранного языка.

Кроме того, российские ученые занимаются разработкой проекта, который называется TEELT. Его цель-это разработка стандартизированного теста по иностранному языку для будущих преподавателей английского языка (А. А. Коренев, 2017).

1.3 Профессиограмма преподавателя английского языка

В нашей работе мы будем опираться на профессиограмму учителя школы, так как профессиограммы преподавателя высшей школы не существует.

Профессиограмма учителя общеобразовательной школы является документом, который устанавливает основные функции педагогической деятельности преподавателя, а также содержит требования к его навыкам, знаниям, умениям и личностным качествам, которые требуются для их осуществления (С.Ф. Шатилов, К.И. Соломатов, Е.С. Рабуновский, 1985).

Именно профессиограмма преподавателя является важным звеном для повышения качества образования.



1.4 Характеристика педагогических функций и методических умений преподавателя

преподаватель английский чтение говорение

В профессиональной деятельности преподавателю вне зависимости от его направленности, то есть преподаваемого предмета, характерны такие функции как:

· воспитывающая;

· развивающая;

· гностическая;

· коммуникативная;

· конструктивно-планирующая;

· организаторская.

В связи с тем, что основная цель обучения иностранному языку в школе - это овладение обучающимся иностранным языком, следовательно коммуникативно-обучающая функция преподавателя иностранного языка является главной и определяющей содержание других функций.

Соотношение функций представлено на рисунке 1.



Рис.1.Соотношение функций профессиональной деятельности учителя/преподавателя иностранного языка

Учителю/преподавателю необходимо обладать достаточным объемом знаний, а также соответствующей данным функциям, системе методических и педагогических умений.

В профессиограмме обозначены наиболее важные умения, которое приобретаются с помощью самообразования и совершенствования личного педагогического опыта. Необходимо также постоянно повышать свой педагогический уровень при помощи пополнения своих знаний и применения их в своей работе.

В.А. Сластенин, Н.В. Кузьмина и А.И. Щербаков разделяют функции преподавателя на две группы: операционно-структурные функции и целеполагающие (В.А. Сластенин, Н.В. Кузьмина, А.И. Щербаков, 1989).

Целеполагающие функции.

Ученые, которые исследуют функциональную структуру педагогической деятельности учителя говорят об основной роли коммуникативно-обучающей функции.

Компоненты этой функции: мотивационно-стимулирующий,

информационно-ориентирующий и контрольно-коррегирующий.

Информационно-ориентирующий компонент коммуникативно-обучающей функции означает умение преподавателя:

а) осведомлять обучающихся касательно взаимосвязи между языком и культурой страны изучаемого языка, также как и об особенностях проявления национальной специфики этой страны;

б) осведомлять учащихся касательно сходства и различия культур родной и чужой страны.

Мотивационно-стимулирующий компонент коммуникативно-обучающей функции означает умение преподавателя прививать обучающимся потребность применять иностранный язык в случаях межкультурной коммуникации с помощью:

а) применения в процессе изучения языка стихов, песен, видеоматериалов и др.;

б) использования активных форм обучения, таких как коммуникативные игры с социокультурной направленностью, способствующие наиболее эффективному усвоению особенностей иностранного языка и культуры;

в) привлечения обучающихся к дополнительной работе связанной с иностранным языком (мастер-классы, смс-общение с иностранцами и др.) для повышения интереса и мотивации к изучению иностранного языка, а также реализации образовательных и коммуникативных задач.

Контрольно-коррегирующий компонент означает умение преподавателя:

а) планировать и проводить текущий, промежуточный и итоговый контроль речевых навыков учащихся, с целью выявления степени владением иностранным языком;

б) объективно оценивать коммуникативные навыки обучающихся.

Развивающая функция подразумевает умение учителя формировать и развивать интеллектуальную и эмоциональную сторону личности учащихся, также как и их познавательные способности, учитывая их возможности и специфику процесса обучения иностранному языку, а также умение учащихся работать без помощи преподавателя. Развивающая функция осуществляется преподавателем вместе с коммуникативно-воспитывающей и коммуникативно-обучающей функциями.

Воспитывающая функция формируется в процессе учебы вместе с нравственным и этическим воспитанием учащихся при помощи средств иностранного языка с учетом экстралингвистической и страноведческой информации.

Воспитывающая и развивающая функции реализуются с помощью таких умений как:

а) умение приобщать учащихся к самостоятельному изучению чужой культуры при помощи литературы, лингвострановедческих словарей, интернета и пр.;

б) умение использовать в учебном процессе подлинные материалы которые развивают память, расширяют кругозор, воображение у учащихся, формируют умения анализировать и выявлять сходства и различия в родной и чужой культурах;

в) умение воспитывать учащихся уважение к народу изучаемого языка и его социокультурным ценностям;

г) прививать учащимся глубокое уважение и патриотизм к родной стране.

Операционно-структурные функции

Также, учитывая определенные этапы решения педагогических задач в деятельности преподавателя иностранного языка, выделяют такие операционно-структурные функции, как (С.Ф.Шатилов,1985):

- гностическая;

- конструктивно-планирующая;

- организаторская.

Для успешного осуществления гностической функции необходимо точно понимать цели обучения иностранному языку, знание особенностей речевой деятельности учащихся, а также причины трудностей усвоения ими учебного материала. Гностические умения дают возможность осуществлять другие структурно-операционные функции с творческим подходом.

Гностическая функция базируется на следующих умениях:

а) анализировать и использовать учебный материал с точки зрения содержания в них сведений о культуре страны изучаемого языка;

в) анализировать национально-культурные особенности и определять наиболее трудные для усвоения факты и явления действительности.

Конструктивно-планирующая функция подразумевает планирование, составление учебного материала, отдельных уроков, продумывание коммуникативной деятельности учителя/преподавателя и учащихся при учете условий обучения в группе с определенным уровнем знания языка.

Выделяют следующие методические указания, которые обеспечивают конструктивно-планирующую функцию:

а) необходимо тщательно отбирать материалы, учитывая возраст и интерес учащихся, а также распределять эти материалы по соответствующим уровням обучения;

б) использовать самые инновационные и эффективные способы ознакомления учащихся с культурой страны изучаемого языка;

в) использовать всевозможные наглядные и раздаточные материалы.

Организационная функция подразумевает умение преподавателя правильно организовывать свою деятельность и деятельность учащихся, для того, чтобы они наиболее эффективно усваивали иноязычную культуру.

Сформулированные выше профессиональные умения являются обязательными для высококвалифицированных преподавателей.



1.5 Характеристика профессиональных и личностных качеств преподавателя

Нравственная и эстетическая воспитанность, а также профессиональная компетентность являются неотъемлемыми качествами преподавателя иностранного языка.

В.А. Крутецкий считает, что на профессионально-значимые качества личности педагога влияют (В.А. Крутецкий,1980):

1. Педагогические способности и профессиональные знания;

2. Желание развиваться в сфере педагогики;

3. Мировоззрение личности.

Т.И. Руднева (Руднев Т.И.,1996) выделяет следующие структурные компоненты профессиограммы учителя (Схема 2):

Рис. 2. Структурные компоненты профессиограммы учителя/преподавателя

1. Педагогическая направленность (в связи с чем выбрана профессия “педагог”).

2. Научные знания в области специального и смежных предметов влияют на мотивы выбора профессии “педагог”.

3. Педагогические способности проявляются во время педагогической практики и показывают/не показывают степень их сформированности.

4. Педагогические способности связаны с характерными особенностями преподавателя.

С. Ф. Шатилов приводит следующую классификацию качеств преподавателя (С. Ф. Шатилов, 1985):

Первая группа качеств показывает отношение к работе;

Вторая - активность в профессиональной деятельности;

Третья - коммуникативность учителя/преподавателя.

Выводы к первой главе

Приведенные классификации показывают соотношение педагогической деятельности преподавателя с его умениями. Основные компетенции педагогической деятельности преподавателя:

-академические;

-мобилизационные;

-организационные;

-коммуникативные;

-гностические;

-прикладные;

-педагогическое мышление;

-речевые.

Данные профессиональные умения входят в содержание профессиограммы учителя. Профессиограмма помогает сравнить имеющиеся у учителя/преподавателя знания с теми, которые соответствуют идеальной модели. Это способствует саморазвитию и позволяет проектировать личностный и профессиональный рост педагога.



Глава 2. Оценка тестологической компетентности преподавателя английского языка (Assessment Literacy). Параметры тестологической грамотности (компетентности)

В связи с распространением дистанционных форм обучения, а также стремлением преподавателей повысить свой уровень объективности оценки знаний учащихся, большинство из них стало использовать тестирование в своей профессиональной деятельности.

Вместе с тем, в настоящее время сфера разработки и использования тестовых материалов нуждается в грамотно обученных специалистах, так как неверная интерпретация результатов тестирования влияет на объективность полученной информации и приводит к негативному отношению к тестированию в целом.

По мнению И. В. Звониикова, именно преподаватель должен заниматься разработкой теста (И. В. Звонников, 2007). Он может более верно определить необходимый уровень трудности заданий теста, знает какие ошибки допускают учащиеся (дистракторы составляются на их основе). Тем не менее, согласно исследованиям, значительная часть преподавателей нуждается в специальной подготовке в области тестологии.

Рассуждая о проблемах подготовки преподавателя к использованию тестирования, необходимо сформулировать определение понятия «тестологическая компетентность».

Согласно определению Кузнецовой В.И., тестологическая компетентность - это совокупность организационно-управленческих и аналитико-конструктивных тестологических компетенций, доведенная до автоматизма, личностное отношение к ним и к результату деятельности, связанной с использованием тестов (И. В. Кузнецова, 2010).

Организационно-управленческие тестологические компетенции характеризуют способности преподавателя к проведению тестирования, определению времени необходимого для выполнения тестового задания, а также всего теста в целом, правильной оценки и интерпретации результатов.

Аналитико-конструктивные тестологические компетенции характеризуют способности преподавателя к воспроизведению теоретических знаний по тестологии, а также способности к анализу, моделированию и оценке тестов.

2.1 Разработка тестов

Из-за отсутствия качественно составленных тестов преподаватели не всегда используют готовые тесты в своей профессиональной деятельности, поэтому преподавателю необходимо самостоятельно разрабатывать те или иные тесты и, соответственно, знать методику их составления.

Разработка теста - это цикл, состоящий из нескольких фаз. При разработке теста прежде всего необходимо понимать: цель теста, навыки, которые необходимо проверить, время отведенное на тест и методы тестирования. После этого идет этап планирования: преподаватели составляют тесты с учетом уровня владения языка той или иной группы, профиля группы и пр. Далее составляются образцы. На этапе разработки собираются отзывы всех участников. Иногда это приводит к изменениям и/или редизайну теста, все материалы пересматриваются на предмет соответствия первоначальной цели.

При разработке теста необходимо необходимо учитывать следующие критерии отбора содержания тестового материала (В.С. Аванесов, 2002):

1) Значимость: в содержание тестового задания должны быть включены наиболее важные знания;

2) Научная достоверность подразумевает наличие в тестовых заданиях объективно истинных научных знаний;

3) Репрезентативность: тест должен быть ориентирован на проверку содержательно важных элементов, чтобы по результатам теста можно было судить об усвоении учащимся программы или ее части;

4) Возрастающая трудность учебного материала: при разработке теста более легкие задания помещают в начало, далее идут более сложные тестовые задания;

5) Вариативность содержания: тест может изменяться в зависимости от достижений науки;

6) Комплексность и сбалансированность содержания теста: содержание тестовых заданий требует учитывания всех разделов учебной дисциплины. К примеру, итоговый тест должен содержать задания, отображающий все темы учебного года, а не состоять из материалов одной темы;

7) Соответствие цели: цель проверки должна влиять на содержание теста.

При отборе содержания должна использоваться специальная методика, которая включает вопросы целеполагания, планирования и оценки качества содержания теста (И. Ю. Павловская, Н. И. Башмакова, 2007).

Самый важный этап - это целеполагание, так как от него зависит качество содержания теста. На данном этапе преподавателю необходимо решить, какие именно результаты он хочет оценить у учеников с помощью теста. Иногда ошибки, касающиеся содержания теста, происходят из-за недоработок преподавателя на этапе целеполагания. Иногда преподаватель и так уверенный в своем опыте пропускает этап целеполагания. Тем не менее правильная постановка целей контроля и их четкое отображение в заданиях не всегда зависит от опыта преподавателя.

Одной из задач во время составления теста является отображение того, что в окончательном счете должны знать учащиеся после прохождения обучения, для этого необходимо структурировать цели (http://www.teachingenglish.org.uk, 2018). Далее необходимо составить план и спецификацию теста. Во время составления плана определяются разделы теста и их соотношение, необходимое количество заданий для каждого раздела, учитывается важность раздела и количество учебных часов в программе отведенных на его изучение. Также обязательно просчитывается число заданий в тесте, в процессе работы над тестом оно может меняться. Как правило, максимальное количество заданий в тесте - 50- 70, а время на его выполнение около 1,5 ч., в среднем на выполнение одного задания отводится 1-2 мин.

После планирования содержания, разрабатывается спецификация теста, в ней отображается структура теста, процентное соотношение заданий в тесте,а также содержание проверки. Затем создаются предтестовые задания. Эту работу выполняют самые опытные преподаватели с большим стажем работы в учебном заведении и имеющие специальные знания методики разработки педагогических тестов.

В.С. Аванесов выделяет 3 главных критерия содержания тестового задания (С.В. Аванесов, 2002):

1) определенность;

2) непротиворечивость;

3) обоснованность.

1. Необходимо чтобы все задания в тесте проверяли знания по одному предмету. Зачастую, чтобы ответить правильно на вопросы нужны знания другого предмета или даже нескольких предметов.

2. Отсутствие противоречий в тексте. Если в задании необходимо отметить один правильный ответ, то, следовательно, ответов не может быть несколько. Бывают ситуации, когда присутствуют ответы, не связанные по смыслу с заданием. Данный пример говорит о непоследовательности мышления. Ответы также должны быть связаны с заданием по смыслу, в противном случае тест считается неэффективным. После этого тест проходит апробацию. Если во время апробации выясняется, что какие-то ответы никогда не выбираются испытуемыми, то эти ответы удаляются из теста, чтобы не снижать точность измерений. Что касается неправильных ответов, они должны выполнять функцию дистракторов, то есть отвлекать испытуемых от верного ответа. Если какой-либо ответ испытуемый никогда не выбирает, то задание соответствующее ему удаляется.

3. Обоснованность содержания заданий теста подразумевает наличие у них аргументов подтверждающих формулировку тестового задания. Если данные аргументы отсутствуют, или являются двусмысленными, то задание удаляется из теста.

Одинаковые инструкции для всех испытуемых, одинаковая система оценки результатов тестирования и автоматизированный подсчет баллов - все эти факторы способствуют объективности оценки теста.

IELTS (International English Language Testing System) и TOEFL (Test of English as a Foreign Language) - примеры международных высококачественные тестов, обеспечивающих надежный результат.

2.2 Оценка навыков чтения, письма, аудирования, говорения а также навыков общего владения языком

Грамотный преподаватель должен быть всегда объективен в своем оценивании компетенций и знаний учащегося, но для этого в рамках тестологической компетенции ему самому необходимо владеть навыками оценки таких разделов теста, как чтение, аудирование, письмо и говорение. Рассмотрим детально каждый из навыков.

Оценка чтения

Часто говорят, что сейчас люди не так много читают. Но на самом деле это не так. Независимо от того, что мы читаем, используются одни и те же основные процессы для создания смысла: распознавание отдельных слов и использование понимание грамматики языка для построения и проверки смысла текста; чем больше человек читает, тем больше понимает. В конце концов, достигается почти полное понимания текста. Когда речь идет о длинном тексте, он также читается по-разному, в зависимости от цели чтения. Можно читать быстро, чтобы получить общее представление о теме, или найти конкретные данные. Альтернативно, можно читать очень тщательно для того чтобы получить абсолютное понимание темы.

При разработке теста на понимание прочитанного, необходимо делать тесты актуальными насколько это возможно. (V.Berry, 2014). Например, если нужно проверить, могут ли студенты прочитать автобусное расписание, чтобы найти подходящее время для поездки куда-то, для этого надо дать им задание, которое требует, чтобы они сделали именно это. Тесты на чтение всегда должны быть аутентичными, насколько это возможно, для того, чтобы соответствовать цели, для которой они предназначены (www.ealta.eu.org/resources,2018). Тесты могут быть проведены при помощи бумажных методов, или же компьютерных технологий. В любом случае, хорошие тесты на проверку чтения состоят из эффективного и подходящего сочетания текстов и упражнений (V.Berry, 2014).

Прежде всего, эти тексты должны быть на должном уровне сложности, и большого объема, чтобы содержать достаточно конкретные детали. Тестируемые должны получить информацию из текста, чтобы ответить на вопросы, а не быть в состоянии сделать это на основе их фоновых знаний. Также важно, чтобы текст не был культурно предвзятым (http://www.cal.org, 2018). В тестах на проверку навыков чтения используется множество различных заданий. Тестируемые могут прочитать текст, а затем получить ряд вопросов, где им предложено выбрать правильный ответ из нескольких вариантов, или возможно, им придется выбрать предложение, которое наилучшим образом резюмирует различные абзацы в тексте.

Иногда испытуемых просят заполнить текст, в котором были пропущены слова. Иногда их могут попросить дать краткие письменные ответы на вопросы. Студенты должны понимать информацию, представленную в графической форме, и реагировать путем маркировки диаграммы или заполнения таблицы (http://www.teachingenglish.org.uk, 2018).

Оценка навыков письма

В то время как многие люди пишут каждый день, для других людей это далекая память о школьных днях. Опять же, это зависит от того, что подразумевается под письмом. Это правда, что в современном мире люди не пишут много писем, но существуют электронные письма, тексты и сообщения в социальных сетях. Возможно, форма того, что мы пишем, меняется. Но большинство людей до сих пор пишут довольно много. При написании в мозгу происходит огромное количество процессов. Необходимо думать о теме и о том, каким образом изложить свои мысли на бумаге, об аудитории, которая будет читать сочинение. Между тем, формируется структура текста, так же, как используется соответствующий словарный запас и, конечно, автор ставит его в грамматически адекватной форме, так чтобы читатель смог понять, что именно до него хотят донести (И.Ю. Павловская 2017).

Когда приходится оценивать чью-то способность писать, необходимо попросить человека что-то написать на определенную тему. Должна быть определенная цель данной письменной работы, что нужно понять на основе данной работы, принимая во внимание информацию об испытуемой аудитории (И.Ю. Павловская 2017). Нет смысла просить подростков писать деловое письмо. Также нужно подумать об объеме письма (гораздо легче написать короткую заметку, чем длинное эссе) и об аудитории, потому что, к примеру, чтобы написать другу, используется совершенно другой язык, чем при написании боссу.

Далее необходимо проверить работу испытуемого. В крупномасштабных тестах это делают специально обученные люди. В небольших классных тестах это обычно делают учителя/преподаватели.

Оценка навыков аудирования

Многие люди путают разницу между "слушать" и "слышать". Слух- -одно из традиционных 5 чувств - способность различать звуки. Не имеет значения, понимаем мы звуки или нет. Но другое дело понимать, что именно мы услышали. Сначала мозг решает, являются ли звуки, достигающие наших ушей, звуками языка, затем сопоставляет звук, который человек слышит со словами, которые он уже знает. Затем слова группируются во фразы, что помогает прояснить в сознании, что является темой того, что слышит человек. Наконец, происходит связь между тем, что думаешь, и тем что только что услышал с уже существующим знанием темы, основанным на знании мира того или иного субъекта. Таким образом, развивается понимание общей идеи. Существует множество различных заданий. Иногда тестируемых просят выбрать одно слово из нескольких, которые звучат одинаково, или распознать правильное с точки зрения грамматики время (И. Ю. Павловская, 2017). Данный вид заданий может быть выполнен по-разному. Например, тестируемые могут слушать как кто-то читает что-то вслух "в прямом эфире", или они могут слушать аудиозапись через колонки или наушники. Другой вариант, слушать смоделированную "живую" дискуссию и отвечать на вопросы через компьютер. Испытуемого могут попросить ответить на вопросы, выбирая лучший ответ из предложенных, либо же написав краткий или развернутый ответ.

Если задачи прослушивания требуют письменных ответов, мы должны решить, будет ли грамматика, правописание или ошибки пунктуации включены в оценивание. Данный навык является наиболее сложным, но также и одновременно важным для тестирования.

Оценка навыков говорения

Большинство людей говорят каждый день - с друзьями, коллегам по работе, или дома. Когда человек говорит, его мозг занимается целым спектром деятельности, от поиска слов до сведения их воедино значимым образом. Так как мы говорим с разными людьми по разным причинам и в разных условиях, следовательно, разговор можно рассматривать как многомерный. Поскольку оценка должна отражать реальное знание языка, тест говорения должен быть максимально приближен к интересующему нас контексту, насколько это возможно, поэтому, если необходимо проверить способность испытуемого спрашивать и следовать указаниям, нужно использовать определенный текст (Е.В. Заруцкая, 2017).

Существует множество различных подходов к оценке речи. Наиболее часто используемые форматы: интервью, которое может иметь одного тестируемого и одного или нескольких экзаменаторов; устная презентация с одним тестируемым, выступающим перед реальной или воображаемой аудиторией.

Есть множество различных методов, которые используются в тестах говорения (Е.В. Заруцкая, 2017). К примеру, описать что - то, это может быть картинка, место, человек или даже действие; рассказать историю - это может быть основано на одной картине, на серии фотографий или это может быть просто придумано; сравнить вещи-это могут быть реальные предметы, фотографии или произведения искусства, или даже абстрактные понятия; предоставление некоторой личной информации-это может включать разговор о вашей семье, хобби, родном городе.

Тест может проводиться в разных условиях. Это может быть живое общение перед одним или несколькими экспертами. Либо тестируемый также может разговаривать по телефону с экспертом или с записывающим устройством. Еще один вариант для тестируемого общаться с экзаменатором с помощью компьютера или планшета. Во всех этих ситуациях экзаменаторы присуждают оценку, которая основана на том, что они наблюдали.

Оценка общего уровня владения языком

Существует мнение, что языковые тесты проверяют общее знание языка, но что именно имеется в виду под термином "общее владение языком"? Прежде чем начинать процесс тестирования общего уровня владения языком, нужно понять, что именно подразумевается под этим термином. Так как тест, который мы разрабатываем, будет выглядеть совершенно по-разному в зависимости от нашей точки зрения. Есть, по крайней мере, три совершенно разных способа описать общее владение языком (И.Л. Колесникова, 2017). Один из способов - это описать общие языковые компетенции, такие как умение читать, писать, слышать и говорить в реальных ситуациях. Чтобы проверить это, обычно разрабатывается тест для каждого навыка с вопросами, которые предназначены для подражания реальной жизни. Следовательно, эти тесты довольно длинные и сложные, так как тестируется каждый навык. Другой способ проверить навыки, которые будут интегрировать друг с другом. Например, задание, где, люди беседуют друг с другом, в ходе беседы испытуемый должен понять, о чем ему говорят, и сравнить это с тем, что он прочитал, а затем ответить на вопросы.

Итак, есть три навыка, которые влияют на реакции человека - аудирование, чтение и речь. При таком подходе тест будет состоять из серии задач, в которых тестируемые должны показать, что они способны справляться с ситуациями, когда разные навыки взаимодействуют друг с другом-к примеру, прослушать радио-шоу, а затем говорить об этом. В ходе такого задания проблемой для понимания является способность говорить или слышать, что говорят. (https://www.coe.int, 2018).

2.3 Валидность теста и статистический анализ тестовых данных

Люди часто говорят о том, что тест является "хорошим” или “плохим”, или он "подходит для определенных целей". В свою очередь разработчики тестов часто утверждают, что их тест является валидным. Но что на самом деле означает термин «валидность»?

Еще до зарождения индустрии тестов в начале XX века люди начинали задумываться о качестве тестов, и к 1950-м годам зародилась современная концепция валидности (И.Ю. Павловская, 2017). В то время считалось, что требуется любое из трех видов доказательств. Это были конструкция теста, содержание (что содержал тест) и показатель (результат теста по сравнению с другими показателями того же навыка, например, из другого теста). Заинтересованные стороны проверки валидности теста-это сами тестируемые, родители, учителя и другие.

Также существует такое понятие как надежность теста. Надежность обычно сообщается по шкале от 0 до 1 (И.Ю. Павловская, 2017). Важно понимать, что оценка надежности не говорит о том, что тест является валидным. Это говорит о том, что вопросы в тесте расположены в нужной последовательности и дают стабильный результат.

Когда-то считалось, что разработчики тестов должны достичь баланса между надежностью и валидностью. В наши дни надежность считается одним из аспектов валидности. Важно понимать, что тест может быть валидным для принятия конкретных решений о конкретных тестируемых в конкретных ситуациях. Таким образом, хотя тест может быть годен для использования в одной ситуации, это не обязательно означает, что он может быть использован в других ситуациях.

К сожалению, стоимость сбора и представления доказательств валидности теста высока, поэтому для многих разработчиков тестов, концепция валидности остается скорее стремлением, чем реальностью.

Статистический анализ тестовых данных

В языковом тестировании используются первичные описательные статистики, то есть отражение множества результатов измерения в одном числе. Сюда относятся такие понятия как мода, медиана, средняя (И.Ю. Павловская, 2017).

Модой является то количество баллов, которое встречается у испытуемых наиболее часто. Ее необходимо определять, когда тест кажется слишком легким, либо наоборот слишком тяжелым, и в случае, если испытуемые обладают разным уровнем знаний. Если в выборке обнаруживается две или более мод, это говорит о неоднородности испытуемых (разный уровень знаний испытуемых возраст и пр).

Медиана является средним членом упорядоченного ряда. Она необходима для адекватности оценки теста, чтобы исключить появление «случайного» балла. Для ее вычисления необходимо выстроить все баллы в одном порядке (возрастания/убывания) и затем найти среднее значение.

В настоящее время современные тестологи разрабатывают новейшие методики результатов тестирования с помощью статистического анализа. К примеру, метод Георга Раша является наиболее популярным у ассоциации лингвистов-тестологов Европы (И.Ю. Павловская, 2017).

По нашему мнению квалифицированный педагог для правильной интерпретации данных должен обладать базовыми данными статистики.

2.4 Совершенствование навыков и умений преподавателя английского языка

В настоящее время все большее количество задач возлагается на преподавателя. Одна из них - это совершенствование профессиональных навыков и умении?, а также систематическии? контроль знании?. В этом плане, такие экзамены как ГИА и ЕГЭ являются преимуществом в плане подготовки учащихся к международным стандартам (И. Л. Колесникова, 2017).

С точки зрения иностранного языка, тестологическая компетенция предполагает комплекс профессионально-значимых знании?, способностеи?, а также личностных качеств, позволяющих преподавателю организовывать тестирование учащихся и готовить их к его успешной сдаче.

Тестологическая компетентность преподавателя является частью профессиональной компетентноcти и, соответственно, влияет на общий уровень его профессионализма.

По мнению Махмурян К.С., профессиональная компетенция - это единство содержательного и структурного компонентов, совокупность знании?, навыков и способностеи?, которые реализуются через такие функции как психолого-педагогическая, методическая, коммуникативная, филологическая, общекультурная и информационная, а также социальную и управленческую компетенции (К.С. Махмурян, 2006).

В настоящее время большое количество центров ориентированных на профессиональное развитие занимаются вопросами оценки тестологической компетенции преподавателей. Что это, лишь модное направление или тестологическая грамотность действительно представляет интерес с точки зрения профессионального развития? Безусловно, оценка грамотности является одним из главных условий для современного квалифицированного педагога. Следовательно повышение квалификации преподавателей в данной сфере должно быть одним из ключевых направлений развития.

Профессиональная компетенция также включает знания требований, формате, нормах международных экзаменов (http:www.cambridge.org.uk, 2018). В начальном, среднем и профессиональном образовании тестирование сейчас также популярно в связи с его востребованностью на рынке образовательных услуг и со стремлением преподавателей профессиональному . Современныи? преподаватель должен быть вовлечен в процесс прохождения тестирования и обладать набором компетенциеи?, которые дадут ему возможность осуществлять контроль языковых и речевых умении? учащихся (В.И.Звонников, А.А. Малыгин, М.Б. Челышкова, 2014).

Л. Крокер и Дж. Алгина считают, что в современнои? системе образования преподаватель должен владеть теоретическими основами тестирования, а также тестирование обязательно должно входить в учебный процесс (Л. Крокер, 2010).

На сегодняшний день международный тест для преподавателей Теaching Knowledge Test (TKT), который определяет уровень методических знаний и навыков преподавателей, является весьма популярным. Сертификат, выдающийся по результатам его прохождения универсален и его признают учебные заведения практически всех стран мира.

Экзамен состоит из трех модулей, не зависящих друг от друга. Первый модуль рассматривает методику преподавания языка; он включает в себя вопросы по языковым навыкам языка, а также основы теории его преподавания.

Второй модуль посвящен отбору и использованию необходимых к уроку материалов, а также планированию и подготовке урока.

Третий модуль акцентирует внимание на ходе урока, на навыках организации урока в соответствии с уровнем обучающихся, т. е. на проверке знаний преподавателя в сфере управления учащимися в ходе урока (classroom management).

Каждый модуль состоит из 80 заданий с вариантами ответов, на которые необходимо ответить за один час двадцать минут. Его можно сдавать отдельно и неоднократное количество раз. Результаты тестирования автоматически обрабатываются компьютером. Типы задании? составлены по типологии задании? пособия.

В экзамене используются оригинальные или адаптированные тексты из разных источников:

книги по преподаванию англии?ского языка;

журналы по методике преподавания англии?ского языка;

грамматические справочники и словари.

Оценка результатов делается по каждому модулю отдельно. За каждый модуль тестируемый получает отдельныи? сертификат. Существует 4 уровня оценки результатов:

1 уровень (E) - ограниченные знания;

2 уровень (F) - базовые систематических знания;

3 уровень (G) - хорошие знания;

4 уровень (H) -обширные познания.

К примеру, для получения оценки G, необходимо правильно ответить на половину вопросов теста.

Успешное прохождение экзамена говорит о профессиональном росте, является официальным подтверждением профессионализма преподавателя.

Естественно, что преподаватели часто избегают темы, в которой, они не имеют соответствующей подготовки. Цель нашего исследования, описанного ниже, выявление тех отраслей знаний, в которых современному преподавателю необходима дополнительная подготовка. Для этого нами был создан опросник, который выявляет потребности преподавателя в том или ином направлении тестирования.



2.5 Эксперимент (анкетирование) на определение тестологической компетентности преподавателя

В рамках СПБГУ мы провели исследование по вопросам оценки тестологической грамотности преподавателя в области английского языка. Цель исследования заключалась в том, чтобы получить представление о тестологической компетенции преподавателя, а также о тех или иных потребностях в профессиональном развитии в данной области. На основании проведенного исследования были сформированы выводы о компетенции преподавателя в области языкового тестирования, а также определены отрасли, которые необходимы преподавателям для их профессионального развития. В данном разделе будет представлено экспериментальное исследование, также будет проиллюстрирован принятый методологический подход и представлены результаты исследования, а в конце сделаны выводы.

Методика эксперимента

Для реализации данной цели была составлена анкета-опросник состоящая из четырнадцати вопросов (См. Приложение 1). Респондентам было предложено представить информацию о предметной области, в которой они используют тестирование. Это делалось для того, чтобы понять, насколько распространены ответы и насколько сильно они взвешены с точки зрения опыта преподавания какой-либо конкретной отрасли . Кроме того, респондентам было предложено указать посещали ли они те или иные курсы языкового тестирования и оценки, или это не имеет отношения к их работе.

В период с апреля по май 2018 года анкета была распространена в электронном и бумажном виде. Данный способ распространения был выбран в целях максимального увеличения числа ответов с учетом относительно короткого времени, имеющегося для сбора данных.

В опросе приняли участие преподаватели СПБГУ. Ориентировочное время для заполнения анкеты составило 2-3 минуты. Как мы уже говорили ранее, основной целью этого исследования было уточнение содержания тестологической компетентности современного преподавателя. Вторичная цель - это выявить в каких отраслях преподавателям требуется дополнительная подготовка.

Всего в опросе приняло участие 19 респондентов. Возраст респондентов составлял от 35 до 75 лет. В общей выборке обследованных 73,7% были те кто преподают тот или иной предмет на английском языке, 21% те кто преподают на русском и 5,3 % преподаватели другого иностранного языка (китайского), осуществляющие свою деятельность на английском языке (часть преподавателей с филологическим образованием, часть со специальным) .

...