Контроль качества работы экзаменаторов устной части лингводидактического теста по иностранному языку

Размещено на http://www.allbest.ru/

КОНТРОЛЬ КАЧЕСТВА РАБОТЫ ЭКЗАМЕНАТОРОВ УСТНОЙ ЧАСТИ ЛИНГВОДИДАКТИЧЕСКОГО ТЕСТА ПО ИНОСТРАННОМУ ЯЗЫКУ

Ланкина Ольга Юрьевна,

Пец Юлия Викторовна

Предметом данной статьи являются некоторые теоретические и практические вопросы контроля качества работы экзаменаторов-собеседников устной части лингводидактического теста по иностранному языку.

Критерии качества лингводидактических тестов разрабатываются следующими крупными международными организациями: Европейской ассоциацией экзаменационных советов по иностранным языкам (ALTE - Association of Language Testers in Europe), Европейской ассоциацией языкового тестирования и оценивания (EALTA - European Association for Language Testing and Assessment) и др. Обращает на себя внимание тот факт, что данные критерии формулируются в виде вопросов, как, например: «Прошел ли специальную подготовку персонал, проводящий тестирование?» или «Проводился ли мониторинг хода экзамена?» [5, c. 106]. Подобный подход к формулировке критериев может объясняться тем, что в разных организациях, проводящих тестирование, комплекс практических мероприятий, направленных на обеспечение качества теста, может быть разным, однако важно, чтобы проводимые мероприятия удовлетворяли основным требованиям критериев качества. Анализ критериев качества ALTE и EALTA позволяет сделать вывод, что под контролем качества лингводидактического теста подразумевается комплекс мер по соблюдению стандартизованной процедуры теста. Соответственно, под «контролем качества работы экзаменаторов-собеседников» авторы статьи предлагают понимать комплекс мер, реализующихся на регулярной основе и включающих в себя контроль выполнения экзаменаторами правил проведения устного собеседования, анализ результатов контроля, обеспечение обратной связи с экзаменаторами по результатам контроля, обобщение данных результатов контроля для дальнейшего их использования в целях развития теста [10; 11, р. 3].

Данный комплекс мер - сложный многофункциональный феномен, являющийся частью системы контроля качества теста в целом. Также его показатели могут использоваться для валидизации теста. Валидность теста - это его способность соответствовать поставленным задачам [4, с. 18], она характеризует пригодность тестовых материалов измерять то, для чего был создан тест [1, с. 196]. Валидность лингводидактических тестов усиливается за счет создания речевых ситуаций, приближенных к реальной жизни, при контроле устно-речевых навыков и умений [3, с. 376]. Данные речевые ситуации должны быть стандартизированы, что достигается путем использования «подготовленного в соответствии с обусловленными требованиями комплекса заданий, прошедшего предварительную апробацию с целью установления его показателей качества и позволяющего выявить у тестируемых степень их языковой и/или речевой (коммуникативной) компетенции» [2, с. 8]. Также стандартизация распространяется на поведение экзаменатора-собеседника.

Контроль за соблюдением необходимых правил и норм проведения субъективных категорий теста осуществляется в целях создания равных условий для получения тестируемыми максимально объективной оценки. Необходимость включения в систему контроля таких мероприятий, как тренинг экзаменаторов, стандартизационное собрание экзаменаторов и контроль качества их работы, отмечалась еще в середине 1990-х годов [6, р. 112-115, 128]. На работу экзаменатора устной части могут влиять различные факторы: недостаток времени, проблемы, сопряженные с профессиональной деятельностью, или проблемы личного характера. Поскольку даже опытные экзаменаторы могут быть подвержены влиянию вышеперечисленных факторов и, как следствие, не соблюдать правила ведения устного тестирования, то именно на инстанцию, проводящую тестирование, ложатся контролирующие функции.

Встает вопрос о том, что же подразумевается под «контролем качества» работы экзаменаторов и что, соответственно, должно стать предметом контроля. Прежде всего, это влияние экзаменатора, проводящего устное собеседование, на результаты ответа тестируемого [9, р. 132]. Данный вопрос в специальной литературе был поставлен достаточно недавно в связи с осознанием роли, которую играет экзаменатор устной части для создания речевой ситуации, способствующей демонстрации речевых навыков и умений тестируемого. Ранее от экзаменатора требовалось инициировать устное высказывание тестируемого в рамках тестового задания, однако данное представление о роли экзаменатора-собеседника изменилось вместе с развитием коммуникативного подхода в преподавании иностранных языков.

На современном этапе основной задачей экзаменатора-собеседника является поддержание речевого взаимодействия в «типичных ситуациях общения» [4, с 122], что позволяет тестируемому адекватно продемонстрировать степень сформированности его коммуникативной компетенции. Выполнение данной задачи неизбежно приводит к более активному участию экзаменатора-собеседника в обмене репликами во время устного собеседования, что может влиять на успешность выполнения тестируемым коммуникативной задачи. Исследователи считают, что существует зависимость между умением экзаменатора-собеседника адаптировать язык к уровню тестируемого и успешностью тестируемого на экзамене, а также зависимость между вербальной поддержкой, оказываемой экзаменатором-собеседником, и баллом тестируемого [8, р. 1]. Поддержка экзаменатора, выражающаяся в различного рода стратегиях, например, апелляция к личному опыту вместо обсуждения проблем абстрактно, использование развернутых вопросов или таких конструкций, как “Tell me about…” («Расскажите о…») с последующей детализацией содержания, может приводить к повышению балла [13, р. 49-50].

Т. Макнамара, ссылаясь на работы А. Браун, описывает наблюдения за работой экзаменаторов устной части, в результате которых он приходит к выводу, что тестируемые получают заведомо более высокий балл при собеседовании с одним экзаменатором, и их результаты ниже, когда роль собеседника выполняет другой экзаменатор. Причиной этого Т. Макнамара называет речевое поведение экзаменаторов и психологическую атмосферу комфортности, которую создают экзаменаторы в ходе устного тестирования. Исследователь рассматривает данную проблему с разных сторон и отмечает, что наличествуют случаи, когда экзаменаторсобеседник, четко артикулируя слова и замедляя темп речи, провоцирует эксперта, оценивающего устный ответ, строже отнестись к выбору оценки за ответ, так как эксперт считает, что экзаменатор-собеседник способствует упрощению задачи для тестируемого [Ibidem, p. 50]. Из вышеизложенного можно сделать вывод о том, что поведение экзаменатора-собеседника должно быть строго регламентировано.

Необходимо отметить, что осознание важности фактора воздействия экзаменатора-собеседника на успешность ответа тестируемого на устной части экзамена явилось одной из причин, которые привели к отказу от использования экзаменаторов устной части как активных собеседников в ряде экзаменационных систем [14, p. 41], а также к созданию форматов устного теста, в которых участие экзаменатора-собеседника ограничивается определенными репликами [9, p. 132].

Последнее направление представляется наиболее перспективным, так как оно позволяет сохранить коммуникативную составляющую речи тестируемых и одновременно регламентирует речевое взаимодействие экзаменатора-собеседника, предоставляя равные условия тестируемым. Необходимо понимать, что в данном случае возрастает роль всех составляющих контроля качества работы экзаменаторов-собеседников: отбора экзаменаторов-собеседников по определенным требованиям; тренинга экзаменаторов-собеседников; последующего начального периода работы начинающего экзаменатора-собеседника под руководством опытного экзаменатора-собеседника; неукоснительного соблюдения правил, которые должны быть хорошо известны экзаменаторам-собеседникам и находиться у них в доступности при каждом устном тестировании, например в виде инструкции или буклета с основными положениями, описывающими процедуру проведения устного тестирования. Соблюдение правил экзаменатором-собеседником осуществляется посредством мониторинга качества их работы в отношении стандартизованной процедуры. По результатам мониторинга производится обратная связь с экзаменатором-собеседником. Должна быть предусмотрена возможность своевременной передачи экзаменаторам-собеседникам информации процедурного характера, что может осуществляться как в рамках стандартизационных собраний, так и при инструктаже непосредственно перед устным тестированием.

Рассмотрим более подробно перечисленные выше составляющие контроля качества работы экзаменаторовсобеседников.

1.Отбор экзаменаторов-собеседников производится по определенным критериям, в число которых могут входить уровень образования, уровень владения иностранным языком, научно-педагогическая и другие квалификационные категории, стаж работы по профессии, наличие определенных личных качеств, необходимых для данной работы.

2.Тренинг экзаменаторов-собеседников направлен на подготовку квалифицированных экзаменаторов устной части. Можно рекомендовать включить в подготовку экзаменаторов устной части теоретический блок, в котором дается необходимая информация о формате и процедуре проведения устной части теста; о принципах работы и стратегиях речевого поведения экзаменатора-собеседника; разбираются типичные ошибки, возникающие в работе экзаменатора устной части, и тактические приемы проведения устного интервью. Стандартизация заключается в соблюдении формальной процедуры, что, безусловно, требует практического навыка в проведении устного интервью и необходимости включения в систему подготовки экзаменаторов практического блока. Практический блок состоит из серии занятий, на которых экзаменаторысобеседники получают возможность отработать навыки проведения устного интервью, используя в качестве тестируемых друг друга, а также тестируемых-волонтеров. При проведении практических занятий необходимо создавать экзаменационные условия, максимально приближенные к реальным. Очень важно уже на этапе тренинга проводить индивидуальную оценку и анализ работы участников тренинга и давать рекомендации по улучшению качества проведения устного собеседования.

3.Начальный период работы под руководством опытного экзаменатора-собеседника во время проведения тестирования является следующим важным этапом в системе мер, обеспечивающих максимально эффективное и быстрое вхождение экзаменатора-собеседника в систему, предоставляющую равные возможности для всех тестируемых и объективность их оценки. До начала проведения собеседования с тестируемыми каждый начинающий экзаменатор-собеседник должен пройти краткий инструктаж, целью которого является напомнить экзаменатору о ключевых моментах формализованной процедуры проведения устной части теста.

4.Инструкция или буклет. Очень важно, чтобы у каждого экзаменатора был пакет документов, содержащий указания и рекомендации, касающиеся как процедурных требований (например, временной регламент, последовательность предъявляемых тестовых материалов и т.д.), так и стратегий речевого поведения (например, побуждение тестируемого к выражению и обоснованию мнения по предложенной проблеме, подведению итогов дискуссии и т.д.). Таким образом, краткий предварительный инструктаж и ознакомление с инструкцией позволяют начинающему экзаменатору-собеседнику в случае необходимости восстановить имеющиеся пробелы в знаниях, организоваться и нацелиться на проведение собеседования с соблюдением всех процедурных требований.

5.Мониторинг является важным этапом в работе по улучшению качества проведения устного тестирования и заключается в анализе и оценке качества работы экзаменатора-собеседника по результатам тестирования. Опытные экзаменаторы, ответственные за проведение мониторинга, присутствуют на нескольких устных ответах или, в случае, если запись ответа ведется на диктофон, прослушивают выборочно несколько записей устного ответа и анализируют качество проведения собеседования по выделенным критериям. Критерии оценки можно разделить на следующие группы:

*критерии, связанные с соблюдением процедурных требований проведения устной части теста. К данной группе относятся требования к соблюдению формата и последовательности заданий, временного режима, а также выполнению правил, касающихся процедуры записи и речевого оформления устного ответа тестируемого;

*критерии владения экзаменатором-собеседником коммуникативными стратегиями. Данная группа критериев оценки качества проведения устной части определяет, насколько успешно экзаменатор проводит речевое взаимодействие с тестируемым. Поскольку именно эти критерии вызывают у начинающих экзаменаторов-собеседников наибольшие затруднения, рассмотрим их более подробно.

Экзаменатору необходимо, с одной стороны, организовать общение, приближенное к ситуации реального общения, а с другой стороны, - получить образец речи тестируемого, который будет достаточным для осуществления объективной оценки по заданным критериям. В этой связи для получения достоверного образца речевой деятельности тестируемого экзаменатору необходимо:

-создать условия, гарантирующие эмоциональный комфорт и коммуникативное раскрепощение тестируемого (проведение разминки перед началом тестирования, доброжелательное и уважительное отношение к тестируемому, осуществление коммуникативной поддержки и эмпатическое слушание);

-последовательно проводить коммуникативное взаимодействие с тестируемым, ситуативно оперируя заранее прописанными репликами с карточки экзаменатора-собеседника и исходя из логики развития диалога;

-активно выстраивать коммуникативное взаимодействие на основе заданной стратегии при полном отказе от коммуникативного доминирования;

-в случае необходимости стимулировать тестируемого к высказыванию и аргументированному обоснованию своего мнения, запросу точки зрения собеседника, выражению согласия или несогласия с мнением собеседника по обсуждаемому вопросу, подведению итога беседы или формулированию заключительного утверждения.

6.Обратная связь с экзаменатором-собеседником ? следующий этап в системе подготовки экзаменатора, целью которого является корректировка выявленных недочетов. По итогам мониторинга экзаменаторы устной части могут быть приглашены на устное собеседование или получить индивидуальные электронные письма, в которых дается отзыв на их работу и может содержаться перечень допущенных ими в процессе устного тестирования недочетов и рекомендации по их исправлению. В случае допущения серьёзных ошибок, которые могут повлиять на объективность оценки речевой деятельности тестируемого и нарушить принцип создания равных условий для тестируемых, необходимо провести дополнительный тренинг с подробным разбором допущенных ошибок и предоставлением рекомендаций по улучшению качества проведения устной части тестирования.

7.Стандартизационные собрания проводятся регулярно и способствуют росту профессионального уровня экзаменаторов; также в ходе таких собраний привлекается внимание экзаменаторов к проблемам, выявленным в ходе мониторинга, и освещаются изменения, которые постоянно происходят в системе тестирования.

Таким образом, можно сделать вывод, что только в том случае, когда качество работы экзаменаторовсобеседников рассматривается как совокупность комплекса мер, направленных на повышение качества теста, можно говорить о его эффективности и возможности использования показателей качества в валидизации теста. Л. Ф. Бахман и А. С. Пальмер описывают валидизацию как постоянно продолжающийся процесс усовершенствования интерпретации тестовых результатов [7, p. 21-23]. Задачей валидизации в таком ее понимании является постоянное предоставление данных теоретического и эмпирического характера, подтверждающих правильность интерпретации результатов теста. В руководстве для разработчиков тестов ALTE отмечается, что материалы, используемые в целях мониторинга экзаменаторов, могут являться составляющей валидизации теста [12, р. 56]. Современная теория стандартизованного теста требует, чтобы его валидизация находилась постоянно в развитии и движении к совершенствованию. В связи с тем, что наблюдения, накапливающиеся в ходе контроля качества работы экзаменаторов устной части, становятся поводом для усовершенствований, проводимых регулярно в рамках цикла обновления теста, обоснования данных изменений становятся материалом валидизации теста.

экзаменатор иностранный язык тест

Список источников

1.Аванесов B. C. Композиция тестовых заданий: учебная книга. 3-е изд-е, доп. М.: Центр тестирования, 2002. 240 с.

2.Коккота В. А. Лингводидактическое тестирование. М.: Высшая школа, 1989. 123 с.

3.Колесникова И. Л., Долгина О. А. Англо-русский терминологический справочник по методике преподавания иностранных языков: справочное пособие. М.: Дрофа, 2008. 431 с.

4.Павловская И. Ю., Башмакова Н. И. Основы методологии обучения иностранным языкам: тестология. Изд-е 2-е, испр. и доп. СПб.: Филологический факультет СПбГУ, 2007. 224 с.

5.Симкин В. Н. О «стандартах» в языковом тестировании // Педагогические измерения. 2016. № 2. С. 104-107.

6.Alderson J. C., Clapham C., Wall D. Language Test Construction and Evaluation. Cambridge: Cambridge University Press, 1995. 310 p.

7.Bachman L. F., Palmer A. S. Language Testing in Practice. Oxford: Oxford University Press, 2010. 377 p.

8.Brown A. Interviewer Variation and the Co-construction of Speaking Proficiency // Language Testing. 2003. № 20 (1). P. 1-25.

9.Fulcher G., Davidson F. Language Testing and Assessment. L. - N. Y.: Routledge, 2007. 423 p.

10.http://www.alte.org/attachments/files/minimum_standards_english_2017_25o3k.pdf (дата обращения: 16.09.2017).

11.http://www.ealta.eu.org/documents/archive/guidelines/English.pdf (дата обращения: 16.09.2017).

12.Manual for Language Test Development and Examining / produced by ALTE on behalf of the Language Policy Division, Council of Europe. Strasbourg, 2011. 87 p.

13.McNamara T., Roever C. Language Testing: The Social Dimension. Willey, 2007. 283 p.

14.O'Loughlin K. J. The Equivalence of Direct and Semi-direct Speaking Tests // Studies in Language Testing / series editors M. Milanovic, C. Weir. Cambridge: Cambridge University Press, 2001. № 13. P. 1-280.

Размещено на Allbest.ru