Теория и методика преподавания иностранных языков и культур

AIL - Формат устного экзамена AIL на уровне B2 не отличается от формата экзамена B1. Субтест продолжительностью около 20 минут (в индивидуальном порядке) или 30-40 минут (попарно) состоит из трех частей: обоюдное представление кандидатов, описание и комментирование картины, обсуждение события или другого аргумента, часто в формате ролевой игры. В случае теста AIL не наблюдаются существенные отличия даже на уровне содержания.

УРОВЕНЬ C1

CILS - Субтест состоит из беседы лицом к лицу между кандидатом и экзаменатором и из монолога кандидата. Беседа, которая проводится в форме ролевой игры и длится 2-3 минуты, имеет целью выявить умение кандидата выполнять сложные речевые акты, направленные на убеждение экзаменатора. Предлагаются такие задачи как, например, убедить директора торговой сети принять на работу кандидата на должность менеджера по продажам или объяснить продавцу магазина электроники, что кандидат купил у них аккумулятор, не подходящий для своего ноутбука, и просить, чтобы он его заменил другим или вернул деньги. Во второй части устного экзамена кандидата просят выражать личное и обоснованное мнение по актуальным темам, например, преимущества и недостатки общения в общественных сетях, или последствия роста безработицы на жизнь конкретного человека. Во время монолога экзаменатору категорично запрещается вмешиваться и прерывать кандидата.

CELI - Тест для оценки говорения длится около 20 минут и проводится в форме индивидуальной беседы в присутствии двух экзаменаторов. Экзамен начинается с представления кандидата, который отвечает на вопросы о себе. Затем экзаменатор просит кандидата описать две фотографии, выделяя их различия и сходства. В третьей части кандидат должен передать содержание короткого текста из газет или новостных журналов, и, наконец, комментировать значение таблицы или графика. Не смотря на сходства в формате устных экзаменов на уровнях B2 и C1, в последнем случае от кандидата требуется не столько умение говорить самостоятельно и свободно, сколько способность активно участвовать в дискуссии, защищая свою точку зрения, формулируя гипотезы и предоставляя подробные объяснения. Он должен хорошо владеть речевыми (лексическими, грамматическими, идиоматическими, риторическими) и просодическими стратегиями.

PLIDA - Устный экзамен продолжительностью 10-15 минут состоит из трех частей (презентация, беседа и монолог) и по усмотрению кандидатов проводится в парах или индивидуально. В презентации необходимо четко рассказать о своих будущих планах. Кандидаты должны активно участвовать в беседе, которая принимает формат ролевой игры, взаимодействовать с интервьюером или с другим кандидатом, задавать вопросы, подходящие к предложенной теме и хорошо сформулированные. Ситуации содержат всегда элементы противостояния интересов, намерений и часто личностных особенностей собеседников. Например, первый кандидат играет роль наивного студента в поиске жилья, который был обманут другим кандидатом, играющим роль беспринципного арендодателя. В течение 5-7 минут они должны выражать свои точки зрения и прийти, если возможно, к компромиссному решению, удовлетворяющему всем. Экзаменатором обращается внимание на уместность речевого поведения, на умении предлагать альтернативные решения, на спонтанность действий и динамику развития беседы между кандидатами, на способность втягивать более слабого кандидата в речевое взаимодействие. Умение лингвистически правильно выражать свои эмоции также играет существенную роль. В монологе, третьей части субтеста, не наблюдаются значительные отличия от того, что требуется на уровне B2. Усложняются вопросы, которые предлагаются для обсуждения. На уровне C1 язык окончательно играет роль инструмента для подачи любого типа значения. Не обращается внимание на лингвистические стороны речевой деятельности как самоцель оценки, от кандидата ожидается умение мыслить на чужом языке. Характерной можно считать такую тему для обсуждения (экзамен PLIDA C1, 2010 г.): Сегодняшние тридцатилетние, в будущем - пожилые люди, наблюдайте за жизнью своих дедушек и подумайте о том, как преобразовывать города, в которых они живут. Кандидат должен задуматься о современных мегаполисах и высказать свое мнение об условиях жизни пожилых людей, описать, как он представляет город будущего, сделать конкретные предложения относительно возможных проектов и мероприятий, направленных на улучшение жизни пожилых людей.

AIL - В тесте С1 кандидат должен демонстрировать владение языком на уровне, позволяющем правильно выражать свои мысли по вопросам ординарной сложности и безошибочно понимать и толковать итальянскую речь. Тест устной речи состоит из трех частей одинаковой продолжительности (10 минут). В первой части кандидаты представляются друг другу, кратко излагают небольшой письменный текст (около двухсот слов). Вторая часть предусматривает обсуждение прочитанного текста (если экзамен проводится в формате попарно, по очереди излагаются два различных текста и обсуждаются между кандидатами без вмешательства экзаменатора). В третьей части кандидатов просят решить общее задание. Тема, служащая опорой для обсуждения, предоставляется в письменной форме. По выбору экзаменатора предлагается два варианта: обсуждение данной темы или убеждение другого кандидата в уместности нашего мнения или предложения.

УРОВЕНЬ C2

CILS - Формат проведения субтеста С2 совпадает с форматом предыдущего уровня и состоит из беседы лицом к лицу между кандидатом и экзаменатором и из монолога кандидата. CILS можно считать одним из лучших экзаменов по отношению к постепенности и логичности в процессе возрастания сложности содержания и строгости общих требований к кандидатам. На первый взгляд темы, предложенные на уровне C2, могут удивить кандидата. В качестве примера приводится тема из задания 2012 года: В Италии образование чувств не является частью учебной программы. Часто, однако, его отсутствие влияет на способность людей устанавливать положительные отношения с внешним миром. Вы считаете, желательно ли создать образовательную программу, которая обучала управлению надлежащим образом любовью, состраданием, завистью, гневом? Экзаменатор активно вмешивается в разговор с целью помочь кандидату углубить и расширить свои рассуждения. Настолько же сложными являются темы обсуждения, которые предлагаются для второй части экзамена. Они затрагивают все когнитивные и эмоциональные ресурсы кандидата. Данные вопросы, являясь не однозначно решаемыми и на родном языке, бросают серьезный вызов умственным способностям кандидата, не позволяют играть прежде подготовленную роль, придают подлинность его речевому поведению. Экзаменатору не позволено вмешаться в монологическую речь кандидата. Важно заметить, что продолжительность субтестов CILS достаточно ограниченная (15-20 минут).

CELI - Кандидаты оцениваются индивидуально двумя экзаменаторами. Они должны быть в состоянии активно участвовать в разговоре на индивидуальной, социальной, профессиональной или концептуальной сфере. Кандидаты должны говорить последовательно и с полным владением лингвистическими средствами, в формальном и неформальном регистре. Тест состоит из короткого изложения и комментирования текста, в описании фотографии или картины, объяснении пословиц или максим. В качестве гипотезы, возникающей из сопоставительного анализа тестов и от личного опыта подготовки кандидатов к сдаче различных видов экзаменов итальянского языка, тесты CELI можно считать проще, чем тесты CILS соответствующего уровня.

PLIDA - Тест устной речи на уровне С2, совпадающий по формату проведения с тестом С1, состоит из трех частей (презентация, беседа и монолог). В беседе особенно внимательно оценивается умение справиться с задачами в наличии повышенного эмоционального тона собеседника. Например, первый кандидат играет роль клиента, стоявшего очень долго в очереди; другой кандидат или экзаменатор играет роль невежливого государственного служащего. Последний обращается к клиенту очень грубо, переходя на «ты». Кандидат-клиент должен подчеркнуть невежливое поведение служащего, выразить свое возмущение и реагировать таким образом, чтобы служащий признал свою невежливость и изменил свое поведение с клиентом. В монологе представляются на выбор кандидата аргументы по сложным темам. Он должен убедительно, логически и бегло обосновать свои рассуждения, и показать умение убеждать слушателя в состоятельности своих аргументов, путём употребления богатого словарного запаса, также в областях, не входящих в собственные интересы и компетенции.

AIL - Экзамен длится 30 минут и предусматривает три части в индивидуальном формате или попарно. В первой части кандидаты должны разработать диалог или играть ролевую игру по сюжету, предоставленному экзаменатором. Например, один кандидат играет роль работодателя, предлагающего второму кандидату - в роли сотрудника - согласиться на понижение в должности и снижение заработной платы. Вторая задача состоит из чтения и комментирования письменного отрывка (небольшой текст размера около 250 слов). В третьей части, продолжительностью 12 минут, кандидатам предоставляются три ситуации на выбор в виде текста, о котором они должны проводить беседу.

2.1.3 Критерии оценки в сертификации владения итальянским языком как иностранным

Общие критерии оценки говорения - Вопрос, касающийся определения критериев оценки, играет исключительно важную роль в тестировании и должен составлять одно целое с теоретической моделью, описывающей те компетенции, сформированность которых оценивается во время тестирования.

В этой главе анализ критериев проводится относительно сертификации владения итальянским языком как иностранным. Все сертификации, прежде описанные, ссылаются на теоретическую модель, представленную в CEFR. Владение языком конфигурируется как владение коммуникативной языковой компетенцией, состоящей из лингвистического, социолингвистического и прагматического компонентов, каждый из которых, в свою очередь, включает соответствующие знания, умения, навыки и способности. В лингвистической компетенции выделяются «знание лексики, фонетики и грамматики и соответствующие навыки и умения» [Council of Europe, 2001: 13]. Социолингвистическая компетенция отражает социокультурные условия использования языка, как «правила хорошего тона, нормы общения между представителями разных поколений, полов, классов и социальных групп, языковое оформление определенных ритуалов, принятых в данном обществе» [Council of Europe, 2001: 13]. Прагматическая компетенция предполагает употребление языковых средств в определенных функциональных целях (реализация коммуникативных функций, порождение речевых актов) в соответствии со схемами взаимодействия. В нее включаются овладение дискурсом, когезия и когерентность, распознавание типов и форм текстов, иронии и пародии.

Для оценки речевого поведения в документе CEFR предлагаются различные способы, в том числе разработка специфических критериев, которые «превращая разрозненные личные впечатления в продуманные суждения» [Council of Europe, 2001: 181], помогают разработать общую систему отсчета для оценки коммуникативной языковой компетенции.

Прежде чем приступить к дальнейшему изучению разработки и конкретного применения критериев оценки, считаем целесообразным сделать два уточнения, одно - терминологическое, другое -методологическое. Во-первых, необходимо уточнить разницу между дескрипторами и критериями. Дескрипторы описывают то, что кандидат должен уметь делать, чтобы доказать достижение определенного уровня. Критерии и соответствующие шкалы оценки являются не только детализацией речевой деятельности, описанной дескрипторами, но также инструментом для наилучшего практического исполнения измерительного акта. Во-вторых, важно напомнить, что о критериях говорится еще и в связи с различием между общей и аналитической оценкой. Согласно CEFR холистическая оценка является вынесением интуитивного и глобального обобщающего суждения со стороны экзаменатора. Наоборот, при аналитической оценке каждый аспект рассматривается отдельно. Так как данная часть работы имеет преимущественно описательные цели, нет смысла углубляться в теоретический анализ различных подходов к оценке. Достаточно напомнить, что часто отдается предпочтение комбинации аналитической оценки владения языком (с использованием от 3-х до 5-и критериев) и холистической оценки (путем выражения общего заключения со стороны одного или двух экзаменаторов, лично присутствующих на экзамене).

CILS - Для оценки устного экзамена CILS употребляются четыре критерия: 1. эффективность коммуникации и адекватность регистра и функционального стиля, 2. правильность морфосинтаксических форм, 3. лексическая адекватность и богатство словарного запаса, 4. произношение и интонация.

Система сертификации CILS отличается ясностью описания критериев оценки говорения. Главным является эффективность коммуникации, означающая умение понимать собеседника, поддерживать непрерывность потока речи, взаимодействовать с собеседником, чередуя реплики, способность осуществлять коммуникативные стратегии, позволяющие эффективно выполнять те коммуникативные задачи, которые кандидат должен уметь осуществлять на определенном уровне. Критерий адекватности регистра и функционального стиля, который в практике оценки CILS включается в эффективности коммуникации, подразумевает умение выбирать регистр (формальный или неформальный) и функциональный стиль речи (научный, официально-деловой, разговорный), подходящий к речевой ситуации и роли, которую кандидату предлагается играть.

Правильность морфосинтаксических форм заключается в надлежащем использовании структур и форм, предусмотренных для уровня компетенции.

Критерий лексической адекватности и богатства словарного запаса подразумевает употребление набора лексических единиц, соответствующего требованиям определенного уровня.

Последний критерий, произношение и интонация, означает овладение фонологической системой итальянского языка.

Роль каждого критерия в общей оценке меняется в зависимости от уровня. В уровнях A1 и A2 «умение кандидата порождать понятные сообщения имеет большее значение, чем их формальная точность» [Barni, 2009: 17]. Поэтому во время оценки считаются приемлемыми все сообщения, в которых присутствие морфосинтаксических, лексических или грамматических ошибок не является решающим препятствием для корректного толкования смысла. Также в уровнях B1 и B2, где кандидат владеет языком на достаточно высоком уровне, «критерий эффективности коммуникации имеет значительный вес и преобладает над формальными аспектами» [Barni, 2009: 17]. Значимость критерия эффективности коммуникации уменьшается только на уровнях C1 и C2, где в основном выражает когерентность (наличие в структуре семантико-прагматической и логической связанности) и когезия текста (присутствие семантико-лексических и морфосинтаксических связей между различными частями текста).

CELI

Для оценки устного экзамена CELI употребляются три группы критериев: 1. взаимодействие, социолингвистическая адекватность и социокультурная компетенция, 2. богатство словарного запаса и правильность морфосинтаксических форм, 3. произношение и интонация.

Первый и главный критерий оценивает умение понимать вопросы и утверждения собеседника, выполнять поставленные задачи и успешно взаимодействовать с партнером.

Оценка богатства словарного запаса и правильности морфосинтаксических форм проводится с учётом их роли в выполнении поставленной задачи. Ошибки, которые не мешают пониманию, не имеют значительного влияния на окончательную оценку. В оценке лексических навыков больше, чем диапазон словарного запаса, оценивается его правильное употребление.

Строгость оценки в отношении произношения и интонации зависит от уровня, но главным принципом оценки останется общая ясность речи и адекватность интонации к виду речевого акта (просьба, утверждение, совет, приказ). Акцент, который свидетельствует о языковой принадлежности, не ущемляет результат устного экзамена.

PLIDA

Для оценки устного экзамена PLIDA употребляются пять критериев: 1. диапазон (богатство словарного запаса и морфосинтаксических форм, адекватность регистра к речевой ситуации), 2. корректность, 3. беглость, 4. взаимодействие, 5.когерентность.

Экзаменатор «оценивает результаты и принимает во внимание языковые ошибки только по отношению к уровню кандидата» [Patota, 2004: 33]. Баллы, назначенные для отдельного критерия, варьируются незначительно на разных уровнях. В частности, на самых высоких уделяется больше внимания к богатству словарного запаса и морфосинтаксических форм и адекватности регистра к речевой ситуации; на низких уровнях, наоборот, взаимодействие играет важную роль и все критерии имеют одинаковую значимость.

AIL

Для оценки устного экзамена AIL употребляются четыре критерия: 1. уместность и эффективность коммуникации, 2. правильность морфосинтаксических форм, 3. лексическая адекватность и богатство словарного запаса, 4. произношение и интонация. В третьем критерии заключена способность речевого выражения мыслительных и эмоциональных сторон коммуникации.

2.1.4 Требования к характеристикам эффективного теста

Для контроля формирования устно-речевой коммуникативной компетенции применяются различные способы. В настоящее время, «наиболее эффективным видом контролирующих упражнений являются тесты» [Павловская, Башмакова, 2003: 61], задания которых предъявляются чаще всего в формате устного интервью (парным или с экзаменатором). Действительно, данный формат позволяет выявить наиболее значимые характеристики устно-речевого общения, но только при условии, что «формы контроля были адекватны тем видам речевой деятельности, которые они должны проверять» [Павловская, Башмакова, 2003: 59].

Существуют разные представления о принципах и требованиях, определяющих качество теста, а именно, его способность обеспечивать объективность оценки, скорость проверки, сопоставимость результатов, выполнение обучающих функций. Дж.Ч. Алдерсон и К. Клэпхэм считают валидность и надежность «общими принципами, которыми необходимо руководствоваться для составления теста» [Alderson, Clapham, 1995: 6]. Подобным образом в отечественной тестологии (М.Б. Челышкова, Т.М. Балыхина) указывается на ведущую роль надежности и валидности, соединяя их под общим принципом научности, который «предписывает использование в практике контроля научно обоснованных средств оценки знаний учеников» [Челышкова, 2002: 27]. Принцип научности, однако, является «необходимым, но не достаточным» [Челышкова, 2002: 29]. Для достижения наивысшей степени эффективности тест должен соответствовать также другим характеристикам, таким как объективность, экономичность, и положительное воздействие на учебный процесс. Показателями эффективности коммуникативных тестов, по мнению С.Р. Балуян, являются шесть взаимодействующих элементов: надежность, валидность, аутентичность, интерактивность, воздействие, практичность.

При разработке теста необходимо рассматривать все характеристики, позволяющие создавать эффективный тест как систему взаимосвязанных элементов.

С точки зрения его составления и внедрения в реальную учебную практику важно отметить роль, которую играет общность всех характеристик, кроме надежности и валидности, между тестированием и обучением иностранным языкам. Связывать целый образовательный процесс позволяет общность дидактических и оценочных принципов, в том числе в их конкретном осуществлении в форме задач. Она же придает когерентность, целеустремленность и направленность к ежедневной педагогической деятельности преподавателя и студента.

Оценка качества теста проводится согласно С.Р. Балуян в три этапа. Для начала необходимо определить релевантность каждой характеристики эффективности и её минимально приемлемого уровня. Далее формулируется логическая оценка эффективности с помощью вопросов. В итоге собирается «количественная и качественная информация на стадии администрирования» [Балуян, 1999: 77]. На практике С.Р. Балуян советует отказаться от «нереалистического стремления достичь наивысшего уровня каждой из характеристик теста» [Балуян, 1999: 77] и ориентироваться на достижение наиболее приемлемого баланса всех характеристик эффективности.

НАДЕЖНОСТЬ - Это «важный количественный показатель качества и эффективности теста, свидетельствующий о том, насколько последовательны и устойчивы его результаты» [Колесникова, Долгина, 2001: 205].

В субъективных тестах, таких, как устные собеседования, «главным источником нестабильности результатов выступают оценки рейтеров» [Балуян, 1999: 31]. Для измерения надежности используются межрейтерский и внутрирейтерский коэффициенты стабильности. Первый измеряет корреляцию между результатами оценивания нескольких рейтеров одного и того же контингента тестируемых; второй измеряет корреляцию между результатами оценивания одним и тем же рейтером двух последовательных тестирований одного и того же контингента кандидатов параллельной формы того же теста. Общее прикладное правило состоит в том, что «с уменьшением количества компонентов коммуникативной компетенции, установленных тестологом в качестве объекта тестирования, повышается надежность теста» [Балуян, 1999: 77].

Минимально приемлемый уровень надежности зависит от важности решений, принимаемых в результате теста, и устанавливается в виде соответствующей статистической оценки надежности. Вопрос о возможности и о пределах внедрения статистических методов измерения в оценки коммуникативной компетенции поднимается рядом исследователей. М. Кэненл и М. Свейн считают, что еще не определена «надежная процедура оценки правильности высказываний в различных социокультурных и дискурсивных контекстах» [Canale, Swain, 1980, 35]. В большинстве случаев достижение минимального приемлемого уровня надежности обосновывается почти полностью на чутье и опыте преподавателей-экзаменаторов.

ВАЛИДНОСТЬ - Она показывает, «что измеряет тест и насколько хорошо он это делает. Другими словами, валидность указывает на большую или меньшую степень пригодности теста для его использования с определенной целью» [Колесникова, Долгина, 2001: 203].

Существуют различные виды валидности, определяющие разные объекты тестирования. Для оценки владения языком к окончанию учебного курса в ситуации, которая требует самостоятельной разработки различных видов теста со стороны учителей, самым подходящим видом валидности является конструктная, отражающая, насколько объекты тестирования и характер заданий учитывают данную модель коммуникативной компетенции. С.Р. Балуян напоминает, что для определения конструктной валидности необходимо установить, из каких компетенций состоит конструкт и проверить соответствие заданий целям тестирования.

Существуют разные точки зрения о способах повышения уровня валидности. По И.Л. Колесниковой и О.А. Долгине валидность тестов усиливается за счет использования аутентичных материалов и создания речевых ситуаций, приближенных к реальной жизни. В соответствие с принципами коммуникативного и деятельностного подходов, приветствуется назначение коммуникативных заданий, «отличающихся целевой направленностью, завершенностью и ориентированных на достижение результата» [Колесникова, Долгина, 2001: 204]. Помимо этого, они утверждают, что повышению валидности способствует использование групповых или парных форм контроля. Дж.Ч. Алдерсон и К. Клэпхэм указывают также на роль тестовых спецификаций (см. гл. 2.1.2.), которые не только «служат шаблоном, которым необходимо руководствоваться при составлении теста и тестовых заданий, но также являются основным фактором, способствующим повышению конструктной валидности» [Alderson, Clapham, 1995: 9].

АУТЕНТИЧНОСТЬ - Выражает сходство и «степень соответствия характеристик заданий теста к характеристикам задач в области применения языка» [Балуян, 1999: 37]. Л.Е. Алексеева считает аутентичность важнейшей характеристикой тестовых материалов и заданий при контроле компетенции студента в профессиональной области обучения. Создание аутентичной коммуникативной ситуации позволяет «учитывать комплексное взаимодействие языковых умений тестируемого как с его профессиональными знаниями, так и непосредственно с самими тестовыми заданиями» [Алексеева, 2007: 89]. Соответствие тестовых заданий реальной области применения языка повышает значимость теста, приближая его к естественной профессиональной ситуации и вскрывая связь между реальным применением языка, обучением и тестированием. Тесная связь между аутентичностью и значимостью коммуникативных задач подчеркивается также у М. Кэнела и М. Свейн: «коммуникативные задачи должны быть значимыми и характеризоваться (по возрастающей сложности) аспектами подлинного общения, таких как основа на социальном взаимодействии, творчество и непредсказуемость высказываний, целенаправленность и аутентичность» [Canale, Swain, 1980: 33].

ИНТЕРАКТИВНОСТЬ - С.Р. Балуян определяет её как «степень и характер вовлечения индивидуальных характеристик тестируемого в выполнение тестовых заданий» [Балуян, 1999: 38]. Согласно Л.Ф. Бахману и А.С. Пальмеру, интерактивность является «функцией характеристик тестируемых - личные особенности, уровень владения языком, знание темы, эмоциональное восприятие» [Bachman, Palmer, 1996: 136]

Вопрос об интерактивности был принят к рассмотрению Л.Ф. Бахманом в двух моделях. В первой (1990 г.) акцентировалась роль интерактивности как важной составляющей аутентичности, степень которой зависит главным образом «от динамичного взаимодействия между говорящим, дискурсом и контекстом» [Bachman, 1990: 316]. Следовательно, аутентичность конкретного тестового задания «оценивается в терминах его потенциала порождать реальное взаимодействие знаний, навыков и умений данной группы тестирующихся» [Bachman, 1990: 317]. Во второй модели, созданной в сотрудничестве с А.С. Пальмером в 1996 г., обращается внимание на дополнительный фактор, влияющий на качество выполнения тестовых заданий. Действительно, эмоциональное состояние и отношение тестируемого к заданиям играют значительную роль в повышении качества его выполнения и отражаются в окончательном результате теста. Необходимость установления связи между тестовыми задачами, знаниями и профессиональными интересами кандидата, как подчеркивает Л.Е. Алексеева, особенно важна, когда речь идет о вузовском тестировании профессионально-ориентированных компетенций будущих специалистов.

Однако, мнения по этому вопросу расходятся. Можно считать, что, либо эмоциональное состояние кандидата не является объектом тестирования, либо, наоборот, обработать эмоциональный фон студента во время беседы для того, чтобы проверять его устойчивость к стрессовой ситуации и/или, с другой стороны, включить в формат теста приемы, направленные на снятие волнения.

ВОЗДЕЙСТВИЕ - Оно встречается на уровне индивида, использующего тест, и на уровне системы образования или общества в целом. С одной стороны, воздействие связано с целями, преследуемыми студентами; с другой, оно влияет на процесс обучения и на преподавателей путём так называемого «обратного эффекта». Речь идет об изменениях, которые происходят во время обучения для того, чтобы подготовить студента к успешной сдаче экзамена. Воздействие является положительным фактором, когда мотивирует студента, стимулируя его к плодотворному труду; однако, страх перед тестом может фокусировать все усилия студента и преподавателя на сдачу экзамена, являющегося в свою очередь не целью сам по себе, а моментом оценки общей подготовки и развития личности, культуры и профессиональной компетентности студента. Минимально приемлемый уровень воздействия, естественно, зависит от важности данного теста для студента и для преподавателей.

ПРАКТИЧНОСТЬ - Она толкуется как «отношение между ресурсами, требуемыми для проектирования, разработки и применения тестов, к имеющимся в наличии ресурсам» [Балуян, 1999: 41]. Минимально приемлемый уровень практичности - это пороговой уровень, при котором имеющиеся ресурсы равны или превышают требуемые ресурсы. В толковании Т.М. Балыхиной характеристика практичности связана с понятиями технологичности и экономичности. Технологичность определяется как свойство тестов, позволяющее «полностью автоматизировать процесс обучения по строго индивидуальным программам» [Олейник, 1991: 9]. Касательно устных тестов её уровень зависит от доступности содержания теста и инструкций для кандидатов и от относительной простоты организации тестирования. Под экономичностью теста понимается «возможность конкретного теста дать максимум достоверной информации о тестируемом при минимальных затратах времени и усилий на составление, проведение, проверку и обработку теста» [Балыхина, 2004: 38]. Устное интервью считается одним из форматов, требующих наибольшего расхода времени. Если к этому добавить соображение С.Р. Балуян, что длительное тестирование оказывает отрицательное воздействие на студентов и на остальных участников тестирования, нельзя не согласиться с заключением, что «в поисках оптимального времени тестирования лучше скорректировать тест в сторону его сокращения» [Балуян, 1999: 91].

2.1.5 Этапы составления теста

ЭТАПЫ СОСТАВЛЕНИЯ ТЕСТА - Разработка теста является сложным процессом, состоящим, по мнению ведущих тестологов, из нескольких этапов, которые, в свою очередь, включают промежуточные. Дж.Ч. Алдерсон и К. Клэпхэм резюмировали двенадцать этапов, которые соединили под термином тестовых спецификаций. Л.Ф. Бахман, и вслед за ней И.А. Цатурова и С.Р. Балуян, указывают на присутствие трех этапов: проектирования теста, разработки тестовых заданий и администрирования теста. В общих чертах можно утверждать, что спецификациям теста соответствуют этапы проектирования теста и разработки тестовых заданий.

Размещено на http://www.allbest.ru/

Схема 5. Этапы составления теста [Балуян, 1999: 194]

Первый этап, проектирование теста или спецификация теста, включает определение цели теста, описание области применения языка и соответствующих типов коммуникативных задач, составление характеристики кандидатов, определение конструкта, установление способности оценки эффективности теста и, в конце, расчет и план для распределения ресурсов.

Второй этап, разработка тестовых заданий и соответствующих спецификаций, охватывает установление целей каждого задания, определение конструкта и обстановку для выполнения заданий, распределение времени, написание инструкции, составление характеристики стимула и ожидаемого ответа, решение метода оценивания. На этом этапе решаются также вопросы, касающиеся структуры теста в целом (количество и последовательность частей и заданий, их относительная важность и количество заданий в каждой части).

Третий этап, администрирование теста, относится к подготовке среды тестирования и персонала, к пилотному тестированию, к сбору информации об эффективности и ее анализу, и в итоге, к основному тестированию.

ОПРЕДЕЛЕНИЕ ЦЕЛИ ТЕСТА - Несмотря на то, что трудно переоценить значимость правильного определения цели тестирования, как на эффективности теста, так и на разработке образовательной программы, все-таки бывают случаи, когда тест разрабатывается на основе предшествующего опыта или как вариант из уже присутствующих и применяемых тестов. Это происходит по разным причинам, обсуждение которых не входит в задачи диссертационной работы, и которые являются часто политическими или связанными с недостатком ресурсов, выделенных для тестирования. В случае данного исследования целью разработки теста является обеспечение средства для контроля формирования устно-речевой коммуникативной компетенции при обучении русскоязычных студентов итальянскому языку на уровнях А2-В1.

Установление уровня владения коммуникативной компетенцией позволяет принимать те решения, которые связаны с результатом теста и которые различаются по своей важности и воздействию на участников тестирования. Помимо этого, результаты теста могут непосредственно влиять на программу обучения и помогают сделать выводы о ней, отражая, насколько уровень коммуникативной компетенции кандидатов соответствует целям программы.

ОПРЕДЕЛЕНИЕ ОБЛАСТИ ПРИМЕНЕНИЯ ЯЗЫКА И ТЕСТОВЫХ ЗАДАЧ - Согласно Л.Е. Алексеевой, отличительная черта обучения студентов профессионально ориентированному иностранному языку состоит в том, что «предполагаемый курс строится на основе конкретных профессионально значимых целей и задач студентов, что выражается в соответствующей методике подбора и организации тематического материала, а также в развитии определенных навыков и умений, необходимых для будущей профессиональной деятельности» [Алексеева, 2014, 5]. Если принимается положение, что тест является заключительным этапом курса обучения, а вузовское образование должно быть профессионально-ориентированным, следует, что тестовые задания также должны соответствовать тем, которые будущий специалист будет выполнять в профессиональной деятельности.

Установление области применения языка и последующее выявление профессиональных потребностей требует знание теоретических и прикладных аспектов профессиональной деятельности. Если составитель теста не владеет данными знаниями, ему необходимо обратиться к специалистам с целью выявления подробных знаний, навыков и умений в составе профессиональной компетенции. В последствие, можно приступить к анализу полученной информации, выявить профессиональные задачи, сгруппировать их по категориям со сходными характеристиками, их включить в образовательную программу и в окончательное тестирование.

ХАРАКТЕРИСТИКА КАНДИДАТОВ - Разработка качественного теста требует от составителя рассмотрения вопросов, касающихся индивидуальных особенностей студентов, для того чтобы обеспечить тест важнейшими характеристиками эффективности такими, как надежность, интерактивность и воздействие.

Согласно С.Р. Балуян, свойства кандидатов включают персональные характеристики, эмпирические и академические знания, уровень коммуникативной компетенции и предполагаемую эмоциональную реакцию на тест.

Персональные характеристики студентов касаются возраста, пола, родного языка, уровня образования, продолжительности изучения иностранного языка и так далее. Учет персональных характеристик при разработке теста поможет повысить его эффективность в целом.

В зависимости от уровня эмпирических и академических знаний студенты делятся на группы с однородными знаниями и на группы с большим разбросом знаний. Обычно, во время тестирования контролируется уровень сформированности знаний, необходимых для выполнения профессиональной деятельности будущих специалистов. Эти знания должны присутствовать на определенном уровне у всех студентов, поэтому чаще всего по окончанию вузов встречаются группы студентов с однородными знаниями.

Принятие в учет уровня коммуникативной компетенции необходимо в течение всего курса обучения до заключительного экзамена. Задания, стимулы к ним и требования к студентам должны оказаться на определенном уровне, в случае обучения иностранному языку в неязыковых вузах, соответствующем уровням А2 и B1.

Необходимо принимать во внимание, что качественное выполнение тестовых заданий зависит также от психологического состояния студента и от атмосферы вокруг него во время администрирования теста. Заранее преподаватели должны делать все возможное для создания наилучшей эмоциональной обстановки. По этому поводу С.Р. Балуян обращает особенное внимание на необходимость своевременного ознакомления студента с форматом и с обстановкой экзамена. Однако, помимо эмоционального восприятия экзамена, следует обеспечить когнитивное и смысловое восприятие всего процесса тестирования и мотивацию к экзамену. Сильно мотивирующим тестом является тест с высоким уровнем аутентичности, воздействия и интерактивности.

К спецификациям, касающимся характеристик кандидатов, можно подойти еще и с целью индивидуализации теста. Е.И. Пассов перечисляет компоненты личностной структуры, которые «служат источником для использования приемов личностной индивидуализации» [Пассов, 1991: 55]. Среди них только некоторые подходят для перехода от обучающей среды к тестовой. Контекст деятельности студента, мировоззрение, жизненный опыт и сфера интересов не сложно принимать в учет при окончании курса обучения. Труднее, однако, включить в процесс индивидуализации такие компоненты как эмоционально-чувственную сферу и статус личности в коллективе. Для того, чтобы учитывать последние два компонента, важно обеспечить наилучшие организационные и психологические условия при администрирования тестирования.

ОПРЕДЕЛЕНИЕ КОНСТРУКТА - Для создания эффективного теста необходимо определить компетенции, являющиеся объектом контроля, и знания, навыки и умения, в них включенные. Теоретическая модель коммуникативных компетенций предоставляет общую картину компетенции, среди которых выделяются наиболее значимые компетенции для выполнения профессиональной деятельности будущего специалиста. И тут сталкиваются две точки зрения. Первая защищает необходимость «условно разграничивать коммуникативные умения и навыки, хотя в реальном общении они чаще всего взаимодействуют» [Балуян, 0049: 62]. Другая, опирающаяся на принципы деятельностного подхода, считает искусственным и не оправданным деление коммуникативных компетенций на отдельные компоненты. Напротив, для успешного выполнения экзаменационных задач, студенту необходимо действовать, руководствуясь холистическими принципами. В этом состоит одно из отличий между коммуникативным подходом, свойственным Л.Ф. Бахману и С.Р. Балуян, и деятельностным, на принципах которого основывается модель CEFR.

В вузах владение языком является не самоцелью, но средством для выполнения профессиональной деятельности. Следовательно, конструктом теста должны стать профессиональные компетенции, связанные с владением коммуникативной компетенцией на иностранном языке.

РАЗРАБОТКА ТЕСТОВЫХ ЗАДАНИЙ - Для того чтобы придавать тесту высокий уровень эффективности, согласно Л.Ф. Бахману, И.А. Цатуровой и С.Р. Балуян, важно придерживаться двух общих стратегий. Во-первых, необходимо извлекать коммуникативные задачи из области профессиональной деятельности будущего специалиста, перерабатывая их для переноса в тест в качестве тестовых заданий. Во-вторых, желательно составлять оригинальные тестовые задания, основанные на спецификациях теста и на информациях, собранных на первых этапах его проектирования. Выбор одной или обеих стратегий зависит от конкретной тестовой ситуации и обеспечивает высокую степень аутентичности и интерактивности тестового задания. Кроме того, существуют общепринятые правила и приемы, которым необходимо руководствоваться во время проектирования и оформления тестовых задач для достижения их простоты, понятности и удобства. Вопрос, по которому нет общего согласия, касается уместности использования отрицательных формулировок в основной части задания. В.С. Аванесов и А.Н. Майоров высказались против, в то время как И.А. Цатурова и С.Р. Балуян считают их применение допустимым. Разногласие во мнениях объясняется тем, что «с одной стороны, использование отрицания приводит к противоречиям при чтении задания, с другой, отрицательные знания не так видны, как позитивные» [Майоров, 2001: 125].

СОСТАВЛЕНИЕ СПЕЦИФИКАЦИИ ТЕСТОВОГО ЗАДАНИЯ - Данный этап является одним из шагов, служивших основой для дальнейшей разработки тестовых заданий. Спецификации принимают форму документа, содержащего детальные характеристики тестовых заданий. В спецификациях указывается их цель, определяются компоненты коммуникативной компетенции, для измерения которых разрабатывается каждое задание, устанавливается конкретная обстановка для его выполнения, составляются инструкции к заданиям, описываются стимулы и ожидаемые ответы или действия кандидата на них, и определяется метод оценивания.

СОСТАВЛЕНИЕ ИНСТРУКЦИЙ К ТЕСТУ - Инструкции обеспечивают кандидатам представления о процедуре экзамена (длительности, уровне сложности), о типах заданий, о способе их выполнения и о методике и критериях оценивания. Своевременное ознакомление с инструкциями и с форматом экзамена предоставляет всем кандидатам одинаковые возможности успешно сдать тест. Согласно Дж.Ч. Алдерсону и К. Клэпхэм «цель инструкций заключается в обеспечении кандидатов, насколько это возможно и совместимо с гарантией честности, достаточной информацией для выполнения теста в меру своих возможностей» [Alderson, Clapham, 1995: 21].

При составлении инструкций необходимо принимать во внимание язык, на котором они предлагаются, и канал представления. Желательно, особенно в тех случаях, когда студенты могут быть не знакомы с форматом теста, приводить примеры решения задания. Канал представления инструкций зависит от целей теста и от уровня компетенции. Лучше всего, если «инструкции предлагаются как письменно, так и устно» [Балуян, 1999: 97].

ВЫБОР МЕТОДА ОЦЕНИВАНИЯ - Для корректного оценивания выполнения тестовых заданий необходимо принимать во внимание теоретическое определение конструкта, с помощью которого устанавливаются критерии оценки речевой деятельности кандидата. Так же, немаловажную роль в установлении предполагаемого правильного ответа играют спецификации тестовых заданий. Их большое количество и разнообразие их целей объясняют обилие методов оценивания. В случае устной речи, где невозможно требовать от кандидата единственный вариант правильного ответа, наилучшим способом оценки считается применение специальных шкал. Как замечает С. Луома, они «должны соответствовать цели тестирования и его конструкта» [Luoma, 2004: 82]. Данные шкалы «состоят из ряда качественных характеристик, описывающих ту или иную степень проявления умений и навыков» [Балуян, 1999: 99]. При достижении определенного уровня компетентности присвоится соответствующее количество баллов.

Как прежде было сказано, можно применить два подхода к тестовому измерению: холистический или аналитический. У каждого подхода есть положительные и отрицательные стороны. Использование целостной шкалы подходит в случаях оценки степени успешности выполнения коммуникативных задач, как бывает в соответствии с требованиями деятельностного подхода. С одной стороны, при использовании целостных шкал трудно установить с точностью уровень владения отдельными знаниями, навыками и умениями коммуникативной компетенции, и в последствие определить однозначную границу между уровнями. С другой стороны, ученые Европейского Совета, занимающиеся вопросами обучения иностранному языку и его тестирования согласно общим принципам деятельностного подхода, отдали свое предпочтение холистической оценке, позволяющей определить степень выполнения коммуникативной задачи, и таким образом, уровень сформированности коммуникативной компетенции в области профессионально-ориентированного обучения иностранному языку. В итоге, можно утверждать, что большинство исследователей склоняется к применению смешанного подхода к оценке. Они по-разному сочетают холистические и аналитические критерии в зависимости от целей тестирования и от теоретической школы принадлежности.

АДМИНИСТРИРОВАНИЕ ТЕСТА - После того как проектирование и разработка теста завершены, можно приступить к его администрированию, включающему разные этапы.

Во-первых, необходимо сделать все возможное не только для обеспечения наилучших условий тестирования (место, материалы, оборудование и время для тестирования), но также и для своевременного инструктирования участников теста (экзаменатор, маркер и другие). С.Л. Рубинштейн понимал влияние, которое оказывали на студента оценивающий преподавательский состав и обстановка во время экзамена: «Известно, насколько легче бывает делать свое дело в доброжелательном, чем в недоброжелательном окружении» [Рубинштейн, 1999: 625]. Хорошо организованная установка тестирования и положительное отношение тестирующего персонала оказывают бесспорное влияние на валидность и надежность теста, так как «технически, объективно одна и та же задача является психологической задачей различной трудности, когда её придётся решать в различных социальных ситуациях» [Рубинштейн, 1999: 626]. Относительно значимости профессионального поведения экзаменатора, особенно при проведении устного тестирования, высказываются также А. Анастази и С. Урбина. В стремлении повысить объективность теста они подчеркивают, что «вполне возможны значимые взаимодействия между характеристиками тестирующего и тестируемого, в том смысле, что одни и те же качества тестирующего или его манера поведения могут по-разному влиять на разных испытуемых в зависимости от индивидуальных особенностей последних» [Анастази, Урбина, 2007: 33].

Во-вторых, необходимо приступить к пилотному и к основному тестированию. Как утверждают Дж.Ч. Алдерсону и К. Клэпхэм, «несмотря на то, насколько хорошо был разработан тест, и как бы тщательно он не был отредактирован, не представляется возможным знать, как он будет работать, до тех пор, пока не применяется на студентах» [Alderson, Clapham, 1995: 73]. Поэтому, главной целью пилотного тестирования является сбор информации о характеристиках эффективности для анализа и пересмотра предварительного варианта теста и процедур при его администрировании. Пилотное тестирование имеет разнообразные задачи. В общих чертах можно сказать, что оно помогает выявить и решить возможные проблемы, связанные со средой тестирования. Благодаря ему во-первых, проверяется правильность распределения времени для прочтения и понимания инструкций к тестовым заданиям и для их выполнения. Во-вторых, выявляются и устраняются проблемы, связанные с процессом проведения тестирования, путем получения предварительной информации о реакции кандидатов на тест, о восприятии тестовых заданий и обо всех других возможных проблемах. Последовательное основное тестирование проводится с целью сделать выводы об уровне формирования коммуникативной компетенции. В дальнейшем, последовательный и постоянный сбор данных, касающихся проведения подобных тестов, позволяет осуществлять необходимые изменения и постоянно улучшать качество самого теста.

2.2 Составление авторского теста владения устной речи для начинающих переводчиков

В этой главе представлен пример разработки теста для контроля уровня формирования устно-речевой коммуникативной компетенции русскоязычных студентов итальянского языка. Тест предназначен для начинающих переводчиков, изучавших итальянский язык как второй иностранный и по окончании образовательной программы достигнувших уровня A2 или B1. На данном уровне владения языком профессиональная компетентность будущего переводчика только начинает формироваться. Однако, учитывая, что согласно CEFR (Council of Europe, 2001: 14) устный перевод, как выражение медиации и языкового посредничества, считается частью устно-речевой деятельности, употребление переводческих задач в качестве тестовых заданий обосновывается на необходимости направить усилия студентов и преподавателя на формирование и развитие зачатков переводческой профессиональной компетенции.

В дальнейшем описываются практические этапы составления теста: проектирование, разработка спецификации и анализ характеристик эффективности. Представленный тест был разработан согласно методике, описанной в данной работе. Апробация теста не входила в задачи исследования.

Для определения того, какие задания следует разработать для наилучшего контроля сформированности устно-речевой коммуникативной компетенции будущих специалистов, была принята к сведению разница между понятиями медиатора и переводчика. Согласно документу CEFR, как подчеркивается Е.С. Петровой и Е.В. Статеевой, медиация связывается с компенсаторной функцией, направленной на поддержание коммуникации между собеседниками, общающимися на разных языках. Переводчик, стараясь передавать эквивалентный текст в соответствии, в том числе, с требованиями заказчика, выполняет функции медиатора, а не просто переводчика, в тех случаях, «когда, по его мнению, успешность коммуникации или лицо коммуниканта находятся под угрозой» [Петрова, Статеева, 2014: 124].

Задания в тесте, хотя и не охарактеризованные высокой степенью коммуникативности, позволяют направить большую часть обучающей деятельности на формирование переводческой компетентности, употребляя лингвистическую компетенцию в качестве составляющей. Поэтому, тестирование проводится в формате симулирования профессиональной деятельности начинающего переводчика. Предлагаются три задания, представляющие главные варианты переводческой деятельности для русскоязычных студентов итальянского языка: устный последовательный перевод с русского языка на итальянский, устный перевод письменного текста, синхронный перевод.

В дальнейшем предлагаются инструкции к тесту, вариант теста для интервьюера, вариант теста для кандидата и рейтинговые шкалы.

2.2.1 Проект и спецификации теста для начинающих переводчиков

ЦЕЛЬ - Тест призван проконтролировать соответствия степени сформированности медиативной коммуникативной компетенции русскоязычных студентов итальянского языка, закончивших курс обучения «Перевод и межкультурная коммуникация», уровню не ниже A2.

ОБЛАСТЬ ПРИМЕНЕНИЯ ЯЗЫКА - Темы, предлагаемые студенту во время проведения теста, принадлежат области реальной жизни и профессиональной деятельности переводчика. Они выбираются в соответствие с указаниями документа CEFR, разработанного Европейским Советом. Дополнительные темы, если они изучены в течение курса обучения, могут быть включены в тест.

При определении области применения языка учитывалась, прежде всего, потребность контролировать умение студента передавать смысл сказанного, а не его владение словарным запасом данной специальности. Следовательно, в тесте включены только темы, лексика и устойчивые выражения, служившие предметом изучения в образовательной программе по специальности.

ОПРЕДЕЛЕНИЕ ТЕСТОВЫХ ЗАДАНИЙ - Цель тестовых заданий заключается в контроле формирования коммуникативной, а не узкопрофессиональной, компетенции устных переводчиков. Однако, для того, чтобы обучение профессиональной деятельности не проводилось в конфликте с обучением итальянскому языку, тестовые задания принимают формат задачи реального устного перевода. Под устным переводом понимается «процесс звуковой вербальной передачи устного (при последовательном и синхронном переводе) или письменного (при переводе с листа) сообщения с одного языка на другой, при котором происходит переработка и сопоставление поступающей из социокультурного контекста информации с накопленными лингвистическими и экстралингвистическими знаниями переводчика» [Аликина, Швецова, 2012]. В соответствие с данным определением предлагаются три задания (устный последовательный перевод с русского на итальянский, синхронный перевод, устный перевод письменного текста - см. табл.7), которые мотивируют студента на использование итальянского языка в профессиональном контексте.