Вимоги до перевірки англомовної комунікативної компетентності майбутніх судноводіїв

Размещено на http://www.allbest.ru/

Вимоги до перевірки англомовної комунікативної компетентності майбутніх судноводіїв

Петровська Ю.В.

Дослідження присвячено вивченню сучасної тестової технології для перевірки усних і писемних компетенцій майбутніх судноводіїв з англійської мови за професійним спрямуванням. Аналіз помилок здійснено в ході розкриття специфіки тесту за шістьма принципами - валідності конструкту, надійності, автентичності, інтерактивності, впливу і практичності. Основним джерелом аналізу були міжнародні тести, зокрема Marlins English Language Test, Test Of Marine English Competence, International Maritime Testing System. У результаті визначених недоліків у міжнародних тестах було сформульовано вимоги до розроблення тесту для комплексної перевірки англомовної комунікативної компетентності студентів за темою «Спілкування у морі».

Ключові слова: англійська мова для моряків, якість тесту, критерії оцінювання, типові помилки.

Петровская Ю.В. Требования к проверке англоязычной коммуникативной компетентности будущих судоводителей

Исследование посвящено изучению технологии тестирования устных и письменных компетенций будущих судоводителей по английскому языку. Качество теста было определено 6-ю принципами: валидности конструкта, надежности, аутентичности, интерактивности, влияния и практичности. Основным источником анализа были международные тесты, включая Marlins English Language Test, Test Of Мarine English Competence, International Maritime Testing System и другие. В результате выявленных недостатков в международных тестах были сформулированы требования к разработке теста для комплексной проверки англоязычной коммуникативной компетентности студентов по теме «Общение в море».

Ключевые слова: английский язык для моряков, качество теста, критерии оценивания, типичные ошибки.

Petrovskaya Y.V. Requirements for assessing english communicative competence of future deck officers

Current research is devoted to test elaboration for assessing English oral and written competencies in order to verify proficiency of future deck officers. The test quality was defined on the basis of 6 principles: validity, reliability, authenticity, interactivity, impact, and practicality. The breach of the four principles (i.e. validity, reliability, authenticity, and interactivity) was revealed due to the analysis of such modern international tests for mariners as Language Competence Certificate tools for the Vocations, Marlins, Maritime Test of English Language, International Maritime Testing System and Test Of Marine English Competence. The most common flaws concerned the inappropriateness of tasks intended to test oral or written competencies, lack of professional core in reading and speaking tasks regarding positions of seafarers on board a ship, high level of predictability in tasks with alternative options, excessive use of supplementary materials for presentations in particular, establishing new distractors for test candidates. In order to increase the validity to assess student's communicative competence within each study module and the quality of the test in general, the following recommendations were compiled: a) tasks should be elaborated according to the professional needs and status of a seafarer on board; b) written tasks must vary by language and communicative level of complexity, which implies divergence in genres; c) multiple choice tasks should be used to check receptive skills; d) tasks should be developed with regards to definite assessing criteria of communicative competencies.

Keywords: Maritime English, test quality, assessing criteria, typical mistakes. англомовний комунікативний компетентність судноводій

Розроблення тестів для оцінювання англомовної комунікативної компетенції студентів морських спеціальностей стає пріоритетним завданням вищої школи у зв'язку з розвитком морського та річкового транспорту країн Європи і необхідністю його забезпечення кваліфікованими кадрами, здатними до співпраці з членами змішаного екіпажу і вирішення професійних питань засобами англійської мови, що має статус міжнародної.

Згідно із Загальноєвропейськими рекомендаціями та національною програмою моряк мусить володіти англійською мовою на рівні В2, тобто як «незалежний користувач». Розробники сучасних міжнародних тестів вирішують питання визначення навичок і вмінь володіння англійською мовою на рівні В2 по-різному: а) Marlins English Language Test спрямовано на перевірку рівня сформованості лексичних, фонетичних і граматичних рецептивних навичок, б) Test Of Магіпе English Competence (TOMEC) розроблено для оцінювання рівня сформованості граматичних і лексичних рецептивних навичок, а також умінь читання професійної літератури; в) провідним завданням Language Competence Certificate tools for the Vocations (LCCTV) є встановлення рівня розвитку рецептивних умінь судноводіїв на базі текстів для професійного і повсякденного спілкування, г) Maritime Test of English Language (MARTEL) та International Maritime Testing System (IMETS) направлено на оцінювання рівня розвитку вмінь судноводіїв у рецепції та продукції, однак без визначення відповідних навичок спілкування. У ході аналізу програмного забезпечення названих тестів ми дійшли висновку, що жоден з них не може встановити відповідність рівня комунікативної компетенції моряка міжнародному рівню володіння англійською мовою В2, оскільки під час розроблення тестів не було враховано окремі показники їхньої якості, а також параметри їх оцінювання.

Відповідно метою статті є розкриття вимог до розроблення сучасних тестів для перевірки сформованості англомовної компетентності майбутніх судноводіїв.

Якість будь-якого тесту визначається його придатністю, що за Л. Бахманом і А. Палмером, забезпечується валідністю конструкту, надійністю, автентичністю, інтерактивністю, впливом і практичністю. Розглянемо негативні наслідки порушення кожного принципу на прикладі вищезгаданих тестів.

Валідність тесту підтверджується якістю критеріїв його оцінювання, тобто здатністю вимірювати ті об'єкти контролю (навички і вміння), які були заявлені в тесті. З цією метою оцінювання кожного вміння мало відбуватися на основі конкретного типу тестового завдання відповідного рівня складності. Проте зміст тестових завдань у LCCTV, MARTEL, TOMEC за рівнями складності не відрізняється, що свідчить про їхню тотожність одному рівню. Так, у специфікаціях до тесту MARTEL першої рівня не визначено фінальні компетенції, якими має оволодіти кадет палубного відділення та кадет машинного відділення. У зв'язку з порушенням варіативності змісту комунікативної компетентності завдання спрямовані переважно на оцінювання когнітивних компетенцій студентів описувати, порівнювати реалії повсякденного життя або висловлювати своє ставлення до них з опорою на власний досвід. Наприклад: «Instruction: Read the text (about piracy in the Gulf of Aden), and type 150 to 200 words in response to the task. You must refer to the text. You have 30 minutes for this part. Question: What do you think about the reasons Bahdoon gives for being a pirate? Explain your opinion, referring to the text and giving reasons for your view» [3, с. 17].

Відібрані типи тестових завдань альтернативного вибору або правильна/ неправильна відповідь для оцінювання рецептивних навичок і вмінь також не забезпечують валідності отриманих результатів у зв'язку з тим, що вірогідність відгадування правильної відповіді в них становить 50 %. Наприклад: «After each regulation there is a statement about it. Decide if the statement is right or wrong» [1, с. 1].

Високий відсоток вдачі в тестових завданнях пояснюється, по-перше, добором професійно орієнтованих слів різної тематичної категорії, що зменшує ризик помилки, по-друге - орієнтацією на розуміння загальних ідей прочитаного або прослуханого замість роботи над окремими фактами, залучаючи різні стратегії перероблення інформації. Відповідно використання таких завдань є доцільним лише в навчанні з мотивувальною метою.

Невдалим є також вибір тестових завдань типу некерованого письма, де рівень складності визначається не жанром професійного тексту та його мовним оформленням, а відсутністю підказок щодо тематичних блоків, які має висвітлити тестований. Наприклад: «Write a paragraph (no less than 100 words) discussing in what ways occupational safety can contribute to safety on board a ship» [3; 5; 6].

Порівняно з письмом, завдання в підготовленому монологічному мовленні навпаки містять надмірну кількість підказок, що у вигляді тексту й довгих інструкцій розсіюють увагу тестованого. Такі завдання, зокрема у MARTEL [3, с. 12-13], завдяки додатковим дистракторам зміщують акцент з перевірки вмінь говоріння на вміння читання. Окрім того лексичні навички оперувати необхідними SMCP (стандартними морськими фразами для спілкування) або термінологією за ситуацією не є об'єктом контролю зазначеного тесту, і їхнє оцінювання відбувається опосередковано під час усних або письмових відповідей на завдання. Наприклад: «Instruction: Read the text and then answer the question. You have ten (10) minutes to read the text and prepare, and two (2) minutes to respond. Begin reading now. Begin speaking after the beep. Question: Do you think that throwing small amounts of oil into the sea is wrong? Explain your view, referring to the text and giving reasons for your opinion. Begin speaking after the beep» [3, с. 15].

Валідність шкал оцінювання є сумнівною, оскільки критерії оцінювання об'єктів контролю за змістом співпадають на кожному рівні або не містять параметрів їх оцінювання. Отже, надійність тесту, що визначається здатністю об'єктивно оцінювати результати тестування, буде зумовлена суб'єктивним ставленням того, хто задіяний до перевірки. Зокрема в IMET для оцінювання рівня розвитку усних вмінь комунікативної компетентності пропонується схоластична шкала, яка не відбиває специфіки професійно орієнтованої спрямованості комунікативної компетентності майбутнього судноводія ані на рівні кадета, ані на рівні офіцера. Наприклад, на управлінському рівні майбутній судноводій має «вільно володіти мовою, достатньо вишуканою та багатою. Має повністю розуміти деталі повідомлення навіть у ситуаціях підвищеної мовної складності». На операційному рівні «може спілкуватись у більшості знайомих ситуацій, проте припускатися окремих помилок. Може розуміти загальний зміст повідомлення та його окремі деталі з мінімальною кількістю нових мовних одиниць. Рідше може залучати мовну здогадку в більш складних ситуаціях спілкування» [2].

В окремих випадках спостерігається порушення принципу автентичності в ході перевірки фонетичних рецептивних навичок на основі лексичного матеріалу, який не становить професійного інтересу для судноводія. Наприклад: «Click on the word with the different sound: whole, shot, poll, snow» [4].

Принцип інтерактивності також розкривається однобічно в окремих проаналізованих вище тестах, зокрема у TOMEC, MARTEL, і Marlins, оскільки реалізується в можливості перегляду зроблених помилок і збереженні результатів на сервері. У такий спосіб перевіряючий та респондент мають швидкий доступ до кінцевого результату. Однак система тестування не передбачає усного зворотного зв'язку з тестованим, що відповідно обмежує перевірку усної компетенції лише вміннями аудіювання загального змісту повідомлення або його деталей і вміннями робити короткі презентації тривалістю аудіозапису до 1-2 хвилин з опорою на прочитаний або прослуханий текст. У тесті IMETS аналогічні завдання супроводжуються візуальною опорою на ситуативні малюнки.

Критерії впливу та практичності не було порушено в жодному з проаналізованих тестів. Однак пояснення потребують можливі шляхи реалізації проаналізованих вище критеріїв з метою підвищити якість сучасних тестів для моряків.

Так, урахування критерію валідності конструкту тесту є можливим за умови варіювання професійного змісту комунікативної компетентності майбутніх судноводіїв на основі вимог ПДНВ конвенції з урахуванням Манільських поправок (STCW 2010) та міжнародної типової програми (IMO Model course 3.17, 2015) відповідно до їх рангу на судні й, отже, розробки професійно орієнтованих завдань для перевірки навичок письмового мовлення та професійно орієнтованих комунікативних завдань з метою перевірки фінальних усних компетенцій майбутніх судноводіїв з конкретної теми. Наприклад, у межах теми «Спілкування у морі» до об'єктів контролю слід віднести навички використання морської термінології та граматичних конструкцій щодо визначення місця положення судна, напрямку слідування, одиниць виміру міжнародного та місцевого часу, а також звукових і візуальних сигналів з метою погодження маневрів, попередження про небезпеку, замовлення портових послуг, а також уміння вести УКВ-розмови в режимі «судно-судно» або «судно-берегова станція».

Надійність тесту в письмовому мовленні доцільно забезпечити ситуативними завданнями закритого типу для перевірки навичок читання та аудіювання (найменування, множинний вибір, знаходження відповідності, заповнення пропусків). Наприклад:

1. What shapes must exhibit a vessel at anchor?

A: cone B: ball C: 2 balls

2. Complete the «Sailing directions» with prepositions. Tung Pok Liu Hoi Hap provides the deepest approach seaward to Victoria Harbor, and provides access the deep-water berths at Tsing Yi Chau etc.

З метою економії часу перевірку вмінь аудіювання також доцільно проводити за допомогою завдань закритого типу, але за умови їх варіювання. У зазначених обставинах тестовані працюють одночасно з однаковими аудіоматеріалами, проте виконують різні завдання на перевірку змісту та деталей повідомлення. Наприклад: Інструкція для 1-го варіанту: Listen to VHF transmission and tick type of assistance necessary.

A: fire float B: tug C: ice-breaker D: helicopter

Інструкція для 2-го варіанту: Listen to VHF transmission and tick the flag which a vessel should hoist.

Завдання множинного вибору доречні також для перевірки англомовних умінь читання професійно орієнтованої літератури з виучуваної теми, а саме текстів щодо специфіки використання різного навігаційного обладнання для спілкування в морі або визначення безпечного підходу та міста стоянки для судна на основі морської публікації «Sailing directions» з метою їх подальшого погодження із лоцманом по УКВ-радіо.

Наприклад: Define which statement is TRUE, FALSE or DOESN'T SAY. Наявність декількох опцій значно знижує можливість вгадування правильної відповіді. Проте можливі комунікативні завдання відкритого типу з метою перевірки деталей повідомлення, зокрема: Define which statement is TRUE or FALSE. Correct the FALSE ones, або How many approaches are there to the port for a ship with the draft of 11 m?

Завдання в письмовому мовленні з теми «Спілкування у морі» відсутні, оскільки є невиправданими з точки зору професійних компетенцій, якими має оволодіти майбутній судноводій.

Надійність та інтерактивність тесту в усному мовленні забезпечено комбінуванням декількох типів тестових завдань: інтерв'ю для перевірки англомовних професійно орієнтованих умінь у непідготовленому усному мовленні, презентації для перевірки умінь у підготовленому мовленні, а також симуляції УКВ-розмови за заданими обставинами. Інтерв'ю слід проводити без опори на аудіо й відео-ряд, або письмовий текст. Відмова від інтегрованої перевірки вмінь говоріння та аудіювання, а також говоріння та читання зумовлюється необхідністю знизити когнітивне навантаження на респондента, оскільки він не має аналізувати та запам'ятовувати деталі повідомлення з метою подальшої відповіді. Під час презентації використовується лише та наочність, яку створює сам студент згідно з інструкцією. Наприклад: Draw and describe visual signals on a ship not under command. Тривалість інтерв'ю та презентації згідно з міжнародними стандартами не перевищує 5 хвилин. У межах вищезгаданої теми симуляція передбачає перевірку усної компетенції студентів відправляти та приймати повідомлення типу mayday, urgency, safety and routine. Відповідно їх розігрування відбувається в парі між двома респондентами на основі карток із зазначеними позивними кораблів, їх координатами та комунікативною проблемою, яку необхідно вирішити, або схематичною презентацію маневрів у відкритому морі чи на фарватері. На основі відібраних завдань в усному мовленні можна стверджувати, що перевірка усних навичок відбувається опосередковано, проте має чіткі якісні критерії та параметри їх оцінювання. Зокрема за темою «Спілкування у морі» компетенцію студента вести УКВ розмову на рівні В2 слід аналізувати за 4 критеріями: повнота та відповідність змісту повідомлення, логічність і зв'язність, мовна варіативність, мовна правильність. Критерій ініціативності, представлений у Загальноєвропейських рекомендаціях для ситуацій ведення дискусії, є недоцільним для УКВ-радіообміну, оскільки всі 4 типи повідомлень (mayday, urgency, safety and routine) чітко структуровані й мають визначену послідовність передання інформації між судами та береговими станціями.

Content appropriateness of message delivery Logic and Coherence Language variety Accuracy

A cadet can report all important data regarding routine, emergency, urgency and safety situations on board.

All information is relevant to the situation A cadet can transmit data in appropriate order A cadet can use maritime vocabulary to indicate sound and visual signals, maneuvers, routine operations, machinery breakdowns, weather or navigational hazards.

Can use different VHF message markers and SMCP. A cadet can operate maritime vocabulary / SMCP, and message markers according to the type of message.

Оцінювання мовлення студентів доцільно здійснювати згідно з трьома кількісними показниками якості виконання завдання в усному та писемному мовленні (achieves expectations, needs further development, not applicable), кожний з яких має відповідний аналог у національній системі оцінювання досягнень студентів. Так, кількісний критерій «achieves expectations» співвідноситься з оцінкою «відмінно» або «добре», оскільки в обох випадках студент демонструє здатність виконати комунікативне завдання.

Критерій «needs further development» відповідає оцінці «задовільно», що свідчить про те, що студент припускається суттєвих помилок, які потребують подальшого корегування. Критерій «not applicable» корелює з оцінкою «незадовільно».

Реалізації принципу автентичності в тесті за визначеною темою вбачається у використанні усних і письмових текстів, а також завдань проблемного характеру в усному мовленні для перевірки професійно орієнтованих комунікативних компетенцій майбутніх судноводіїв.

Отже, розроблення й укладання тестових матеріалів потребує врахування шістьох принципів для забезпечення якості та об'єктивності отриманих результатів - валідності конструкту, надійності, автентичності, інтерактивності, впливу і практичності. Рекомендовані вище шляхи їх реалізації дають підстави для проведення комплексного тестування, під час якого перевірку навичок і вмінь читання й аудіювання можливо здійснювати в режимі «людина-машина», тобто на основі комп'ютерної програми, тоді як перевірку сформованості усних компетенцій доцільно проводити лише в режимі «людина-людина». Таким чином, подальшими кроками дослідження є перевірка ефективності програмного забезпечення для письмової частини тесту, яка б забезпечувала максимальну варіативність кожного блоку завдань з метою запобігання нелегітимних результатів.

Література

1. Grice T. LCCTV Tests Level C1. English Language for Mariners / Tony Grice. - Munster : Universitat Munster, 2009. - 11 p.

2. International Maritime English Testing System [Electronic resource]. - Access mode : http://www.maycoll.co.uk/imets/the-levels.htm. - Title from the screen.

3. Lahiry H. MarTel. Maritime Test of English Language. Phase 2 Standards. Study Guidelines. Deck Officers / Himadri Lahiry. - Coventry : Center for Factories of the Future, 2010. - 21 p.

4. Marlins English Test [Electronic resource]. - Access mode : http://www.marlins.co.uk/maritime-english/isf-marlins-english-language-test-for-seafarers. - Title from the screen.

5. Takagi N. Developing the TOMEC. - Test of Maritime English Competence. - Toward Global Standardization of Maritime English Assessment / N. Takagi, Y. Uchida, J. Keever, J. Coyle [Electronic resource]. - Access mode : http://www.soi.wide.ad.jp/class/20070026/slides/01.htm. - Title from the screen.

6. TUMSAT Maritime English Initiative [Electronic resource]. - Access mode : http://www2.kaiyodai.ac.jp/~takagi/mei/english/tomec/tomec.html. - Title from the screen.

Размещено на Allbest.ru