Контроль виконання перекладів майбутніми філологами: огляд методів оцінювання

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Контроль виконання перекладів майбутніми філологами: огляд методів оцінювання

Король Т.Г.

Король Т.Г., канд. пед. наук, докторант кафедри методики викладання іноземних мов й інформаційно-комунікаційних технологій Київського національного лінгвістичного університету

У публікації представлено огляд чинних дидактичних і професійних методів оцінювання якості виконання перекладу. На основі аналізу типу шкал оцінювання та способу їх використання для нарахування балів виокремлено холістичні й аналітичні методи оцінювання перекладу. Категорію класичних аналітичних методів оцінювання своєю чергою розширено за рахунок їх окремих варіацій, а саме: 1) оцінювання за допомогою контрольного листа, що містить бінарну шкалу аналізу виокремлених критеріїв; 2) ератологічний метод, що передбачає визначення типу і серйозності допущених під час перекладу помилок із подальшим нарахуванням штрафних балів відповідно до передбаченої розробником ваги кожного типу перекладацької помилки; 3) метод оцінювання на основі спеціально розроблених критеріїв для кожного окремого перекладацького завдання. Останній метод охоплює як традиційне оцінювання на основі ситуаційно укладеного переліку критеріїв з огляду на характер поставленого перекладацького завдання й специфічні особливості поданого тексту оригіналу, що вимагають від студентів застосування відповідних перекладацьких прийомів та трансформацій, так і низку сучасних методів оцінювання якості тексту перекладу, що базуються на подекуди складних алгоритмах реалізації. До переліку таких методів зараховуємо: оцінювання на основі прийнятності перекладу потенційно проблемних фрагментів тексту оригіналу, попередньо виокремлених викладачем (за PACTE group), метод оцінювання попередньо відібраних одиниць (за Kockaert et al.) та метод калібрування дихотомічних одиниць (за Eyckmans et al.). Усі зазначені методи оцінювання виконання перекладу проаналізовано за такими критеріями: ступінь суб'єктивності/об'єктивності отриманих результатів оцінювання, переваги та недоліки їх застосування, формат подачі результатів (кількісний/якісний/комбінований), перспективність використання для здійснення різних видів і форм контролю в навчанні перекладу майбутніх філологів. На цій основі запропоновано послідовно використовувати різні методи оцінювання якості контролю виконання перекладу студентами в навчальному процесі, в тому числі й шляхом їх комбінування.

Ключові слова: контроль якості виконання перекладу, методи оцінювання перекладу, аналітичний метод оцінювання, холістичний метод оцінювання, ератологічний метод оцінювання, метод оцінювання на основі спеціально розроблених критеріїв, метод оцінювання з використанням контрольних листів, комбінований метод оцінювання.

ASSESSMENT OF PROSPECTIVE PHILOLOGISTS' TRANSLATION PERFORMANCE: EVALUATION METHODS REVIEW

The given article presents the review of the available pedagogic and professional methods for translation quality assessment. Holistic and analytic evaluation ones are singled out on the basis of the rating scale type and ways of its application to score the assessee's translation performance. The category of common analytic methods is extended with their particular variations. They include checklist assessment method involving binary rating scheme applied to specified criteria; error count method (the assessor determines the type and severity of translation errors / mistakes and deducts points according to their weight prescribed for each error / mistake typel); trait scoring method (the rating scale is defined with respect to a particular translation brief). The latter comprises conventional rating according to situationally developed criteria based on translation brief and source text peculiarities (as a rule, they require the efficient application of the appropriate translation techniques and transformations) as well as some modern translation quality assessment methods based on complicated algorithms and implementation schemes. The following methods include “rich points Method" developed by PACTE group (the acceptability assessment of the rendition of the source text fragments treated as the potential source of translation problems), the Preselected Items Evaluation (PIE) method suggested by Kockaert et al. and the Calibration of Dichotomous Items (CDI) method presented by Eyckmans et al. All the methods listed above were analysed according to the following criteria: scoring subjectivity / objectivity, strengths and weaknesses, the way the assessment results can be reported (quantitative / qualitative / combined), appropriateness to different assessment types and forms stipulated by prospective philologists' translation training framework. Consequently, consecutive application and combination of various evaluation methods to score students' translation performance are recommended.

Key words: translation quality assessment (TQA), translation evaluation methods, analytic rating, holistic rating, error count method, trait scoring method, checklist evaluation method, combined rating.

Постановка проблеми у загальному вигляді.

Ефективна організація й реалізація контролю є необхідною передумовою забезпечення належної фахової підготовки майбутніх філологів. Це передбачає здійснення максимально об'єктивного оцінювання рівня сформованості в них перекладацької компетентності на відповідних відрізках навчального процесу, що своєю чергою вимагає відбору й застосування дієвих методів та адекватних критеріїв оцінки якості тексту перекладу й процесу його продукування як ключових проявів рівня сформованості зазначеного конструкта [7, с. 226].

Аналіз останніх досліджень і публікацій

Оцінювання якості отриманого тексту перекладу як результату складної когнітивно-креативної мовленнєвої діяльності, значно легше підлягаючи кількісному вимірюванню, вже тривалий час становить інтерес як для викладачів перекладу, так і представників галузі надання мовних послуг, про що переконливо свідчить значна кількість наукових розвідок у цьому напрямі. Чимало праць останніх кількох десятиліть присвячено розробці й верифікації різноманітних варіацій дидактичних методів оцінювання якості тексту перекладу: визначено їх переваги і недоліки [7; 13; 14; 16] та окреслено шляхи їх подолання [7; 16], у тому числі шляхом створення й доведення права на існування нових [1; 2; 6; 12] чи комбінованих [11; 7] методів оцінювання, емпірично перевірено показники надійності й валідності різних методів для оцінки продукту як усного, так і письмового перекладу [1; 4; 7; 14], розглянуто методи оцінювання текстів перекладів у рамках проведення статусних сертифікаційних іспитів різними національними перекладацькими асоціаціями [8; 11]. В окремих дослідженнях [10] знаходимо також детальний аналіз професійних методів оцінки якості виконання комерційного перекладу.

Виділення не вирішених раніше частин загальної проблеми

Проте досліджень, в яких би консолідувалися усі можливі дидактичні методи оцінювання виконання перекладу та впорядковувалися на основі певних критеріїв, нами не виявлено. До того ж виникає потреба в їх комплексному аналізі з метою максимально ефективного застосування в сучасних умовах реалізації контролю сформованості в майбутніх філологів перекладацької компетентності.

Мету статті вбачаємо в класифікації чинних дидактичних методів оцінки якості виконання перекладу, визначення їх характерних особливостей на основі спільних критеріїв та окреслення перспектив для їх застосування в межах здійснення контролю в навчанні перекладу в умовах вітчизняних закладів вищої освіти (далі - ЗВО).

Виклад основного матеріалу

когнітивний фаховий філолог мовленнєвий

З метою визначення рівня сформованості перекладацької компетентності використовують низку дидактичних методів оцінювання параметрів отриманого тексту перекладу, які з огляду на тип шкал оцінювання та спосіб їх використання для нарахування балів поділяють на холістичні й аналітичні [3, с. 142-155]. Розглянемо кожен із них детальніше за схемою, запропонованою С.К. Уігл [15, с. 122-125] та дещо модифікованою нами: 1) тип шкали та спосіб оцінювання; 2) ступінь об'єктивності/суб'єктивності результатів оцінювання; 3) переваги та недоліки в застосуванні; 4) формат подачі результатів; 5) придатність для використання в умовах здійснення контролю в навчанні перекладу.

Холістичний метод оцінювання полягає в нарахуванні певної кількості балів від передбачених шкалою оцінювання, на основі загального враження від виконання перекладу, саме тому його ще називають інтуїтивним [б, с. 149]. Цей метод оцінювання характеризується високою суб'єктивністю, здебільшого спричиненою так званим ефектом ореолу та складністю розмежування різних проявів якості перекладацького продукту під час його зіставлення з наданими узагальненими дескрипторами. Як наслідок, отримані дані вирізняються низькою надійністю, інтер- та інтрарейтерською стабільністю, особливо в разі залучення малодосвідчених рейтерів. До переваг холістичного методу оцінювання виконання перекладу належать порівняна простота в застосуванні, завдяки чому він придатний для одночасної оперативної оцінки значної кількості робіт [14], та змога зосередитися на глобальних характеристиках тексту перекладу (дискурсивному і прагматичному аспектах) під час оцінювання. Холістичний метод оцінювання також передбачає подачу результатів у кількісному (бал), якісному (коментар) та комбінованих форматах. Отриманий результат оцінювання має здебільшого декларативний характер, позбавлений аргументованості щодо прийнятого рейтером рішення й пропозицій щодо перспективних шляхів вдосконалення студентами їхніх перекладацьких навичок і вмінь, будучи при цьому максимально наближеним до результату професійного оцінювання діяльності в реальних умовах. Зважаючи на вищезазначені особливості холістичного методу оцінювання, пропонуємо використовувати його з певними застереженнями на завершальних етапах навчання перекладу майбутніх філологів.

Аналітичне оцінювання використовують як родовий термін для позначення широкого спектра методів, що базуються на сумарній оцінці якості явища чи продукту шляхом дискретного аналізу попередньо виокремлених параметрів на підставі визначених критеріїв, кожен з яких зіставляється з власною шкалою оцінювання чи дескриптором [6, с. 150]. Нині аналітичні методи оцінювання набули найбільшого практичного застосування, в тому числі в галузі професійних перекладів (для прикладу див. SICAL, LISA QA model, SAE J2450, QAT, TAUS Dynamic Quality Evaluation Model тощо [10]). Екстраполюючи класифікацію аналітичних методів оцінювання іншомовного письма, запропоновану Е. Гріном [3, с. 142-155], на предмет нашого дослідження, виокремлюємо такі варіації аналітичних методів оцінювання: 1) власне аналітичні методи оцінювання, представлені сукупністю критеріїв, що охоплюють важливі для досліджуваного конструкта параметри (наприклад, ступінь повноти передачі інформації, якість подачі, правильність використання засобів мови перекладу для усного послідовного перекладу) та оцінюються за визначеними шкалами/дескрипторами; 2) ератологічні методи оцінювання, що передбачають визначення типу й серйозності допущених помилок під час перекладу з подальшим нарахуванням штрафних балів відповідно до попередньо визначеної ваги помилки певного типу; 3) оцінювання за допомогою контрольного листа, що спирається на бінарну шкалу аналізу (наявність/відсутність) виокремлених параметрів; 4) метод оцінювання на основі спеціально розроблених критеріїв для кожного окремого перекладацького завдання.

До переваг власне аналітичних методів оцінювання виконання перекладу зараховують дещо вищу об'єктивність, що досягається шляхом концентрації рейтера на окремих параметрах перекладу, можливість надання розгорнутішого й інформативнішого коментаря студентам та процедурну зручність у використанні [13]. Основні недоліки цього методу оцінювання пов'язані з процесом розробки й валідизації критеріїв оцінювання та необхідністю проведення попереднього інструктажу для рейтерів. Цей метод передбачає подачу оцінювання в усіх можливих форматах й активно застосовується вже протягом останніх 50 років здебільшого для контролю якості виконання різних видів усного перекладу. Відповідно, пропонуємо його використання для реалізації як проміжного, так і підсумкового контролю компетентності студентів в усному та гетеровалентних видах письмового перекладу.

Ератологічні методи оцінювання, базуючись на аналізі ситуативно виокремлених параметрів, надають порівняно об'єктивну інформацію щодо якості конкретного досліджуваного перекладу, дозволяючи вдаватися до нюансів та деталей. Проте вони здебільшого зосереджуються на локальних лексико-граматичних аспектах, нерідко залишаючи поза увагою макроконтекст. Це зумовлює мозаїчність отриманої оцінки, нерідко відірваної від досліджуваного конструкта. До того ж отримані за їх допомогою результати оцінювання далеко не завжди відтворювані й інформативні для студентів (особливо, коли їм повідомляється лише отриманий бал без відповідних коментарів), хоча й базуються на кропітких та часозатратних процедурах. Серйозним недоліком ератологічного методу оцінювання вважається практика нарахування штрафних балів, що має демотивувальний характер для студента. Саме тому його застосування у чистому вигляді для здійснення проміжного контролю в навчанні майбутніх філологів видається досить обмеженим, хоча саме цей метод вдало використовується в сертифікаційних іспитах [4], щоправда, в комбінації з іншими методами оцінювання. Окремими перспективами вважаємо зміщення фокусу з нарахування штрафних балів на діаметрально протилежне заохочування студентів балами за вдалі перекладацькі рішення, спробу чого знаходимо в працях А. Уртадо Альбір [5].

Оцінювання на основі контрольного листа дає змогу значно спростити процедуру контролю, забезпечуючи при цьому певну об'єктивність завдяки чітко визначеним параметрам оцінки перекладу, на яких необхідно зосередитися, експліцитно вказуючи студентам на його сильні й слабкі сторони, організовуючи діяльність загалом. Однак цей метод критикують за надмірну простоту оціночних рішень і суджень і далеко не завжди вичерпну оцінку рівня сформованості досліджуваного конструкта [9, c. 78-79]. Усе це спонукає активно застосовувати контрольні листи на початкових етапах реалізації само- й взаємоконтролю в навчанні перекладу студентів вітчизняних ЗВО, з одного боку, та комбінувати їх з іншими аналітичними методами оцінювання, як це, наприклад, спостерігаємо у С.-Б. Лі [7].

Метод оцінювання на основі спеціально розроблених критеріїв для кожного окремого завдання набуває дещо нового звучання в умовах організації контролю перекладацької діяльності. З метою підвищення об'єктивності та врахування високої ситуативності виконання перекладацького завдання пропонуються різні його варіації. Серед них визначають оцінювання на основі прийнятності перекладу потенційно проблемних фрагментів текстів оригіналу, попередньо виокремлених викладачем з огляду на критерії якості тексту перекладу, розроблене PACTE Group [12] на основі концепції К. Норд. Такий метод вирізняється високою трудоємкістю підготовчого етапу, що компенсуються скороченням часу оцінювання через його вибірковість, й порівняною суб'єктивністю, зумовленою процедурою відбору так званих потенційно проблемних фрагментів. Спроби її подолання призвели до появи методу оцінювання попередньо відібраних одиниць (Preselected Items Evaluation), що передбачає аналіз фрагментів тексту оригіналу для оцінювання безпосередньо викладачем і зовнішніми експертами на основі попередньо виконаних студентами перекладів [6]. У такий спосіб відібрані для оцінювання фрагменти підлягають статистичному аналізу, а прийнятні переклади фіксуються. Через складність процедурної реалізації цей метод оцінювання поки що придатний для використання лише з метою проведення сертифікаційних тестів із високим статусом. Насамкінець, складний алгоритм реалізації методу калібрування дихотомічних одиниць (Calibration of Dichotomous Items-method) [1; 2] забезпечує максимальну надійність і валідність отриманих даних, належить до нормо орієнтованих методів оцінювання й може застосовуватися для розробки стандартизованих перекладацьких тестів.

Висновки

когнітивний фаховий філолог мовленнєвий

Проведений огляд чинних методів оцінювання якості виконання перекладу свідчить про різноманітність їхніх характеристик і вказує на необхідність їх послідовного та обґрунтованого застосування для контролю виконання перекладу студентами вітчизняних ЗВО, в тому числі шляхом їх комбінування та модифікації, що й окреслює перспективи подальших наукових та практичних пошуків.

Література

1. Eyckmans J., Anckaert Ph. Item-based assessment of translation competence: Chimera of objectivity versus prospect of reliable measurement. Linguistica Antverpiensia, New Series: Themes in Translation Studies. 2017. Vol. 16. P. 40-56.

2. Eyckmans J., Anckaert Ph., Segers, W. The perks of norm-referenced translation evaluation. Testing and assessment in translation and interpreting (C. Angelelli & H. Jacobson (Eds.)). Amsterdam: John Benjamins, 2009. P. 73-93.

3. Green A. Exploring language assessment and testing. London and New York: Routledge, 2014. 288 p.

4. Han C. Using analytic rating scales to assess English-Chinese bi-directional interpreting: A longitudinal Rasch analysis of scale utility and rater behaviour. Linguistica Antverpiensia, New Series: Themes in Translation Studies. 2017. Vol. 16. P. 196-215.

5. Hurtado Albir A. La didactica de la traduccion. Evolucion y estado actual. Perspectivas de la Traduccion, (P. Fernandez, ed.), Valladolid, Universidad de Valladolid, 1995. P. 49-74.

6. Kockaert H.J., Segers W. Evaluation of legal translations: PIE method (Preselected Items Evaluation). Journal of Specialised Translation. 2017. Vol. 27. P. 148-163.

7. Lee S.-B. Developing an analytic scale for assessing undergraduate students' consecutive interpreting performances. Interpreting. 2015. Vol. 17, No. 2. P. 226-254.

8. Liu M.-H. Design and analysis of Taiwan's interpretation certification examination. Assessment issues in language translation and interpreting (D. Tsagari & R. van Deemter (Eds.)) Frankfurt: Peter Lang, 2013. P. 163-178.

9. Luoma S. Assessing speaking. Cambridge: Cambridge University Press, 2004. 228 p.

10. Martmez Mateo R. Deeper look into metrics for translation quality assessment (TQA): a case study. Journal of English and American Studies. 2014. Vol. 49. P. 73-94.

11. Orlando M. Evaluation of translations in the training of professional translators. The Interpreter and Translator Trainer. 2011. Vol. 5, No. 2. P. 293-308.

12. PACTE Group. Results of the validation of the PACTE translation competence model: Translation problems and translation competence. Methods and Strategies of Process Research. Integrative approaches in Translation Studies (C. Alvstad, A. Hild & E. Tiselius (Eds.)). Amsterdam: John Benjamins, 2011. P. 317-343.

13. Tiselius E. Revisiting Carroll's scales. Testing and assessment in translation and interpreting studies (C. Angelelli & H.E. Jacobson (Eds.)) Amsterdam: John Benjamins, 2009. P. 95-121.

14. Waddington C. Different Methods of Evaluating Student Translations: The Question of Validity. Meta. Vol. 46 (2). 2001. P. 311-325.

15. Weigle S.C. Assessing writing. Cambridge: Cambridge University Press, 2002. 268 p.

16. Williams M. A holistic-componential model for assessing translation student performance and competency. Mutatis Mutandis. Vol. 6, No. 2. 2013. P. 419-443.

Размещено на Allbest.ru