Феномен мультимодальності в коміксах (на матеріалі англійської мови)

Размещено на http://www.allbest.ru/

Феномен мультимодальності в коміксах (на матеріалі англійської мови)

Івасишин М. Р.

Анотації

У статті розглядається феномен мультимодальності та вербальні й невербальні засоби його експлікації на матеріалі англомовного коміксу. За допомогою елементів мультимодальності здійснюється тлумачення отриманої з тексту інформації. У статті висвітлено основні рівні мультимодальності тексту - часткову та повну мультимодальність. Явище мультимодальності висвітлюється на матеріалі коміксу «Captain America».

Ключові слова: модальність, мультимодальність, мультимодальний текст, семіотична система, повна мультимодальність, часткова мультимодальність.

Ивасишин М. Р Феномен мультимодальности в комиксах (на материале английского языка). - Статья.

В статье рассматривается феномен мультимодальности, а также вербальные и невербальные средства его экспликации в англоязычном комиксе. С помощью этих элементов осуществляется толкование полученной из текста информации. В статье отражены основные уровни мультимодальности текста - частичная и полная мультимодальность. Феномен мультимодальности рассматривается на материале комикса «Captain America».

Ключевые слова: модальность, мультимодальность, мультимодальный текст, семиотическая система, полная мультимодальность, частичная мультимодальность.

Ivasyshyn M. R. Phenomenon of multimodality in comic books (as exemplified in English language). - Article.

The article presents the phenomenon of multimodality and the means of its realization in English-language comics. These means are represented by verbal and non-verbal components. These components improve the reader's comprehension of the information presented in the text. The author highlights two levels of multimodality in the text. These levels are presented by complete or partial creolization. On the basis on "Captain America" comic book, the article reveals the phenomenon of creolization.

Key words: modality, multimodality, multimodal text, semiotic system, complete creolization, partial creolization.

Вступ

Постановка проблеми. Серед вітчизняних і зарубіжних науковців усе більше зацікавлення викликає поняття мультимодального тексту та його особливостей. Поява й подальше поєднання інноваційних технологій створює нові методи й засоби поширення інформації та здійснення комунікації. Про підвищений інтерес до мультимодальності тексту в лінгвістиці свідчить поява багатьох робіт, присвячених цій сфері досліджень.

Аналіз попередніх досліджень. Проблема мультимодальності досліджується в працях багатьох вітчизняних і зарубіжних лінгвістів, таких, як Ш. Баллі, О.Є. Анісімова, Г Кресс, В.З. Панфілов, Т ван Ліувен, Н.Я. Град, І.А. Бехта, М.А. Карп, Д.П. Борис, Л.Л. Макарук та ін.

Мета статті - виявити візуально-графічні та вербальні прояви феномена мультимодальності в мультимодальному тексті (коміксі).

Завдання статті - здійснити критичний огляд праць із досліджуваної проблеми; дати визначення поняттю мультимодальності, яким ми оперуємо в роботі; визначити шляхи й типи прояву мультимо- дальності в мультимодальному тексті.

Матеріалом дослідження є комікс «Captain America». Вибір матеріалу зумовлений наявністю графічно-візуальних і вербальних засобів у коміксах як маніфестантах мультимодального тексту англомовної культури, а «Captain America» відібраний як найбільш популярний комікс [8].

Виклад основного матеріалу

Модальність - це функціонально-семантична категорія, що виражає відношення висловлювання до реальності, а також суб'єктивну кваліфікацію того, що повідомляється [4, с. 303]. Швейцарський учений Ш. Баллі вважає,що «модальність - це душа твердження; як і думка, твердження є результатом активної діяльності мовця» [1, с. 44].

Уперше теорію мультимодальності представили Гюнтер Кресс і Тео ван Ліувен у своїй спільній роботі «Мультимодальний дискурс» у 2001 році. Вони визначають мультимодальність як тісну взаємодію двох або більше різних семіотичних систем у тексті [11, с. 15]. Учені також пояснюють мультимодаль- ний текст як такий, що включає в себе різні семіотичні системи для отримання детальнішої інформації [13, с. 56].

Гюнтер Кресс і Тео ван Ліувен презентують твердження, що невербальні компоненти є муль- тимодальними. Мультимодальність як візуалізація сприймається як фактор, що привертає увагу лінгвістів до природи, походження, структури і складових компонентів засобів, які формують сучасний текст [12, с. 27]. Лінгвісти Ю.А. Сорокін і Е.Ф. Тарасов визначають мультимодальний текст як такий, фактура якого складається з двох чи більше негомогенних частин, а саме: вербальної (мовної) та невербальної (інші знакові системи). Мультимодальні тексти - це семіотичні об'єднання, які охоплюють знакову систему мови (усна, письмова чи друкована форми) і будь-яку іншу знакову систему (фотографії, малюнки, танці чи музика) [6, с. 181].

Семіотичні системи сприймаються за допомогою органів чуття (слуху, зору, дотику, смаку, нюху). Оскільки семіотичні системи можуть переплітатися, то вони можуть сприйматися різними способами. Однак мультимодальність тексту сприймається за допомогою зору людини [3]. Семіотичні системи виконують три основні функції: 1) створення інтер-

комунікації між людьми (interpersonal); 2) формування понять (ideational function); 3) структурування й організацію тексту (textual) [14, с. 26]. Оскільки ці функції притаманні всім семантичним системам, вони притаманні також і мультимодальному тексту.

Із кожним днем технології стають дедалі продуктивнішими й більш розвиненими, тому графічні засоби відіграють усе більшу роль у формуванні сучасного тексту. Сучасне суспільство несвідомо відходить від звичних лінгвістичних підходів до процесу подачі інформації та дедалі більше орієнтується на графічні засоби комунікації. Процес актуалізації графічних засобів прояснили в компанії Хьюлетт-Паккард у 2004 році [12, с. 27]. Пояснення ґрунтується на тому факті, що людина запам'ятовує лише 10% з усього почутого, 20% - із прочитаного та 80% - із побаченого [12, с. 27]. Звичайно, графічні засоби досить давно репрезентували тексти. Зокрема, із XVII століття цей прийом використовувався в газетах. Сучасна актуалізація графічних компонентів зумовлюється посиленням інтересу науковців до них як до складових частин лінгвістики. Передача інформації за допомогою графічних компонентів відбувається двома шляхами: без використання вербальних засобів, коли значення графічного елемента є зрозумілим без пояснень, та з використанням вербальних засобів (окремі слова, словосполучення або роз'яснювальні речення) [12, с. 28].

Мультимодальний текст включає в себе два неоднорідні складники: вербальний і невербальний. Ступінь мультимодальності залежить від ідеологічного компонента тексту [10, с. 200].

Невербальні компоненти, які створюють мульти- модальність тексту, є частиною візуальної комунікації [12, с. 26]. Зазвичай, коли йдеться про матеріал, який містить вербальні та невербальні компоненти, українські лінгвісти вживають термін «креолізо- ваний текст». Однак цей термін майже ніколи не вживається зарубіжними філологами, оскільки вони зазвичай використовують визначення «мультимо- дальність» (multimodality) [12, с. 27].

Існує багато нетекстуальних, тобто невербаль- них засобів «графічної гри», які є частиною муль- тимодальності тексту. До них належить власне графічний елемент, його розташування, міжрядковий інтервал, шрифт, колір, підкреслення, чіткість, прозорість [12, с. 28].

Сучасні лінгвісти вважають, що текст не просто складається з речень, а власне кодується в них [9]. До вербальної частини тексту належать слова, у той час як візуальний складник охоплює візуальні (фото, малюнки), колажовані або графічні елементи, які є актуальними для того, на кого скерований цей текст. Як вербальний, так і невербальний складник містить важливу інформацію, яку не можна просто ігнорувати. Візуальний складник є невід'ємною частиною мультимодальності. Однак для створення цілісного образу візуальна складова частина має бути поєднана в тексті з вербальною частиною. Ні візуальний, ні вербальний складник не можуть існувати окремо, тому що вони не є самодостатніми, а доповнюють один одний, цим самим створюючи загальний і логічний зміст тексту [2, с. 88-89].

Мультимодальність усіх текстів представлена на трьох рівнях: тексти з нульовою, частковою та пов- ною мультимодальністю. Текст із нульовою муль- тимодальністю містить зображення, які не мають значення для його організації. Тексти з частковою та повною мультимодальністю містять зображення, які беруть участь у їхній організації. Як у частковій, так і в повній мультимодальності існує певний зв'язок між словесними та графічними компонентами. При частковій мультимодальності тексту вербальна частина є відносно автономною й не залежить від зображення, а між словесними та графічними компонентами існують семантичні відносини. У такому разі графічний елемент лише супроводжує вербальну частину тексту й не є обов'язковим для організації тексту. Повна мультимодальність тексту передбачає нерозривний зв'язок між вербальною частиною та графічним елементом. У такому разі словесні елементи не можуть існувати окремо від графічних, а між ними наявні тісні семантичні відношення. Словесна частина орієнтована на графічний компонент і відсилає до нього [5, с. 15].

У коміксах інформація сприймається візуально, тому графічний компонент є необхідним елементом організації коміксу, де вербальна частина супроводжує візуальну й навпаки. У коміксах присутні тільки два рівні мультимодальності: часткова й повна. Комікс не може бути текстом із нульовою мультимодальністю, оскільки графічний компонент завжди присутній і повністю або частково стосується вербальної частини. Читач може отримати інформацію з коміксу навіть якщо розглядати тільки картинки й не звертати уваги на вербальну частину. Картинки та слова в коміксах мають взаємну доповнюючу або супроводжуючу функцію - вербальна частина може доповнювати або супроводжувати картинки й навпаки.

У наведених нижче фрагментах коміксу «Captain America» простежується як повна, так і часткова мультимодальність тексту. У випусках коміксу Капітан Америка бореться зі своїми ворогами - нацистами, які становлять загрозу для його держави [CAGAM]. Для кращої передачі читачеві інформації про те, що відбувається в коміксі, застосовуються різні засоби, які доповнюють картину подій боротьби Капітана Америки з його ворогами. Одним із графічних елементів, які стосуються боротьби Капітана Америки з нацистами, є свастика (див. фрагмент № 1).

Свастика трапляється в коміксі безліч разів. Вона зображена й на одязі нацистів і їхніх створінь, таких, як the Red Skull (що є уособленням смерті) (рис. 1), і в їхніх документах, і на стінах їхньої штаб-квартири. Цей символ є власне вираженням мультимодаль- ності тексту.

Рис. 1. фрагмент № 1 коміксу «Captain America»

У такій ситуації присутні два її рівні. Згідно з теорією цей приклад є проявом часткової муль- тимодальності, коли читач звертає увагу на символ і без вербальної частини тексту розуміє, що йдеться про нацистів. Повна мультимодальність проявляється тоді, коли слова, які супроводжують картинки, пояснюють, що нацисти є ворогом Капітана Америки. Такий випадок є прикладом повної мультимодальності, де текст має нерозривні семантичні зв'язки з візуальним компонентом, тобто текст супроводжує графічний елемент і доповнює його. мультимодальність інформація текст

Іншим прикладом мультимодальності є герой Hurricane [CAGAM, с. 53] (див. фрагмент № 2). З кількох причин читач одразу розуміє, що цей герой, так само, як і Капітан Америка, буде боротися з ворогами.

Рис. 2. фрагмент № 2 коміксу «Captain america»

По-перше, його розташування на обкладинці відіграє важливу роль. Образ цього героя займає найбільше текстового простору в колажі зображень, завдяки цьому читач розуміє, що події будуть розгортатися саме довкола нього. По-друге, на обкладинці увагу читача привертає стіл, на якому стоїть табличка «Murder Ltd.», тож імовірно, що саме це ворог героя Харрікейн (див. рис. 2). У такій ситуації проявляється повна мультимодаль- ність, коли читачеві не потрібна словесна частина, щоб зрозуміти героя та його цілі загалом. Однак тут присутня й часткова мультимодальність.

Для того, щоб читач пізнав героя детальніше, подається його опис, який і супроводжує зображення. У фрагменті № 2 йдеться про те, що Харрікейн - “...son of Thor, god of thunder, and the last descendent of the ancient Greek immortals, returns to earth to fight his ancestral enemy, Pluto, the devil <...> whose horrible crimes have almost ruined civilization” (див. рис. 2). Тому без вербальної частини картинка, де зображений Hurricane, може існувати, але вона не є повноцінним елементом інформації.

Окреме місце посідає слово автора, яке часто супроводжує картинки. Автор переважно подає свої слова на кольоровому фоні, тоді як слова героїв - на білому. У випуску про Харрікейна автор часто описує події, які зображені на картинках. Так, наприклад, на рис. № 3 зображений Харрі- кейн, який маскується під звичайного смертного та їде в таксі до місця, де перебуває його ворог. Таксі їде повільно, тому Харрікейн дає автомобілю крила, щоб пришвидшити його рух (див. фрагмент № 3).

Рис. 3. фрагмент № 3 коміксу «Captain America»

У фрагменті № 3 коміксу «Captain America» зображене таксі, яке з крилами з обох сторін їде з надзвичайною швидкістю. Саме цей невер- бальний компонент автор доповнює словами «... while the driver keeps his eyes on the road, his immortal passenger removes two silver wings from their concealment in his person and attaches them to either side of the taxi» [CAGAM, с. 54] (див. рис. 3). У цій ситуації спостерігається часткова мультимо- дальність, тому що зображення не може існувати незалежно від тексту, оскільки саме вербальний елемент супроводжує графічний.

Слова автора на кольоровому фоні є необхідним елементом для кращого сприйняття коміксу, оскільки найчастіше саме вони супроводжують події, які подаються в зображенні. Так, наприклад, після ще одного успішного завдання Капітан Америка, він же Стів Роджерс, уже зображений у формі солдата у військовому таборі (див. фрагмент № 4).

Рис. 4. фрагмент № 4 коміксу «Captain America»

Невербальна частина супроводжується словами автора: «the next day... Captain America once more becomes private Steve Rogers...”, “- Private Rogers-fall in!” [CAGAM, с. 44] (див. рис. 4). Читач розуміє, що наступного дня, після ще одного успішно виконаного завдання, Капітан Америка знову став звичайним солдатом, якого звати Стів Роджерс.

Слова автора у фрагменті № 5 “Like an angry tornado... Captain America bursts into the room” [CAGAM, с. 47] (див. рис. 5) супроводжують дії Капітана, коли він вривається в кімнату до свого ворога, який ховається за маскою смерті.

Рис. 5. фрагмент № 5 коміксу «Captain america»

В одному з випусків коміксу в Капітана та його друга Баккі з'являються нові вороги - гіганти Ageless Orientals [CAGAM, с. 71], які становлять загрозу для всієї Америки, тому що вони дуже сильні, убивають людей, руйнують усе на своєму шляху, але їх неможливо вбити.

Обкладинка цього випуску містить як вербальні, так і невербальні компоненти. Графічні елементи супроводжують вербальні та навпаки. На обкладинці зображений страшний гігант, який тримає жінку (імовірно, хоче її вбити), і Капітан Америка разом із Баккі (див. рис. 6).

У фрагменті № 6 коміксу «Captain America» автор повідомляє читачам про те, що Капітан Америка та Баккі знову готові боротися з ворогом: “They (безсмертні гіганти - М. І.) can't be killed! <...> Betty Ross (розвідник уряду США - М. І.) was swiftly plunged into a horrifying mystery that involved a nation's life blood - that challenged the might of miraculous Captain America and his young friend Bucky! What was the secret of the Oriental Giants?” [CAGAM, с. 71] (див. рис. 6).

Зі слів автора читач розуміє, що ця жінка в руці створіння - Бетті Росс, а Капітан Америка й Баккі мають зупинити та подолати цього гіганта. Вербальні компоненти на цій обкладинці доповнюють зображення, що є прикладом часткової муль- тимодальності.

Рис. 6. фрагмент № 6 коміксу «Captain america»

Висновки та перспективи подальших досліджень

Зображення різною мірою бере участь в організації тексту. Залежно від наявності зображення й характеру його зв'язку з вербальною частиною можуть бути виділені три основні групи текстів: тексти з нульовою мультимодальністю, тексти з частковою мультимодальністю, тексти з повною мультимодальністю [4].

На відміну від візуальної частини тексту, вербальна передає більше інформації. Саме у вербальній частині інформація подається зрозуміло та відкрито. Візуальний компонент тексту супроводжує передавання вербальної інформації, створюючи нові поняття та додаткові значення. Невербальні засоби розширюють можливості вербальних елементів у передачі інформації. Це пояснюється тим, що будь-які візуальні засоби привертають увагу та справляють конкретне враження [2, с. 89].

У коміксі про Капітана Америку графічний елемент є невід'ємним його складником. У тексті звертається увага насамперед на зображення. Читач може отримати інформацію про події в коміксі навіть тільки з малюнків. Однак вербальний елемент необхідний для повноцінного та правильного сприйняття його змісту. У коміксах вербальна складова супроводжує текст і навпаки, цим самим вони доповнюють одне одного. Феномен муль- тимодальності в коміксі представлений лише на двох рівнях: повна й часткова мультимодальність. Нульова мультимодальність у коміксі «Captain America» не спостерігається, тому що графічний елемент завжди поєднаний із вербальним. Вагоме місце посідає виокремлення слів автора як метод мультимодальності. За допомогою слів автора, які подані на кольоровому фоні, читач отримує більше інформації про героїв та їхні дії в коміксі. Мультимодальність є однією з найбільш актуальних проблем візуально-графічного тексту, яка потребує подальшого дослідження.

Перспектива досліджень полягає в більш детальному дослідженні як вербальних, так і не- вербальних засобів мультимодальності у візуально-графічному тексті.

Література

1. Балли Ш. Общая лингвистика и вопросы французского языка / Ш. Балли М. : Иностранная литература, 1955. - 416 с.

2. Бехта І.А. Мультимодальні засоби когезії та когерентності у сучасних літературних казках : теоретико-методологіч- на інтерпретація / І.А. Бехта, М.А. Карп // Науковий вісник Міжнародного гуманітарного університету. Сер. : Філологія. - Вип. 13. - Одеса, 2014. - С. 87-90.

3. Гудзь Н.О. Мультимодальність як визначальна риса вебсайтів екологічної тематики. Сучасний стан і перспективи лінгвістичних досліджень і проблем перекладу / Н.О. Гудзь // Тези доповідей всеукраїнської наукової конференції пам'яті доктора філологічних наук, професора Д.І. Квеселевича. - Житомир, 2014. - С. 24-27.

4. Лайонз Дж. Лингвистическая семантика. Введение / Дж. Лайонз. - М. : Советская энциклопедия, 1990. - 658 с.

5. Рижкова В.В. Креолізовані тексти в аспекті вивчення реклами в банківській сфері України / В.В. Рижкова. - К., 2009 [Електронний ресурс]. - Режим доступу : http://www.nbuv.gov.ua/old_jrn/Soc_Gum/znpkhnpu_lingv/2008_25/24.html.

6. Сорокин Ю.А. Креолизованные тексты и их коммуникативная функция / Ю.А. Сорокин, Е.Ф. Тарасов // Оптимизация речевого воздействия. - М. : 1990. - С. 180-195.

7. (CAGAM) Captain America Golden Age Masterworks. Vol. 1. Comic book [Електронний ресурс]. - Режим доступу : http://www.readcomics.tv/comic/captain-america-golden-age-masterworks-vol.-1.

8. Hall J. Why Captain America is Now Marvel's Greatest Superhero. [Електронний ресурс]. Режим доступу : http://screencrush. com/captain-america-greatest-superhero/.

9. Halliday M.A.K. Cohesion in English / M.A.K. Halliday, R. Hasan. - London; New York : Routledge, Taylor and Francis Group, 2013. - 374 p.

10. Homem R.C. Relational Designs in Literature and the Arts: Page and Stage, Canvas and Screen / R.C. Homem. - New York, 2012. - 424 p. [Електронний ресурс]. Режим доступу : https://books.google.com.ua/books?id=BGFoP8cxWMQC&pg=RA1- PA100&lpg=RA1-PA100&dq=creolized+text&source=bl&ots=1c13Ht3vZf&sig=o8UCwf-SbeGrzAF638nRrUz2OSI&hl=ru&sa=X &redir_esc=y#v=onepage&q=creolized%20text&f=false.

11. Kress G.R. Multimodal Discourse: the modes and media of contemporary communication. / G.R. Kress, T. van Leeuwen. - London : Edward Arnold, 2002. - 152 p.

12. Malec W. Within language, beyond theories / W. Malec // Discourse Analysis, Pragmatics and Corpus-based Studies Rusinek. - Cambridge, 2015. - Volume III. - 244 p. [Електронний ресурс]. Режим доступу : https://books.google.com.ua/books?id=HoLW CgAAQBAJ&pg=PA27&lpg=PA27&dq=verbal+components+in+creolized+text&source=bl&ots=qcUL8IUlMo&sig=NZVrwXQoS QY1_K41hpMexZi5iRw&hl=ru&sa=X&redir_esc=y#v=onepage&q=visualization&f=false.

13. N0rgaard N. Key terms in Stylistics / N. N0rgaard, B. Busse, R. Montoro. - London : Bloomsbury, 2010. - 269 p.

14. Eija V Perspectives on Multimodality / V Eija, C. Cassily, M. Kaltenbacher. - John Benjamins Publishing, 2004. - 249 p.

Размещено на Allbest.ru