Мультимодальна стилістика: становлення та перспективи розвитку

Размещено на http://www.allbest.ru/

МУЛЬТИМОДАЛЬНА СТИЛІСТИКА: СТАНОВЛЕННЯ ТА ПЕРСПЕКТИВИ РОЗВИТКУ

Іваненко Д.О.

Херсонський державний університет

Анотація

Наукове дослідження присвячено теоретико-аналітичному огляду лінгвістичних доробків з вивчення питання становлення та розвитку мультимодальної стилістики. Своїми витоками мультимодальна стилістика сягає формальної лінгвістичної школи, представниками якої є Віктор Шкловський, Роман Якобсон; функціональної лінгвістики, видатним представником якої є Майкл Халлідей; когнітивної стилістики, представниками якої є Дж. Гевінс, К. Емот. Основні положення мультимодальної стилістики базуються на постулатах класичної стилістики тексту, мультимодальної лінгвістики, теорії текстових світів, когнітивної поетики, теорії концептуальної метафори.

Першозасновниками мультимодальної стилістики вважають датську дослідницю Ніну Норгаард, яка спиралась на дослідження з мультимодальної лінгвістики, розроблені Г. Крессом і Т. ван Льовеном. Основним із ключових понять мультимодальної лінгвістики є мультимодальний / креолізований текст та один з його різновидів, а саме відеовербальний текст. Г Кресс виділив чотири основні категорії мультимодальності, такі як модус, семіотичний ресурс, модальна сумісність, інтерсеміотична взаємодія модусів. Мультимодальна стилістика - це досить нова галузь стилістики, яка має на меті розширити способи та засоби масової інформації, до яких можна застосувати стилістичний аналіз. Мультимодальні стилісти розширюють концепцію, наприклад, роману, включаючи не лише розповідь про формулювання та можливі візуальні образи, типографування та макет, але й обкладинку книги, якість паперу та інші аспекти матеріальної реалізації книги.

Метою нашого дослідження є систематизація та узагальнення лінгвістичних теорій, які послугували підґрунтям появи мультимодальної стилістики та її розбудови. Об'єктом нашої розвідки є теоретичні доробки та практичні дослідження у царині мультимодальної лінгвістики та її відгалуженні, якою є мультимодальна стилістика.

Ключові слова: мультимодальність, мультимодальна лінгвістика, мультимодальна стилістика, модус, мультимодальний текст.

Abstract

Ivanenko D.O.

MULTIMODAL STYLISTICS: ACHIEVEMENTS AND PROSPECTS.

The research is devoted to the theoretical and analytical review of the linguistic works on the study of the formation and development of multimodal stylistics. The origins of multimodal stylistics go back to the formal linguistic school, represented by Victor Shklovsky, Roman Jacobson; functional stylistics, a prominent figure of functional linguistics - Michael Halliday; cognitive stylistics, represented by J. Gavins, Emot. The main provisions of multimodal stylistics are based on the postulates of classical text stylistics, multimodal linguistics, and the theory of text worlds, cognitive poetics, and the theory of conceptual metaphor.

The founders of multimodal stylistics are considered to be the Danish researcher Nina Norgaard, who in turn relied on research on multimodal linguistics developed by G. Kress and T. van Leuven.

The main key concept of multimodal linguistics is multimodal/creolized text and one of its varieties - video verbal text. G. Kress identified four main categories of multimodality: mode, semiotic resource, modal admissibility, intersemiotic modes. Multimodal stylistics is a fairly new branch of stylistics, which aims to expand the ways and means of mass media to which stylistic analysis can be applied. Multimodal stylists expand the concept of, for example, a novel, including not only the narrative of wording and possible visual images, typography and layout, but also the book cover, paper quality, and other aspects of the book's material realization.

The aim of our research is to systematize the scientific research of multimodal stylistics. The object of our article was the texts and film texts of English-language fairy tales of the XXI century, which will make it possible to clarify the specifics of their textual and multimodal structure. The article is devoted to the problem of research of multimodal stylistics

Key words: multimodality, multimodal linguistic, multimodal stylistics, mode, multimodal text.

Постановка проблеми

У сучасній лінгвістичній царині досліджень панує тенденція до вивчення різноманітних процесів, засобів і способів творення смислів за допомогою вербальних та невербальних семіотичних модусів [3; 5; 10; 17]. Мультимодальна стилістика постає відгалуженням мультимодальної лінгвістики, фундамент якої закладено Г. Крессом, Т ван Льовеном [11; 12] та М. Халлідеєм [14]. Останнім часом на теренах України з'являється все більше наукових розвідок, присвячених саме вивченню мультимодального конструювання смислів у різних типах текстів [3; 5].

Аналіз останніх досліджень і публікацій. Фундатором мультимодальної стилістики постає датська дослідниця Ніна Норгаард, чиї роботи «Multimodal Stylistics of the Novel» та «Key Terms in Stylistics» є засадничими у цій царині [17; 18]. У своєму підґрунті мультимодальна стилістика базується на дослідженнях з класичної стилістики тексту (І. Арнольд, В. Кухаренко, О. Мороховський) [1; 2; 4] та мультимодальної лінгвістики Г. Кресса та Т. ван Льовена (Kress, Leeuwen, 2001) [14].

Постановка завдання. Метою статті є виявлення витоків мультимодальної стилістики та окреслення основних здобутків класичних наукових шкіл, що формують її підґрунтя.

Виклад основного матеріалу

Мультимодалістика постає найсучаснішим напрямом лінгвістичних досліджень. У вузькому розумінні у компетенцію мультимодальної лінгвістики входить стилістичний аналіз способів конструювання значення і породження смислів зі словесними та іншими семіотичними кодами, а саме візуальними, аудіальними, які є єдиним цілим. У річищі лінгвостилістичних досліджень панує думка про те, що творення смислів є складним когнітивно-прагматичним процесом [5; 17].

Лінгвостилістика постає «парасольковою» наукою, що охоплює здобутки мовознавства, теорії літератури, філософії, культурології, соціології, історії та психології. Дослідники лінгвостилістики використовують лінгвістичні моделі та теорії як свої аналітичні інструменти для того, щоб описати та пояснити, як і чому працює текст, як ми «переходимо» від слів на сторінці до усвідомлення їхнього значення. Аналіз, як правило, орієнтується якісно або кількісно на фонологічні, лексичні, граматичні, семантичні, прагматичні чи дискурсивні особливості текстів, когнітивні аспекти, що беруть участь в обробленні читачем цих ознак, а також на різні їх поєднання. Нові розробки стилістики підкреслюють, що виробництво сенсу потрібно сприймати як подвійну вправу, що охоплює стільки ж текстових висновків, скільки розумових процесів, що дають змогу зрозуміти текст [18, с. 1].

З цього випливає, що стилістику часто розглядають як лінгвістичний підхід до літератури, оскільки досі більшість лінгвостилістичних досліджень вибирає художній текст як матеріал для аналізування. Проте за останні десятиліття діапазон типів текстів, які постають у фокусі досліджень з лінгвостилістики, значно розширився. Лінгвостилістичні дослідження охоплюють публіцистичні тексти та їхні піджанри, масмедійний тексти, тексти реклами та новин тощо. Спираючись на здобутки лінгвістики тексту, стилістика характеризується інформаційним, систематизованим, доступним та (як правило, також) контекстуальним аналізом, який є чітким, послідовним та відкритим. Важливо зауважити, що, незважаючи на стурбованість стилістів щодо чіткого інструментарію, жоден стилістичний аналіз не може бути абсолютно об'єктивним, адже на нього завжди впливатиме безліч факторів, таких як індивідуальні вподобання стиліста, а також мовна парадигма, що використовується для аналізу або вибраної методології. Стилістика є міждисциплінарною за обсягом, очевидно, вона є об'єднанням мовознавства та літературознавства. Проте різнопланові претензії в цій галузі також дають змогу різноманітним поглядам, запозичених з таких дисциплін, як філософія, теорія культури, соціологія, історія та психологія, знайти шлях до стилістичного аналізу літератури [18, с. 2].

Своїми витоками мультимодальна стилістика сягає досліджень формальної лінгвістичної школи, представниками якої є Віктор Шкловський («Art as technique» (1988 рік) [6]), Роман Якобсон («Closing statement: Linguistics and poetics»(1960 рік) [7]). Формалісти хотіли зробити літературне дослідження більш науковим, ґрунтуючись на чітких спостереженнях щодо формальних мовних особливостей текстів. Вони присвятили своє стилістичне вивчення фонологічним, лексичним та граматичним формам. Свої стилістичні дослідження науковці зосереджували майже виключно на поезії. У своєму видатному «Closing statement: Linguistics and poetics» (1960 рік) Р. Якобсон стверджував, що поетична функція мови є домінуючою у текстах, які «зосереджуються на повідомленні заради себе», тобто текстах, у яких мовний вибір відхиляється від норми й тим самим привертає увагу до себе та літературної природи тексту. У роботі «Art as technique» (1988 рік) В. Шкловський висунув аналогічний підхід до поетичної функції мови, ввівши в неї поняття очуднення або «остранения». На думку В. Шкловського, функція мистецтва полягає у продовженні процесу сприйняття шляхом очуднення знайомого. Репрезентативними творами формальної стилістики є «Standard language and poetic language» Я. Мукаржовського (1964 рік) та словесне мистецтво Р. Якобсона і Д. Шекспіра «Th'expense of Spirit» (1970 рік) [17, с. 7].

Тоді як ранній формалістичний підхід до літературних досліджень вирізнявся науковцями, які хотіли ґрунтовно базувати свій аналіз літератури на помітних мовних особливостях тексту, інші критикували цей підхід за занадто механістичний і позбавлений реального літературного розуміння. Крім того, формалістичний підхід дедалі частіше критикували за те, що він приділяв занадто мало уваги функціям та наслідкам перевірених формальних ознак та нехтував значенням екстралінгвальних факторів, таких як соціальний, історичний та культурний контекст. Разом із функціональним трендом у лінгвістиці наприкінці 1970-х років виник новий напрям стилістики, який вирішив деякі виявлені недоліки формальної школи. Як випливає з назви, лінгвісти та стилісти функціонального напряму говорять про перевагу функції та значення над формою, отже, інтегрують формальний опис із міркуваннями щодо функції описаних мовних особливостей.

Науковці зацікавлені у використанні мови та визнають роль, яку відіграє контекст у формуванні значень [17, с. 8]. Крім того, функціональна тенденція в мовознавстві викликала посилений інтерес до розроблення інструментів для аналізу, а саме довших відрізків тексту [11], що дало змогу стилістам легше розширити сферу їх аналізу з поезії до довших текстів, таких як оповідна проза та ігрові тексти. Видатним є діяч функціональної лінгвістики М. Халлідей, що запровадив підхід до мови, відомий як «системна функціональна лінгвістика» [12]. Функціональна стилістика додала до теоретико-поняттєвого апарату такі терміни, як «категорії», «методологія». М. Халлідей відстоює соціальний семіотичний погляд на спілкування, що означає, що мова та всі інші види людського осмислення розглядаються як соціальні практики, які, відповідно, мають бути проаналізовані в мультимодальній стилістиці. З цього випливає, що велике значення для лінгвістики має функціональний або прагматичний аспект використання мови, а це означає, що лінгвісти з цієї школи особливо зацікавлені у функціях вибору, який люди роблять під час використання мови, тобто сенс, який ці рішення створюють у контексті. Концепція вибору є абсолютно центральною для лінгвістики, а вибір вважається тісно пов'язаним із соціальним контекстом, у якому він зроблений. Крім того, сенс, який реалізується, випливає не лише з фактичного вибору формулювання, але й з його протиставлення тому, яке могло бути вибране замість цього. Щоб розкрити цю смислову складність мови, М. Халлідей називає три метафункції мови, а саме експериментальну, між- особистісну та текстову. Кожен пункт усвідомлює одночасно експериментальний сенс (значення, що стосується представлення досвіду), міжособис- тісне значення (значення, яке стосується відносин між співрозмовниками) та текстове значення (значення, що стосується організації тексту) [17, с. 9].

Остання тенденція стилістики, яку слід згадати, - це те, що в стилістиці часто називають «когнітивним рухом», який розпочався на початку 1990-х років. У своїй роботі прихильники когнітивної стилістики спираються на розуміння когнітивної психології та когнітивної лінгвістики, а також суміжних галузей теорії концептуальної інтеграції, теорії схем та теорії концептуальної метафори, теорії текстових світів Д. Гевінс [9], К. Емотт [8], Е. Семіно [19]. Дослідники когнітивної стилістики розширюють фокус свого аналізу, щоб включити читацьке та людське пізнання як абсолютно центральне у змістотворчому контексті, досліджуючи, як читачі мають сенс чи концептуалізують цей текст, наскільки мовні аспекти тексту підказують конкретні концептуалізації. Застосування теорії концептуальної метафори в стилістичному аналізі є показовим прикладом цього. Ще однією ключовою теорією когнітивної поетики є теорія текстових світів [8; 9; 19]. Теорія текстових світів стосується того, як люди будують розумові уявлення (тобто текстові світи) у своїй свідомості під час оброблення дискурсу, орієнтуючись на властивості світобудови (мовні підказки щодо часу, місця, об'єктів та персонажів), які дають можливість читачам концептуалізувати окремі світи, включаючи світ дискурсу автора та читача [11, с. 11].

Досі більшість досліджень з когнітивної стилістики було зосереджено на вивченні виключно мовних/мовленнєвих явищ. Однак згодом науковці починають вивчати когнітивні аспекти читацького сприйняття багатомодальних або мультимодальних літературних текстів. Лінгвістичний інтерес до дослідження вербальних та невербальних засобів, які відіграють провідну роль під час творення інформації та смислів, зумовлений тим, що сучасні тексти дедалі частіше охоплюють не лише вербальну складову частину, але й графічні/ візуальні зображення або окремі елементи. Як вербальні, так і графічні ресурси беруть участь у передачі думок та ідей і не лише виконують формальну роль, але й постають посередником між відправником та одержувачем, беруть активну участь у формуванні змісту тексту загалом і його окремих складових частин зокрема, впливають у такий спосіб на його перцепцію і комунікативно-прагматичну спрямованість.

Цілком закономірно, що останніми роками спостерігається підвищений інтерес учених до поліаспектного дослідження не лише мовних, але й позамовних засобів, які співіснують в одному комунікативному просторі. Наукова робота Г. Кресса і Т. ван Льовена «Reading Images: The Grammar of Visual Design» (1996 рік) [14], присвячена проблемі мультимодальності та модусам її репрезентації, заклала підґрунтя мультимодальної лінгвістики. Це дало поштовх багатьом сучасним дослідникам вивчати інноваційні аспекти невербальної комунікації [3, с. 100; 17, с. 14].

У своїх наукових роботах Г. Кресс і Т. ван Льовен фокусуються на вивченні ролі таких невербальних модусів, як звук, колір та типографування [13; 14; 15; 16]. На думку дослідників, «загальні семіотичні принципи діють у різних режимах і в різних напрямах. Наприклад, у разі експериментальної метафункції сенс створюється за допомогою конфігурацій учасників, процесів та обставин у мові» [16].

Доцільність у виокремленні мультимодальної лінгвістики вбачається в її універсальності. Не існує фактично такого жанру, який би не був нею охоплений (комікси, карикатури, романи, посібники користувача, художні книги, музейні експонати, фільми, картини тощо). Говорячи про мультимодальність, мультимодальний текст та мультимодальний дискурс, спостерігаємо неоднозначність у трактуванні понять, якими оперують дослідники під час аналізу. Йдеться про мультимодальність, модус, семіотичні ресурси, модальність тощо, тому одне з першочергових питань стосується категорійно-поняттєвого апарату цієї вузькоспеціальної галузі лінгвістики [13, с. 101]. мультимодальна стилістика лінгвістика

Основним із ключових понять мультимодальної лінгвістики є мультимодальний / креолізований текст та один з його різновидів, а саме відеовербальний текст. Вперше термін «мультимодальний / креолізований текст» був розроблений вченими Г Крессом і Т ван Льовеном у спільній статті «Multimodal Discourse» [3, c. 56; 13]. Під цим поняттям вони розуміють текст, який поєднує різні семіотичні системи для того, щоб отримати більш детальну інформацію. Г. Кресс виділив такі чотири основні категорії мультимодальності: модус (англ. mode) як результат культурного формування матеріалу через його використання в щоденній соціальній взаємодії людей; семіотичний ресурс (англ. semiotic mode), що показує взаємодію між репрезентаційними ресурсами та їх реалізацією; модальна допустимість (англ. modal compatibility) - це поняття, пов'язане з матеріальним, культурним, історичним аспектом використання модусу, саме ця категорія відповідає за адекватне використання модусу; інтерсеміотичність модусів (англ. intersemiotic modes) - сполучуваність модусів у певному контексті [13, с. 14]. Поняття «модус» не має однозначного трактування, тому потребує додаткових уточнень та обґрунтувань. У мультимодальній комунікації для реалізації поставлених цілей поєднують одночасно кілька модусів. Прикладами можуть слугувати рисунок і вербальний текст, рисунок і текстовий підпис-пояснення до нього, текст та інші невербальні графічні засоби, усний вербальний текст і міміка співрозмовника, відстань між комунікантами, вербальні засоби на телебаченні чи в Інтернеті разом з ілюстраціями або іншими графічними об'єктами, що рухаються та виконують певні дії. Промінантною є думка Ґ. Кресса і Т ван Льовена про те, що всі модуси впливають на значення, формуючи його сутність. Це стосується засобів (візуальних, мовних, писемних тощо), використання яких обмежується можливістю окремих каналів зв'язку й тематичною спрямованістю кожного конкретного інформаційного блоку [3, с. 105].

Інші дослідники схиляються до думки про те, що модус (візуальний або семіотичний ресурс) (від лат. modus - міра, спосіб, образ, вид) - це засіб передачі інформації, під яким розуміють текст, звук, відеоряд, характерною та ключовою ознакою якого є можливість уміщувати й передавати значення. Очевидним є той факт, що до одного комунікативного акту залучено декілька модусів одночасно, завдяки яким формується мультимодальність. Зазначимо, що, говорячи про модус, К. Джевітт удається до детального трактування семіотичних ресурсів. Отже, модус - це певний набір ресурсів, які належать до однієї системи і здатні передавати значення, сполучаючись як з одиницями цієї системи, так і з тими, що належать до інших систем. Окремими групами модусів є вербальні одиниці, цифри, знаки пунктуації, фотосвітлини, піктограми тощо [3, с. 107]. Семіотичний ресурс - це одне з ключових понять у мультимодальній лінгвістиці, під яким Т. ван Льовен розуміє продукти людської діяльності, які використовують з комунікативною метою та які продукуються фізіологічно. Наприклад, наш артикуляційний апарат чи мускули уможливлюють відповідні вирази обличчя й жести. До технічних комунікативних ресурсів належать ручка, чорнило чи комп'ютерне апаратне та програмне забезпечення. Не менш важливим поняттям мультимодальної лінгвістики є модальна сумісність, у межах якої, власне, визначається доцільність використання того чи того модусу з урахуванням преференцій, традицій і звичаїв етнічних спільнот. Модальна сумісність - це ключове поняття, яке визначає ступінь інтерсеміотичної кореляції різних модусів, зокрема кількох невербальних і вербального або лише кількох невербальних та паравербальних одночасно. Під модальною сумісністю розуміємо можливість семіотичних ресурсів сполучатися між собою, не суперечачи один одному як щодо вираження, так і стосовно змісту [3, с. 107].

Мультимодальна лінгвістика та мультимодальна стилістика покликані полівекторно досліджувати конвергенційні інтеракційні процеси, що реалізуються в результаті використання вербальних, невербальних і паравербальних засобів у різножанрових площинах незалежно від вибраного каналу й середовища [3, с. 132]. З цього випливає, що мультимодальна стилістика - це досить нова галузь стилістики, яка має на меті розширити способи та засоби масової інформації, до яких можна застосувати стилістичний аналіз. Таким чином, інструментарій мультимодальної стилістики дає змогу вивчити як роль і значущість слова у творенні смислів, так і засоби типографування, колір, компонування, візуальні зображення (Н. Норгаард, 2010 рік) [17; 18]. З цієї стилістичної точки зору вся комунікація та всі тексти вважаються мультимодальними, навіть звичайні літературні оповіді без спеціальних візуальних ефектів, оскільки написана словесна мова автоматично і без винятку включає як формулювання, так і типографію (або графологію), а також реалізацію в просторі з точки зору компонування.

Висновки і пропозиції

Отже, об'єктом дослідження мультимодальної лінгвістики та її відгалуження, якою є мультимодальна стилістика, є поєднання вербальних, невербальних та паравербальних засобів, які співіснують в одній площині. Предметом дослідження мультимодальної лінгвістики в усному мовленні є різноманітні комунікативні акти з урахуванням темпу, тембру мовця, просторових і часових характеристик та інших екстралінгвальних факторів. Предметом дослідження мультимодальної лінгвістики у писемному мовленні є структурно-функціональні, комунікативно-прагматичні й соціокультурні особливості вербальних, невербальних та паравербальних компонентів. Предметом дослідження мультимодальної стилістики є прийоми, техніки та механізми продукування стилістичних засобів [3, с. 132].

Список літератури

1. Арнольд И. Стилистика современного английского языка. 2-е изд. Москва: Просвещение, 1981. 300 с.

2. Кухаренко В. Интерпретация текста. Москва: Просвещение, 1988. 192 с.

3. Макарук Л. Мультимодальність сучасного англомовного масмедійного комунікативного простору: автореф. дис. ... докт. філол. наук: спец. 10.02.04 ; Запорізький національний університет. Луцьк, 2019. 40 с.

4. Стилистика английского языка: учебник / ред. А. Мороховский, А. Воробьева, Н. Лихошерст, З. Тимошенко. Київ: Вища школа, 1991. 247 с.

5. Цапів А. Поетика наративу англійськомовних художніх текстів для дітей: автореф. дис. ... докт. філол. наук: спец. 10.02.04 ; Харківський національний університет імені В. Каразіна. Харків, 2020. 40 с.

6. Шкловский В. Избранное. Москва: Художественная литература, 1983. 640 с.

7. Якобсон Р Работы по поэтике. Москва: Прогресс, 1987. 464 с.

8. Emmott C. Narrative comprehension: a discourse perspective. New York: Oxford University Press, 1997. 344 р.

9. Gavins J. Text world theory. An introduction. Edinburgh: Edinburgh University Press, 2007. 208 р.

10. Gibbons, A. «I contain multitudes». Narrative multimodality the book that bleeds. New perspectives on narrative and multimodality / ed. R. Page. New York, London: Routledge Taylor & Francis Group, 2010. Р 99-114.

11. Halliday M., Hasan R. Cohesion in English. London and New York: Longman, 1976. 374 p.

12. Halliday M. Halliday's introduction to functional grammar. 4th ed. London ; New York: Routledge Taylor & Francis Group, 1994, 2014. 808 p.

13. Kress G. Multimodal Discourse: the modes and media of contemporary communication. London: Edward Arnold, 2002. 152 p.

14. Kress G., van Leeuwen T. Reading images: The grammar of visual design. 2nd ed. London ; New York: Routledge Taylor & Francis Group, 2006. 310 p.

15. Kress G. Multimodality: Challenges to thinking about language. TESOL Quarterly. 2000. № 34 (2). P 337-340.

16. Kress G. Multimodality. A social semiotic approach to contemporary communication. New York ; London: Routledge Taylor & Francis Group, 2010. 212 p.

17. Nоrgaard N. Multimodal Stylistics of the Novel More Than Words. New York: 711 Third Avenue, 2019. 348 р.

18. Nоrgaard N., Montoro R., Busse B. Key Terms in Stylistics. London: The Tower Building, 2010. 276 p.

19. Semino E. Text worlds. Cognitive poetics: Goals, Gains and Gaps / ed. G. Bronte, J. Vandaele. Berlin ; New York: Mouton de Gruyter, 2009. P 33-77.

Размещено на Allbest.ru