Эмоциональный интеллект: русскоязычная адаптация теста Мэйера-Сэловея-Карузо (MSCEIT V2.0)

Анализ различных моделей и вариантов диагностики эмоционального интеллекта. Рассмотрение второй версии теста эмоционального интеллекта Дж. Мэйера, П. Сэловея и Д. Карузо. Результаты психометрической проверки характеристик русскоязычной версии теста.

Рубрика Психология
Вид статья
Язык русский
Дата добавления 23.06.2018
Размер файла 541,6 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Эмоциональный интеллект: русскоязычная адаптация теста Мэйера-Сэловея-Карузо (MSCEIT V2.0)

Сергиенко Е.А.,

Ветрова И.И.

Аннотация

Анализируются различные модели и варианты диагностики эмоционального интеллекта. В контексте операционализации конструкта "эмоциональная регуляция" рассматривается вторая версия теста эмоционального интеллекта Дж. Мэйера, П. Сэловея и Д. Карузо (The Mayer-Salovey-Caruso Emotional Intelligence Test - MSCEIT V2.0). Описана процедура адаптации теста на русскоязычной выборке (638 респондентов), выполненная по соглашению с правообладателем - Корпорацией психического здоровья (MHC). Результаты психометрической проверки характеристик русскоязычной версии теста MSCEIT V2.0 показывают, что данная методика соответствует минимальным требованиям, предъявляемым к исследовательским методикам, и может быть использована именно для этих целей. Выявленные отдельные невысокие психометрические показатели не препятствуют использованию теста, но указывают на необходимость дальнейшей работы по адаптации и стандартизации теста.

Ключевые слова: контроль поведения, эмоциональная регуляция, эмоциональный интеллект, тест MSCEIT V2.0, адаптация теста, русскоязычная версия, психометрическая проверка

Идея целостного изучения регулятивной функции субъекта реализуется нами в конструкте "контроль поведения". Развитие представлений о составляющих контроля поведения - когнитивном контроле, эмоциональной регуляции, контроле действий - потребовало поиска адекватных методов оценки этих составляющих, в частности эмоциональной регуляции.

Оценки эмоциональной напряженности, уровня фрустрированности, тревожности использовались в наших работах [Ковалева, Сергиенко, 2004, 2007; Соколова, Сергиенко, 2004, 2007], однако лишь частично соответствовали содержанию эмоциональной регуляции как части контроля поведения. В поисках методов операционализации нашего конструкта мы пришли к идее использовать тест эмоционального интеллекта как отражающий разные стороны эмоциональной регуляции индивидуальности человека. Отметим, что разработанный Дж. Мейером, П. Сэловеем и Д. Карузо тест эмоционального интеллекта отличается от опросниковых методов, что повышает надежность результатов при его использовании.

В настоящей работе мы опишем теоретическую модель, структуру и результаты адаптации второй версии теста эмоционального интеллекта Дж. Мейера, П. Сэловея и Д. Карузо (MSCEIT V2.0) на русскоязычной выборке.

Общая история

Исследования эмоционального интеллекта появились в научных статьях в начале 1990-х годов. Этот концепт завоевал заслуженную популярность и привлекает многих исследователей. Причины такой популярности связаны как с попытками оценить более целостно адаптивные способности индивида через его умение эмоционально взаимодействовать с другими, так и с возможностями предсказать успешность поведения в различных видах социальной активности [Mayer, Salvoes, Caruso, 2002; Brackett, Salovey, 2004; Measuring Emotional Intelligence …, 2003].

Первоначально понятие "эмоциональный интеллект" было связано с социальным интеллектом. Оно появилось именно в контексте разработки проблематики социального интеллекта такими исследователями, как Дж. Гилфорд [Guilford, 1967], X. Гарднер [Gardner, 1993] и Г. Айзенк [Айзенк, 1995]. Тем не менее, на современном этапе исследования эмоционального интеллекта являются вполне самостоятельным направлением. Можно согласиться с мнением Д.В. Ушакова, что эмоциональный интеллект хотя и тесно связан с социальным интеллектом, но имеет свою специфику. Поэтому эти два конструкта могут быть представлены как пересекающиеся области [Ушаков, 2004]. Публикация в 1995 г. книги Д. Гоулмана "Эмоциональный интеллект" принесла популярность взгляду на эмоции как область интеллекта [Goleman, 1995]. эмоциональный интеллект тест

Впервые термин "эмоциональный интеллект" в психологию ввели Д. Мэйер и П. Сэловей [Sаlоvеу, Мауег, 1990]. Они определили эмоциональный интеллект как способность воспринимать и выражать эмоции, ассимилировать эмоции и мысли, понимать и объяснять эмоции, регулировать собственные эмоции и эмоции других [Mayer, Salovey, 1997]. В 1990 г. они разработали одну из первых и наиболее известную модель этого конструкта. Тогда же они начали разработку методики для исследования эмоционального интеллекта. Со временем на основе полученных данных они дорабатывали и совершенствовали теоретическую модель. Также изменялась и методика, пока в 2002 г. не был создан MSCEIT, V2.0 (The Mayer-Salovey-Caruso Emotional Intelligence Test) - стандартизированный тест для измерения эмоционального интеллекта [Mayer, Salovey, Caruso, 2002]. Работы по исследованию эмоционального интеллекта именно в рамках теории Мэйера, Сэловея и Карузо активно продолжаются сейчас в Йельском университете под руководством Питера Сэловея.

Два подхода к пониманию эмоционального интеллекта

Ричард Робертс, Джеральд Мэттьюс, Моше Зайднер и Дмитрий Люсин в своем подробном обзоре исследований эмоционального интеллекта выделяют две основных модели данного конструкта, на основании которых и предлагаются методики для его изучения [Эмоциональный интеллект: проблемы теории …, 2006].

Смешанные модели эмоционального интеллекта интерпретируют его как сложное психическое образование, имеющее и когнитивную, и личностную природу. В эти модели включаются когнитивные, личностные и мотивационные черты, благодаря чему они оказываются близко связанными с адаптацией к реальной жизни. Все модели в этом подходе отличаются только набором включенных личностных характеристик. Измерение непосредственно эмоционального интеллекта осуществляется с помощью опросников, основанных на самоотчете, как и в обычных личностных опросниках. Так, например, Ревен Бар-Он выделяет межличностный и внутриличностный эмоциональный интеллект, а в свой опросник EQ-i (Bar-On Emotional Quotient Inventory) включает еще шкалы на адаптацию, управление стрессом и общее настроение (Bar-On, 1997).

В моделях способностей эмоциональный интеллект определяется как набор способностей, измеряемых с помощью тестов, состоящих из заданий с правильными и неправильными ответами. Наиболее известной такой методикой является MSCEIT, V.2.0 [Mayer, Salovey, Caruso, 2002], где выделяются четыре уровня эмоционального интеллекта с секциями заданий на выявление каждого из них.

Как отмечают Р. Робертс, Дж. Мэттьюс, М. Зайднер и Д. Люсин, у каждого из этих двух подходов к пониманию эмоционального интеллекта есть свои сильные и слабые стороны, которые наиболее сильно проявляются в предлагаемых исследовательских методиках [Эмоциональный интеллект: проблемы теории …, 2006]. Так, например, при оценке методик, базирующихся на смешанных моделях, встает вопрос о способности человека адекватно оценивать свои эмоции и управлять ими. Значимые и высокие значения корреляций шкал методик на эмоциональный интеллект со шкалами личностных опросников свидетельствуют о том, что данные методики измеряю различные аспекты эмоционального интеллекта. Даже более вероятно, что эти методики измеряют всего лишь индивидуальный вклад в эмоциональную адаптацию. Имеет ли эмоциональный интеллект отношение к интеллекту как общей когнитивной способности? Данный вопрос обсуждался в работах Мейера и Сэловея [Mayer, Salovey, 1990], в работах Х. Гарднера [Gardner, 1993] и в отношении социального интеллекта - в работе Д. Ушакова [Ушаков, 2004]. Подробное обсуждение данного вопроса потребовало бы отдельной работы, поэтому кратко сформулируем имеющиеся точки зрения.

Мэйер и Сэловей считают, что эмоциональный интеллект тесно связан с когнитивным интеллектом, поскольку постулируют единство аффекта и интеллекта, что соответствует отечественным традициям школы Л.С. Выготкого и С.Л. Рубинштейна. Подобное решение предлагает и Ушаков, полагая, что "социальный интеллект становится в один ряд с другими видами интеллекта, образуя вместе с ними способность к высшему виду познавательной деятельности - обобщенной и опосредованной" [Ушаков, 2004, с. 8]. Гарднер полагает множественность интеллектов. Однако здесь уместно вспомнить имеющиеся представления о соотношении креативности и интеллекта, точнее, психометрического интеллекта, который измеряет только те когнитивные способности, которые заложены в модели теста. Как известно, соотношение интеллекта и креативности носит пороговый характер. До определенной величины (средних значений) креативность тесно связана с показателями интеллекта, в дальнейшем она не зависит от роста интеллектуальных способностей (при очень высоких показателях интеллекта креативность может оставаться на весьма средних значениях) [Холодная, 2002]. Такое же отношение мы видим и при изучении модели психического - способности понимать психические состояния свои и другого. Средний уровень интеллекта необходим, но недостаточен для развития данной способности, что особенно ярко проявляется при изучении аутистов со средними и выше средних показателями интеллекта [Downs, Smith, 2004].

Нам представляется, что интеллект как адаптивная функция дает безусловное преимущество в ориентации и активности в окружении. Такое понимание, вслед за Пиаже, представляется нам особенно актуальным для эмоционального интеллекта, который связан с общими когнитивными способностями пороговыми отношениями. Средний уровень интеллекта необходим, но недостаточен для эмоциональной и социальной адаптивности индивида к окружению. Безусловно, такой сложный вопрос требует более детального обсуждения и эмпирического обоснования.

Методики, основанные на моделях способностей, обладают неплохой критериальной валидностью и измеряют некие конструкты, отличные от всех уже выделенных в психологии способностей и личностных факторов. Однако пока остается неясным, как эмоциональный интеллект соотносится с этими уже выделенными конструктами. Также большой вопрос вызывает подсчет баллов, так как в подавляющем большинстве методик он основан на консенсусе и оценках экспертов, что не исключает конформность к социальным нормам. Однако подобная конформность характерна и при разработке других тестов, включая и тесты на интеллектуальные способности.

Не меньший интерес вызывает выявление конструктов, лежащих в основе эмоционального интеллекта, и их измерение единой методикой. Р. Робертс, Дж. Мэттьюс, М. Зайднер и Д. Люсин предлагают набор таких конструктов применительно к роли эмоционального интеллекта в адаптации и приводят список методик и отдельных шкал для их измерения [Эмоциональный интеллект: проблемы теории …, 2006]. Сюда входят такие конструкты, как темперамент, переработка информации, уверенность в своей эмоциональной компетентности, эмоциональные знания и навыки.

Наиболее известные в России методики для измерения эмоционального интеллекта

В настоящее время в России наиболее часто применяются четыре методики измерения эмоционального интеллекта.

Методика М. Холла

Наиболее широко используется методика М. Холла, которую представил Е.П. Ильин [Ильин, 2001]. Она почти идентична методике EQ, опубликованной на сайте www.queendom.com. Методика состоит из 30 утверждений, разбивающихся на 5 шкал:

1) эмоциональная осведомленность;

2) управление своими эмоциями;

3) самомотивация;

4) эмпатия;

5) распознавание эмоций других людей.

Ответ на каждое утверждение предполагает 6-балльную шкалу: от -3 - "полностью не согласен" до +3 - "полностью согласен".

Однако И.Н. Андреева [Андреева, 2004], описывая этот опросник, отмечает некоторое несовпадение смысловой нагрузки с названием шкал. Она рассматривает управление своими эмоциями как эмоциональную гибкость, самомотивацию - как произвольное управление своими эмоциями, распознавание эмоций других людей - как способность воздействовать на эмоциональное состояние других людей. Также стоит отметить отсутствие какой-либо информации по психометрике данного теста, как при его создании, так и при переводе. Это лишает нас права рассматривать данную методику как адекватное и валидное средство измерения эмоционального интеллекта. С этой точки зрения удивляет ее широкое распространение, что еще раз поднимает вопрос о компетентности и этике психологов.

Методика Self Report Emotional Intelligence Test (SREIT)

Методика Self Report Emotional Intelligence Test (SREIT), сконструированная на базе ранней модели Дж. Мэйера и П. Сэловея Н. Шутте с коллегами [Development and validation …, 1998]. Она состоит из 33 утверждений, разбивающихся на 3 шкалы:

1) оценка и выражение эмоций;

2) регулирование эмоций;

3) использование эмоций при решении проблем.

Ответы даются по 5-балльной шкале: от 1 - "это совершенно не обо мне" до 5 - "это точно про меня". Оценки по шкалам получаются методом суммирования полученных баллов по ключам.

Этот опросник показал достаточно хорошие психометрические показатели при конструировании: внутреннюю надежность (Ь Кронбаха = 0,90), тест-ретестовую надежность на уровне 0,78 и очевидную дискриминативную валидность. Единственным минусом данной методики является ее незащищенность от социально желательных ответов испытуемых. Также нигде нет никаких данных о проведении психометрики после перевода методики на русский язык и адаптации на русскоязычной выборке. Однако несомненным плюсом этой методики является простота в использовании и обработке.

"Эмоциональный интеллект-2" (ЭмIQ-2)

ЭмIQ-2 - методика, созданная в России. Работа над тестом началась в 2004 г. Первоначальная версия теста ("Эмоциональный интеллект-1") была создана Е.А. Орёл на базе западных исследований по данной тематике. Дальнейшая разработка теста ("Эмоциональный интеллект-2") осуществлялась В.В. Одинцовой под научным руководством А.Г. Шмелева [Одинцова, 2006].

Применяемая на практике версия методики ("Эмоциональный интеллект-2") состоит из 66 вопросов, каждый из которых имеет пять вариантов ответа. Эти вопросы сгруппированы в шесть шкал.

1. Общая шкала (суммарный балл по всем шкалам).

2. Самоанализ и самозащита (шкала отражает способность респондента трезво оценивать свои сильные и слабые стороны, распознавать и понимать свои эмоции, умение выстраивать определенную "психологическую защиту" от неприятностей).

3. Самоконтроль (шкала отражает наличие у респондента внутренней мотивации, самодисциплины, настойчивости в достижении поставленных целей).

4. Выражение эмоций (шкала отражает способность респондента адекватно выражать и контролировать свои эмоции и должным образом реагировать на проявления эмоций других людей).

5. Социальная чуткость (шкала отражает способность респондента правильно понять и оценить мотивы, стоящие за поведением окружающих его людей, и адекватно на них реагировать на основе этого понимания).

6. Самооценка чуткости (шкала отражает оценку респондентом собственных качеств: чуткости, проницательности, понимания мотивов поведения окружающих).

Стандартизация существующего варианта методики проводилась на широкой выборке добровольцев, выполнявших интернет-версию методики в ее исследовательском варианте, на сайте HR-лаборатории "Гуманитарные технологии" (свыше 600 протоколов).

Стоит отметить большую практическую направленность данной методики. В качестве сферы ее применения рассматриваются психодиагностические исследования личности взрослых людей с целью выявления направлений психологической помощи, самопознания, а также использование в качестве дополнительного инструмента диагностики при подборе и оценке специалистов, сфера деятельности которых непосредственно связана с общением (руководители, менеджеры по продажам, бизнес-тренеры и т.д.).

Тест ЭмИн Д.Люсина

Тест ЭмИн Д. Люсина опирается на собственную модель эмоционального интеллекта автора [Люсин, 2004]. Эмоциональный интеллект определяется как способность к пониманию своих и чужих эмоций и управлению ими. Как способность к пониманию, так и способность к управлению эмоциями может быть направлена и на собственные эмоции, и на эмоции других людей. Таким образом, автор вводит понятие внутриличностного и межличностного эмоционального интеллекта, которые предполагают актуализацию разных когнитивных процессов и навыков, но должны быть связаны друг с другом. Правда, определение, предложенное Д. Люсиным, перекликается с моделью Х. Гарднера, который полагал, что эмоциональный интеллект является частью социального интеллекта. Личностный интеллект разделен на интер- и интраперсональный, что предполагает знание о себе и других [Gardner, 1993].

На основании такой модели предлагается тест, состоящий из 40 вопросов с ответами по 4-балльной шкале, которые группируются в 6 факторов.

1. Межличностный эмоциональный интеллект.

1.1. Шкала М 1. Интуитивное понимание чужих эмоций.

1.2. Шкала М 2. Понимание чужих эмоций через экспрессию;

1.3. Шкала МЗ. Общая способность к пониманию чужих эмоций;

2. Внутриличностный эмоциональный интеллект.

2.1. Шкала В 1. Осознание своих эмоций;

2.2. Шкала В 2. Управление своими эмоциями;

2.3. Шкала ВЗ. Контроль экспрессии.

Предлагаемая модель эмоционального интеллекта, как утверждает автор [Люсин и др., 2004], принципиально отличается от смешанных моделей тем, что в конструкт не вводятся личностные характеристики, которые являются коррелятами способности к пониманию и управлению эмоциями. Допускается введение только таких личностных характеристик, которые более или менее прямо влияют на уровень и индивидуальные особенности эмоционального интеллекта.

Тем не менее данная методика не может быть отнесена и к моделям способностей, ввиду того что является опросником, основанным на самоотчете.

Работы по стандартизации и изучению психометрических показателей данного теста продолжаются, поэтому трудно судить о надежности и валидности данной методики. Параллельно Д. Люсин ведет работу по созданию новой версии теста, в которую будет добавлена шкала, измеряющая способность к управлению чужими эмоциями, уточняется содержание шкал для повышения их надежности, продолжается сбор данных для проверки валидности опросника.

Модель Дж. Мэйера, П. Сэловея и Д. Карузо

В 1990 г. П. Сэловей и Дж. Мэйер предложили свою модель эмоционального интеллекта [Salovey, Mayer, 1990], опубликовав статью на эту тему. Они предложили формальное определение эмоционального интеллекта как набора навыков, имеющих отношение к точной оценке своих и чужих эмоций, а также выражению своих эмоций, использованию эмоций и эффективному регулированию своих и чужих эмоций. Соответственно, было высказано предположение, что эмоциональный интеллект состоит из следующих трех категорий адаптивных способностей:

· оценка и выражение эмоций;

· регулирование эмоций;

· использование эмоций в мышлении и деятельности.

На рисунке 1 представлена первая схема теоретической модели эмоционального интеллекта П. Сэловея и Дж. Мэйера.

Рис. 1. Концептуализация эмоционального интеллекта [Salovey, Mayer, 1990].

Первая категория состоит из компонентов оценки и выражения своих эмоций и оценки эмоций других людей. Компоненты оценки и выражения своих эмоций в свою очередь разделены на вербальный и невербальный подкомпоненты, а оценка чужих эмоций - на подкомпоненты невербального восприятия и эмпатии. Вторая категория эмоционального интеллекта, регулирование эмоций, имеет подкомпоненты регулирования своих эмоций и регулирования эмоций других людей. Третья категория - использование эмоций в мышлении и деятельности - включает подкомпоненты гибкого планирования, творческого размышления, управления вниманием и мотивацией. Несмотря на то, что в этой модели участвуют социальные и когнитивные компоненты, они связаны с выражением, регулированием и использованием эмоций.

К 1997 г. Джон Мэйер и Питер Сэловей доработали и расширили свою модель эмоционального интеллекта [Mayer, Salovey, 1997].

В переработанной модели сделан новый акцент на когнитивной составляющей эмоционального интеллекта, связанной с переработкой информации об эмоциях. Также в этой модели появился компонент, связанный с личностным и эмоциональным ростом. В свете этих изменений понятие эмоционального интеллекта получило и новое определение - как способность перерабатывать информацию, содержащуюся в эмоциях: определять значение эмоций, их связи друг с другом, использовать эмоциональную информацию в качестве основы для мышления и принятия решений.

Дальнейший анализ способностей, связанных с переработкой эмоциональной информации, позволил Дж. Мэйеру и П. Сэловею выделить четыре компонента эмоционального интеллекта, которые были названы "ветвями". Эти компоненты выстраиваются в иерархию, уровни которой, по предположению авторов, последовательно развиваются в онтогенезе (рис. 2):

· восприятие, оценка и выражение эмоций или же идентификация эмоций;

· использование эмоций для повышения эффективности мышления и деятельности;

· понимание и анализ эмоций;

· сознательное управление эмоциями для личностного роста и улучшения межличностных отношений.

·

Рис. 2. Схема компонентов эмоционального интеллекта (по П. Сэловей и Дж. Мэйеру [Mayer, Salovey, 1997]).

На основе этой иерархической модели авторами был создан первый экспериментальный вариант методики для исследования эмоционального интеллекта - MEIS (Multi-factor Emotion Intelligence Test). Он состоял из 12 субтестов (от 2 до 4 субтестов на каждую "ветвь") и включал в себя более 200 вопросов. На вопросы было предложено несколько вариантов ответов. Подсчет баллов производился на основе консенсуса, экспертных оценок или заданного стандарта. Однако этот тест не удовлетворил авторов своими психометрическими показателями в области согласованности по субтестам, и они продолжили работу. К 1999 г. к ним присоединился Дэвид Карузо [Mayer, Salovey, Caruso, 1999], и уже в 2002 г. они предложили новый тест - MSCEIT, V2.0. (The Mayer-Salovey-Caruso Emotional Intelligence Test) [Mayer, Salovey, Caruso, 2002]. В этом тесте был уже 141 вопрос, всего 8 секций - по 2 на каждую "ветвь". Эта методика оказалась более сбалансированной и непротиворечивой, показала хорошие психометрические результаты и получила наибольшее распространение.

Описание теста MSCEIT

Причины выбора данной методики для оценки эмоциональной регуляции в целостном изучении контроля поведения мы обсуждали в начале работы. Дополнительный аргумент использования этого варианта измерения эмоционального интеллекта состоял в том, что тест не является опросником, основанным на самоотчете.

Методика состоит из 8 секций. На каждый компонент модели эмоционального интеллекта Дж. Мэйера, П. Сэловея и Д. Карузо приходится по 2 секции.

I. Восприятие, оценка и выражение эмоций или же идентификация эмоций - секции A (измерение восприятия лиц) и E (измерение восприятия картинок). В более раннем варианте MEIS сюда входили еще 2 шкалы - измерение восприятия музыки и историй.

Cекция А состоит из 4 фотографий лиц людей, которые надо оценить по степени выраженности 5 эмоций, которые предложено выбрать участнику тестирования. Всего в секции 7 эмоций: счастье, печаль, страх, гнев, отвращение, удивление, волнение. Выраженность эмоций оценивается по 5-балльной шкале: от 1 - "наименьшая выраженность" до 5 - "сильная выраженность".

Пример тестового задания секции А приведен на рисунке 3.

Рис. 3. Проба N 1 секции А MSCEIT V.2.0.

Секция Е, также входящая в шкалу восприятия и идентификации эмоций, представляет собой 6 невербальных проб, которые должны обнаружить способность улавливать общие настроения, содержащиеся в окружении: как в конкретных пейзажах, так и в абстрактных формах. Каждую картинку надо оценить по степени выраженности, выбрав из 5 эмоций. Как и в секции A, представлен набор из 7 эмоций: счастье, печаль, злость, удивление, отвращение, страх, возбуждение. Однако выраженность каждой эмоции надо оценивать не по шкале от 1 до 5, а с помощью схематичных картинок. К каждой эмоции прилагается ряд из 5 изображений схематичного лица, которое выражает данную эмоцию - от наименьшего проявления до самого сильного.

На рисунках 4 и 5 даны примеры проб секции Е.

Рис. 4. Проба N 2 секции Е MSCEIT V.2.0.

Рис. 5. Проба N 5 секции 6 MSCEIT V.2.0.

II. Использование эмоций для повышения эффективности мышления и деятельности - секции B (измеряет способность ассимилировать свой текущий опыт, описать свои чувства к определенному человеку) и F (измеряет способность человека описать свои эмоциональные состояния).

Секция В состоит из 5 вербальных заданий, направленных на понимание того, какие эмоции способствуют более эффективному выполнению деятельностей разного рода. Участник тестирования должен определить, насколько будет полезно в данной ситуации испытывать ту или иную эмоцию. Всего в каждом вопросе предложено по 3 эмоции, которые оцениваются по 5-балльной шкале: от 1 - "не помогает" до 5 - "помогает".

Пример заданий секции В.

2. Какое(ие) настроение(я) помогло бы сочинению вдохновенной мелодии военного марша?

Не помогает

Помогает

a. гнев

1

2

3

4

5

b. взволнованность

1

2

3

4

5

c. недовольство

1

2

3

4

5

Секция F данной шкалы состоит также из 5 вербальных заданий, направленных на поиск обозначений эмоциональных состояний.

Пример задания секции F.

Инструкция: В каждом из приведенных ниже пунктов Вам надо постараться представить определенные чувства. Отвечайте даже в том случае, если Вы не способны представить себе это чувство.

Представьте, что Вы чувствуете себя оживленным, значительным, утонченным и готовым к новому. Оцените сходство между этим Вашим чувством и следующими характеристиками.

Не похоже

Очень похоже

a. возбужденный

1

2

3

4

5

b. ревнивый

1

2

3

4

5

c. напуганный

1

2

3

4

5

III. Понимание и анализ эмоций - секции C (изучалось понимание протекания эмоций во времени, а также понимание того, как эмоции следуют одна за другой, сменяют друг друга) и G (измерение способности различать смешанные и сложные чувства). В варианте MEIS секция C была разбита на 2 отдельные секции. Также присутствовала секция на измерение понимания относительности эмоций (рассказы о конфликтных ситуациях, где испытуемого просили представить чувства одной и другой стороны конфликта).

Секция С состоит из 20 описаний различных ситуаций в которых герои испытывают разные эмоциональные состояния, с 6 вариантами ответов в каждом. Понимание ситуативной обусловленности эмоций предполагает как когнитивное понимание смысла ситуации, так и опыта переживания похожих состояний. На каждый вопрос надо выбрать наиболее подходящий вариант ответа.

Пример задания N 4 секции С.

Инструкция: Завершите предложение, выбрав наиболее подходящее слово из списка.

Кирилл был опечален новостями из дома и хотел выразить свое искреннее сожаление. Когда он узнал то, что ему сказали не всю правду и что дела обстоят хуже, чем он сначала предполагал, он почувствовал

a. гнев и удивление

b. печаль и опасение

c. потрясение и сожаление

d. страх и отвращение

e. гнев и сожаление

Секция G состоит из 12 утверждений, выявляющих степень понимания значения тех или иных эмоций, сложности сочетания эмоций в одном чувстве.

Пример задания N 7 секции G.

Инструкция: Выберите наилучший вариант ответа для каждого из этих вопросов.

7. Расслабленность, защищенность и умиротворение - все части______

любви

усталости

надежды

спокойствия

предчувствия

IV. Сознательное управление эмоциями для личностного роста и улучшения межличностных отношений - секции D (управление своими эмоциями) и H (управление эмоциями других людей). Испытуемых просили представить себя на месте героев предложенной им истории и оценить варианты дальнейших действий.

Секция D посвящена способности эффективно управлять своими эмоциями. В секции предлагается 5 историй, в которых описываются некие события. К каждой истории дается 4 варианта продолжения. Испытуемый должен оценить каждое продолжение истории с точки зрения того, насколько эффективно подобные действия могут привести к хорошему настроению или его сохранению у главного героя. Оценка производится по 5-балльной шкале: от "a" - "очень неэффективно" до "е" - "очень эффективно".

Пример задания секции D.

Инструкция: Пожалуйста, выберите ответ для каждого действия

Майя проснулась в хорошем расположении духа. Она хорошо выспалась, чувствовала себя отдохнувшей, ничто ее не заботило и не тревожило. Оцените, в какой степени каждое из перечисленных действий может помочь ей сохранить это настроение?

Действие 1: Она нарядилась и наслаждалась весь оставшийся день.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Действие 2: Будучи в прекрасном расположении духа, Майя решила припомнить все хорошее, что у нее было.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Действие 3: Она решила, что лучше не обольщаться, так как это все равно не может долго продолжаться.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Действие 4: На волне своего приподнятого настроения она решила позвонить своей матери, которая была в подавленном состоянии духа, чтобы попытаться поддержать ее.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Секция H направлена на оценку способности управлять эмоциями других людей. В ней предложено 3 ситуации. В каждой ситуации описана история взаимоотношений и варианты того, как можно на них повлиять. Представлено 3 варианта продолжения этих взаимоотношений. Испытуемый должен оценить по 5-балльной шкале эффективность действий в каждом продолжении по сохранению хороших отношений. Оценка дается от "a" - "очень неэффективны" до "e" - "очень эффективны".

Пример ситуации N 3 секции H.

Инструкция: Пожалуйста, выберите ответ по каждому пункту.

У Лизы все идет хорошо. Пока другие жаловались по поводу работы, Лиза получила повышение и приличную прибавку к зарплате. Ее дети здоровы и хорошо учатся в школе, ее брак устойчив и очень счастлив. Лизу распирает от гордости, и она чувствует желание похвастаться перед своими друзьями. Оцените, насколько эффективным будет каждое из ее действий для сохранения хороших отношений с друзьями?

Ответ 1: Так как все очень хорошо, вполне нормально гордиться этим. Но Лиза также понимает, что некоторые люди воспримут это как хвастовство или могут позавидовать ей. Поэтому она поделилась своими чувствами только с самыми близкими друзьями.

a. Очень неэффективны; b. Достаточно неэффективны; c. Нейтральны; d. Достаточно эффективны; e. Очень эффективны.

Ответ 2: Лиза подумала о том, что в будущем все может пойти не так хорошо, и она ясно представила свои перспективы. Она поняла, что хорошее часто бывает недолговечно.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Ответ 3: Вечером Лиза поделилась своими чувствами с мужем. У нее окрепло решение, что семья должна провести вместе выходные и сообща решать все семейные проблемы.

a. Очень неэффективно; b. Достаточно неэффективно; c. Нейтрально; d. Достаточно эффективно; e. Очень эффективно.

Процесс создания русскоязычной версии MSCEIT V2.0

По соглашению с правообладателями данного теста - Корпорацией психического здоровья (МНС), обладающей правами на использование данной методики в русскоязычной культуре, мы выполнили перевод теста. В соответствии с требованиями правообладателей перевод осуществляли два переводчика с английского на русский и два переводчика с русского на английский, то есть производились прямой и обратный переводы. Для данной работы важно было не только владение английским языком, но и профессиональное психологическое образование, которое позволяет уйти от формального перевода. В прямом переводе на первом этапе участвовали И.И. Ветрова (первичный перевод), Е.А. Сергиенко и В.И. Белопольский. В обратном переводе - В.А. Соснин и А.Н. Харитонов. Все переводчики имеют научные степени в области психологии. Варианты перевода отсылались в Корпорацию и проверялись. Каждый переводчик заключал определенное соглашение и подписывал специальную форму, после чего кандидатура утверждалась Корпорацией. Ответственным координатором переводов является Е.А. Сергиенко. После проверки верности всех переводов необходимо было сделать согласованные переводы: один прямой и один обратный, каждый из которых выполняли по два переводчика. После проверки Корпорацией согласованных прямых и обратных переводов и незначительной коррекции было дано разрешение на использование теста на русскоязычной выборке. Вся процедура согласований и коррекций заняла около года.

Для большей культурной валидности теста все имена героев в заданиях теста были заменены на имена, распространенные в нашей культурной среде, но близкие по звучанию с оригинальными. Тем не менее были оставлены оригинальные картинки и фотографии людей, культурно-специфичные для американской выборки. Это было сделано для упрощения последующего сравнения полученных данных в рамках стандартизации теста. Мы считаем это отступление от требований максимального приближения к культурной среде допустимым, поскольку опознание эмоциональных выражений относится к базовым, универсальным человеческим способностям "чтения" эмоциональных состояний по лицевой экспрессии. Более того, в настоящее время распространенными и популярными являются американские фильмы и программы, что делает данный набор лиц уже знакомым российским участникам тестирования.

Создателями теста ключи для его обработки были получены на основе экспертной оценки и консенсуса [Эмоциональный интеллект: проблемы теории …, 2004], соответственно, ключи являются специфичными именно для американской выборки. Итоговые баллы по разным компонентам теста участник исследования получает в зависимости от распределения баллов по всей культурно-специфичной выборке. Вторая стратегия оценок, предложенная создателями тестов,- консенсус экспертов [Mayer et al., 2003]. Мы планируем сравнивать данные распределений и экспертные консенсусные оценки.

На данном этапе работы были собраны данные 638 респондентов: 283 юношей (237 - из Москвы, 46 - из Перми) и 355 девушек (55 - из Москвы, 300 - из Перми). Средний возраст респондентов в московской выборке: M = 19,0 (SD = 1,6), в пермской: M = 19,38 (SD = 1,8).

На основе этих данных проводилась процедура психометрической проверки. Полученное распределение ответов на задания теста мы обозначили как частотную оценку для русскоязычной популяции.

Оригинальный алгоритм подсчета баллов начинается с вычисления показателей по 8 разделам теста. Каждому ответу испытуемого приписывается балл, основанный на результатах консенсуса или частотности по выборке. Следующий шаг заключается в подсчете среднего балла по каждому разделу. Дальше подсчитываются баллы по каждой ветви, которые представляют собой среднее между баллами по разделам. Общий балл вычисляется как среднее всех 8 разделов теста.

После подсчета баллов были проведены психометрические процедуры, необходимые при адаптации теста.

Психометрические характеристики русскоязычной версии теста

Проверка первичных шкал на нормальность распределения

На первом этапе психометрической проверки первичные шкалы теста оценивались на нормальность распределения. Сравнение показателей асимметрии и эксцесса с соответствующими стандартными ошибками показало ненормальность распределения всех первичных шкал теста. Применение критерия Колмогорова-Смирнова для сопоставления наблюдаемых распределений с теоретически ожидаемыми нормальными также показало отступление распределений от нормального закона.

В связи с этим в дальнейшей психометрической проверке теста было принято решение пользоваться преимущественно непараметрическими критериями.

Однородность условий проведения исследования

Для проверки однородности условий проведения исследования в рамках совокупной выборки был использован метод нейронных сетей (стандартные процедуры нейросетевого анализа, воплощенные в пакете Statistica 7.0).Все данные, выбивающиеся из общей однородной группы, были исключены из анализа.

Структурная валидность MSCEIT

На следующем этапе психометрической проверки исследовалась структурная (факторная) валидность теста и теоретической модели, лежащей в его основе. Как и в работах зарубежных исследователей, были специфицированы и сопоставлены три альтернативные конфирматорные факторные модели в пакете LISREL.

Первая (четырехфакторная) модель предполагает существование в структуре эмоционального интеллекта четырех относительно самостоятельных, но взаимосвязанных способностей (к восприятию, оценке и выражению эмоций; к использованию эмоций для повышения эффективности мышления и деятельности; к пониманию и анализу эмоциональной информации; к сознательной регуляции эмоций для личностного роста и улучшения межличностных отношений), в каждую из которых входит по две частные манифестации (соответствующие первичным шкалам и секциям теста). Именно эта модель была описана выше как гипотетически выдвинутая Мэйером, Сэловеем и Карузо модель эмоционального интеллекта.

Вторая (двухфакторная) модель описывает эмоциональный интеллект как двухкомпонентное образование, в котором компоненты выделяются по группам способностей, названных Сэловеем, Мэйером и Карузо "опытным" и "стратегическим" доменом (experiential and strategic). В опытный домен входят способности к восприятию, оценке и выражению эмоций и способности по использованию эмоций для повышения эффективности мышления и деятельности; в стратегический домен входят способности к пониманию, анализу эмоциональной информации и к сознательной регуляции эмоций для личностного роста и улучшения межличностных отношений. Таким образом, данная альтернативная модель описывает эмоциональный компонент как более обобщенный (по сравнению с первой моделью) феномен.

Третья (однофакторная) модель предполагает существование "генерального фактора" эмоционального интеллекта, проявления которого - это указанные восемь первичных эмоциональных способностей.

В результате проведенных процедур в российской выборке была выбрана наиболее приемлемой двухфакторная модель эмоционального интеллекта. При этом она оказалась более пригодной, чем четырехфакторная модель на американской выборке (которая признана американскими коллегами наилучшей). Итоговые индексы пригодности приведены в табл. 1.

Таблица 1

Индексы пригодности трех альтернативных структурных моделей эмоционального интеллекта по данным российской выборки (N = 638)

Основные статистики

Структурная модель

Четырех-факторная

Двух-факторная

Одно-факторная

R2 (среднее), 1-й фактор

0,205

0,150

0,241

R2 (среднее), 2-й фактор

0,260

0,320

R2 (среднее), 3-й фактор

0,410

R2 (среднее), 4-й фактор

0,345

df

14

19

20

Ч2 (с поправкой Саторры-Бентлера)

24,37

37,86

60,47

RMSEA

0,034

0,039

0,056

90%-ный доверительный интервал для RMSEA

(0,0068; 0,056)

(0,021; 0,058)

(0,040; 0,073)

NFI

0,98

0,96

0,94

В целом на данном этапе психометрической проверки можно утверждать, что российская адаптация теста MSCEIT V. 2.0 обладает адекватной структурной (факторной) валидностью, при этом эмпирически пригодными оказываются как четырехкомпонентная, так и двухкомпонентная модели эмоционального интеллекта по Дж. Мэйеру, П.Сэловею и Д.Карузо. Поскольку пригодность данных двух структурных моделей практически одинакова, целесообразно использование более простой из них. Впрочем, такая картина предоставляет возможность выбора теоретической модели в зависимости от конкретных целей и задач исследования.

Надежность шкал MSCEIT V2.0

На следующем этапе психометрической проверки была исследована надежность шкал теста. Спецификой теста MSCEIT V2.0 является то, что его пункты негомогенны, то есть в разных частях теста используются разные и задания и варианты ответов на них. В этих условиях нельзя использовать коэффициенты надежности по внутренней согласованности альфа Кронбаха, и авторы теста пользуются коэффициентом split-half [Salovey, Bracket, Mayer, 2004, с. 186-188].

Результаты сравнения коэффициентов надежности по всем первичным и суммарным шкалам теста (табл. 2) показывают, что в целом коэффициенты надежности в российской выборке уступают американским, однако на определенных уровнях обобщения становятся достаточными для признания теста психометрически адекватным. Если принять за нижнюю границу надежности значение 0,65, из первичных шкал теста надежной в российской выборке оказывается только одна - способность к эмоциональному оцениванию живописи (шкала Е). Примечательно, что коэффициент надежности у этой шкалы является самым высоким и в американском исследовании. Более детальное исследование коэффициентов надежности с использованием показателя alpha-if-deleted в пакете Statistica 6.0 позволяет выявить пункты теста, удаление которых приведет к повышению коэффициентов надежности. Однако для сохранения сопоставимости результатов с американскими данными на этом этапе психометрического исследования все пункты были сохранены.

Таблица 2

Надежность шкал теста MSCEIT V2.0: российские данные в сопоставлении с американскими

Шкалы

Выборки

Российская

Американская

Альфа Кронбаха

Три самых "слабых" пункта

Альфа Кронбаха

A

0,62

11, 22, 35

0,80

B

0,41

3a, 3c, 4b

0,64

C

0,49

4, 13, 15

0,70

D

0,53

14, 23, 52

0,69

E

0,79

51, 62

0,88

F

0,62

1b, 2b, 3a

0,65

G

0,31

5, 7, 8

0,66

H

0,30

21, 32, 33

0,67

Альфа Кронбаха

Split-half

Split-half

1-я шкала (A-E)

0,77

0,80

0,91

2-я шкала (B-F)

0,64

0,68

0,79

3-я шкала (C-G)

0,57

0,64

0,80

4-я шкала (D-H)

0,56

0,54

0,83

"Опытный" домен (шкалы 1 и 2)

0,77

0,84

0,90

"Стратегический" Домен (шкалы 3 и 4)

0,67

0,70

0,88

Надежность всего теста

0,82

0,84

0,93

В целом результаты данного этапа психометрической проверки свидетельствуют о том, что надежность российской адаптации теста MSCEIT V. 2.0 является удовлетворительной по крайней мере в отношении трех показателей - суммарного балла по всему тесту и суммарных баллов по "доменам" эмоциональных способностей. Именно эти показатели могут надежно использоваться для индивидуальной диагностики респондентов. Кроме того, обнаружены наиболее "слабые" с точки зрения надежности пункты теста. Создание более работоспособных русскоязычных адаптаций теста должно начинаться с переформулировки именно этих пунктов.

Стандартизация теста

Если тест создается не только в исследовательских целях, но и для проведения индивидуальной диагностики, он должен быть стандартизован. В данном исследовании, однако, стандартизация теста наталкивается на препятствие, связанное с отсутствием нормальности распределения данных. Для всех первичных и суммарных шкал теста коэффициенты асимметрии и эксцесса превышают соответствующие стандартные ошибки, тест Колмогорова-Смирнова является незначимым, визуальное рассмотрение распределений показывает значительное отступление от нормального закона. В связи с этим приходится констатировать, что на данном этапе тест может применяться преимущественно в исследовательских целях. Для использования теста в целях индивидуальной диагностики необходимо улучшить возможности его стандартизации, то есть улучшить характеристики распределения суммарных шкал. Полагаем, для этого необходимо повышать дискриминативность (разрешающую способность) отдельных пунктов.

Критериальная валидность

Для проверки критериальной валидности теста были использованы два априорных предположения, исходящие из соображений здравого смысла: 1) студенты гуманитарного профиля в вопросах обработки эмоциональной информации более развиты, чем студенты естественно-научного профиля, 2) студенты женского пола эмоционально более развиты, чем студенты мужского пола.

Многомерный однофакторный дисперсионный анализ MANOVA для восьми первичных шкал теста показывает статистически достоверный эффект фактора "профиль обучения" на все восемь показателей эмоционального интеллекта одновременно: F(8, 273) = 0,909, р < 0.001. Отдельные серии сравнения средних по Т-критерию Стьюдента выявляют несколько показателей, по которым эти различия наиболее достоверны. Речь идет прежде всего о первичных шкалах C, F и H (хотя к данным результатам следует относиться с повышенной осторожностью, помня о невысокой надежности данных шкал). Так, студенты-психологи более способны к соединению вербализованных эмоций и недифференцированных ощущений (F), пониманию взаимопереходов эмоций (С) и регуляции эмоциональных состояний других людей (H). По суммарным шкалам теста, впрочем, значимых различий между студентами различных профилей не обнаруживается.

Второе предположение исследовалось по той же схеме. В данном случае многомерный дисперсионный анализ MANOVA для восьми первичных шкал теста показывает статистически достоверный эффект фактора "пол" на восемь первичных показателей эмоционального интеллекта: F(8, 628) = 0,923, p < 0,001. Сравнение средних по отдельным показателям позволяет выявить ряд значимых различий по большинству первичных шкал теста, а также по всем суммарным шкалам. Таким образом, оба выдвинутых нами предположения подтверждаются, что свидетельствует в пользу критериальной валидности русскоязычной версии теста.

Заключение

Результаты психометрической проверки характеристик русскоязычного перевода теста "Эмоциональный интеллект" MSCEIT V. 2.0 показывают, что данная методика соответствует минимальным требованиям, предъявляемым к исследовательским методикам, и может быть использована именно для этих целей. Выявленные отдельные невысокие психометрические показатели не препятствуют использованию теста, но указывают на необходимость дальнейшей работы по адаптации и стандартизации теста. В первую очередь работа будет проведена со "слабыми" пунктами теста, влияющими на надежность теста. Уже начата работа по сопоставлению MSCEIT V. 2.0 с другими методиками, изучающими эмоциональный интеллект и эмоциональную регуляцию.

Планируется создание электронной версии теста. По данным авторов MSCEIT (Mayer et al., 2003), статистически значимых различий между печатным вариантом теста и онлайн-версией не наблюдается. Но это требует проверки и на российской выборке.

Представленный тест, являясь достаточно трудоемким, полностью отвечает задачам исследования целостных эмоциональных адаптивных способностей, отражающих индивидуальные предпочтения эмоциональной регуляции. Поскольку данный тест будет использоваться нами наряду с другими методами оценки эмоциональной регуляции, именно такое применение, вероятно, позволит более корректно оценивать его возможности и ограничения. Введение новых методических приемов в психологические исследования до их применения в практических целях предполагает необходимый этап освоения тестов и их приложения, подобно тому, как любой новый медицинский прибор или лекарство испытывается годами, прежде чем он начинает широко применяться. Психология, как и медицина, имеет дело с людьми, поэтому ответственность психолога за методы и их воздействия должна быть столь же высокой.

Исследование выполнено при финансовой поддержке РГНФ, проекты 08-06-00053а, 08-06-00325а.

Литература

1. Айзенк Г.Ю. Интеллект: новый взгляд // Вопросы психологии. 1995. N 1. С. 111-131.

2. Андреева И.Н. Понятие и структура эмоционального интеллекта // Социально-психологические проблемы ментальности: 6-я Международная научно-практическая конференция, 26-27 ноября 2004 года, Смоленск: в 2 ч. Смоленск: Изд-во СГПУ, 2004. Ч. 1. С. 22-26.

3. Ильин Е.П. Эмоции и чувства. СПб.: Питер, 2001. С. 633-634.

4. Ковалева Ю.В., Сергиенко Е.А. Контроль поведения при различном течении беременности // Исследования по когнитивной психологии / под ред. Е.А. Сергиенко. М.: Институт психологии РАН, 2004. С. 424-463.

5. Ковалева Ю.В., Сергиенко Е.А. Контроль поведения при различном течении беременности // Психологический журнал. 2007. Т. 28, N 1. С. 70-82.

6. Люсин Д.В. Современные представления об эмоциональном интеллекте // Социальный интеллект: Теория, измерение, исследования / под ред. Д.В. Люсина, Д.В. Ушакова. М.: Институт психологии РАН, 2004. С. 29-36.

7. Люсин Д.В., Марютина О.О., Степанова А.С. Структура эмоционального интеллекта и связь его компонентов с индивидуальными особенностями - эмпирический анализ // Социальный интеллект: Теория, измерение, исследования / под ред. Д.В. Люсина, Д.В. Ушакова. М.: Институт психологии РАН, 2004. С. 129-140.

8. Одинцова В.В. Психометрический анализ методики "Эмоциональный интеллект-2" [Электронный ресурс] // HR-Лаборатория Human Technologies: сайт. 2006. URL: http://www.ht.ru/tests/bank/annrtf/emiq2.php (дата обращения: 10.12.2009).

9. Соколова О.А., Сергиенко Е.А. Влияние беременности на психическое здоровье матери и ребенка // Исследования по когнитивной психологии / под ред. Е.А. Сергиенко. М.: Институт психологии РАН, 2004. С. 464-477.

10. Соколова О.А., Сергиенко Е.А. Динамика личностных характеристик женщины в период беременности как фактор психического здоровья матери и ребенка // Психологический журнал. 2007. Т. 28, N 6. С. 69-82.

11. Ушаков Д.В. Социальный интеллект как вид интеллекта // Социальный интеллект. Теория, измерение, исследования / под ред. Д.В. Люсина, Д.В. Ушакова. М.: Институт психологии РАН, 2004. С. 11-28.

12. Холодная М.А. Психология интеллекта. Парадоксы исследования. 2-е изд. СПб.: Питер, 2002.

13. Эмоциональный интеллект: проблемы теории, измерения и применения на практике / Робертс Р.Д. [и др.] // Психология. Журнал Высшей школы экономики. 2004. Т. 1, N 4. С. 3-26.

14. Bar-On R. Emotional Intelligence Inventory (EQ-i): technical manual. Toronto, Canada: Multy-Health System, 1997.

15. Brackett M.A., Salovey P. Measuring emotional intelligence with the Mayer-Salovey-Caruso Emotional Intelligence Test (MSCEIT) // G. Geher (Ed.). Measurement of emotional intelligence. Hauppauge, N.Y.: Nova Science Publishers. 2004. P. 105-150.

16. Development and validation of a measure of emotional intelligence / Schutte N.S. [et al]. // Personality and Individual Differences. 1998. Vol. 25. P. 167-177.

17. Downs A., Smith T. Emotional understanding, cooperation and social behavior in high-functioning children with autism // Journ. of Autism Developmental Disoders. 2004. Vol. 34, N 6. P. 625-635.

18. Gardner H. Multiple intelligences. N.Y.: Basic Books, 1993.

19. Goleman D. Emotional intelligence. N.Y.: Bantam Books, 1995.

20. Guilford J.P. The nature of human intelligence. N.Y.: McGraw-Hill, 1967.

...

Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.