Психосемантическое шкалирование видов спорта как инструмент оценки профессиональных знаний студентов-психологов

Этой статьей мы продолжаем цикл публикаций, посвященных различным современным методам контроля учебных достижений студентов. При этом учебные достижения студентов выступают для нас как частный случай профессиональных знаний и умений. Студенты -- это, конечно, еще не опытные, но все-таки начинающие профессионалы. А современные методы -- это на сегодняшний день компьютеризированные методы, среди которых метод тестов является самым известным, но не единственным. Сравнительно недавний пример нетестовой методики дает так называемый «Метод контекстной вставки» (Шмелев и др., 2012).

С самого начала 1980-х гг. (Шмелев, 1984) и по сегодняшний день автор активно применяет и апробирует разнообразные компьютеризированные методы в ходе зачетных и экзаменационных мероприятий на факультете психологии МГУ имени М.В. Ломоносова. Журналом, в котором публикуются первые научные отчеты об этих новых методах, регулярно выступает именно «Вестник Московского университета. Серия 14. Психология». Эти методы апробируются и внедряются не только в рамках поточного курса «Общая психодиагностика» и близких по тематике специальных курсов (Шмелев, 2003; Шмелев и др., 2007), но и в рамках выпускных государственных экзаменов (Зинченко и др., 2011).

Настоящая статья посвящена так называемым «матричным методикам», или «матричным тестам». Данный термин введен нами еще в 1980-х гг. (Столин, Шмелев, 1984). Он представляется более универсальным, чем такой более популярный термин, как «техника репертуарных решеток» (Франселла, Баннистер, 1987). Первым и самым известным автором, применившим этот метод еще в 1950-е гг., стал Джордж Келли, поэтому очень часто этот метод называют по имени ключевого автора «метод Келли» (Келли, 2000) В контексте этой статьи сразу следует оставить в стороне еще одно название для «Метода Келли», а именно «Тест личностных конструктов», ибо это название сужает область применения метода до сферы психологии личности.. Следует сразу же подчеркнуть, что метод Келли нашел применение вовсе не только в психологии, но в сопоставимых и даже больших масштабах в области, которую специалисты по искусственному интеллекту называют «извлечение экспертных знаний» (Ларичев, Моргоев, 1991; Hart, 1989). В данном случае в роли респондента, выполняющего методику, выступает эксперт -- носитель глубокого знания в какойто профессиональной области.

Опишем, что такое «матричный тест» в общем виде. Его главная черта -- это матричная структура данных, которая появляется в результате проведения теста на одном субъекте (респонденте). По столбцам располагаются объекты шкалирования, по строкам -- шкалы, в ячейках -- баллы, с помощью которых респондент оценивает объекты по шкалам. В «ролевом тесте Келли» на месте объектов выступают роли, а на месте шкал -- извлеченные (или выявленные) личностные конструкты (elicited constructs). В случае готовых шкал (supplied constructs) процедура, которая приводит к заполнению ячеек матрицы, часто называется «шкалированием». Частным случаем шкалирования является широко известный метод «семантического дифференциала» Ч. Осгуда. Но в общем случае шкалирование может иметь вырожденный характер и сводиться к заполнению респондентом для каждого объекта некоторого контрольного списка (check list), т.е. к номинальной шкале качественных признаков (свойств), так что в ячейках появляются бинарные значения «1» (объект обладает признаком) или «0» (объект не обладает признаком). В наших ранних публикациях матричная структура данных получила название «субъектная парадигма анализа данных» (Шмелев, 1982, 1990). Совокупность индивидуальных матриц порождает в общем случае так называемый «куб данных», стороны которого образованы шкалами, объектами и субъектами (респондентами). В отличие от плоской двумерной матрицы «объектхпризнак», характерной для принятой в естественных науках «объектной парадигмы», куб данных создает возможность для применения особых методов анализа, позволяющих производить реконструкцию так называемых «субъективных семантических пространств», т.е. применять метод многомерного шкалирования в его различных модификациях (Терехина, 1986). Впрочем, нередко вместо пространственных моделей создаются семантические графы. За рубежом в последнее время этот подход известен под названием «концептуальное картирование» (conceptual mapping). Читателям на эту тему пока, увы, можно порекомендовать лишь обзорные работы на английском языке (напр.: Anderson et al., 1990).

В отечественной литературе метод психосемантического шкалирования известен прежде всего по трудам группы исследователей из МГУ имени М.В. Ломоносова -- основателей так называемой «экспериментальной психосемантики» (сознательно сошлемся здесь на наиболее ранние крупные публикации этих авторов ( см.: Артемьева, 1980; Петренко, 1983; Шмелев, 1983). Но хотелось бы сделать важную оговорку: в те времена эти авторы еще не ставили задачу адаптации этих инструментов для целей оценки профессиональных знаний и учебных достижений студентов. По крайней мере, как самостоятельная задача она не была в те годы сформулирована.

Матричную технологию мы сами неоднократно применяли в работе с экспертными знаниями для выработки согласованных экспертных оценок в различных областях -- от оценки пользовательского интерфейса портальных проектов (Шмелев, 2004) до оценки путей решения политических конфликтов (Шмелев, 2006) и психосемантического шкалирования мужских и женских имен (Шмелев, 2016). В этих наших прикладных работах уже использовался функционал интернет-системы сбора и анализа данных под названием HT-LINE, т.е. той же самой платформы, которая применялась и в данном прикладном исследовании. Ее возможности достаточно подробно освещены нами в монографическом руководстве «Практическая тестология» (Шмелев, 2013).

Цели и задачи прикладного исследования

В нашем прикладном эмпирическом исследовании ставилась цель выявить методический потенциал матричной методики для автоматизированной количественной оценки (измерения) знаний студентов.

При этом решались отдельные взаимосвязанные и сопутствующие задачи:

— апробировать программно-техническое решение для автоматизации матричных методик (методик шкалирования) на платформе обучающей системы HT-LINE;

— исследовать обучающий потенциал «матричной методики» как некоего упражнения, которое может служить инструментом не только оценки, но и обучения системе понятий; точнее, инструментом концептуального научения (conceptual learning), ибо главное здесь -- активность не преподавателя, а самого учащегося;

— реконструировать (извлечь) концептуальную карту (структуру знания) по проблематике, значимой для специального курса «Психология конкуренции», а именно субъективную классификацию видов спорта на основании семантических шкал-конструктов, касающихся типов социального взаимодействия спортсменов друг с другом (не только соперников, но и партнеров в рамках одной команды и т.п.).

Контингент участников и методика

Эмпирическое прикладное исследование проводилось в течение 8 лет (2011--2018 гг.) на студентах пятого курса факультета психологии МГУ -- слушателях авторского спецкурса «Психология конкуренции» Спецкурс посещали студенты следующих трех специализаций: «психология личности», «организационная психология», «психология переговоров».. Всего за указанный период методику выполнили 150 человек. Задача студента при выполнении методики сводилась к тому, чтобы оценить в интерактивном режиме за компьютером 20 популярных видов спорта по 15 шкалам-критериям, указывающим на тип взаимодействия спортсменов и способы достижения победы в этих видах спорта. Оценка производилась по 5-балльной вербальной шкале, которую можно увидеть на рис. 1.

Методы обработки результатов

В системе HT-LINE кроме процедуры сбора данных по методике шкалирования реализованы встроенные процедуры обработки результатов. Разумеется, все эти встроенные процедуры были использованы автором для обработки собранных результатов, представлявших собой трехмерный массив («куб данных») со следующими сторонами: «150 респондентовх20 видов спортах15 шкал». Вот перечень использованных методов обработки:

Рис. 1. Пользовательский интерфейс при выполнении методики шкалирования видов спорта по шкалам-критериям

Расчет близости индивидуальной матрицы студента к «эталонной матрице». «Эталонная матрица» получалась из оценок самого преподавателя (автора статьи, который, конечно, первым выполнил данную методику), скорректированных позднее на основании усредненных баллов, полученных от студентов (ведь сам преподаватель может в каких-то случаях дать необоснованную оценку связей, а усредненные баллы студентов позволят ему это увидеть и скорректировать, так как в системе есть режим, показывающий все значимые отклонения индивидуальных оценок от усредненных оценок по всей выборке респондентов). В качестве меры близости матрицы г-го респондента к матрице j-го эталонного респондента в данном случае применялся средний коэффициент сходства «Косинус Пи» (или же «коэффициент конгруэнтности» с фиксированным средним), подсчитанный по всем N шкалам (для каждого k-го объекта шкалирования из числа M объектов) по следующей формуле:

где X_ikl -- оценка респондентом i по 5-балльной шкале объекта к по шкале l, 3 -- середина 5-балльной шкалы от 1 до 5, n число шкал (в данном случае n=15).

Интегральная мера близости Rij двух матриц респондента i и

респондента j рассчитывается как среднее арифметическое показателей Rj_k по всем объектам к (в данном случае число объектов m=20):

2) Ранжирование (сортировка) всех респондентов (студентов) по мере близости их результатов к «эталону».

3) Ранжирование (сортировка) всех объектов шкалирования по каждому отдельному критерию (шкале), а также по «суммарному рейтингу» -- сумме всех шкал-критериев.

4) Кластерный анализ матрицы сходства объектов шкалирования.

5) Кластерный анализ матрицы сходства шкал.

6) Кластерный анализ матрицы сходства респондентов (студентов, экспертов).

Результаты

Среднее значение коэффициента сходства Rj с «эталоном» для всех 150 студентов оказалось весьма высоким и равным 0.74. Размах значений Rj -- от 0.35 до 0.85. Надо сказать, что это высокие показатели. Для многих других наших исследований с использованием метода многокритериальных экспертных оценок показатели были, как правило, значительно ниже В рамках так называемого интернет-сообщества ЭСПП (Экспертного Сообщества Прикладных Психологов) автором было проведено немало подпроектов в статусе добровольных экспертных конкурсов: шкалирование имен (Шмелев, 2016), шкалирование афоризмов и другие. См. форум в Интернете по адресу: http://forum.ht-line.ru. Обычно согласованность индивидуальных оценок с эталоном можно считать удовлетворительной, если коэффициент оказывается не ниже 0.6. Такие значения наблюдались в данном случае у подавляющего большинства студентов -- у 142 из 150 студентов (это почти 95% выборки). Таким образом, все студенты получили по этому заданию не менее 4 или 5 очков как вклад в общую сумму баллов по спецкурсу (подробности про показатель СНБ -- сумму набранных баллов см.: Шмелев, 2013).

Такая высокая «экспертная точность» в данном задании привела к тому, что корреляция между оценками студентов за данное задание и общим показателем СНБ по спецкурсу оказалась заниженной -- всего лишь 0.1, что не достигает значимого уровня и оказывается значительно ниже большинства других промежуточных контрольных оценочных процедур, принятых в данном спецкурсе, -- тестов с выбором ответа, контекстной вставки и процедуры взаимной оценки качества докладов (модификация методики «360 градусов»). По большинству остальных процедур линейная корреляция Пирсона оказалась значимой и принимала значения от 0.2 до 0.45 (выборка свыше 150 человек).

Но зато данная высокая согласованность дала возможность уверенно построить с помощью кластерного анализа «карту знаний» и интерпретировать ее в качестве наглядного учебного пособия для данного спецкурса.

Рис. 2. Профили оценок двух контрастирующих видов спорта -- футбола (черные столбцы) и одиночного фигурного катания (серые столбцы).

На рис. 2 представлены профили усредненных балльных оценок двух контрастирующих видов спорта. По этим профилям видно, что футбол оценивался студентами как командный вид спорта, предполагающий более жесткую (контактную) борьбу с соперником и одновременно кооперативное взаимодействие игроков (сотрудничество) внутри одной команды. В то же время такой более зрелищно-эстетический вид спорта, как «одиночное фигурное катание» на самом деле несет в себе не меньшей силы заряд конкурентных эмоций (отношений), хотя не предполагает прямого физического противоборства с соперниками.

Рис. 3. Результаты кластерного анализа объектов шкалирования -- видов спорта

Рис. 4. Результаты кластерного анализа шкал-критериев -- конструктов, описывающих типы взаимодействия спортсменов и внутренних
мотиваторов-регуляторов спортивной деятельности

На рис. 3 и 4 представлены результаты автоматического кластерного анализа объектов шкалирования. Использовался самый традиционный алгоритм кластеризации -- иерархическая классификация с пересчетом сходства с новыми кластерами по методу среднего сходства (расстояния). Диаграмма результатов кластерного анализа публикуется на рис. 3 и 4 в том самом формате, какой автоматически строит система HT-LINE, т.е. алгоритм кластеризации объектов и шкал встроен в сервис-модуль «Шкалирование» в рамках этой программной системы. На каждой «террасе», на которой термины объединяются в определенный кластер, указывается уровень сходства, на котором произошло объединение (в процентах от максимально возможного сходства). Высокое попарное сходство профилей видов спорта, которое можно визуально заметить еще на рис. 2, приводит к тому, что и кластеры оказались сформированными на очень высоких уровнях сходства. Тем не менее интерпретация этих кластеров возможна и дает вполне содержательные результаты.

Видно, что объекты сгруппированы весьма закономерным образом. Хотя среди оценивающих шкал-конструктов не были использованы фактически профессиональные спортивные конструкты, все же весьма неожиданный факт состоит в том, что получилась классификация, очень близкая к той, которая известна из специальной спортивной литературы как «классическая олимпийская классификация» (Холодов, Кузнецов, 2000). По порядку сверху вниз мы видим на разных этажах (террасах) классификационной сетки такие кластеры:

— «спортивные игры» (футбол, волейбол, хоккей, регби),

— «единоборства» (бокс, борьба, бои без правил),

— «циклические виды» (бег, плавание, конькобежный спорт),

— «сложно-координационные виды» (прыжки в высоту, художественная гимнастика, фигурное катание, фристайл).

Пожалуй, не охваченными оказались лишь «многоборья» (это недостаток списка видов спорта). А «скоростно-силовые виды» попали в разные кластеры: «спринтерский бег» оказался ближе к циклическим видам, а «тяжелая атлетика» (штанга) выделилась в самостоятельный одиночный кластер. Зато сформировался такой вполне осмысленный кластер, в котором объединились «шоссейные велосипедные гонки» и «автогонки». Это тоже традиционные мужские виды спорта с высокой степенью риска физических столкновений между соперниками, с высоким уровнем травматизма, требующие смелости, ловкости и выносливости одновременно. Заслуживает внимание тот факт, что волейбол оказался среди командных спортивных игр, а одиночные игры через сетку (теннис и бадминтон) выделились в самостоятельных кластер.

Но главной целью данного упражнения в рамках спецкурса «Психология конкуренции» был вовсе не анализ видов спорта, а приобретение студентами навыков точного использования конструктов, значимых с точки зрения тематики данного спецкурса. На рис. 4 мы видим, как оказались сгруппированы эти шкалы-конструкты. Можно выделить 4 достаточно отчетливых кластера:

1) «спортивная конкуренция» (соревнование, состязание, соперничество, борьба за результат);

2) «контактное противоборство» (силовая борьба, конфронтация, конфликт, столкновение, противоборство);

3) внутренняя саморегуляция (индивидуальное самоутверждение, борьба с собой, творческое самовыражение);

4) кооперация со «своими» (сотрудничество в команде, взаимопомощь в команде).

Обсуждение результатов

Как мы видим, наиболее содержательно интересными в нашем исследовании оказались результаты структурирования семантических связей и группировки ключевых терминов (профессиональных конструктов), связанных с тематикой учебного курса.

В наших прежних публикациях, посвященных проблематике конкуренции, мы уже обсуждали одну из возможных эмпирических классификаций терминов, описывающих семантическое поле, состоящее из синонимов и близкородственых терминов к ключевому понятию «Конкуренция», а именно одномерную классификацию по уровню «жесткости/мягкости» взаимодействия (Шмелев, 2014). Совершенно очевидно, что при шкалировании видов спорта такая же классификация и конструктов, и самих видов спорта (по уровню мягкости/жесткости спортивной борьбы) тоже проявилась. Одиночные и эстетические, а также циклические (где идет «раздельный старт», или бег по непересекающимся соседним дорожкам) виды спорта могут быть заряжены не меньшим азартом спортивной состязательности (ради победы прикладываются экстремальные физические и морально-психологические усилия), но прямое столкновение (с возможностью нанесения травмы сопернику) возникает лишь в контактных видах, поэтому они выделяются отдельно -- в кластер, где возможным становится прямое нанесение ущерба сопернику, где этот ущерб может даже становиться одной из целей борьбы. Например, в некоторых современных видах единоборств свободного и смешанного стилей (mixed fighting) допускаются болевые приемы и т.п.

Сам по себе анализ спортивной деятельности в рамках различных видов спорта содействует более глубокому усвоению студентами концептуального аппарата, необходимого для анализа различных ситуаций конкуренции в различных областях человеческой деятельности -- не только в сфере материального производства и торговли (признанные классические области экономической конкуренции), но и в сфере искусства (в шоу-бизнесе, где происходит конкуренция за зрителей), в политике (конкуренция за голоса избирателей), в судопроизводстве (конкуренция прокурора, адвоката, свидетелей за голоса присяжных и позицию судей) и т.п. Но именно в спорте наличие явно сформулированных правил спортивной борьбы делает такой анализ более ярким, наглядным и структурированным. Недаром за годы существования данного спецкурса от четверти до трети учебных докладов студентов были посвящены именно анализу структурных и функциональных компонентов конкурентной среды, а также стратегий поведения на материале различных видов спорта.

Выводы

Проведенное нами исследование дает возможность сделать следующие выводы и наметить определенные перспективы.

1. Высокое сходство оценок студентов на материале видов спорта, увы, не позволило выявить в данном случае статистически достоверный вклад данной технологии оценки учебных достижений в итоговый суммарный балл студента. В направлении валидизации методики как оценочной технологии еще требуются дополнительные исследования.

2. Но то же самое высокое сходство оценок позволило в данном случае получить хорошо интерпретируемые семантические связи между понятиями, что содействует концептуальному научению (conceptual learning) студентов -- их самостоятельной работе по овладению системой понятий в данной предметной области; тем самым открывается возможность использования матричной методики как особого «обучающего упражнения».

3. Побочным результатом данного исследования явилась классификация видов спорта по психологическим основаниям -- типам взаимодействия между участниками спортивных соревнований и содержанию внешней и внутренней мотивации спортивной борьбы. Последний результат важен для такой прикладной психологической дисциплины, как спортивная психология, смежной с педагогической и организационной психологией. Полученную классификацию следует признать лишь в первом приближении. Для более серьезного результата следует расширить список видов спорта и перечень шкал-конструктов.

Список литературы

Артемьева Е.Ю. Психология субъективной семантики. М: Изд-во Моск. ун-та, 1980.

Зинченко Ю.П., Березанская Н.Б., Володарская И.А., Тихомандрицкая О.А., Шмелев А.Г. Опыт внедрения компьютеризированных тестовых испытаний в систему итоговой государственной аттестации студентов-психологов // Вестник Московского университета. Сер. 14. Психология. 2011. № 2. С. 135--153.

Келли Дж. Теория личности (теория личностных конструктов). СПб.: Речь, 2000.

Ларичев О.И., Моргоев В.К. Проблемы, методы и системы извлечения экспертных знаний // Автоматика и телемеханика. 1991. № 6. С. 3--27.

Петренко В.Ф. Введение в экспериментальную психосемантику: исследование форм репрезентации в обыденном сознании. М: Изд-во Моск. ун-та, 1983.

Столин В.В., Шмелев А.Г. Практикум по психодиагностике. Дифференциальная психометрика. М.: Изд-во Моск. ун-та, 1984.

Терехина А.Ю. Анализ методами многомерного шкалирования. М: Наука, 1986.

Франселла Ф., Баннистер Д.Ф. Новый метод исследования личности: Руководство по репертуарным личностным методикам: Пер. с англ. / Общ. ред. и предисл. Ю.М. Забродина, В.И. Похилько. М.: Прогресс, 1987.

Холодов Ж.К., Кузнецов В.С. Теория и методика физического воспитания и спорта: учебное пособие для студентов высших учебных заведений. М.: Академия, 2000.

Шмелев А.Г. Традиционная психометрика и экспериментальная психосемантика: объектная и субъектная парадигмы анализа данных // Вопросы психологии. 1982. № 5. С. 36--46.

Шмелев А.Г. Введение в экспериментальную психосемантику: теоретико-методологические основания и психодиагностические возможности. М: Изд-во Моск. ун-та, 1983.

Шмелев А.Г. На пути к компьютерной психодиагностике // Вестник Московского университета. Сер. 14. Психология. 1984. № 2. С. 13--17.

Шмелев А.Г. Семантический код и возможности матричной психодиагностики // Вестник Московского университета. Сер. 14. Психология. 1990. № 3. С. 23--28.

Шмелев А.Г. Компьютерное тестирование знаний у студентов-психологов // Вестник Московского университета. Сер. 14. Психология. 2003. № 1. С. 35--48.

Шмелев А.Г. Многокритериальная оценка пользовательских интерфейсов портальных проектов // Интернет-порталы: содержание и технологии / Сб. науч. тр. М.: ФГУ ГНИИ ИТТ «Информика», 2004. Вып. 2. С. 346--361.

Шмелев А.Г. Согласование экспертных оценок с помощью Интернет-технологии шкалирования // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М.: Смысл, 2006. С. 175--185.

Шмелев А.Г. Практическая тестология: тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013.

Шмелев А.Г. Конкуренция как метакатегория современной психологии. Сообщение 2 // Вестник Южно-Уральского государственного университета. Сер. Психология. 2014. Т. 7. № 4. С. 98--108.

Шмелев А.Г. Краудсорсинг в психолингвистике: психосемантические коды мужских и женских имен в русском языке // Деятельный ум: от гуманитарной методологии к гуманитарным практикам: Материалы международного конгресса, посвященного 80-летию со дня рождения А.А. Леонтьева (23--26 мая 2016 г.). М.: Смысл, 2016. Ч. 2. С. 80--82.

Шмелев А.Г., Ларионов А.Г., Серебряков А.Г., Чумаков А.А. Методические рекомендации по разработке и внедрению системы оценки качества обучения по инновационным образовательным программам. М.: Изд-во Моск. ун-та, 2007.

Шмелев А.Г., Портнова Д.С., Страхов Н.Н. Метод контекстной вставки как инструмент компьютеризированного контроля качества знаний // Вестник Московского университета. Сер.14. Психология. 2012. № 4. С. 133--147.

Anderson J.R., Byrne M.D., Douglass S. et al. An integrated theory of the mind // Psychological Review. 2004. Vol. 111. N 4. P. 1036--1050. doi.org/10.1037/0033295X.111.4.1036

Hart A. Knowledge acquisition for expert systems. L.: Kogan Page, 1989.

References

Anderson, J.R., Byrne, M.D., Douglass, S., et al. (2004). An integrated theory of the mind. Psychological Review, 111, 4, 1036--1050. doi.org/10.1037/0033295X.111.4.1036

Artemieva, E.Yu. (1980). Psikhologiya sub”yektivnoy semantiki [Psychology of subjective semantics]. Moscow: MSU Press.

Fransella, F., Bannister, D.F. (1987). Novyj metod issledovaniya lichnosti: Rukovodstvo po repertuarnym lichnostnym metodikam [New method of personality research: a guide to personal repertoire techniques]: transl. from English / Ed. and foreword Yu.M. Zabrodin, V.I. Pohil'ko. Moscow: Progress.

Hart, A. (1989). Knowledge acquisition for expert systems. L.: Kogan Page.

Holodov, Zh.K., Kuznetsov, V.S. (2000). Teoriya i metodika fizicheskogo vospitaniya i sporta: uchebnoeposobie dlya studentov vysshih uchebnyh zavedenij [Theory and methods of physical education and sport: a manual for students of higher educational institutions]. Moscow: Akademiya.

Kelli, Dzh. (2000). Teoriya lichnosti (teoriya lichnostnyh konstruktov) [Personality Theory (Theory of Personal Constructs)]. St. Petersburg: Rech'.

Larichev, O.I., Morgoev, V.K. (1991). Problemy, metody i sistemy izvlecheniya ekspertnyh znanij. Avtomatika i telemekhanika [Automation and Remote Control], 6, 3--27.

Petrenko, V.F. (1983). Vvedenie v eksperimentalnuyu psihosemantiku: issledovanie form reprezentacii v obydennom soznanii [Introduction to Experimental Psychosemantics: A Study of Forms of Representation in the Common Consciousness]. Moscow: MSU Press.

Shmelev, A.G. (1982). Tradicionnaya psihometrika i eksperimental'naya psihosemantika: ob'ektnaya i sub'ektnaya paradigmy analiza dannyh. Voprosy psikhologii [Psychology issues], 5, 36--46.

Shmelev, A.G. (1983). Vvedenie veksperimental'nuyupsihosemantiku: teoretikometodologicheskie osnovaniya i psihodiagnosticheskie vozmozhnosti [Introduction to experimental psychosemantics: theoretical and methodological grounds and psychodiagnostic capabilities]. Moscow: MSU Press.

Shmelev, A.G. (1984). Na puti k komp'yuternoj psihodiagnostike. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya [Moscow University Psychology Bulletin], 2, 13--17.

Shmelev, A.G. (1990). Semanticheskij kod i vozmozhnosti matrichnoj psihodiagnostiki. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya [Moscow University Psychology Bulletin], 3, 23--28.

Shmelev, A.G. (2003). Komp'yuternoe testirovanie znanij u studentov-psihologov. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya [Moscow University Psychology Bulletin], 1, 35--48.

Shmelev, A.G. (2004). Mnogokriterial'naya ocenka pol'zovatel'skih interfejsov portal'nyh proektov. In: Internet-portaly: soderzhanie i tekhnologii [Internet portals: content and technology] (Is. 2, pp. 346--361). Moscow: FGU GNII ITT “Informika”.

Shmelev, A.G. (2006). Soglasovanie ekspertnyh ocenok s pomoshch'yu Internettekhnologii shkalirovaniya. In G.V. Ivanchenko, D.A. Leontiev (eds.), Ekspertiza v sovremennom mire: ot znaniya k deyatel'nosti [Expertise in the modern world: from knowledge to activity] (pp. 175--185). Moscow: Smysl.

Shmelev, A.G. (2013). Prakticheskaya testologiya: testirovanie v obrazovanii, prikladnojpsihologii i upravleniipersonalom [Practical Testing: Testing in Education, Applied Psychology and Personnel Management]. Moscow: Maska.

Shmelev, A.G. (2014). Konkurenciya kak metakategoriya sovremennoj psihologii. Soobshchenie 2. Vestnik Yuzhno-Uralskogo gosudarstvennogo universiteta. Ser. Psikhologiya [Bulletin of the South Ural State University. Ser. Psychology], 7, 4, 98--108.

Shmelev, A.G. (2016). Kraudsorsing v psiholingvistike: psihosemanticheskie kody muzhskih i zhenskih imen v russkom yazyke. In: Deyatel'nyj um: otgumanitarnoj metodologii kgumanitarnympraktikam: Materialy mezhdunarodnogo kongressa, posvyashchennogo 80-letiyu so dnya rozhdeniya A.A. Leont'eva (23--26 maya 2016g.) [Active mind: from humanitarian methodology to humanitarian practices: Materials of the international congress dedicated to the 80th anniversary of A.A. Leontiev (May 23--26, 2016)] (ch. 2, pp. 80--82). Moscow: Smysl.

Shmelev, A.G., Larionov, A.G., Serebryakov, A.G., Chumakov, A.A. (2007). Metodicheskie rekomendacii po razrabotke i vnedreniyu sistemy ocenki kachestva obucheniya po innovacionnym obrazovatel'nym programmam [Guidelines for the development and implementation of a system for assessing the quality of training for innovative educational programs]. Moscow: MSU Press.

Shmelev, A.G., Portnova, D.S., Strakhov, N.N. (2012). Metod kontekstnoj vstavki kak instrument komp'yuterizirovannogo kontrolya kachestva znanij. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya [Moscow University Psychology Bulletin], 4, 133--147.

Stolin, V.V., Shmelev, A.G. (1984). Praktikum po psihodiagnostike. Differencialnaya psikhometrika [Workshop on psychodiagnostics. Differential psychometrics]. Moscow: MSU Press.

Terekhina, A.Yu. (1986). Analiz metodami mnogomernogo shkalirovaniya [Analysis methods of multidimensional scaling]. Moscow: Nauka.

Zinchenko, Yu.P, Berezanskaya, N.B., Volodarskaya, I.A., Tihomandritskaya, O.A., Shmelev, A.G. (2011). Opyt vnedreniya komp'yuterizirovannyh testovyh ispytanij v sistemu itogovoj gosudarstvennoj attestacii studentov-psihologov. Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya [Moscow University Psychology Bulletin], 2, 135--153.

Размещено на Allbest.ru