Словарь русского языка с индексами конкретности/абстрактности

Fig. 12. Word distribution in two-dimensional space of concreteness-specificity (Ivanov & Solovyev 2021)

Установленный нами коэффициент корреляции, хотя и является положительным и статистически значимым, классифицируется как слабый (Evans 1996). Таким образом, на материале русского языка подтверждается качественный результат работы (Bolognesi, Burgers & Caselli 2020), что указывает на независимость параметров «конкретность» и «специфичность» и необходимость их самостоятельного изучения. Специфические концепты могут быть как конкретными, так и абстрактными. Рис. 12 визуализирует распределение слов по параметрам конкретность-специфичность. По рисунку видно отсутствие явной корреляции между этими двумя параметрами.

Сопоставление категорий специфичности и конкретности имеет важные импликации для когнитивной науки. В (Bolognesi et al. 2020) выдвинуто предположение, что специфичность отражает характер структурирования мира языком, в то время как конкретность - структурирования мира сознанием в широком смысле, включая перцептивный уровень. Различие этих двух категорий (низкая степень корреляции) является аргументом против «сильной» версии гипотезы лингвистической относительности Сепира-Уорфа, предполагающей, что язык определяет мышление.

В следующем разделе мы перейдем к возможным практическим приложениям словаря и опишем одно уже реализованное его применение - к анализу сложности текстов.

Приложения словаря: сложность текстов

Доля абстрактных слов как признак сложности текста рассматривалась рядом исследователей (Taylor & Weir 2012, Fisher et al. 2017). Корреляция между абстрактностью и сложностью текста была также продемонстрирована в работах российских ученых, проводивших исследование на материале русскоязычных текстов (Криони и др. 2008, Solovyev et al. 2019b).

В работе (Solovyev et al. 2020b) изучалась вариативность рейтингов в образовательных текстах. Сопоставлялись учебники: (1) для начальных и старших классов, (2) для гуманитарных и естественнонаучных дисциплин, а также (3) тексты-оригиналы и пересказы. Материал исследования составили Учебный корпус русского языка (УКРЯ) и Корпус пересказов (КП). УКРЯ включает 74 учебника общим объемом 3 млн словоупотреблений (табл. 4). В УКРЯ вошли учебники 2006-2020 гг. выпуска по гуманитарным и естественнонаучным дисциплинам.

Таблица 4. Учебный корпус русского языка (УКРЯ)

Корпус пересказов (КП) - это результат исследования, направленного на оценку влияния связности текста на его восприятие читателями (McCarthy et al. 2019). В исследовании участвовали 289 респондентов в возрасте 11-12 лет, ученики 5-го класса. Респондентов индивидуально просили прочитать один из учебных текстов, оригинальный текст (ОТ) и модифицированный текст (MT), оба состояли примерно из 200 слов. Тексты представляли собой фрагменты главы из учебника Боголюбов Л.Н. Обществознание 5 класс. Учебник для средних школ. 3-е издание. Просвещение, 127 (2013). Пересказы текстов транскрибировались экспертами. Общий размер корпуса составляет 6473 словоупотребления, он доступен на сайте проекта «Технологии создания семантических электронных словарей».

Поскольку в корпусе учебных текстов содержится значительно больше слов, чем в нашем словаре, созданном с помощью опроса респондентов, был использован машинный словарь на 88 тыс. словоформ. По техническим причинам в нем рейтинг принимает значение в диапазоне от -5 (наиболее абстрактные) до +5,5 (наиболее конкретные). Рейтинг текста определяется как среднее арифметическое рейтингов всех входящих в него слов. Если слово из текста отсутствует в словаре, то оно не учитывается. Средние индексы абстрактности текстов учебников, представленные в табл. 5, подсчитаны при помощи онлайн-инструмента RuLingva (Solovyev et al. 2020b), использующего созданный словарь.

Средний индекс указывает на следующее: а) самый высокий индекс конкретности демонстрируют тексты по биологии и учебники для начальной школы, при этом конкретность учебников по биологии для средней школы является самой высокой - +0,49, что даже выше, чем у текстов начальной школы (+0,34); б) учебники по обществознанию имеют самый высокий уровень абстрактности, а учебники по истории расположены в середине шкалы с оценкой «0»; в) индекс абстрактности растет в классах с 1-го по 11-й. Оценка статистической значимости зависимости индекса абстрактности от класса методом линейной регрессии дает значение р = 1.69e-10.

Таблица 5. Индексы текстов учебников

Тексты OT и MT, предложенные респондентам для пересказа, имеют близкие средние индексы. Как видно из приведенной выше таблицы, средний индекс для пересказов выше, чем у исходных текстов, что подтверждает вывод: респонденты склонны опускать более абстрактные слова и сохранять конкретные при пересказе. Сравнение показателей пересказов и исходных текстов на основе критерия Стьюдента (p = 0,0003) подтверждает гипотезу о том, что эта разница статистически значима.

Таким образом, созданный нами инструментарий - словари, в том числе машинные, и программа RuLingva - позволяет рассчитывать уровень абстрактности текстов. Полученные на учебных текстах данные подтверждают гипотезы исследования. Аналогичным образом словарь использовался и в других работах по сложности текстов (Солнышкина и др. 2021, Gizatulina et al. 2020).

Заключение

Словари являются важным инструментом междисциплинарных исследований концепции конкретности/абстрактности. Словари с рейтингами конкретности/абстрактности созданы для целого ряда языков. В статье описывается первый словарь такого рода для русского языка. Словарь содержит 1500 наиболее частотных существительных. Подробно описана методология создания, которая может быть полезной для создания словарей конкретности/абстрактности для других языков, равно как и для составления других семантических словарей. Методология создания включает многоуровневую систему очистки данных, впервые последовательно примененную в таком масштабе. Выполнено тщательное исследование влияния на результат различных аспектов создания словаря, таких как возраст и уровень образования респондентов. Проведен отдельный эксперимент по оценке многозначных слов. Для других языков подобные исследования не проводились. Нами предложена и опробована методика оценки рейтингов для отдельных значений слов, которая может быть рекомендована к использованию при построении словарей рейтингов для других языков. Приведено сравнение наших данных с характеристикой конкретности/абстрактности в Русском семантическом словаре Н.Ю. Шведовой, с известными критериями абстрактности.

В дополнение к словарю, созданному путем опроса респондентов, составлен также компьютерный словарь значительно больших размеров, в котором рейтинги конкретности/абстрактности получены путем экстраполяции имеющихся рейтингов респондентов с применением наиболее современных технологий глубокого обучения нейронных сетей. Показано, что качество компьютерных словарей и созданных людьми вполне сопоставимо. Проведенный качественный и количественный анализ данных машинного словаря выявил характер его расхождений с человеческими оценками, что может быть учтено при подборе слов в прикладных исследованиях.

В статье продемонстрированы возможности применения словаря в фундаментальных теоретических исследованиях, направленных на изучение репрезентации в сознании человека таких понятий, как конкретность, абстрактность, специфичность, а также и в прикладных исследований, в частности, для оценки сложности текстов.

В аспекте чисто лингвистических исследований количественно оценена эффективность такого хорошо известного критерия абстрактности, как наличие специфических аффиксов. Проведено сопоставление рейтингов для слов русского языка и их переводных эквивалентов на английском. С одной стороны, имеется высокий уровень корреляции между ними, с другой - выявлены слова с существенным расхождением оценок, что указывает на языковую зависимость категории конкретности/абстрактности. Концепция конкретности близка к концепции специфичности. В связи с этим интересно проанализировать их соотношение. Для русского языка реплицировано исследование, ранее проведенное для английского языка, и показано, что между ними имеется лишь слабая корреляция, поэтому они должны изучаться независимо друг от друга.

Важным приложением словаря конкретности/абстрактности является определение уровня сложности текстов. Чем в тексте больше абстрактных слов, тем он сложнее для восприятия. Поэтому доля абстрактных слов является одним из ключевых параметров, определяющих сложность текстов. С этой точки зрения проанализированы тексты учебников для средней школы.

Подводя итоги серии исследований, можно отметить, что созданные словари имеют высокий уровень качества, достаточный объем и позволяют проводить разнообразные теоретические и прикладные исследования.

Мы планируем проводить дальнейшие исследования в трех направлениях: 1. Повышение качества компьютерных словарей за счет использования более совершенных технологий. 2. Создание словаря с рейтингами позитивности/негативности слов. 3. Лингвистические исследования «эффекта конкретности».

REFERENCES / СПИСОК ЛИТЕРАТУРЫ

Andreeva, Mariia, Marina Solnyshkina, Artem Zaikin, Olga Bukach & Radif Zamaletdinov. 2020. Assessment of comparative abstractness: Quantitative approach. Proceedings of the Computational Models in Language and Speech Workshop (CMLS 2020) co-located with 16th International Conference on Computational and Cognitive Linguistics (TEL 2020). 132-144.

Black, Paul. 2019. Manhattan distance. In Dictionary of Algorithms and Data Structures [Online]. http://www.nist.gov/dads/HTML/manhattanDistance.html. (accessed 19.04.2022)

Bolognesi, Marianna, Burgers Christian & Caselli Tommaso. 2020. On abstraction: Decoupling conceptual concreteness and categorical specificity. Cognitive Processing 21 (3). 365-381. DOI: https://doi.org/10.1007/s10339-020-00965-9.

Borghi, Anna M., Ferdinand Binkofski, Cristiano Castelfranchi & Felice Cimatti. 2017. The challenge of abstract concepts. Psychol. Bull 143. 263-292.

Brysbaert, Marc, Amy Beth Warriner & Victor Kuperman. 2014a. Concreteness ratings for 40 thousand generally known English word lemmas. Behavior Research Methods 46 (3). 904-911.

Brysbaert, Marc, Michaёl Stevens, Simon De Deyne, Simon De Deyne & Gert Storms. 2014b. Norms of age of acquisition and concreteness for 30,000 Dutch words. Acta Psychologica 150. 80-84. https://doi.org/10.1016/j.actpsy.2014.04.010

Chandola, Varun, Arindam Banerjee & Vipin Kumar. 2009. Anomaly detection: A survey. ACM Computing Surveys (CSUR) 41(3). 1-58.

Charbonnier, Jean & Wartena Christian. 2019. Predicting word concreteness and imagery. In Proceedings of the 13th International Conference on Computational Semantics-Long Papers. 176-187.

Cristianini, Nello & John Shawe-Taylor. 2000. An Introduction to Support Vector Machines and Other Kernel-based Learning Methods. Cambridge University Press.

Coltheart, Max. 1981. The MRC Psycholinguistic Database. Quarterly Journal of Experimental Psychology 33A. 497-505.

Dallin, J Bailey, Christina Nessler, Kiera N Berggren & Julie L Wambaugh. 2020. An Aphasia treatment for verbs with low concreteness: A pilot study. American Journal of Speech-Language Pathology 29 (1). 299-318.

de Groot, Annette M. 1989. Representational aspects of word imageability and word frequency as assessed through word association. Journal of Experimental Psychology: Learning, Memory, and Cognition 15(5). 824-845. https://doi.org/10.1037/0278-7393.15.5.824

Devitt, Ann & Vogel Carl. 2004. The Topology of WordNet: Some Metrics. GWC Proceedings. 106-111.

Devlin, Jacob, Ming-Wei Chang, Kenton Lee & Kristina Toutanova. 2018. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805.

Evans, James D. 1996. Straightforward Statistics for the Behavioral Ssciences. Brooks/Cole Publishing, Pacific Grove.

Fellbaum, Christiane. 1998. Wordnet: An Electronic Lexical Database. MIT Press. Cambridge, Massachusetts.

Fisher, Douglas, Frey Nancy & Lapp Diane. 2016. Text Complexity: Stretching Readers with Texts and Tasks. Corwin Press.

Fliessbach, Klaus, Susanne Weis, Peter Klaver, Christian E. Elger & Bernhard Weber. 2006. The effect of word concreteness on recognition memory. NeuroImage 32 (3). 1413-1421. https://doi.Org/10.1016/j.neuroimage.2006.06.007

Gizatulina, Diana, Farida Ismaeva, Marina Solnyshkina, Ekaterina Martynova & Iskander Yarmakeev. 2020. Fluctuations of text complexity: The case of Basic State Examination in English. In SHS Web of Conferences 88. EDP Sciences.

Ivanov, Vladimir & Solovyev Valery. 2021. The Relation of Categories of Concreteness and Specificity: Russian Data. Computational Linguistics and Intellectual

Technologies: Proceedings of the International Conference “Dialogue 2021”. URL: http://www.dialog-21.ru/media/5260/ivanovvplussolovyevv049.pdf. (accessed 19.04.2022).

Joulin, Armand, Edouard Grave, Piotr Bojanowski, Matthijs Douze, Herve Jegou & Tomas Mikolov. 2016. FastText.zip: Compressing text classification models. arXiv: 1612.03651.

Kousta, Stavroula-Thaleia, Gabriella Vigliocco, David P Vinson & Mark Andrews. 2011. The representation of abstract words: Why emotion matters. Exp Psychol Gen. Feb. 140 (1). 14-34. https://doi.org/10.1037/a0021446.

Krioni, Nikolay K., Alexey D. Nikitin & Anastasiya V. Fillipova. 2008. Avtomatizirovannaya sistema analiza slozhnosti uchebnyh tekstov. Bulletin of Ufa State Technical University of Aviation 11. 1 (28). 101-107. (In Russ.)

Kuznecov, Sergey A. 2006. Bol'shoy Tolkovy Slovar'Russkogo Yazyka. Norint. (In Russ.)

Laming, Donald. 2004. Human Judgement: The Eye of the Beholder. London: Thompson Learning.

Lukashevich, Natilia V. 2011. Thesauruses in Information Search Tasks. M.: Izd-vo Moskovskogo universiteta. (In Russ.)

Maximilian, Koper & Sabine Schulte im Walde. 2016. Automatically generated affective norms of abstractness, arousal, imageability and valence for 350 000 German lemmas. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16). 2595-2598.

McCarthy, Kathryn Soo, Danielle Siobhan Mcnamara, Marina I. Solnyshkina, Fanuza Kh. Tarasova & Roman V. Kupriyanov. 2019. The Russian language test: Towards assessing text comprehension. Vestnik Volgogradskogo Gosudarstvennogo Universiteta. Serna' 2, Iazykoznanie; Volgograd 18 (4). 231-247.

McNamara, Danielle, Arthur C. Graesser, Philip M. Mccarthy & Zhiqiang Cai. 2014. Automated Evaluation of Text and Discourse with Coh-Metrix. Cambridge, MA: Cambridge University Press.

Mestres-Misse, Anna, Thomas F. Mtinte & Antoni Rodriguez-Fornells. 2014. Mapping concrete and abstract meanings to new words using verbal contexts. Second Language Research 30 (2). 191-223.

Mikolov, Tomas, Ilya Sutskever, Kai Chen, Greg Corrado & Jeffrey Dean. 2013. Distributed Representations of Words and Phrases and their Compositionality. arXiv:1310.4546.

Miller, George A. 1998. Nouns in WordNet. In Christiane Fellbaum (ed.), Wordnet: An electronic lexical database mit press. Cambridge, Massachusetts.

Mkrtychian, Nadezhda, Evgeny Blagovechtchenski, Diana Kurmakaeva, Daria Gnedykh, Svetlana Kostromina & Yury Shtyrov. 2019. Concrete vs. Abstract Semantics: From mental representations to functional brain mapping. Frontiers in Human Neuroscience 13. 267. https://doi.org/10.3389/fnhum.2019.00267

Naumann, Daniela, Diego Frassinelli & Sabine Schulte im Walde. 2018. Quantitative semantic variation in the contexts of concrete and abstract words. Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, New Orleans, LA. 76-85.

Paivio, Allan. 1965. Abstractness, imagery, and meaningfulness in paired-associate learning. Journal of Verbal Learning and Verbal Behaviour 4. 32-38. https://doi.org/10.1016/s0022-5371(65)80064-0 Paivio, Allan. 1990. Dual Coding Theory, in Mental Representations: A Dual Coding Approach. Oxford: Oxford University Press. 53-83.

https://doi.org/10.1093/acprof:oso/9780195066661.003.0004 Pasquale, A. Della Rosa, Eleonora Catricala, Gabriella Vigliocco & Stefano F. Cappa. 2010. Behavior Research Methods Beyond the abstract-concrete dichotomy: Mode of acquisition, concreteness, imageability, familiarity, age of acquisition, context availability, and abstractness norms for a set of 417 Italian. Behavior Research Methods 42 (4). 1042-1048. https://doi.org/10.3758/BRM.42.4.1042 Peti-Stantic, Anita, Maja Andel, Vedrana Gnjidic, Gordana Kerestes, Nikola Ljubesic, Irina Masnikosa, Mirjana Tonkovic, Jelena Tusek, Jana Willer-Gold & Mateusz-Milan Stanojevic. 2021. The Croatian Psycholinguistic Database: Estimates for 6000 Nouns, Verbs, Adjectives and Adverbs. 1-18. https://doi.org/10.3758/s13428-020-01533-x Reilly, Megan, & Rutvik H. Desai. 2017. Effects of semantic neighborhood density in abstract and concrete words. Cognition 169. 46-53. https://doi.org/10.1016/j.cognition.2017.08.004 Rosch, Eleanor. 1975. Cognitive representations of semantic categories. Journal of ExperimentalPsycholology: General 104 (3). 192-233.

Sadoski, Mark, Wiliam A. Kealy, E. T. Goetz & Allan Paivio. 1997. Concreteness and imagery effects in the written composition of definitions. Journal of Educational Psychology 89(3). 518-526. https://doi.org/10.1037/0022-0663.89.3.518 Sadoski, Mark. 2001. Resolving the effects of concreteness on interest, comprehension, and learning important ideas from text. Educational Psychology Review 13(3). 263-281. Schmid, Hans-J"org. 2000. English Abstract Nouns as Conceptual Shells: From Corpus to Cognition. Topics in English Linguistics. Berlin: Mouton de Gruyter.

Schwanenflugel, Paula J. & Edward J. Shoben. 1983. Differential context effects in the comprehension of abstract and concrete verbal materials. Journal of Experimental Psychology: Learning, Memory, and Cognition 9 (1). 82-102. https://doi.org/1037/0278-7393.9.1.82

Schwanenflugel, Paula J., Carolyn Akin & Wei-Ming Luh. 1992. Context availability and the recall of abstract and concrete words. Memory & Cognition 20 (1). 96-104. https://doi.org/10.3758/bf03208259

Snefjella, Bryor, Michel Genereux & Victor Kuperman. 2019. Historical evolution of concrete and abstract language revisited. Behavior Research Methods 51 (4). 1693-1705. Solnyshkina, Marina I., Radif. R. Zamaletdinov, Ehl'zara Gizzatullina-Gafiyatova, Diana Gizatulina & Maria Begaeva. 2021. Mnogofaktorny analiz slozhnosti teksta. Inostrannye Yazyki v Shkole. 28-34. (In Russ.)

Solovyev, Valery D., Vladimir V. Ivanov & Rauf B. Akhtiamov. 2019a. Dictionary of abstract and concrete words of the Russian language: A methodology for creation and application. Journal of Research in Applied Linguistics 10. 215-227.

Solovyev, Valery, Mariia Andreeva, Marina Solnyshkina, Radif Zamaletdinov, Andrey Danilov & Dina Gaynutdinova. 2019b. Computing concreteness ratings of Russian and English most frequent words: Contrastive approach. In the Proceedings of the 12th International Conference on Developments in eSystems Engineering (DeSE). 403-408. Solovyev, Valery D., Vladimir V. Bochkarev & S. V. Khristoforov. 2020a. Generation of a dictionary of abstract/concrete words by a multilayer neural network. Journal of Physics: Conference Series 1680 (1). 012046.

Solovyev, Valery, Marina Solnyshkina, Mariia Andreeva, Andrey Danilov & Radif Zamaletdinov. 2020b. Text Complexity and Abstractness: Tools for the Russian

Language. Proceedings of the International Conference “Internet and Modern Society”. 75-87.

Solovyev, Valery. 2021. Concreteness/Abstractness Concept: State of the Art. Advances in Intelligent Systems and Computing 1358. 275-283.

Spreen, Otfried & Rudolph W. Schulz. 1966. Parameters of abstraction, meaningfulness, and pronunciability for 329 nouns. Journal of Verbal Learning and Verbal Behavior 5. 459-468.

Taylor, Linda & Weir Cyril J. 2012. IELTS Collected Papers 2: Research in Reading and Listening Assessment 2. Cambridge University Press.

Turney, Peter D. & Patrick Pantel. 2010. From frequency to meaning: Vector space models of semantics. Journal of Artificial Intelligence Research 37. 141-188.

Vergallito, Alessandra, Marco Alessandro Petilli & Marco Marelli. 2020. Perceptual modality norms for 1,121 Italian words: A comparison with concreteness and imageability scores and an analysis of their impact in word processing tasks. Behavior Research Methods. 1-18.

Vinogradov, Victor V. 2001. Russian language (Grammatical studies of a word). Russian Language. (In Russ.)

Vol'skaia, Iulia A. 2020. Creating a dictionary of abstract beings in the Russian language: A criterion for selecting vocabulary. Philology and Culture 1 (59). 13-17. (In Russ.) Volskaya, Yulia A., Irina S. Zhuravkina & Alexander P. Lobanov. 2020. Dictionary of abstract the words of the Russian language: Nouns with high numerical measure of abstractness. International Journal of Criminology and Sociology 9. 2398-2405.

Wang, X. & Y Bi. 2021. Idiosyncratic tower of Babel: Individual differences in word-meaning representation increase as word abstractness increases. Psychological Science 32(10). 1617-1635.

Yao, Zhao, Jia Wu, Yanyan Zhang & Zhenhong Wang. 2017. Norms of valence, arousal, concreteness, familiarity, imageability, and context availability for 1,100 Chinese words. BehavRes 49. 1374-1385. https://doi.org/10.3758/s13428-016-0793-2 Zhuravkina, Irina, Valery Soloviev, Alexander Lobanov & Andrey Danilov. 2020. Comparative analysis of concreteness abstractness of Russian words. In Conference of Open Innovation Association, FRUCT. 464-470.

Dictionaies and internet resources / Словари и интернет-ресурсы

Lyashevskay Olga N. & Sharoff S.A. 2009. New Russian frequency dictionary. (In Russ.) http://dict.ruslang.ru/freq.php (accessed 28.12.2021).

Small Academic Dictionary. 1981-1984. (In Russ.) https://gufo.me/dict/mas (accessed Russian National Corpus. (In Russ.) http://www.ruscorpora.ru/ (accessed 28.12.2021).

Russian Semantic Dictionary. 1998. In Shvedova N.Yu. (ed.). `Azbukovnik' (In Russ.)

RuThes Thesaurus. (In Russ.) http://www.labinform.ru/pub/ruthes/index.htm (accessed Technologies of Compiling Semantic Electronic Dictionaries. (In Russ.) https://kpfu.ru/tehnologiya-sozdaniya-semanticheskih-elektronnyh.html (accessed

Cohmetrix. http://cohmetrix.com/ (accessed 28.12.2021).

Corpus of Contemporary American English. https://www.english-corpora.org/coca (accessed.Google Books Ngram. https://books.google.com/ngrams (accessed 28.12.2021).

FastText. Libraryfor efficient text classification and representation learning, https://fasttext.cc/ (accessed 28.12.2021).

Рис. S1. График распределения оценок, упорядоченных по величине

Fig. S1. Graph of ratings distribution sorted by value

Рис. S2. Характерные распределения оценок для типичных конкретного и абстрактного слова

Fig. S2. Characteristic distributions of typical ratings of concreteness and abstractness of a word

Размещено на Allbest.ru