Визначення індексів УДК нових надходжень в електронному вигляді для формування електронної бібліотеки програмними засобами

Размещено на http://www.allbest.ru/

Визначення індексів УДК нових надходжень в електронному вигляді для формування електронної бібліотеки програмними засобами

Олександр Кузнецов,

завідувач відділу наукового комплектування та опрацювання бібліотечних фондів, Державна науково-технічна бібліотека України (Київ, Україна)

Віктор Заїка,

кандидат фізико-математичних наук,

провідний інженер відділу бібліометрії і наукометрії, Національна бібліотека України імені В.І. Вернадського (Київ, Україна)

Анотація

Мета статті - запропонувати методику аналізу достовірності індексу УДК повнотекстових документів, що надходять до бібліотеки від різних організацій і авторів в електронному форматі, продемонструвати її застосування на прикладі п'яти електронних документів економічної тематики (індекс УДК 331), використовуючи створений програмний інструмент "Аналіз текстів". Методологія дослідження. Застосовано кількісний метод дослідження змісту документів. Для знаходження подібних за змістом документів (файлів) використано поняття "косинусної міри подібності" та розраховано коефіцієнти тематичного напряму для кожного документа. Текстові файли представлено у вигляді векторів у багатомірному просторі. З цією метою різні словоформи було зведено до однієї лексеми та пораховано кількість (або частоту) вживання лексем у кожному документі. Лексеми протлумачено як координати, а частоту вживань - як значення відповідної координати. Після векторизації текстів застосовано математичний апарат аналітичної геометрії, а тематиці кожного текстового документа співставлено відповідне числове значення - коефіцієнт тематичного напряму. Наукова новизна. Вперше використано методи контент-аналізу, а саме кількісний аналіз, для оцінки достовірності індексу УДК документа, створено програмний інструмент, використання якого допоможе систематизатору підтвердити чи спростувати індекс УДК сумнівного документа не читаючи його. Висновки. Авторський програмний інструмент та запропонована методика корекції УДК можуть бути використані при створенні репозитаріїв електронних текстів, вони сприятимуть підвищенню якості інформаційного пошуку та вибору контенту. При накопиченні певної кількості електронних документів, завдяки розробленій методиці, УДК нового тексту (надходження) можна визначити автоматично за показником коефіцієнтів тематичного напряму (близько одиниці) нового тексту та відповідного корпусу. Вектор коефіцієнтів тематичного напряму текстів, що досліджувались, їх розподіл за зростанням коефіцієнтів тематичного напряму, дав змогу виявити кластер - групу однакових текстів за змістом. Достовірним критерієм є величина коефіцієнту при змінній лінійної апроксимації, в ідеалі горизонтальна поличка на графіку розподілу коефіцієнтів тематичного напряму - коефіцієнт дорівнює одиниці. Кількість тематичних напрямів визначається кількістю кластерів.

К л ю ч о в і с л о в а: системи комп'ютерного аналізу тексту, контент-аналіз, косинусна міра подібності, індекс УДК, кластер, електронна бібліотека, частотний масив, коефіцієнт тематичного напряму, програмні пакети для контент-аналізу. бібліотека електронний документ

Oleksandr Kuznetsov,

Head of Department of Scientific Document Processing and Cataloging,

State Scientific and Technical Library of Ukraine (Kyiv, Ukraine)

Victor Zaika,

Candidate of Physical and Mathematical Sciences,

Engineer of the Department of Bibliometrics and Scientometrics,

V I. Vernadskyi National Library of Ukraine (Kyiv, Ukraine)

UDC CODE DETERMINATION OF NEW ELECTRONIC RECEIPTS FOR THE FORMATION OF AN ELECTRONIC LIBRARY BY MEANS OF SOFTWARE

The purpose of the article is to propose a validation technique of the UDC index of library electronic documents accessions and to demonstrate its usage for the five electronic documents on economic topics (UDC index 331) based on the developed software tool "Text Analysis". Research methodology. The quantitative method of document content research is applied. To find documents (files) similar in content, the concept of the cosine measure of similarity was used and coefficients of the thematic direction, were calculated for each document. Text files were vectorized, that is, represented as vectors in a multidimensional space. For this purpose, different word forms were reduced to one lexeme and the number (or frequency) of lexeme usage in each document was calculated. Lexemes are interpreted as coordinates, and the frequency of use is interpreted as the value of the corresponding coordinate. After vectorization of the texts, the mathematical apparatus of analytical geometry was applied, and a numerical value - the coefficient of the thematic direction - was matched to the topic of each text document. Scientific novelty. For the first time, methods of content analysis, namely, quantitative analysis, were used to assess the reliability of the UDC index of a document, and a software tool was created, the use of which will help the systematizer to confirm or refute the UDC index of a dubious document without reading it. Conclusions. The author's software tool and the proposed UDC correction technique can be used when creating repositories of electronic texts and will contribute to improving the quality of information search and content selection. When accumulating a certain number of electronic documents, thanks to the developed methodology, the UDC of a new text (receipt) can be determined automatically by the indicator of the coefficients of the thematic direction (close to one) of the new text and the corresponding corpus. The vector of coefficients of the thematic direction of the studied texts, their distribution according to the growth of the coefficients of the thematic direction, made it possible to identify a cluster - a group of texts with the same content. A reliable criterion is the value of the coefficient for a variable linear approximation, ideally a horizontal shelf on the graph of the distribution of the coefficients of the thematic direction - the coefficient is equal to one. The number of thematic areas is determined by the number of clusters.

K e y w o r d s : computer text analysis systems, content analysis, cosine similarity measure, UDC index, cluster, electronic library, frequency array, coefficient of thematic direction, software packages for content analysis.

Актуальність теми дослідження. Ми живемо в епоху стрімкого розвитку інформаційних технологій та лавиноподібного зростання обсягів різноманітної інформації, так званого інформаційного вибуху. Існують дослідження, в яких стверджується, що в найближчому майбутньому обсяг інформації подвоюватиметься кожні два роки [13]. Однією з причин стрімкого зростання інформації є збільшення частки даних, що генеруються автоматично, зокрема системами штучного інтелекту, такими як Chat GPT [3], в основі яких лежать сучасні лінгвістичні технології та доступ до енциклопедичних знань у вигляді баз даних. Chat GPT здатний підтримувати діалог ніби як людина, за запитом знаходити потрібну інформацію. Він може навіть створити наукову публікацію! Цей інструмент, з одного боку, допомагає продукувати інформацію, а з іншого - ускладнює пошук, оскільки створює надлишкову інформацію, яка часто не містить жодної новизни.

Частина інформації, яку генерує людство, є надзвичайно важливою. Щоб мати змогу знаходити потрібні важливі дані та відомості, їх необхідно класифікувати, систематизувати та зберігати належним чином. В Україні в бібліотеках, видавництвах, інформаційних центрах для систематизації документів, пошуку інформації за галузями знань використовуються таблиці УДК. УДК - універсальна десяткова класифікація - міжнародна багатомовна класифікаційна система, що об'єднує всі галузі знань в єдиній універсальній структурі з загальною десятковою ієрархією. Індекс УДК - основа для впорядкування накопичених людством знань у традиційних бібліотеках, електронних базах даних та інших сховищах інформації. Головна функція, яку виконують таблиці УДК, - максимально точно відобразити зміст видання і забезпечити в подальшому швидкий та легкий пошук інформації. Індекси УДК побудовані так, що кожна наступна цифра, яка приєднується до індексу, не змінює попереднє значення, а лише уточнює його. За допомогою класифікатора УДК легко знайти будь-яку інформацію із галузі мистецтва, літератури, науки. Загалом у світі понад 130 країн використовують УДК.

Індекс УДК дає змогу отримати уявлення щодо тематики, виду, типу літератури, не читаючи її. Присвоєння некоректного індексу УДК літературній одиниці може зробити її недосяжною для користувачів, при тому, що ця інформація представлена в сховищі та поглинає ресурси, необхідні для її зберігання.

Традиційно УДК присвоюється людиною, систематизатором, що аналітико- синтетично, тобто інтелектуально, опрацьовує літературне джерело, виокремлює його змістовні та формальні ознаки для того, щоб подати стиснену інформацію про цей документ в інформаційно-пошуковій системі у вигляді класифікаційних індексів. Хоча робота систематизатора значною мірою формалізована, оскільки він керується усталеним набором правил і таблиць, індекс УДК також є відображенням світогляду систематизатора, щоправда крізь призму вищезгаданих таблиць. З одного боку, послідовність дій систематизатора визначено заздалегідь, з іншого - даний процес містить творчу складову, тому люди з різним світоглядом та життєвим досвідом можуть по-різному виокремлювати змістовні та формальні ознаки одного й того ж документа. Крім того, щоб коректно сформулювати змістовні та формальні ознаки (визначити індекс УДК) систематизатор має детально ознайомитися зі змістом, тобто контентом літературної одиниці, що на практиці буває досить рідко. Як правило, систематизатор ознайомлюється тільки з назвою та анотацією, оскільки прочитати весь документ повністю не вистачає часу та фізичних можливостей. Іноді систематизатор може врахувати бачення автора і присвоїти УДК, на якому наполягає автор. Такі чинники є основними причинами хибного присвоєння індексу УДК.

Системи комп'ютерного аналізу тексту (контенту) позбавлені перелічених недоліків. Тобто комп'ютерна програма з легкістю, за лічені секунди чи навіть долі секунди, може неупереджено обробити текстовий файл будь-якого розміру та виокремити характеристики, які становлять інтерес. Самостійно присвоїти УДК - завдання, яке штучному інтелекту поки що не під силу (хоча досвідчені систематизатори стверджують, що послідовність дій, яку вони виконують, присвоюючи УДК, насправді не така складна, як здається на перший погляд). Тому про заміну систематизатора бібліотеки штучним інтелектом не йтиметься ще довгий час. Створити програмний інструмент, який гармонійно поєднував би можливості неживого комп'ютера та людського творчого потенціалу систематизатора - завдання цілком посильне.

Аналіз досліджень та публікацій. Контент-аналіз або аналіз змісту документа в широкому розумінні - це методика дослідження, аналізу та інтерпретації різних форм людських комунікацій, таких як текстові, графічні, аудіо матеріали. Дана методика охоплює системний аналіз змісту цих матеріалів, виявлення закономірностей, тем, інших відповідних характеристик та формулювання висновків на основі отриманих результатів [6].

У вужчому розумінні, коли розглядаються лише текстові матеріали, контент- аналіз передбачає систематичне, відтворюване стиснення великої кількості слів у меншу кількість категорій змісту документа, що ґрунтується на явних правилах кодування [14].

Фахівці виділяють два основних типи контент-аналізу: кількісний і якісний. Кількісний аналіз націлений на виявлення частоти окремих тем, слів або символів, що містяться у тексті, якісний - фіксує нетривіальні висловлювання, мовні інтонації, цінність змісту повідомлення. Обидва типи аналізу полягають у перетворенні неструктурованого тексту в структуровані дані, або, іншими словами - у знаходженні кількісних характеристик тексту з наступною інтерпретацією отриманих результатів.

Країною, в якій було винайдено контент-аналіз, небезпідставно вважають США, хоча подібний підхід почали використовувати ще в 1640 р. у Швеції, де теологи під час дискусії з офіційним лютеранством порівнювали збірку релігійних гімнів "Пісні Сіону" з гімнами офіційної церкви та підраховували кількість основних релігійних ідей і аналізували їхнє висвітлення: позитивне, негативне чи нейтральне [12].

У подальшому методи контент-аналізу набули розвитку у статтях Дж. Спі- да "Чи дають тепер газети новини?" (1893 р.), де було проаналізовано випуски нью-йоркських газет за 1881 - 1883 рр. [9], і Д. Вілкокса - "Американська газета у світлі соціальної психології" (1900 р.) та ін. [10]. Дж. Спід виміряв обсяг матеріалів за кожною темою у дюймах і порівняв результати. Виявилося, що газети стали приділяти більше уваги пліткам та скандалам, але менше - літературі, політиці, релігії.

В Європі ідеї контент-аналізу стали відомими завдяки Максу Веберу [12], який на першому засіданні Німецького соціологічного товариства у 1910 р. закликав використовувати контент-аналіз для оцінки охоплення пресою політичних акцій у Німеччині та вивчення громадської думки.

Згодом контент-аналіз почали застосовувати для встановлення достовірності історичних документів. Дослідники підраховували частоту вживання слів у документах сумнівного походження і порівнювали з частотою вживання відповідних слів у документах, достовірність яких сумнівів не викликала.

Ідеї контент-аналізу знайшли застосування в бізнесі. Для бізнесу великі обсяги даних, що генеруються кожного дня, створюють одночасно і широкі можливості, і численні проблеми. З одного боку, дані допомагають компаніям сформувати уявлення про думку споживачів щодо їхніх товарів та послуг. З іншого - створюють проблему: - необхідність оперативного оброблення величезного масиву неструктурованої інформації. Подібна ситуація спостерігається в науковій та бібліотечній сферах: з одного боку, в неймовірно великому масиві найрізноманітніших текстових файлів знаходяться і ті, що містять потрібні для користувача інформацію та знання. З іншого - завдання пошуку саме тієї інформації, яка становить інтерес у даний момент, доволі непросте.

Ймовірно, однією з перших комп'ютерних програм, створених для проведення контент-аналізу, слід вважати General Inquirer, яку розробив у 1962 р. Ф. Стоун [7]. Ця програма функціонує і дотепер, вона використовує 182 семантичні категорії та словник обсягом у декілька сотень тисяч слів, які поставлені у відповідність цим категоріям.

Програмних пакетів для контент-аналізу існує велика кількість, мова йде про сотні одиниць. Умовно їх можна розділити на повністю автоматизовані потужні комерційні пакети для контент-аналізу та прості універсальні пакети для підрахунку частот різних слів у текстах. Крім того, розроблено онлайн-системи для контент-аналізу. Осторонь стоять програми для оптимізації сайтів з метою більш високого ранжування в пошукових системах. Йдеться про так звану SEO- аналітику (SEO - Search Engine Optimization).

Повністю автоматизовані пакети для контент-аналізу включають в себе розроблені авторами програм аналітичні словники, в які, зазвичай, неможливо або досить важко внести зміни. При цьому подібні програми не можуть розуміти текст у людському значенні цього слова. Завдання інтерпретації масиву документів - сфера відповідальності аналітика. Прикладами таких суцільно автоматичних "контент-аналітиків" є програми WordStat, Crawdad Text Analysis System, Diction, CATPAC та ВААЛ (одна з небагатьох програм для аналізу російськомовних та україномовних текстів).

Інший тип програм - прості універсальні пакети підрахунку частоти різних слів у текстах. До недоліків таких програм слід віднести відсутність катетеризації підрахованих слів, що призводить до викривлення результатів, оскільки враховуються окремо беззмістовні слова, до яких належать службові частини мови. Крім того, різні форми змістовних слів рахуються як різні слова, тому кількість одиниць підрахунку не дорівнює кількості значень. Останній зі згаданих недоліків був частково усунутий розробниками через процедуру лематизації (виділення незмінних частин слів).

Однак подібних програм з лематичним вдосконаленням не існує для слов'янських мов, які мають надзвичайно гнучку морфологію, що передбачає досить відмінні форми для різних родів, чисел, відмінків тощо. Прикладами такого типу програм є Yoshikoder, Concordance, HAMLET. Ці програми - універсальні і не прив'язані до певної мови.

Коротко торкнемося програм, які належать до двох із вказаних типів.

Concordance - програма, яка використовується для проведення контент-аналізу електронних документів [5]. У ній можна створювати списки пов'язаних одиниць підрахунку, індексів, слів при роботі з електронним текстом. Вона дає змогу обробляти великі масиви інформації, уможливлює перегляд кореляцій між словами, що входять у словник контент-аналізу. Результати роботи можуть бути розміщені в Інтернеті за допомогою вбудованих можливостей програми.

Yoshikoder - багатомовна програма контент-аналізу, розроблена для різних програмних платформ [8]. Була створена при реалізації проєкту Identity Project у Гарварді. Програма безкоштовна, дає змогу завантажувати документи, створювати та використовувати контент-словники, вивчати ключові слова в контексті та виконувати контент-аналіз на будь-якій мові. Yoshikoder працює з текстовими документами в звичних ASCII, Unicode (наприклад, UTF-8) кодуваннях або з національними таблицями кодування, наприклад, Big5 Chinese. Рідним форматом файлів Yoshikoder є формат XML, тому словники і файли ключових слів не є про- прієтарними, вони зручні для читання. Результатом роботи Yoshikoder є резюме документа у вигляді таблиці частотності слів або згідно заданого словника для контент-аналізу.

Компанія IBM (https://www.ibm.com/) розробила систему IBM Watson - бізнес- аналітика, пошук даних і аналіз тексту [11]. Вона дає змогу виявляти глибші відомості, приховані у ділових документах, з меншими зусиллями, підвищує продуктивність працівників завдяки автоматизованому пошуку інформації та розуміння за допомогою оброблення природної мови з використанням штучного інтелекту на базі користувацьких моделей NLP і великих мовних моделей (LLM) від IBM Research.

Свого часу використання комп'ютерної техніки поширилось з бізнесу та банківської сфери на роботу наукових і бібліотечних установ. Так і тепер методи контент-аналізу, первинно розвинені для задоволення інформаційних потреб бізнесу, поступово охоплюють наукову та бібліотечну справу [2]. Вищезгадані системи не пристосовані для вирішення проблем, що постають перед бібліотеками, користувач обмежений можливостями системи та вимогами до формату вхідних текстових файлів (наявність структурованих бібліографічних даних тощо).

Мета статті - запропонувати методику аналізу достовірності індексу УДК повнотекстових документів, що надходять до бібліотеки від різних організацій і авторів в електронному форматі, продемонструвати її застосування на прикладі п'яти електронних документів економічної тематики (індекс УДК 331), використовуючи створений програмний інструмент "Аналіз текстів".

Виклад основного матеріалу. При аналізі текстових даних фахівці користуються поняттям косинусної подібності - міри подібності між двома ненульовими векторами. Косинусною мірою, або мірою подібності числових векторів, називають їх скалярний добуток, поділений на добуток їх модулів. Іншими словами, для двох заданих векторів A і B косинус подібності, cos(0), може бути представлений через скалярний добуток та довжину:

де Ai та Bi координати вектора A і B відповідно [4].

Косинусна подібність не залежить від величини векторів, а лише від кута між ними. Косинус кута може набувати значення від -1 (включно) до 1 (включно). Косинусна подібність двох пропорційних векторів становить 1, двох перпендикулярних векторів - 0 та -1 для двох протилежних векторів. У контексті аналізу текстових даних значення координат векторів не можуть бути від'ємними, тому косинусна подібність обмежена замкненим інтервалом від 0 до 1.

Добуток та інші математичні операції для складових частин текстів, тобто для речень чи слів, безпосередньо не означені. Отже, з текстовими файлами потрібно якимось чином співставити відповідні числові вектори. Такий процес носить назву векторизації. Кожне слово розглядається як відповідна координата, з кожним словом зіставляється відповідна частота його вживання в тексті, тобто текстовий документ представляється вектором кількості вживань кожного слова в документі. Кількість або частота вживань слова є числом більше нуля, саме тому міра косинусної подібності може набувати значення від нуля до одиниці. Таким чином, поняття косинусної подібності відображає міру подібності двох документів з точки зору їх тематики і не залежить від довжини текстових документів.

Знаходження косинусної міри подібності текстів передбачає певні кроки. Насамперед ретельно підбирається сукупність текстів, які якнайточніше відповідають темі, що досліджується. Таку сукупність називають корпусом [1]. Наступним кроком текст корпусу перетворюється в словник. Слід зауважити, що в корпусі слова, які мають однакове значення, будуть вживатися в різних формах (відмінках та дієвідмінах, числах, родах). На цьому етапі текст нормалізується, тобто вся сукупність існуючих форм або лексем замінюється одним словом. Крім того, при векторизації тексту слід видалити малоінформативні слова (далі - стоп-слова), наприклад, прийменники, займенники, прислівники, сполучники та знаки пунктуації. У результаті порядок слів у тексті буде порушено, залишиться так званий "мішок слів" - невпорядкована сукупність слів. І от тепер можна отримати кількісні характеристики - порахувати кількість вживань кожного слова в тексті.

Такі ж перетворення слід провести у тексті, який аналізується. Далі кожне слово інтерпретується як розмірність вектора, якщо кількість унікальних слів після векторизації становить, скажімо, m. Це означає, що розглядається вектор у m-мірному просторі. Кількість вживань кожного слова інтерпретується як відповідна координата вектора у m-мірному просторі.

Стосовно тексту, що аналізується, вирахувані значення косинусної подібності можуть бути інтерпретовані таким чином: 0 - файл, що аналізується, не має жодного спільного слова з корпусом; 1 - слова корпусу і тексту, що аналізується, а також частота їх вживання повністю однакові, тобто має місце випадок плагіату.

Стосовно текстів, що аналізуються, далі вживатиметься термін КТН - коефіцієнт тематичного напряму - косинусна міра подібності, як характеристика подібності текстових векторів.

Програма "Аналіз текстів" (авторська розробка) - призначена для формування частотних масивів текстових файлів, які використовуються для контент-аналізу. Інтерфейс програми представлено на рис. 1.

Рис. 1. Інтерфейс програми "Аналіз текстів"