Підходи до зниження природнього шуму в групових рекомендаційних системах

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Національний університет «Одеська Політехніка»

Підходи до зниження природнього шуму в групових рекомендаційних системах

Горбатенко Анастасія Артурівна,

аспірант кафедри інформаційних систем

Інституту Комп'ютерних систем

Анотація

Дана робота розкриває проблематику впливу шуму на ефективність групових рекомендаційних систем (ГРС). Шум у даному контексті визначається як ірелевантна або помилкова інформація, яка може спотворювати рекомендації, відображені системою. Стаття детально аналізує джерела шуму в ГРС, включаючи невірно введені дані користувачами, помилки в обробці даних та коливання у користувацьких вподобаннях. Значна увага приділяється стратегіям фільтрації та алгоритмам, які можуть бути використані для зниження впливу шуму, забезпечуючи таким чином більш точні та корисні рекомендації для груп користувачів.

В статті запропоновані чотири підходи до зниження природного шуму, які базуються на припущення щодо існування локальних даних, які відносяться до вподобань членів групи, та глобальних даних, які відносяться до вподобань всіх користувачів рекомендаційної системи. Одним із основних аспектів статті є обговорення різних методологій агрегації групових переваг, які дозволяють оптимізувати обробку інформації та підвищити релевантність рекомендацій для всіх членів групи. Автори вказують на важливість вибору адекватної стратегії агрегації, оскільки вона впливає на здатність системи мінімізувати вплив шуму та врахувати динаміку та різноманітність уподобань в межах групи. В статті також представлене експериментальне дослідження, яке ілюструє застосування розглянутих методів на практиці. Через аналіз реальних даних та моделювання сценаріїв використання ГРС, досліджено ефективність різних технік у контексті різних типів груп та сценаріїв взаємодії. Заключна частина статті акцентує на потенційних напрямках подальших досліджень у сфері оптимізації групових рекомендаційних систем, зокрема на розробці більш гнучких та адаптивних систем, здатних ефективно справлятися з викликами, пов'язаними з шумом. Автори закликають до більшої уваги до аспектів машинного навчання та штучного інтелекту, що можуть допомогти в дальшому розвитку та удосконаленні ГРС, підвищуючи їхню точність і корисність у реальних умовах.

Ключові слова: рекомендаційні системи, машинне навчання, глибинне навчання, агрегація даних, штучний інтелект.

Gorbatenko Anastasiia Arturivna PhD Student of Information Systems Department Institute of Computer Science, Odesa Polytechnic National University, Odesa

APPROACHES TO REDUCING NATURAL NOISE IN GROUP RECOMMENDER SYSTEMS

Abstract

This paper addresses the issue of the impact of noise on the effectiveness of group recommender systems (GRS). Noise in this context is defined as irrelevant or false information that can distort the recommendations displayed by the system. The article analyzes in detail the sources of noise in GRSs, including incorrectly entered data by users, data processing errors, and fluctuations in user preferences. Significant attention is paid to filtering strategies and algorithms that can be used to reduce the impact of noise, thus providing more accurate and useful recommendations for user groups.

The paper proposes four approaches to reducing natural noise based on the assumption that there is local data related to the preferences of group members and global data related to the preferences of all users of the recommender system. One of the main aspects of the article is the discussion of different methodologies for aggregating group preferences, which allow to optimize information processing and increase the relevance of recommendations for all group members. The authors point out the importance of choosing an adequate aggregation strategy, as it affects the system's ability to minimize the impact of noise and take into account the dynamics and diversity of preferences within the group. The article also presents an experimental study that illustrates the application of the discussed methods in practice. Through the analysis of real data and modeling of GDS usage scenarios, the effectiveness of different techniques in the context of different types of groups and interaction scenarios is investigated. The final part of the paper emphasizes potential areas for further research in the field of optimizing group recommender systems, in particular, the development of more flexible and adaptive systems that can effectively cope with noise-related challenges. The authors call for greater attention to machine learning and artificial intelligence aspects that can help further develop and improve GRSs, increasing their accuracy and usefulness in real-world settings.

Keywords: recommendation systems, machine learning, deep learning, data aggregation, artificial intelligence.

Вступ

Постановка завдання. В останні роки широке використання сенсорних технологій, технологій зберігання даних, комп'ютерних технологій та мережевих технологій призвело до значного зростання обсягів даних [1]. Однак, оскільки кількість даних продовжує зростати, люди стикаються з труднощами в роботі з великим обсягом інформації, що обмежує їхню здатність приймати добре поінформовані та відповідні рішення. Це явище часто називають інформаційним перевантаженням [2].

Рекомендаційні системи з'явилися як вирішення проблеми інформаційного перевантаження. Основна мета такої системи - проаналізувати попередню поведінку та вподобання користувача, створити модель і самостійно порекомендувати предмети або продукти, які відповідають його інтересам. Після цього для користувача створюється персоналізований список [3].

В останні роки набув популярності один із видів рекомендаційних систем, який називається груповими рекомендаційними системами. Групові рекомендаційні системи - це спеціалізований тип рекомендаційних систем, призначений для генерації рекомендацій, які враховують інтереси не окремої особи, а групи людей. Ці системи застосовуються в ситуаціях, де рішення про вибір продукту чи послуги приймається колективно, наприклад, при виборі фільмів для перегляду в групі друзів або під час планування спільних поїздок [4].

Ці системи є важливими для вивчення сукупних уподобань і поведінки групи з метою надання пропозицій, які є прийнятними і вигідними для всієї групи. Як наслідок, вони сприяють покращенню групового досвіду та досягненню кращих результатів [5].Їхній розвиток характеризується прогресом в аналітиці даних, методах машинного навчання та принципах дизайну, орієнтованих на користувача, що постійно підвищує їхню гнучкість і корисність у багатьох ситуаціях.

Аналіз останніх досліджень і публікацій. Однією із задач, які треба вирішити при побудові ефективних рекомендаційних систем є задача зниження впливу шуму в рекомендаційних системах [6].Шум у контексті рекомендаційних систем визначається як небажані або нерелевантні дані, які можуть вплинути на якість і точність рекомендацій.

Це може включати неточності у вхідних даних, помилки у користувацьких відгуках, а також недоліки в алгоритмах, що призводять до введення шуму в процес аналізу.

Вплив шуму на загальну ефективність рекомендаційних систем полягає в тому, що коли вхідні дані містять помилки або нерелевантну інформацію, рекомендаційні алгоритми можуть вираховувати неадекватні прогнози, які не відповідають реальним інтересам користувачів [7].

Це, у свою чергу, може призвести до низької задоволеності користувачів і зменшення їх взаємодії з рекомендаційною системою.

Попередні роботи довели, що природний шум впливає на індивідуальні вподобання та зміщує індивідуальні рекомендації [8]. Враховуючи, що багато систем групових рекомендацій базуються на агрегуванні індивідуальних рекомендацій і майже всі вони використовують індивідуальні оцінки як вхідні дані, зрозуміло, що природний шум також присутній в процесі групових рекомендацій, що може спотворювати результати і знижувати задоволеність користувачів груповими рекомендаціями [9].

Основна відмінність від сценаріїв індивідуальних рекомендацій полягає в тому, що, з точки зору групи, в наборі даних рейтингів є різні рівні інформації. Тому існуючі методології зниження впливу шумів в індивідуальних рекомендаційних системах не можуть бути безпосередньо застосовані до групових рекомендацій [10].

Таким чином, розробка підходів до адаптації існуючих методів зниження впливу шумів до групових рекомендаційних систем є одним з важливих моментів при побудові ефективних групових рекомендаційних систем [11].

Мета статі - розробка методів зниження впливу натуральних шумів на ефективність роботи групових рекомендаційних систем.

Виклад основного матеріалу

Першим кроком на шляху до розробки методів зниження природнього шуму для групових рекомендаційних систем є зосередження на рейтингах учасників та зменшення природного шуму з метою покращення їхньої якості, враховуючи, що рейтинги учасників є ключовими даними в агрегованих групових рекомендаційних системах, а їхня якість впливає на точність рекомендацій [12].

Цей перший підхід можна сформулювати наступним чином: методи зниження природного шуму, що використовують лише групові рейтинги, покращують групову рекомендацію.

Обґрунтуванням такого прямого застосування є те, що підходи групових рекомендаційних систем підтримуються індивідуальними рекомендаційними системами. Даний підхід можна сформулювати наступним чином: використання методів зниження природного шуму для всієї бази рейтингів, без урахування груп, покращує групові рекомендації.

Наступним кроком в управлінні природним шумом для групових рекомендаційних систем є розгляд групового та глобального рівнів разом. Такий підхід дозволить управляти природним шумом на обох рівнях, позначаючи як шумні деякі рейтинги на рівні групи, але інший набір рейтингів на глобальному рівні [14].

Така поведінка свідчить про те, що гібридне управління може призвести до підвищення точності рекомендацій. Даний підхід можна сформулювати наступним чином: управління природним шумом у всій базі рейтингів, а потім додавання другого кроку, який управляє природним шумом у групових рейтингах, покращить результати порівняно з підходами на базі одного кроку (що використовують тільки групові рейтинги або взагалі не враховують групи).

1) L-метод - даний метод полягає в управлінні природним шумом на локальному рівні, використовуючи лише локальну інформацію, тобто застосування методів зниження природного шуму до групових оцінок, використовуючи лише їх самих для виявлення розбіжностей;

2) GL-метод - даний метод полягає в управлінні природним шумом на локальному рівні з використанням глобальної інформації. У цьому випадку методи зниження шуму застосовується до групових рейтингів, але всі рейтинги в базі даних використовуються для виявлення та виправлення розбіжностей;

3) G-метод - даний метод полягає в управлінні природним шумом на глобальному рівні з використанням глобальної інформації. Цей підхід керує шумом у всьому наборі даних, але не враховує склад групи, яка отримає рекомендації;

4) C-метод - даний метод використовує попередні підходи каскадним чином. Це означає, що спочатку виконується G-метод для управління шумом на глобальному рівні, а потім застосовується GL-метод над результатами першого підходу з метою подальшого вдосконалення управління природним шумом з урахуванням цільової групи.

Розглянемо детальніше роботу L-методу. На рисунку 1 зображено загальну схему L-методу. Спочатку аналізуються рейтинги цільової групи G. Після цього ці рейтинги коригуються, використовуючи лише інформацію про учасників [16].

Цей метод припускає, що інформації, яка міститься на локальному рівні, достатньо для опису природного шуму, тобто, що управління тільки природним шумом в рейтингах групи є достатнім для покращення якості набору даних, Невелика кількість даних, що використовується в L-методі, яка складається лише з групових оцінок Ga, для виконання цього аналізу і корекції, робить L-метод придатним для застосування, коли запитуються рекомендації, що усуває необхідність зберігати виправлений набір даних.

Рис. 1 Загальна схема роботи L-методу

Розглянемо детальніше роботу GL-методу. На рисунку 2 зображено загальну схему GL-методу. Спосіб виявлення та виправлення зашумлених оцінок в цьому методів є подібним до L-методу.

Однак, використання лише групових оцінок для характеристики елементів може бути недостатньо для правильної класифікації елементів [17]. Тому GL-метод використовує всю наявну в наборі даних інформацію про елемент ik для його опису, тобто використовує всі рейтинги членів групи над елементом ik.

Ця відмінність від підходу L-методу є ключовою для малих груп, оскільки використання лише кількох оцінок для класифікації об'єктів може призвести до присвоєння іншого класу.

В GL-методі, класифікація елементів виконується з використанням більшої кількості інформації.

Розглянемо детальніше роботу G-методу. На рисунку 3 зображено загальну схему G-методу. Даний метод застосовує зниження природного шуму до всього набору даних перед обчисленням рекомендацій. Подібно до роботи методів зниження природного шуму в індивідуальних рекомендаційних системах, G-метод аналізує всі оцінки в базі даних, щоб виявити та виправити зашумлені оцінки [18]. Використання G-методу потребує більше обчислювальних ресурсів, що робить необхідним його застосування в офлайн-режимі. Однак застосування G-методу в офлайн- режимі дозволяє обчислювати модель рекомендацій з урахуванням скоригованого набору даних, тобто набору даних без природного шуму, що може забезпечити кращі результати рекомендацій. Таке покращення можливе завдяки зменшенню впливу природного шуму на модель рекомендацій.

Рис.3 Загальна схема роботи G-методу

Розглянемо детальніше роботу C-методу. На рисунку 4 зображено загальну схему C-методу. Даний метод виконує каскадну гібридизацію G- методу та GL-методу. Каскадна гібридизація дозволяє врахувати результати першого кроку G-методу на наступному кроці GL-методу. Таким чином, поправки, внесені до початкового набору даних за допомогою G-методу, враховуються при виконанні групової обробки природного шуму за допомогою GL-методу [19]. Спочатку виконується глобальна обробка природного шуму, після цього скориговані результати використовуються для побудови моделі рекомендацій. Пізніше виконується групова обробка природного шуму [20]. Варто зазначити, що як для побудови моделі рекомендацій, так і для групової корекції природного шуму використовується виправлений набір даних. На цьому останньому кроці GL-методу генерується додатково уточнений набір даних, який пізніше використовується для обчислення групових рекомендацій.

Рис. 4 Загальна схема роботи C-методу

Експериментальне дослідження роботи методів. Для вимірювання впливу запропонованих методів зниження природного шуму на продуктивність групових рекомендаційних систем, проведемо експериментальне дослідження. Для більшої наочності, наведено результати окремо для кожного підходу до агрегування: групові рекомендаційні системи на основі агрегування рекомендацій та групові рекомендаційні системи на основі агрегування рейтингів [21].

В даній статті були запропоновані чотири підходи до зниження природного шуму в групових рекомендаційних системах. Всі ці чотири підходи оцінюються і порівнюються з базовим підходом, який не виконує ніякого управління природним шумом. Таким чином, в експерименті порівнюються п'ять методів: базовий, L-метод, GL-метод, G-метод та C-метод.

Всі ці методи зосереджені на управлінні природним шумом у наборі даних для того, щоб на його основі можна було будувати групові рекомендаційні системи [22-24]. Тому для ретельного вивчення ефективності кожного з цих підходів необхідно оцінити вплив кожного з них для різних групових рекомендаційних систем [25]. Зокрема, в цьому експерименті досліджується ефективність групових рекомендаційних систем на базі агрегації рейтингів та на базі агрегації рекомендацій. У якості методів агрегації були використані методи Mean та Min, які, згідно різних досліджень, дозволяють отримати найкращі результати [26-28].

Також досліджуються рекомендаційні системи колаборативної фільтрації товарів та колаборативної фільтрації користувачів. Вони використовують коефіцієнт кореляції Пірсона як міру подібності для пошуку 100 найкращих сусідів, застосовують коефіцієнт релевантності 20 і використовують скориговану зважену суму як предиктор рейтингу [29-31].

Для проведення експериментального дослідження були використані наступні набори даних:

1) набір даних MovieLens 100k. Він був зібраний дослідницьким проектом GroupLens в Університеті Міннесоти [32]. Набір даних MovieLens 100k складається з 100 000 оцінок, виставлених 943 користувачами 1682 фільмам з рейтингом від однієї до п'яти зірок;

2) набір даних Netflix Tiny. Це зменшена версія набору даних Netflix, що надається разом з інструментарієм алгоритмів персоналізованих рекомендацій [33]. Набір даних Netflix Tiny складається з 4427 користувачів, 1000 товарів і 56136 оцінок, які також даються в діапазоні від однієї до п'яти зірок. Цей набір даних має високу розрідженість, що може вплинути на результати. Тому для експерименту використовувалися лише користувачі з 10 і більше оцінками, яких у наборі даних залишилося 1757 користувачів.

Жоден з цих наборів даних не містить інформації про групи. Користувачі були згруповані випадковим чином, щоб оцінити результати для випадкових груп, зокрема, з розмірами груп 5, 10 і 15. Більші групи були виключені з експерименту, оскільки вони не використовуються в таких експериментальних сценаріях. Для розділення набору даних на навчальні та тестові набори використовується hold-out валідація, яка застосовується для 20% тестового набору. Цю перевірку було виконано 20 разів, а результати оцінювання є середніми значеннями.

Результати експериментального дослідження

В таблиці 1 наведені результати рекомендацій для наборів даних MovieLens 100k та Netflix Tiny. У перших трьох стовпчиках показано конфігурацію групової рекомендаційної системи, починаючи з набору даних. У другому стовпчику вказаний метод агрегування, а також підходи до агрегації, які показано разом як метод прогнозування. У третьому стовпчику вказано розмір групи.

Результати чітко показують, що загалом застосування методів зниження природного шуму дозволяє груповій рекомендаційній системі отримати кращі рекомендації, що свідчить про те, що порівнювані методи успішно зменшують природний шум у наборі даних.

Величина покращення є різною для кожного методу. У випадку L-методу, його застосування не призводить до значного покращення продуктивності, про що свідчать його результати в усіх випадках. Порівняно з базовим варіантом, його продуктивність суттєво не покращується, що свідчить про те, що виконана в ньому характеризація елементів не призводить до ефективного зменшення природного шуму. Отже, застосування лише L-методу не є достатнім для боротьби з природним шумом.

У випадку GL-методу, його застосування призводить до незначного покращення якості рекомендацій порівняно з результатами базового методу. Якщо зосередитись на кожній з групових рекомендаційних систем, то величина цих покращень буде різною. Зокрема, для «Товари + Min» результати покращуються на 0.01, тоді як для «Користувачі + Avg» покращення якості рекомендацій не є значущим, оскільки його величина не перевищує 0.001. У решті випадків, покращення є незначним. Порівняно з L-методом, результати GL-методу є кращими, що свідчить про те, що використання більшої кількості інформації для характеристики елементів покращує ідентифікацію природного шуму в групових рекомендаційних системах на основі агрегування рекомендацій.

У випадку використання G-методу, його застосування призводить до того, що групові рекомендаційні системи на основі агрегування рекомендацій досягають кращих результатів порівняно з базовим методом, L-методом та GL-методом.

Очікувалося, що застосування G-методу дасть кращі результати для групових рекомендаційних систем, оскільки попередні підходи для однокористувацьких рекомендаційних систем досягли аналогічного покращення. Крім того, очікувалося, що вплив G-методу на групові рекомендаційні системи буде більшим, оскільки він аналізує більше оцінок для зменшення природного шуму.

У випадку використання C-методу, його застосування дало найкращі результати для оцінюваних випадків щодо групових рекомендаційних систем на основі агрегування рекомендацій, що свідчить про те, що гібридизація G- методу та GL-методу перевершує їхню ефективність, коли вони застосовуються виключно для управління природним шумом.

Таблиця 1.

Результати експериментального дослідження роботи методів зниження природного шуму в групових рекомендаційних системах