Парсинг як метод обробки даних при оцінці споживчої цінності товарів

Размещено на http://www.allbest.ru/

Парсинг як метод обробки даних при оцінці споживчої цінності товарів

Потапова Надія Анатоліївна

кандидат економічних наук, доцент, доцент кафедри інформаційних технологій, Донецький національний університет імені Василя Стуса,

м. Вінниця

Денисюк Валерій Олександрович

кандидат технічних наук, доцент, доцент кафедри комп'ютерних наук, Вінницький національний технічний університет, м. Вінниця

Крохмалюк Віталій Віталійович

магістр, Донецький національний університет імені Василя Стуса,

м. Вінниця

Анотація

В роботі висвітлюється питання використання парсингу при аналізі даних для оцінки споживчої цінності комп'ютерної техніки. Розглянуто сутність та особливості практичного застосування техніки парсингу для отримання даних та характеристики товарів, на прикладі ноутбуків, у форматі JSON. Визначається, що споживча цінність є однією із ключових характеристик забезпечення стійкого рівня конкурентоспро¬можності виробника. Обумовлено, що споживча цінність товарів продуктової лінійки ноутбуків може формуватись як за рахунок цінового фактору, так і за рахунок технологічних показників. Характеристики таких технологічних показників обґрунтовують ефективність використання ноутбуків. Дані ознаки набувають особливої значимості при оцінці споживчої цінності, а разом з цим виникає питання щодо їх отримання на продуктовому ринку.

Обгрунтовується можливість використання парсингу, як методу обробки та збору подібних даних при автоматизованому відвідуванні сайтів виробників та продавців комп'ютерної техніки. Наведено специфіку використання сервісів парсингу з огляду на монетизацію користувацьких версій, внаслідок чого виникає потреба в написанні власного продукту, зокрема на мові Python. Даний підхід направлений на мінімізацію термінів при отриманні інформації та побудові цифрових ланцюгів обробки даних. Поряд з цим, порушуються питання етичних та правових аспектів парсингу даних та наголошується на їх важливості для забезпечення справедливої конкуренції та захисту особистої інформації. Акцентовано увагу на можливості використання даних-характеристик, отриманих засобами парсингу, в процесі аналізу ринкових тенденцій в сегменті ноутбуків. Надається огляд можливостей подальшого розвитку цього методу в оцінці товарів та його потенційного впливу на споживчий ринок.

Ключові слова: парсинг, обробка даних, аналіз даних, конкурентоспро-можність, споживча цінність товарів, JSON, Python.

Abstract

Potapova Nadiia Anatoliivna PhD in Economics, Associate professor, Associate Professor of Information Technology Department, Vasyl' Stus Donetsk National University, Vinnytsia

Denysiuk Valerii Oleksandrovych PhD in Engineering, Associate professor, Associate Professor of Computer Sciences Department, Vinnytsia National Technical University, Vinnytsia

Krokhmalyuk Vitalii Vitaliyovych master, Vasyl Stus Donetsk National University, Vinnytsia

PARSING AS A DATA PROCESSING METHOD FOR ESTIMATING THE CONSUMER VALUE OF GOODS

The work highlights the issue of using parsing in data analysis to assess the consumer value of computer equipment. The essence and features of the practical application of the parsing technique for obtaining data and characteristics of goods, using the example of laptops, in JSON format, are considered. It is determined that consumer value is one of the key characteristics of ensuring a sustainable level of competitiveness of the manufacturer. It is stipulated that the consumer value of products of the product line of laptops can be formed both due to the price factor and due to technological indicators. The characteristics of such technological indicators justify the efficiency of using laptops. These characteristics are of particular importance when evaluating consumer value, and along with this, the question of obtaining them on the food market arises.

The possibility of using parsing as a method of processing and collecting similar data during automated visits to the websites of manufacturers and sellers of computer equipment is substantiated. The specifics of using parsing services are given in view of the monetization of custom versions, as a result of which there is a need to write one's own product, in particular in the Python language . This approach is aimed at minimizing the terms of obtaining information and building digital chains of data processing. Along with this, issues of ethical and legal aspects of data parsing are raised and their importance for ensuring fair competition and protection of personal information is emphasized. Attention is focused on the possibility of using data-characteristics obtained by means of parsing in the process of analyzing market trends in the notebook segment. An overview of the possibilities of further development of this method in the evaluation of goods and its potential impact on the consumer market is provided.

Keywords: parsing, data processing, data analysis, competitiveness, consumer value of goods, JSON, Python .

Постановка проблеми

парсинг споживча цінність товар

Сучасні технології неперервно прогресують, і з цим ростом збільшується і обсяг інформації, яку споживачам, ІТ-компаніям, ремонтним сервісам та навіть роздрібним магазинам слід оцінювати перед покупкою товарів. Збір та аналіз характеристик великої кількості товарів може стати значною перепоною для індивідуальних користувачів, бізнесів та експертів. У такому контексті, ключовою проблемою є необхідність оптимізації процесу оцінки споживчої цінності товарів.

Парсер є програмою або скриптом, який використовується для аналізу та обробки структурованого тексту чи даних іншого формату. Його основна функція полягає в тому, щоб розібрати вхідний текст або дані на окремі компоненти, які можна легко ідентифікувати та обробляти.

У контексті веб-скрапінгу та отримання інформації з Інтернету, парсер використовується для вилучення конкретних даних із веб-сторінок. Він може аналізувати HTML-код сторінки, ідентифікувати різні елементи (такі як заголовки, таблиці, списки тощо) та витягувати з них потрібну інформацію. Парсери використовуються для обробки інших типів даних, таких як JSON або XML. Вони розбивають ці дані на окремі елементи, що дозволяє легко взаємодіяти з ними та використовувати в інших програмах або скриптах.

Слід зазначити, що цінність отримуваних даних в результаті парсингу, зумовлена їх важкодоступністю при використанні звичайного способу відбору (із регламентних інформаційних джерел). Тому, парсери відіграють важливу роль у витягуванні інформації з різних джерел і забезпечують її подальшу обробку, що робить їх необхідними інструментами для скрапінгу даних, аналізу текстової інформації та автоматизації обробки даних при програмуванні.

Серед переваг парсерів при роботі з даними є:

1. Дотримання високого рівня точності при автоматизації збору даних. Використання парсерів дозволяє автоматизувати процес збору точних даних про характеристики ноутбуків з різних джерел, виключаючи помилки та забезпечуючи однорідність даних.

2. Мінімізація часу обробки даних . Застосування програм для збору даних може зменшити час, необхідний для отримання та оновлення інформації про різні продуктові моделі, дозволяючи швидше приймати інформовані рішення.

3. Розширені можливості доступу до різних сегментів ринку. Здатність програм та парсерів обробляти великі обсяги даних дозволяє враховувати велику кількість моделей ноутбуків, що розширює вибір для споживачів.

4. Зростання рівня конкурентоспроможності. Компанії можуть використовувати парсери для аналізу конкурентоспроможності своїх продуктів, щоб швидше реагувати на зміни у ринкових умовах.

5. Дотримання об'єктивності рішень. Використання програм нівелює суб'єктивний вплив людського фактору при аналізі, чим підвищує рівень об'єктивного оцінювання характеристик товарів (ноутбуків, тощо).

Проте, не зважаючи на переваги, використання програм та парсерів може стикається з проблемними викликами, такими як технічні обмеження та етичні питання (зокрема, захист індивідуальних даних), які слід розглядати у контексті оптимізації процесу збору та аналізу даних для оцінки споживчої цінності товарів.

Аналіз останніх досліджень і публікацій

Проблематика парсингу, відтворення процесів обробки та аналізу даних, що генеруються внаслідок його використання знайшла відображення в працях дослідників та практиків з аналізу даних. В них висвітлюються теоретичні засади процесів аналізу вебданих, особливості перетворення форматів, якість інформації, стандартизація і ін. Найбільш відомими є роботи Райана Митчелла [3], Майкла Хейдта [4, 7], Саймона Мюнцерта [5] , Кэтрин Ярмул, Ричарда Лоусона [6,8]. Проте, зважаючи на відносно новий напрям досліджень та особливу зацікавленість в ньому як зі сторони підприємців, так і з боку державних установ, існують проблемні питання прикладного та теоретичного характеру, розкриття яких дозволить узагальнити та конкретизувати категорії процесів збору вебданих, уточнити їх класифікаційні ознаки, розробити прикладні моделі та ін.

Метою статті є висвітлення основних аспектів парсингу даних та формуванні датасету з отриманих даних, а в подальшому їх аналізу для оцінки споживчої вартості товару.

Новизна роботи полягає у дослідженні теоретичних засад та практичної реалізації парсингу при формуванні ефективного механізму отримання наборів даних з подальшим їх використанням в процесах оцінки споживчої цінності товарів на прикладі комп'ютерної техніки.

Виклад основного матеріалу

Однією із рушійних сил конкурентної боротьби підприємств на продуктових риках є направленість їхнього стратегічного розвитку на посилення диференційованості. Саме чинник диференційованості визначає здатність підприємства виготовляти конкурентоспроможний продукт. Ступінь диференційованості впливає на пропорційність розподілу галузевої структури. Зазвичай, диференційованість продукту сприймається як характеристика його виокремлення в продуктовій лінійці схожих товарів. Проте, диференційованість є чинником, який формується багатьма ознаками, та створює унікальну особливість продукту на ринку. Саме ця особливість дозволяє підприємству зайняти провідне місце серед конкурентів та виграти змагання за отримання покупця. За Майклом Портером [1] продукт може вважитись диференційованим лише тоді, коли такий продукт за деяким унікальним способом відрізняється від продуктів конкурентів, а ця особливість має визначену цінність для покупця. Таким чином, питання конкуренції та диференційованості продуктів тісно пов'язані між собою, внаслідок чого визначення ціннісних характеристик продукції будуть представляти особливу зацікавленість виробників.

Створення споживчої цінності залежить від видів діяльності, на які розраховує покупець отримавши даний товар. Тобто, вартість товару, може сприйматись покупцем тільки у тому випадку, коли вона виправдовує його види діяльності з позиції понесених витрат та отриманої якості. Якщо підприємство, реалізувавши продукції, дозволяє покупцю підвищити ефективність його діяльності, то останній може сприймати високий рівень ціни. Особливо актуальним є сприйняття цінності дороговартісних товарів, до яких відноситься продуктовий ряд комп'ютерної техніки. Таким чином, купуючи комп'ютер користувач перш за все звертає увагу на комбінацію ціни та його технологічних характеристик, основними серед яких можна виділити: тип операційної системи, діагональ дисплея, тип матриці, роздільну здатність екрану, частоту оновлення дисплея, виробника, об'єм відеокарти та ін.

Оцінка споживчої цінності може бути достатньо складною і охоплювати як кількісні, так і якісні характеристики, визначення ваги метрики яких в системі відносної цінності для покупця залежить від даних при аналізі формування ланцюга створення вартості покупця. Сама конфігурація ланцюга вартості може показати, закриття яких потреб цікавить покупця, а також важливість їх задоволення. Поряд з цим, ланцюг вартості покупця буде прямо та опосередковано впливати на покриття витрат самого підприємства- виробника за умови придбання товару його виробництва. Окрім цього, вплив на покупця буде відбуватись не тільки прямо при продажу самих товарів (комп'ютерів), але і за рахунок організації таких видів діяльності як логістика, маркетинг, сервісне обслуговування та ін.

На сьогодні достатнього розвитку набула онлайн-торгівля та побудова цифрових ланцюгів вартості, що складають політику та стратегію інформаційної логістики підприємства. [2, 3] Підкоряючись вимогам сучасної цифровізації, покупець стає заручником використання своїх реакцій на характеристики товарів. Таким чином, досліджуючи властивості товарів та реакцію покупців, шляхом формування наборів даних, їх частоти появи в інформаційному просторі, чистоти та похибки отримання, можна сформувати бачення найбільш цікавих пропозицій з точки зору цінності споживання.

Зазначимо, що споживча цінність є тим критерієм, на який спирається покупець при прийнятті рішення про купівлю. Власне, від факту здійснення купівлі-продажу і виникає зиск обох сторін і саме обидві сторони (покупець і продавець) виявляють зацікавленість в отриманні якомога більшої інформації про даний товар. В цьому проявляється сенс використання різних підходів щодо отримання наборів даних про характеристики товарів. Саме такий підхід і реалізує парсинг, що ототожнюється з відсутністю прямого фізичного втручання людини в процес формування набору даних (датасету), оскільки цю роботу має виконати сервіс або розроблений програмний додаток.

Стандарт таких даних можуть бути визначеними у довільній формі. Проте, такий підхід виправдовує навіть отримані похибки репрезентативності (розмір яких має бути обумовлений заздалегідь) з огляду на можливість отриманої кількості інформації в наборі даних.[6]

Проводити парсинг можливо як за допомогою власного написаного коду, так і використовуючи сервіси. Найбільш популярними сервісами парсингу даних є: Octoparse, ParseHub, Import.io та Webhose.io. Octoparse відзначається потужністю та графічним інтерфейсом для створення правил збору даних. Здатний витягувати інформацію з веб-сторінок, PDF-файлів, баз даних та інших джерел, Octoparse також пропонує вбудовані функції обробки даних та можливості експорту у різні формати. ParseHub, як і Octoparse, є потужним веб-скрапером з графічним інтерфейсом. Він дозволяє створювати правила парсингу, вибираючи елементи на веб-сторінці, та витягувати потрібні дані. ParseHub автоматично розпізнає структуру веб-сторінок та має вбудовані функції для обробки та очищення даних. Import.io пропонує хмарний сервіс для парсингу та збору даних з веб-сторінок. Він забезпечує інструменти для створення правил парсингу та витягування даних, а також можливості для автоматизованого оновлення даних та інтеграції з іншими системами. Webhose.io відрізняється тим, що є API-платформою, яка надає доступ до різних категорій структурованих даних з Інтернету, включаючи новини, соціальні медіа, відгуки та інше. Платформа надає інструменти для налаштування запитів та отримання необхідних даних. Проте, ці інструменти мають певні недоліки. Наприклад, використання Octoparse та ParseHub обмежується самою політикою монетизації продукту. Import.io та Webhose.io пропонують платні плани з обмеженнями та залежністю від хмарної інфраструктури. Тому, з метою отримати більшу гнучкість, контроль, низькі витрати та можливість індивідуального підходу до унікальних потреб обґрунтованим є написання власного парсера (наприклад, на мові програмування Python).

Для збору даних оцінки споживчої цінності ноутбуків представляє інтерес написання парсеру на мові програмування Python з використанням додаткових бібліотек, таких як requests, BeautifulSoup, time та json. В даному випадку предметом збору даних слугують карти товарів з ноутбуками із інтернет-магазину комп'ютерної техніки. Парсер автоматично здійснює запит до інтернет магазину, з якого і буде отримуватись інформація, HTML-сторінки з даними про ноутбуки та екстрагується необхідна інформація для аналізу. Зокрема, такою інформацією можна вважати як назви ноутбуків, їх ціни, модельний ряд, операційну систему, діагональ дисплея, тип матриці, розширення, частоту оновлення дисплея, серію та модель процесора, базову частоту, кількість ядер, об'єм оперативної пам'яті, тип оперативної пам'яті, частоту оперативної пам'яті, тип накопичувача, об'єм накопичувача, тип, виробника, модель та об'єм відеокарти. Код додатка може бути реалізованим наступним чином:

1. Імпорт необхідних модулів: requests, BeautifulSoup з псевдонімом BS, json та sleep з модуля time.

2. Визначення заголовку headers з інформацією про користувацький агент (User-Agent) для передачі у HTTP-запитах.

3. Функція get_url() відповідає за отримання URL-адреси сторінок зі списком ноутбуків з каталогу інтернет-магазину. Виконується запит за допомогою requests.get() з вказаними URL-адресами та заголовками. Результати отримуються у вигляді HTML-сторінок, які потім парсяться за допомогою BeautifulSoup. Інформація про кожен ноутбук (URL) повертається з використанням генератора yield.

4. Функція array() відповідає за отримання детальної інформації про кожен ноутбук. Вона отримує URL-адреси ноутбуків за допомогою get_url() та перебирає їх. Для кожного URL-адреси виконується запит та отримана сторінка парситься за допомогою BeautifulSoup. Далі, з використанням методів find() та find_all() витягуються необхідні дані про назви ноутбуків (name), їх ціни (price), модельний ряд (laptop_model), операційну систему (laptop_os), діагональ дисплея (display_diagonal), тип матриці (matrix_type), розширення (extension), частота оновлення дисплея (display_frequency), серію (processor_series) та модель процесора (processor_model), базову частоту (processor_frequency), кількість ядер (processor_core), об'єм оперативної пам'яті (ram_size), тип оперативної пам'яті (ram_type), частоту оперативної пам'яті (ram_frequency), тип накопичувача (drive_type), об'єм накопичувача (drive_size), тип (gpu_type), виробника (gpu_producer), модель (gpu_model) та об'єм відеокарти (gpu_size). Інформація повертається з використанням генератора yield.

5. Виклик функцій get_url() та array() забезпечує отримання ітерабельного об'єкту, який містить детальну інформацію про ноутбуки. Цей об'єкт може бути перебраний, і кожен елемент містить відповідну характеристику девайса. Запис даних, отриманих з функції array(), у файл JSON з використанням бібліотеки Json.

Після збору даних, основна задача полягає в структуризації цих даних для подальшої оцінки їх споживчої цінності. Подальша оцінка споживчої цінності може включати різні аспекти, такі як порівняння цін на різні пристрої, аналіз впливу певних критеріїв на ціну, врахування популярності та рейтингу ноутбуків серед споживачів тощо. Це допоможе зрозуміти, як дані впливають на споживчу цінність товару.

Отримані дані можна ефективно використовувати в програмах Python для подальшого аналізу, обробки, чи виведення. Об'єкт Python, створений з даних у форматі JSON, надає зручний доступ до всієї інформації та дозволяє використовувати мовні засоби для маніпуляції цими даними. JSON дозволяє відтворити вкладення об'єктів, чим дозволяє сформувати складні структури даних. Під час аналізу таких даних у Python, можна звертатись до вкладених об'єктів та взаємодіяти з ними за допомогою стандартних мовних конструкцій.

Аналіз даних у форматі JSON надає можливість легкої інтеграції та обробки даних, що походять із різних джерел. [8] Використання стандартного модулю json в Python робить цей процес інтуїтивно зрозумілим та доступним навіть для новачків. Наведемо інформацію про 887 ноутбуків з каталогів інтернет-магазинів, яку отримано із відкритих джерел в результаті апробації коду парсеру, та графічний аналіз динаміки цін на мові Python (рис.1).

Визначено, що 587 ноутбуків із 887 були з інтегрованими відеокартами, а 300 з дискретиними. Найпопулярнішою моделлю відеокарти є GeForce RTX4060, найпопулярніша серія процесора: Intel Core i7, а найбільшим попитом є обсяг оперативної пам'яті - 16 гб. Середня ціна пропозиції ноутбуків становить 52550.34 грн.

Рис.1 Дані про ціни в розрізі конкретизованих моделей ноутбуків

Висновки

1. Porter M.E. The Competitive Advantage: Creating and Sustaining Superior

Performance. NY: Free Press, 1985. 558 р.

2. Потапова Н.А. Логістика онлайн-торгівлі в контексті проявів глобалізації цифрової економіки. Економіка. Фінанси. Менеджмент: актуальні питання науки і практики. № 3. 2019. С. 62 - 77.

3. Потапова Н.А. Інформаційна логістика в сучасній ексабайтовій економіці. Маркетинг і логістика в системі менеджменту: тези доповідей XIV Міжнародної науково- практичної конференції. Львів: Видавництво Львівської політехніки, 2022. С. 183-184.

4. Потапова Н.А. Електронна логістика в системі інформаційної логістики підприємства. Маркетингове забезпечення продуктового ринку. Збірник тез XV Міжнародної науково-практичної конференції (м. Полтава, 16 травня 2023 року). Полтава: ПДАУ. 2023. С. 135-137.

5. Mitchell R. Web Scraping with Python: Collecting Data from the Modern Web. O 'Reilly Media. 2015. 253 p.

6. Heydt M. Python Web Scraping Cookbook. PacktPublishing, 2018. 364 p.

7. Munzert S., Rubba C., MeiBner P., Nyhuis D. Automated Data Collection with R: A Practical Guide to Web Scraping and Text Mining. John Wiley & Sons, 2015. 310 p.

8. Jarmul K., Lawson R. Python Web Scraping: Hands-on data scraping and crawling using PyQT, Selnium, HTML and Python. Packt Publishing, 2017. 220 p.

9. Heydt M. Python Web Scraping Cookbook: Over 90 proven recipes to get you scraping with Python, micro services, Docker and AWS. Packt Publishing, 2018. 364 p.

10. Lawson R. Web Scraping with Python: Step by Step Guide to Easy Web Scraping, Data Extraction, and Web Crawling in Python. Packt Publishing, 2020. 179 p.

References:

1. Porter M.E. (1985). The Competitive Advantage: Creating and Sustaining Superior Performance. NY: Free Press. 558.

2. Potapova N.A. Lohistyka onlain-torhivli v konteksti proiaviv hlobalizatsii tsyfrovoi ekonomiky. [Logistics of online trade in the context of manifestations of globalization of the digital economy]. Ekonomika. Finansy. Menedzhment: aktualni pytannia nauky i praktyky. № 3. 2019. S. 62 - 77. [in Ukrainian].

3. Potapova N.A. Informatsiina lohistyka v suchasnii eksabaitovii ekonomitsi. [Information logistics in the modern exabyte economy]. Marketynh i lohistyka v systemi menedzhmentu: tezy dopovidei XIV Mizhnarodnoi naukovo-praktychnoi konferentsii. Lviv: Vydavnytstvo Lvivskoi politekhniky, 2022. S. 183-184. [in Ukrainian].

4. Potapova N.A. Elektronna lohistyka v systemi informatsiinoi lohistyky pidpryiemstva. [Electronic logistics in the company's information logistics system]. Marketynhove zabezpechennia produktovoho rynku. Zbirnyk tez KhV Mizhnarodnoi naukovo-praktychnoi konferentsii (m. Poltava, 16 travnia 2023 roku). Poltava: PDAU. 2023. S. 135-137. [in Ukrainian].

5. Mitchell R. (2015). Web Scraping with Python: Collecting Data from the Modern Web. O'Reilly Media. 253.

6. Heydt M. (2018). Python Web Scraping Cookbook. PacktPublishing, 364.

7. Munzert S., Rubba C., MeiBner P., Nyhuis D. (2015). Automated Data Collection with R: A Practical Guide to Web Scraping and Text Mining. John Wiley & Sons, 310.

8. Jarmul K., Lawson R. (2017). Python Web Scraping: Hands-on data scraping and crawling using PyQT, Selnium, HTML and Python. Packt Publishing, 220.

9. Heydt M. (2018). Python Web Scraping Cookbook: Over 90 proven recipes to get you scraping with Python, micro services, Docker and AWS. Packt Publishing. 364.

10. Lawson R. (2020). Web Scraping with Python: Step by Step Guide to Easy Web Scraping, Data Extraction, and Web Crawling in Python. Packt Publishing,179.

Размещено на Allbest.ru