Інноваційні маркетингові технології у роздрібній торгівлі з використанням computer vision та штучного інтелекту

Shumeiko O.A., National Transport University, Kiev, Ukraine

Donets V.V., National Transport University, Kiev, Ukraine,

Kovalchuk O.P., National Transport University, Kiev, Ukraine,

Реферат

маркетингове дослідження роздрібна торгівля штучний інтелект

Харитонова Л.В. Інноваційні маркетингові технології у роздрібній торгівлі з використанням Computer Vision та штучного інтелекту / Л.В. Харитонова, О.А. Шумейко, В.В. Донець,

О.П. Ковальчук // Вісник Національного транспортного університету. Серія «Економічні науки». Науковий журнал. - К.: НТУ, 2023. - Вип. 2 (56).

У статті розглянуті перспективні підходи до проведення маркетингових досліджень з використанням технологій комп'ютерного зору та відео аналітики на основі систем штучного інтелекту.

Предмет дослідження - процеси автоматизованого проведення маркетингових досліджень.

Об'єкт дослідження - технології та засоби автоматизованого аналізу поведінки клієнтів закладів роздрібної торгівлі.

Мета роботи - опис концепції та принципів роботи автоматизованих систем аналізу поведінки клієнтів закладів роздрібної торгівлі з використанням систем відеоспостереження, комп'ютерного зору та відео аналітики з використанням технології штучного інтелекту.

В сучасних економічних умовах надзвичайну важливість отримали питання оптимізації та автоматизації всіх бізнес-процесів суб'єктів, які ведуть економічну діяльність, включаючи процеси маркетингових досліджень у закладах роздрібної торгівлі, діяльність яких характеризується високим ступенем конкуренції. Автоматизація процесів за допомогою комп'ютерних технологій та цифрового апаратного забезпечення дозволяє підвищити якість аналітики та знизити витрати на проведення досліджень.

Стаття присвячена вирішенню питань автоматизації дослідження цільової аудиторії рітейлу за допомогою систем комп'ютерного бачення з наступною обробкою цих даних за допомогою систем комп'ютерної аналітики з використанням штучного інтелекту.

КЛЮЧОВІ СЛОВА: РОЗДРІБНА ТОРГІВЛЯ, МАРКЕТИНГ, ІННОВАЦІЙНІ ТЕХНОЛОГІЇ, КОМП'ЮТЕРНИЙ ЗІР, РОЗПІЗНАННЯ ОБРАЗІВ, ШТУЧНИЙ ІНТЕЛЕКТ.

Abstract

Kharytonova L.V., Shumeiko О.А., Donets V.V., Kovalchuk O.P. Innovative marketing technologies in retail using Computer Vision and artificial intelligence. Visnyk National Transport University. Series «Economics». Scientific journal. - Kyiv: National Transport University, 2023. - Issue 2 (56).

The article discusses promising approaches to marketing research using computer vision technologies and video analytics based on artificial intelligence systems.

The subject of the study is the processes of automated marketing research.

The object of the research is technologies and means of automated analysis of the behavior of customers of retail establishments.

The purpose of the work is to describe the concept and principles of automated systems for analyzing customer behavior in retail establishments using video surveillance systems, computer vision, and video analytics using artificial intelligence technology.

In today's economic conditions, the issue of optimization and automation of all business processes of entities conducting economic activity, including marketing research processes in retail establishments, whose activities are characterized by a high degree of competition, has become extremely important. Automation of processes with the help of computer technologies and digital hardware allows to improve the quality of analytics and reduce research costs.

The article is devoted to solving the issues of automating the research of the retail target audience using computer vision systems with the subsequent processing of these data using computer analytics systems using artificial intelligence.

KEYWORDS: RETAIL TRADE, MARKETING, INNOVATIVE TECHNOLOGIES, COMPUTER VISION, PATTERN RECOGNITION, ARTIFICIAL INTELLIGENCE.

Постановка проблеми

Роздрібна торгівля (рітейл) - це принцип організації торгівлі, згідно з яким супермаркети, гіпермаркети, інтернет-магазини закуповують товар оптом, а потім продають його з націнкою у своїх торгових точках. Однією з головних особливостей такого підходу є велика різноманітність товарів та послуг, які можна придбати в одному місці. Для покупців такий спосіб торгівлі привабливий через те, що в таких магазинах можна знайти багато варіантів товару, що дозволяє зробити більш виважений вибір і витрати на це мінімум часу. Найчастіше люди купують більше товарів в одній торговій точці, ніж вони планували завдяки прийомам стимулювання продажів.

Стимулювання продаж - це один із основних елементів рекламного просування. Щоб побудувати довгострокові взаємини з користувачами, необхідно виявити ті види продаж, які найкраще працюють для вашої цільової аудиторії. У той же час, важливо чітко сформулювати і позначити для клієнта цінності продукту, що просувається. Основою стимулювання продаж є дослідження та аналіз поведінки цільової аудиторії.

Стаття присвячена вирішенню питань автоматизації дослідження цільової аудиторії рітейлу за допомогою систем комп'ютерного бачення з наступною обробкою цих даних за допомогою систем комп'ютерної аналітики з використанням штучного інтелекту.

Аналіз останніх досліджень і публікацій

За останні роки вийшло декілька десятків наукових праць, які присвячені питанню розробки штучного інтелекту в частині комп'ютерного зору. Серед робіт загально-теоретичного направляння, на нашу думку, слід відмітити: роботу [1] в якій питання розглянуто з позицій поєднання біології людського зору з різними аспектами зорового сприйняття, описом структури нейронів, які його забезпечують та процесів, які відбуваються в мозку людини при розпізнавання образів та математичного моделювання цих процесів для комп'ютерного використання за допомогою глибоких згорткових нейронних мереж, машинного навчання та генеративних змагальних мереж; роботу [2], яка присвячена передовим методам комп'ютерного зору, розглянутим на реальних прикладах, в якій продемонстровано процес виявлення штучним інтелектом ознак та об'єктів, процедура глибокого навчання, розкрито методику розпізнавання осіб та дій, відстеження аномалій тощо. Особлива увага у роботі приділяється саме методам глибокого навчання.

Також слід відзначити роботи направлені на практичну реалізацію технологій комп'ютерного зору, а саме роботи [3, 4], ці роботи призначені для науковців та практичних фахівців, які цікавляться вивченням комп'ютерного зору, машинного навчання з використанням бібліотеки OpenCV в контексті розробки прикладних комп'ютерних програм.

Виклад основного матеріалу

Комп'ютерний зір (CV, Computer Vision) та відеоаналітика (VCA, Video Content Analysis). Комп'ютерний зір (або «машинний зір» чи «технічний зір») часто плутають з відео- аналітикою. Проте, ці поняття нерівнозначні. Можна сказати, що відео-аналітика є складовою комп'ютерного зору щодо аналізу зображення, тобто: комп'ютерний зір - це технологія (а також область досліджень) з автоматизації розуміння того, що ми бачимо в навколишньому світі; в той час як відео-аналітика - це прикладна складова технології комп'ютерного зору, яка безпосередньо отримує інформацію та знання з відеоконтенту. На рис. 1 наведено класифікацію типів задач відео- аналітики.

Рисунок 1 - Класифікація задач відео-аналітики Figure 1 - Classification of video analytics tasks

Серед вищезгаданих задач найбільший інтерес з точки зори практичного використання викликає задача розпізнання або виявлення об'єктів. Виявлення об'єктів - це технологія комп'ютерного зору, яка використовується для ідентифікації та визначення місцезнаходження об'єктів на зображенні чи відео. Це важлива частина багатьох систем штучного інтелекту, які повинні розпізнавати та класифікувати об'єкти.

Для виявлення об'єктів використовуються так звані системи виявлення Object recognition system (ORS) - це системи, які на фото або відео розпізнають об'єкт, що виявляється, і за зображенням отримує дані про нього. У маркетингу нас цікавлять люди та їх поведінка, тому об'єктами розпізнання та аналізу, відповідно, будуть саме вони.

У процесі свого функціонування система розпізнавання може визначати стать, приблизний вік, расу, колір волосся, приблизну вагу та зріст людини. Фіксуючі цю інформацію у базі даних система може в автоматичному режимі адмініструвати клієнтську базу або формувати датасет для майбутнього статистичного аналізу роботи торгової точки. Сучасні технології дозволяють навіть ідентифікувати настрій та емоції клієнта, аналізуючи їхню особу, або реакцію на певні продукти та пропозиції.

Системи виявлення об'єктів використовують алгоритми глибокого навчання та нейронні мережі для аналізу візуальних даних і ідентифікації об'єктів на основі їхніх характеристик. Строго кажучи, системи розпізнавання працюють, використовуючи різні алгоритми, але в рамках даної статті ми розглядаємо переважно алгоритми з використанням нейронних мереж.

Сьогодні нейронні мережі використовують як альтернативу всім існуючим алгоритмам для машинного перекладу, розпізнавання мови та музики, обробки зображень, визначення об'єктів на фото та відео. Тобто нейронні мережі або глибоке навчання (Deep Learning, DL) - це специфічний тип машинного навчання (Machine Learning, ML). Строго кажучи, для реалізації DL крім нейронних мереж, можна застосовувати й інші методи, але у сучасній реальності практично у всьому, що стосується DL, використовують нейронні мережі. Навчання нейронної мережі дає можливість проводити розпізнавання образів у реальному часі.

Успіх глибокого навчання безпосередньо залежить від потужності техніки. На момент появи нейронних мереж потужності комп'ютерів були низькими, через що й самі мережі були досить слабкими. Саме тому тоді неможливо було створити велику кількість шарів нейронних мереж, а саме від кількості шарів залежать можливості мережі. Але з появою GPU та TPU все змінилося. Сучасний DL здатний використовувати мережі досить великих розмірів. Для практичної реалізації глибокого навчання використовують спеціальні фреймворки: Keras, Detectron, TensorFlow, PyTorch та інші.

Виявлення об'єктів має багато застосувань у роздрібній торгівлі. Його можна використовувати для покращення взаємодії з клієнтами та оптимізації операцій. Ось кілька способів використання виявлення об'єктів у роздрібній торгівлі:

1. Моніторинг полиць. Технологію виявлення об'єктів можна використовувати, щоб стежити за полицями магазинів і гарантувати, що вони завжди заповнені. Це важливо, оскільки порожні полиці можуть призвести до втрати продажів і розчарування клієнтів. Використовуючи камери та алгоритми виявлення об'єктів, роздрібні продавці можуть відстежувати рівень запасів своїх товарів і автоматично формувати замовлення товарів, коли вони закінчуються.

2. Управління чергою. Виявлення об'єктів можна використовувати для моніторингу касових черг і керування чергами. Аналізуючи відеоматеріал, менеджери можуть оцінити довжину черги на касі та попередити персонал, коли черги стають надто довгими. Це може допомогти скоротити час очікування та покращити взаємодію з клієнтами.

3. Запобігання крадіжкам. Виявлення об'єктів також можна використовувати для запобігання крадіжці. Відстежуючи проходи магазинів і точки входу/виходу, оператори систем відеоаналітики можуть виявляти підозрілу поведінку та попереджати персонал про можливу крадіжку. Це може допомогти запобігти крадіжці та зменшити втрати.

4. Персоналізований маркетинг. Виявлення об'єктів можна використовувати для персоналізації маркетингових повідомлень та пропозицій для окремих клієнтів. Аналізуючи поведінку та вподобання клієнтів, продавці можуть адаптувати маркетингові пропозицій до кожного клієнта, підвищуючи релевантність пропозиції та збільшуючи шанси на продаж.

5. Відстеження клієнтів. Виявлення об'єктів також можна використовувати для відстеження поведінки клієнтів у магазинах. Аналізуючи відеоматеріал, продавці можуть отримати уявлення про те, як клієнти переміщуються магазином і які продукти їх цікавлять. Цю інформацію можна використовувати для оптимізації макетів магазинів і розміщення продуктів, покращуючи взаємодію з клієнтами та збільшуючи продажі.

6. Оцінка ефективності офлайн-реклами. За допомогою системи розпізнавання можна відстежувати, як багато людей дивляться на рекламу, яка їхня демографія і як довго вони дивляться на неї. Також можна дізнатися, яку реакцію спровокувала реклама, була вона позитивною чи негативною. Усміхалися люди чи засмучувалися?

В рамках даної статті ми розглянемо інструментарій реалізації останніх двох приведених способів. З технічної точки зору, обидва способи зводяться до вирішення двох взаємопов'язаних питань:

1. Виявлення ставлення клієнта до товару, його реклами або взагалі до якості його обслуговування. Тобто необхідно визначити емоційний стан покупця під час огляду товару або його реклами або відразу після відвідування торгової точки.

2. Виявлення маршрутів покупців по торгівельному майданчику з урахуванням місць та часу затримки у окремих точках маршруту.

Обидва питання можуть бути вирішені за допомогою засобів відео-аналітики, хоча алгоритми та підходи до цих задач будуть відрізнятися. Розглянемо кожну з цих задач окремо.

Аналіз ступеня задоволення покупця на основі визначення його емоційного стану. Найпростіший спосіб виявлення реакції клієнта на маркетингові заходи та якість обслуговування - це технологія виявлення посмішки (Smile Detection). Наявність посмішки на обличчі покупця ми трактуємо як емоційну реакцію задоволення. В свою чергу технологія програмного розпізнання посмішки на зображенні людини вже відома досить давно. Багато з нас зіштовхувались з цією технологією, наприклад при використанні сучасних фотокамер, багато з яких обладнано функціями визначення обличь в кадрі та спуску при виявленні посмішок на цих обличчях. Відповідно, цю технологію, можна використати і для наших задач, але при цьому треба врахувати декілька особливостей: по-перше наші клієнти не позують перед камерою, тому слід враховувати що обличчя на зображенні може знаходитись під незручним для роботи алгоритму кутом, по-друге клієнти знаходяться у динаміці, що також слід враховувати при реалізації алгоритму.

Процедура розпізнавання посмішки складається з двох етапів. Камера (встановлена відповідним чином) визначає обличчя, а потім аналізує різні риси обличчя. Коли об'єкт зйомки посміхається, алгоритм розпізнає зміни в обличчі, визначаючи риси обличчя, зокрема примружені очі, видимі зуби, загнуті куточки рота та підняті щоки. Приклад роботи подобного алгоритму продемонстровано на рис. 2. Більш детально з алгоритмом розпізнання посмішок можна ознайомитись у [5, 6].

Рисунок 2 - Приклад використання технології Smile Detection (джерело: https://www.einfochips.com) Figure 2 - Example of using Smile Detection technology (source: https://www.einfochips.com)

Підхід виявлення ставлення покупця на основі розпізнання посмішки має суттєві недоліки: по-перше ми не можемо зрозуміти, чи є наявність посмішки показником задоволення товаром або якістю обслуговування, чи то є виявлення елементарної ввічливості по відношенню до персоналу; подруге, так само є незрозумілим: відсутність посмішки - це ознака незадоволення чи результат емоційної стриманості поведінки людини? Строго кажучи, наявність посмішки - це лише один, досить неточний індикатор емоційного стану людини, який несе обмежену та недостатню для аналізу інформацію. Виникає питання, чи існує механізм автоматизованого виявлення більш широкого спектру емоційного стан людини?

Вивченням емоцій та їх прояви вчені займаються досить давно. Адже емоції є неминучою частиною будь-якої міжособистісної комунікації, виражають ставлення людини до навколишнього світу, до ситуації реального часу, до власної особи. Разом з тим, останнім часом потреба у виявленні людських емоцій ще більше зросла. Насамперед це пов'язано з розширенням сфери застосування завдання розпізнавання емоцій. В даний час це і моніторинг стану водія за кермом, і системи відеоаналітики «розумного міста», і системи безпеки, і маркетингові дослідження.

Емоції можуть бути виражені у різний спосіб: мімікою, голосом, поведінкою, реакціями систем організму. Найбільший інтерес з них представляє розпізнавання емоцій людини за виразом її обличчя. Це завдання є досить популярною в даний час з низки причин: такі зображення нескладно отримати, вони містять багато корисної інформації для розпізнавання емоцій, зібрати великий набір даних у вигляді зображень осіб досить легко (порівняно з іншим матеріалом для розпізнавання: промовою або зразками почерку тощо) .

Розпізнавання емоцій людини з міміки її обличчя є важливою науково-дослідною проблемою, яка охоплює безліч галузей та дисциплін, таких як комп'ютерний зір, штучний інтелект, медицина, психологія та безпека.

Ми розглядаємо підхід до розпізнавання емоцій за виразами обличчя, який включає три основні етапи аналізу зображень: попередня обробка, витяг ознак і класифікація, заснована на глибокому навчанні з використанням глибоких нейронних мереж. Аналіз науково-технічної літератури, що описує методи та алгоритми аналізу та розпізнавання виразів обличчя, а також результати світових наукових досліджень показали, що традиційні методи класифікації виразів обличчя поступаються за швидкістю та точністю штучним нейронним мережам.

Для визначенні емоцій алгоритми спочатку виявляють особи на фотографіях або відео, а потім розпізнають мікровирази, аналізуючи відносини між точками на обличчі на основі наборів даних (датасетів). Прояви емоцій людини виражаються через мімічні вирази обличчя, які виявляються при зміні ключових точок на обличчі. Становище цих точок та його трактування є головним завданням класифікації емоцій.

У загальному виді алгоритм визначення (класифікації) емоцій складається з наступних етапів:

1. Перетворення фото (або кадру відео) на чорно-біле зображення. Щоб позбавити модель надлишкових даних, зображення перетворюється на чорно-біле, таке перетворення дозволяє зменшити обсяг оброблюваних даних до 3 разів.

2. Пошук обличчя у кадрі.

3. Зміна розмірів зображення до розмірів фото з навчальної вибірки. Також розмір зображення може бути зменшено відповідно до розмірів зображень у датасеті.

4. Нормалізація даних. Обрізання та нормалізація зображення обличчя необхідні, щоб підготувати зображення для обробки їх нейромережею та прибрати фон.

5. Класифікація емоції на зображенні за допомогою багатошарової згорткової нейронної мережі. Робота згорткової нейронної мережі - це перехід від особливостей зображення до абстрактних деталей, при цьому опускаються незначні та виділяються суттєві. Розмір зображення звужується, але збільшується кількість ознак зображення. Дві основні концепції у її роботі - це операції згортки та підвиборки. Операція згортки - це графічне кодування будь-якої ознаки, у результаті формується карта ознак. Операція підвиборки зменшує розмірність сформованих карт ознак за рахунок вибору пікселя з максимальним значенням. Виділяються ключові ознаки зображення - область очей, рота, брів та носа. Після згорткових шарів встановлюються кілька шарів повнозв'язаної нейронної мережі (перцептрон), на вхід яким подаються кінцеві карти ознак. При цьому повнозв'язані шари вже втрачають просторову структуру пікселів і мають порівняно невелику розмірність (стосовно кількості пікселів вихідного зображення). Визначення емоції відбувається після того, як зображення проходить весь алгоритм і нейромережа виділяє ключові особливості обличчя та класифікує їх.

В якості прикладу розглянемо модель згорткові нейронні мережі реального часу для класифікація емоцій і статі, яку запропоновану у [8] та її програмну реалізацію [9]. У роботі представлена загальна реалізація структури для побудови згорткової нейронної мережі (Convolutionalneuralnetwork, CNN), яка у режимі реального часу вирішує задачу аналізу відеопотоку з метою класифікації емоційного стану та статі осіб, які визначаються у кадрі.

Процедура гендерної класифікації, яка запропонована у моделі, відбувається аналогічно процедурі класифікація емоцій, але з використанням специфічного набору ознак створеного саме для гендерної класифікації на основі рис обличчя та зовнішнього вигляду (волосся, одягу тощо). Задача гендерної класифікації має вирішальне значення для збору та дослідження даних, має значний потенціал розв'язання з використанням нейронних мереж, але в рамках даної статті не розглядається.

Схематично CNN є послідовністю шарів. Кожен шар перетворює один активаційний об'єм в інший за допомогою функції, що диференціюється. Для організації згорткової нейронної мережі застосовується 3 основних шари: згортка (convolution), пулінг (інакше шар підвиборки або субдискретизації, англ, pooling) і повнозв'язаний (fullyconnected, FC) шар. Шари згортки та пулінгу використовуються для вилучення карти ознак з вихідного зображення, а пов'язані шари використовуються для кінцевої класифікації зображення за витягнутими ознаками.

Розмір вхідного шару мережі дорівнює 48*48*1 відповідно до розміру зображень з набору даних. Вихідний шар мережі - це вектор із 7 елементів, що відповідають ймовірностям належності вхідного зображення до кожного класу. В результаті вхідне зображення відноситься до класу, що має максимальне значення ймовірності.

Як набор даних для навчання мережі був обраний Facial Expression Recognition 2013 (FER2013), який був представлений на конференції International Conference on Machine Learning 2013 [10]. Цей набір даних містить 35 887 зображень з роздільною здатністю 48 * 48 пікселів, більшість з яких зроблені в довільних умовах. База даних була створена за допомогою інструментів пошуку зображень Google. Кожне зображення класифіковане одним із семи видів емоцій: здивування (surprise), страх (fear), щастя (happy), гнів (angry), огида (disgust), смуток (sad) та нейтральний стан чи спокій (neutral). FER має велику кількість варіацій у зображеннях, включаючи часткове закриття обличчя (в основному, за допомогою руки), низько контрастні зображення та обличчя в окулярах. Приклад роботи моделі ви можете бачити на рис. 3. При роботі моделі на кадри відеопотоку (ліве зображення) або статичного фотозображення (праве зображення) виводиться наступна інформація: рамка, яка вказує що ця зона кадра була визначена як людське обличчя; відповідне значення класу емоцій та визначена стать особи. Додаткова інформація, така яка величини ймовірностей приналежності обличчя до інших класів (тобто не максимальна ймовірність) записується у окремий файл. Враховуючи той факт, що модель та її програмна реалізація поширюються як вільне програмне забезпечення існує можливість модифікації програмного забезпечення для передачі інформації через АРІ в бази даних або у інше програмне забезпечення для подальшого аналізу.

Рисунок 3 - Приклад роботи нейронної мережі реального часу для класифікація емоцій і статі (джерело [8], [9])

Figure 3 - An example of a real-time neural network for emotion and gender classification (Source [8], [9])

Для повного циклу дослідження - формування набору даних, створення, навчання та тестування моделей використовувалася мова Python як одна з найбільш популярних мов для вирішення завдань у галузі аналізу даних та машинного навчання. Реалізована модель демонструє точність 96% у наборі тендерних даних IMDB і 66% у наборі емоцій FER-2013.

В результаті проведеного тестування представленої мережі та її подальшого навчання найкраща отримана точність класифікації емоцій із зображення обличчя склала 64%, що є близьким до результатів авторів моделі. При цьому побудована матриця помилок демонструє, що отримана точність класифікації, в першу чергу, обумовлена нерівномірним розподілом даних класів у вхідному наборі даних. Так, кількість зображень, віднесених до класу «огидність», у 16 разів менше, ніж кількість зображень, віднесених до класу «щастя».

Тестування моделі на довільних даних, що не належать до набору даних FER дозволило якісно оцінити точність розпізнавання емоцій. Було виявлено, що через низьку роздільну здатність вхідного зображення моделі виникає похибка в розпізнаванні.

Виявлено, що на якість роботи систем розпізнавання емоцій за виразами обличчя негативний вплив вносять такі фактори як:

- невелика кількість даних для навчання;

- етнічна приналежність, стать, вік;

- награність емоцій;

- внутрішньокласова відмінність і міжкласова подібність;

- оклюзія;

- різний кут повороту голови;

- освітленість;

- відмінності в пропорціях особи

Попередня обробка дозволяє впоратися з деякими з цих проблем, але вирішити їх повністю на даному етапі розвитку технології неможливо.

Автоматичне розпізнавання виразу обличчя є важливою складовою систем комп'ютерної відеоаналітики. Для точного розпізнавання емоцій щодо міміки обличчя необхідно вибрати правильні методи попередньої обробки зображення, отримання візуальних ознак виразів обличчя та класифікації емоцій. На сьогоднішній день традиційні методи класифікації поступаються за швидкістю і точністю штучним нейронним мережам. Однак, незважаючи на велику кількість проведених експериментів, точність алгоритмів розпізнавання виразів обличчя поки що недостатньо висока при різних вхідних параметрах, тому завдання створення універсального алгоритму залишається актуальною.

Аналіз простору торгового майданчику за допомогою Object recognition. Система відео аналітики допомагає не тільки провести дослідження цільової аудиторії, але може також провести аналіз простору. Спеціальні алгоритми дозволяють побудувати так звану теплову карту торгового майданчика, яка показує, куди зазвичай йдуть клієнти і на що вони дивляться.

Функція «Теплова карта» допоможе відстежити ефективність реклами в торговому приміщенні. На карті відображається інтегральна інтенсивність знаходження покупців біля торгових або рекламних стендів(див. рис. 4) та середній час перегляду.

Рисунок 4 - Приклад «Теплової карти» магазину (джерело: hersheys.com). Figure 4 - Example of a store «Heat Map» (source: hersheys.com).

Використання теплових карт допомагає ідентифікувати товари, що вислизають від уваги покупців, а також вжити заходів щодо збільшення обсягів їхнього продажу.

З прикладами практичного розв'язання задачі побудови теплової карти на основі даних відеоспостереження можна ознайомитись у [13, 14], а питання ефективності використання теплових карт досліджується у [15] .

Висновки

Технологія комп'ютерного зору має численні застосування в галузі роздрібної торгівлі. Використовуючи виявлення об'єктів для моніторингу рівня запасів, відстеження поведінки клієнтів, керування чергами, запобігання крадіжкам і персоналізації маркетингових повідомлень, роздрібні торговці можуть покращити взаємодію з клієнтами та збільшити продажі. Крім того, виявлення об'єктів може допомогти зменшити витрати та підвищити безпеку. Оскільки технологія виявлення об'єктів продовжує розвиватися, ми можемо очікувати ще більше інноваційних застосувань у галузі роздрібної торгівлі. Нещодавно використання нейронної мережі було просто науковою фантастикою, але тепер системи автоматизації маркетингу успішно працюють у багатьох провідних компаніях. Ці системи здатні обробляти великі обсяги інформації, які дають кращу та чітку аналітику. Системи автоматизації маркетингу з правильною та якісною зібраною інформацією є перевагою для власників бізнесу.

Перелік посилань

1. Kreiman Gabriel. Biological and Computer Vision / Gabriel Kreiman. - Cambridge: Cambridge University Press, 2021. - 314 p.

2. Davies E.R. Advanced Methods and Deep Learning in Computer Vision / E.R. Davies, Matthew A. Turk. - Elsevier Academic Press, 2022. - 689 p.

3. Howse Joseph. Learning OpenCV 4 Computer Vision with Python 3. Third Edition / Joseph Howse, Joe Minichino. - Birmingham-Mumbai: Packt Publishing, 2020. - 352 p.

4. Koul Anirudh. Practical Deep Learning for Cloud, Mobile and Edge Real-World Al and Computer-Vision Projects Using Python, Keras, and TensorFlow / Anirudh Koul, Siddha Ganju, Meher Kasatn. - Beijing-Boston-Farnham-Tokyo: O'Reilly, 2020. - 607 p.

5. Irshaad Alia. Smile Detection Using Data Amalgamation / Alia Irshaad, Dua Mohit. - Elsevier. Procedia Computer Science 167. p. 979-986.

6. Youngkyoon Jang, Hatice Gunes and Ioannis Patra. “SmileNet: Registration-Free Smiling Face Detection In The Wild.” 2017 IEEE.International Conference on Computer Vision Workshops (ICCVW): p. 1581-1589.

7. Ranjan Rajeev. «An All-In-One Convolutional Neural Network for Face Analysis.» / Rajeev Ranjan, Swami Sankaranarayanan, Carlos D. Castillo and Rama Chellappa. 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, DC: p. 17-24.

8. Arriaga Octavio. Real-time Convolutional Neural Networks for Emotion and Gender Classification / Octavio Arriaga, Matias Valdenegro-Toro, Paul Р^єг.[Елєктронний ресурс]. Режим доступу: https://arxiv.org/abs/1710.07557 https://doi.org/10.48550/arXiv.1710.07557

9. Real-time face detection and emotion/gender classification using fer2013/imdb datasets with a keras CNN model and openCV. [Електронний ресурс]. Режим доступу: https://github.com/oarriaga/face_classification/

10. Facial Expression Recognition Challenge. Deeplearning [Електронний ресурс]. Режим доступу: http://deeplearning.net/icml2013-workshop-competition/challenges/

11. Facial Expression Recognition with a deep neural network as a PyPI package. [Електронний ресурс]. Режим доступу: https://github.com/oarriaga/face_classification/

12. Hierarchical perception library in Python for pose estimation, object detection, instance segmentation, keypoint estimation, face recognition, etc. [Електронний ресурс]. Режим доступу: https://github.com/oarriaga/paz

13. Creating a heatmap based on video recordings [Електронний ресурс]. Режим доступу: https://github.com/kerberos-io/heatmap

14. Heatmap using Yolov7 and DeepSORT [Електронний ресурс]. Режим доступу: https://github.com/DoganK01/YOLOV7-DeepSORT-Retail-Heat-Maps--Heatmaps-Density

15. Bailey, K. Retail Shopper Journey And Heat Map Analytics. (2022, Jun 21) [Електронний ресурс]. Режим доступу: https://www.aboutinsider.com/retail-shopper-journey-and-heat-map-analytics/

REFERENCES

1. Kreiman, G. (2021). Biological and Computer Vision. Cambridge University Press.

2. Davies, E.R., Turk, M.A. (2022). Advanced Methods and Deep Learning in Computer Vision. Elsevier Academic Press.

3. Howse, J., Minichino, J. (2020). Learning OpenCV 4 Computer Vision with Python 3. Third Edition. Packt Publishing.

4. Koul, A., Ganju, S., & Kasatn, M. (2020). Practical Deep Learning for Cloud, Mobile and Edge Real-World Al and Computer-Vision Projects Using Python, Keras, and TensorFlow. O'Reilly.

5. Alia, I., Duab М. (2020). Smile Detection Using Data Amalgamation. Procedia Computer Science 167. p. 979-986.

6. Youngkyoon, J., Hatice G., & Ioannis, P. (2017), “SmileNet: Registration-Free Smiling Face Detection In The Wild.” 2017 IEEE. International Conference on Computer Vision Workshops (ICCVW). p. 1581-1589.

7. Ranjan, R., Sankaranarayanan S., Castillo, C. & Chellappa, R. (2017) «An All-In-One Convolutional Neural Network for Face Analysis.» 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, DC: p. 17-24.

8. Arriaga, O., Valdenegro-Toro, M., Ploger P. (2017) Real-time Convolutional Neural Networks

for Emotion and Gender Classification. [Електронний ресурс]. Режим доступу:

https://arxiv.org/abs/1710.07557 https://doi.org/10.48550/arXiv.1710.07557

9. Real-time face detection and emotion/gender classification using fer2013/imdb datasets with a keras CNN model and openCV. https://github.com/oarriaga/face_classification/

10. Facial Expression Recognition Challenge. Deeplearning. http://deeplearning.net/icml2013- workshop-competition/challenges/

11. Facial Expression Recognition with a deep neural network as a PyPI package.

https://github.com/oarriaga/face_classification/

12. Hierarchical perception library in Python for pose estimation, object detection, instance segmentation, keypoint estimation, face recognition, etc. https://github.com/oarriaga/paz

13. Creating a heatmap based on video recordings. https://github.com/kerberos-io/heatmap

14. Heatmap using Yolov7 and DeepSORT. https://github.com/DoganK01/YOLOV7-DeepSORT- Retail-Heat-Maps--Heatmaps-Density

15. Bailey, K. (2022, Jun 21). Retail Shopper Journey And Heat Map Analytics. https://www.aboutinsider.com/retail-shopper-joumey-and-heat-map-analytics/

Размещено на Allbest.ru