Спосіб інтерпретації результатів аудитів

Через вищезгадану проблему, а також через те, що у кожної окремої системи наявна різна кількість сформованих груп сторінок, використання алгоритмів виявлення аномалій на основі кластерного аналізу [2] таких як DBSCAN [3] не є найкращим підходом до розв'язання поставленої задачі, оскільки дані алгоритми потребують або вказання очікуваної кількості кластерів, або ж вони ігнорують точки, що не відносяться до якогось певного кластеру, що є неприпустимо зважаючи на обмеження задачі.

Іншим підходом до виявлення аномалій є використання нейронних мереж. Одна з найбільш поширених архітектур нейронних мереж для виявлення аномалій з навчанням без учителя -- мережі автоенкодери [4]. Розглянемо структуру мережі автоенкодера.

Рисунок 2. Приклад мережі автоенкодера

На рисунку 2 зображено приклад стандартної архітектури глибокої нейронної мережі автоенкодера. Кількість метрик, що збираються з сторінок систем, на яких проводяться аудити -- 26. Тому вхідний та вихідний шар нейронної мережі має містити саме 26 нейронів. Також є сенс у внесенні незначного шуму у дані, що допомагає при кожній ітерації по тренувальному наборі даних подавати в мережу трішки різні дані для кожної з сторінок, що допомагає мережі краще узагальнити дані та вивчати не конкретні значення, а шаблони, яким відповідають дані. Це досягається за рахунок того, що значення кожної з метрик сторінки кожного разу, коли поступає на вхід нейронної мережі, має незначні відхилення від оригінального значення. Для досягнення цього ефекту, другий шар мережі має складатись з 26 нейронів, що зашумлюють дані у межах 5%. Тобто до кожного значення конкретної метрики буде випадковим чином додано випадкове значення в межах [-x * 0.05; x * 0.05], де x -- значення конкретної метрики. Перший та другий шар нейронної мережі не повинні бути повністю зв'язні з огляду на те, що роль другого шару мережі -- зашумлення даних, тому кількість зв'язків першого шару та другого -- 26 зв'язків, оскільки кожен нейрон вхідного рівня пов'язаний лише з одним нейроном другого рівня, а кожен нейрон другого рівня пов'язаний лише з одним нейроном першого рівня. Ці зв'язки не повинні бути оновлені в процесі тренування, оскільки все, що вони роблять -- доставляють дані в наступний рівень та не повинні ніяк модифікувати дані та повинні бути мати значення рівне 1.

Після штучного зашумлення, дані потрапляють в першу частину мережі, що піддається тренуванню -- шифрувальник (encoder). Шифрувальник складається з трьох повністю сполучених шарів по 20, 15 та 10 нейронів відповідно. Після шифрувальника йде один шар “коду” (code), що складається з 3 нейронів. Після коду знаходяться 3 шари дешифрувальника (decoder), що дзеркалять шифрувальник -- три повністю сполучені шари: 10 нейронів, 15 нейронів, 20 нейронів. І останній шар -- шар виводу, що теж має 26 нейронів, як і вхідний шар, оскільки кількість вхідних параметрів, що доступні про сторінку -- теж 26.

Оскільки у шарі коду знаходиться значно менша кількість нейронів, ніж кількість вхідних параметрів, мережа змушена навчатись шифрувати та відтворювати з “шифру” вхідні параметри, вона не може просто завчити всі тренувальні дані, вона змушена знаходити шаблони у тренувальних даних та відтворювати оригінал з знайдених шаблонів. За рівнем успішності відтворення дешифрувальником вхідних даних можна визначити рівень аномальності вхідних даних. Метрики сторінок, схожі до яких були присутні в тренувальному наборі даних, мережа буде відтворювати доволі точно, оскільки вона зможе знайти у вхідних даних шаблони, які були присутні на сторінках в тренувальному наборі даних. А для нетипових сторінок, для яких мережа не зможе знайти шаблону з сторінок тренувального набору даних, рівень точності відтворення буде відносно низьким. Тому чим більша різниця між вхідними даними та відтвореними -- тим більш аномальною є сторінка.

Результат роботи нейронної мережі автоенкодера -- відтворені вхідні дані. У даному випадку -- відтворені дані сторінки. Підчас тренування мережа навчається відтворювати сторінки з тренувального набору даних, вивчає певні залежності між різними метриками сторінок з тренувальних аудитів. Тому при використанні натренованої мережі на даних нового аудиту, сторінки, що схожі на ті, що були присутні в тренувальному наборі даних відтворюються добре та мають низьке значення функції втрат. Аномальні ж сторінки відтворюються значно гірше, адже вони не відповідають шаблонам та співвідношенням, що були знайдені мережею на тренувальних даних, та які вона навчилась знаходити та відтворювати. Тому аномальні сторінки матимуть значно більші значення функції втрат ніж звичайні. Зважаючи на це, знаючи значення функції втрат на останніх ітераціях навчання мережі, можна визначити певне порогове значення. І всі сторінки, значення функції втрат для яких перевищують дане порогове значення, можна вважати аномальними. Це порогове значення по своїй суті є одним з гіперпараметрів побудованої моделі та може корегуватись залежно від бажаної точності та бажаного максимального числа аномальних даних, що можу бути повідомлене користувачам, що запускали аудити та які є зацікавленими в їх результатах. Дане порогове значення має бути пораховане один раз для кожної з нейронних мереж. Один з способів визначення даного порогового значення -- домноження середнього значення функції втрат на останній значимій ітерації навчання мережі на певний коефіцієнт, що має бути визначений експериментально та може бути конфігурований відповідно до відгуків та побажань користувачів. Для першої ітерації даного алгоритму, було встановлено значення даного коефіцієнту, що дорівнює 3.5.

Висновки. В даній роботі було розглянуто спосіб інтерпретації результатів технічних аудитів веб-сайтів, що базується на використанні нейронних мереж для винесення рішення про аномальність сторінки. Розроблений алгоритм використовує глибоку нейронну мережу автоенкодер для відтворення метрик сторінок веб-сайту на якому проходить аудит. Нейронна мережа складається з 10 шарів. Навчання мережі відбувається на сторінках з попередніх аудитів веб-сайтів, таким чином мережа знаходить та вивчає шаблони та закони, яким підкоряються різні групи сторінок веб-сайту. Навчена мережа перевіряє сторінки нових аудитів веб-сайту на відповідність вивченим шаблонам. Сторінки, що мають високий рівень схожості з сторінками з попередніх аудитів, відтворюються нейронною мережею дуже добре, проте сторінки, що є аномальними та не схожими на сторінки з тренувального набору даних, відтворюються з низькою точністю, тому значення функції втрат для них буде доволі високе. Також було обрано порогове значення, при перевищенні якого функцією втрат сторінка буде вважатись аномальною.

Розроблена модель має точність відтворення вхідних даних близько 92% та знаходить близько 80% аномальних сторінок з тестового набору даних. 20% аномальних даних було пропущено у зв'язку з тим, що тренувальний набір даних теж містив аномальні сторінки, що дещо знижує ефективність роботи алгоритму. Проте з часом, при наступних ітераціях перетренування алгоритму, його точність буде поступово рости у зв'язку з тим, що тренувальний набір даних буде все більше і більше очищуватись від аномалій знайдених моделлю. Я вважаю, що це зможе довести точність виявлення аномалій до значень близьких до 90%.

Зважаючи на отримані результати, точність роботи розробленого алгоритму є задовільною та алгоритм може бути використаний для виконання автоматичного аналізу результатів технічних аудитів веб-сайтів. Що може зменшити час, що витрачається на проведення аналізу результатів експертами, що в свою чергу знижує вартість проведення регулярних технічних аудитів та зменшує час, що затрачується на їх проведення.

Література

1. T-distributed stochastic neighbor embedding. <https://en.wikipedia.org/wiki/T- distributed_stochastic_neighbor_embedding> (2021, квітень, 21).

2. Cluster analysis <https://en.wikipedia.org/wiki/Cluster_analysis> (2021, травень, 4).

3. DBSCAN Clustering Algorithm in Machine Learning <https://www.kdnuggets.com/2020/04/dbscan-clustering-algorithm- machine-learning.html> (2020, квітень).

4. Introduction to autoencoders <https://www.jeremyjordan.me/autoencoders/> (2018, березень, 19).

References

1. T-distributed stochastic neighbor embedding. Retrieved from https://en.wikipedia.org/wiki/T-distributed_stochastic_neighbor_embedding [in English]. (2021, April, 21).

2. Cluster analysis. Retrieved from https://en.wikipedia.org/wiki/Cluster_analysis [in English]. (2021, May, 4).

3. DBSCAN Clustering Algorithm in Machine Learning. Retrieved from https://www.kdnuggets.com/2020/04/dbscan-clustering-algorithm- machine-learning.html [in English]. (2020, April).

4. Introduction to autoencoders. Retrieved from https://www.jeremyjordan.me/autoencoders/ [in English]. (2018, March, 19).

Размещено на Allbest.ru