Оцінювання випадковості бінарних послідовностей на основі одновимірної згорткової нейронної мережі 1D-CNN для криптографічних застосувань

Размещено на http://www.allbest.ru/

Національний авіаційний університет

Оцінювання випадковості бінарних послідовностей на основі одновимірної згорткової нейронної мережі 1D-CNN для криптографічних застосувань

Проскурін Дмитро Петрович

аспірант

Гнатюк Сергій Олександрович

доктор технічних наук

професор факультету комп'ютерних наук та технологій

Оцінювання випадковості числових послідовностей (зокрема бінарних) має вирішальне значення для криптографічних застосувань. Традиційні методи, такі як тест хі-квадрат, широко використовують для вирішення цього завдання. Однак останні досягнення в машинному навчанні та штучному інтелекті, зокрема нейронні мережі, пропонують альтернативні підходи до оцінювання випадковості. Це дослідження спрямоване на порівняння ефективності тесту хі-квадрат і методів на основі нейронної мережі в оцінці випадковості числових послідовностей. Дослідження включає генерацію випадкових наборів даних, створення та навчання моделей нейронних мереж, а також аналіз їх ефективності в порівнянні з тестом хі-квадрат. Попередні висновки свідчать про те, що нейронні мережі мають потенціал для більш точної та ефективної оцінки випадковості числових послідовностей, але для більш остаточних висновків потрібні подальші дослідження з більшими наборами даних і більш складною мережевою архітектурою.

Послідовності випадкових чисел необхідні в широкому діапазоні застосувань, включаючи криптографію, стільниковий зв'язок, моделювання, статистичну вибірку й ін. Забезпечення випадковості цих послідовностей має вирішальне значення для підтримки надійності та безпеки цих програм. Традиційні статистичні тести, такі як тест хі-квадрат, широко використовують для оцінки випадковості. Проте нещодавні досягнення в машинному навчанні та штучному інтелекті, особливо нейронні мережі, відкривають нові можливості для оцінки випадковості. Це дослідження спрямоване на порівняння ефективності тесту хі-квадрат і методів на основі нейронної мережі для визначення випадковості числових послідовностей.

Оцінювання випадковості числових послідовностей є темою, яка цікавить дослідників і практиків у різних галузях [2; 4; 5]. Не можна недооцінювати важливість випадковості, оскільки вона безпосередньо впливає на надійність, безпеку та точність базових систем. Протягом багатьох років було розроблено численні методи оцінювання якості послідовностей випадкових чисел [2, 5].

Статистичні тести, такі як тест хі-квадрат, були традиційним вибором для оцінювання випадковості числових послідовностей. Тест хі-квадрат порівнює спостережуваний розподіл частот цієї послідовності з очікуваним розподілом за припущення справжньої випадковості. Хоча цей метод довів свою ефективність у багатьох випадках, він має деякі обмеження, такі як чутливість до розміру вибірки та вибору групування, що може призвести до хибнопозитивних або хибнонегативних результатів у деяких випадках [4].

Для ефективного порівняння ефективності тесту хі-квадрат і підходів на основі нейронної мережі в оцінюванні випадковості числових послідовностей було встановлено такі показники та критерії оцінки:

Точність: основним показником оцінки є точність класифікації кожного методу в ідентифікації випадкових і невипадкових послідовностей. Вища точність вказує на кращу продуктивність у розрізненні випадкових і невипадкових послідовностей.

Час обчислення: також слід враховувати час, який витрачається кожним методом на оцінку випадковості числових послідовностей. Швидший метод є кращим, особливо коли ви маєте справу з великими наборами даних або коли потрібна оцінка в реальному часі.

Масштабованість: оцінка того, як змінюється продуктивність кожного методу зі збільшенням розміру набору даних. Більш масштабований метод повинен підтримувати або покращувати свою продуктивність при застосуванні до більших наборів даних.

Надійність: здатність кожного методу узагальнювати різні типи послідовностей випадкових чисел із різною довжиною, розподілом і характеристиками. Більш надійний метод має добре працювати в широкому діапазоні типів послідовностей.

Можливість інтерпретації: хоча і не є прямим показником ефективності, здатність до інтерпретації може бути важливим фактором при виборі методу оцінки випадковості. Здатність зрозуміти базовий процес прийняття рішень методу може бути цінним у певних додатках.

Критерій хі-квадрат є широко використовуваним тестом статистичної гіпотези, який визначає, чи існує значна розбіжність між спостережуваними частотами у вибірці та очікуваними частотами за нульовою гіпотезою (тобто дані виявляють випадковість) [4]. У контексті оцінювання випадковості критерій хі-квадрат допомагає визначити, чи рівномірний розподіл чисел у послідовності.

Тест хі-квадрат має кілька переваг [4]:

Простота: тест відносно простий для розуміння та реалізації.

Універсальність: його можна застосовувати до різних типів даних, включаючи категоріальні та числові дані.

Надійність: тест є непараметричним, тобто він не покладається на припущення щодо базового розподілу даних.

Однак тест хі-квадрат має певні недоліки та обмеження [4]:

Чутливість до розміру вибірки: здатність тесту виявляти невипадковість може бути обмежена в малих вибірках, тоді як він може бути надто чутливим до незначних відхилень від однорідності у великих вибірках.

Залежність від групування: результати тесту можуть коливатися залежно від розподілу даних на контейнери або категорії. Довільне групування може призвести до оманливих висновків.

Нездатність ідентифікувати конкретні шаблони: тест насамперед виявляє відхилення від однорідності та може не ідентифікувати інші типи невипадковості, такі як автокореляція, коли значення числа в послідовності залежить від сусідніх значень.

Застосовність до дискретних даних: критерій хі-квадрат призначений для категоричних або дискретних даних, а при застосуванні до безперервних даних необхідна дискретизація, що потенційно може призвести до втрати інформації.

Припущення незалежності: тест хі-квадрат передбачає, що спостереження є незалежними. Якщо це припущення порушується, результати тесту можуть бути ненадійними.

Нейронні мережі продемонстрували потенціал у різних задачах розпізнавання образів і класифікації, включаючи оцінку випадковості числових послідовностей або розрізнення випадкових і невипадкових послідовностей. З цією метою досліджували як згорткові нейронні мережі (CNN), так і повторювані нейронні мережі (RNN). Переваги використання нейронних мереж для оцінювання випадковості включають:

Здатність фіксувати складні шаблони: нейронні мережі можуть вивчати складні закономірності та кореляції в даних, які можуть пропустити традиційні статистичні тести [7, 9].

Адаптивність: нейронні мережі можуть бути точно налаштовані та адаптовані до різних проблемних галузей, підвищуючи їх узагальненість [7, 9].

Ємність для роботи з великими наборами даних: нейронні мережі можуть ефективно обробляти великі набори даних, що дає змогу їх застосовувати для оцінки випадковості у великих числових послідовностях [7].

Однак є також деякі обмеження, пов'язані з нейронними мережами для оцінювання випадковості:

Обчислювально інтенсивні: нейронні мережі, особливо моделі глибокого навчання, можуть бути обчислювально вимогливими, вимагаючи потужного апаратного забезпечення та більш тривалого навчання [7].

Природа чорної скриньки: процес прийняття рішень у нейронних мережах часто важко інтерпретувати, що ускладнює розуміння обґрунтування їх оцінки випадковості [7, 9].

Ризик переналагодження: нейронні мережі можуть бути переналаштовані для навчальних даних, що призводить до поганого узагальнення невидимих даних [7, 9].

Незважаючи на ці проблеми, нейронні мережі пропонують багатообіцяючу альтернативу для оцінки випадковості числових послідовностей, особливо в поєднанні з традиційними статистичними тестами [11, 12]. Поєднуючи сильні сторони обох підходів, дослідники можуть потенційно подолати індивідуальні обмеження кожного методу та забезпечити більш точні та надійні оцінки випадковості. Щоб оцінити випадковість у числових послідовностях, було розглянуто можливість використання одновимірної згорткової нейронної мережі 1D-CNN або рекурентної нейронної мережі (RNN), такої як LSTM або GRU. Хоча обидві архітектури можуть виявляти шаблони в послідовностях, вони мають відмінні переваги.

1D-CNN вміють ідентифікувати локальні шаблони або особливості у вхідних послідовностях. Вони, як правило, тренуються швидше, ніж RNN, і менш схильні до надмірної фізичної підготовки. Однак їх здатність фіксувати довгострокові залежності обмежена.

RNN, зокрема LSTM і GRU, призначені для обробки послідовностей і можуть фіксувати довгострокові залежності. Вони підтримують прихований стан, який зберігає інформацію з попередніх часових кроків. Однак RNN можуть бути повільнішими для навчання та більш схильними до зникнення або вибуху градієнтів.

Оскільки метою роботи було оцінювання випадковості числових послідовностей, 1D- CNN є оптимальним вибором: він може ефективно виявляти локальні закономірності та потребує менше часу на навчання.

Було створено просту 1D-CNN із двома згортковими шарами, за якими слідує повністю зв'язаний шар і вихідний рівень. Модель скомпільовано з використанням оптимізатора Adam та втрат бінарної кросентропії. Вхідні дані змінюються, щоб відповідати очікуваній формі вхідних даних 1D-CNN, і модель навчається за допомогою даних навчання, тоді як дані перевірки використовуються для моніторингу прогресу навчання та коригування гіперпараметрів, якщо необхідно.

Запропонована модель створила малі (50 тис. послідовностей) і великі (100 тис. послідовностей) набори даних, створила та навчила просту модель 1D-CNN, а також оцінила ефективність тесту хі-квадрат і CNN для обох наборів даних. Кожна послідовність складається з 10 випадково згенерованих цифр і спочатку оцінюється за допомогою тесту хі-квадрат, щоб мати список міток (0 - для випадкових (співвідношення значущості нижче 0,05) і 1 - для невипадкових (співвідношення значущості вище за 0,05)) для навчання та перевірки. Найвища точність і найменші втрати досягнуті через 100 епох (рис. 1).

Рис. 1. Втрати та точність навченого режиму 1D-CNN для 10-розрядних послідовностей

Результати показують, що навчена модель 1D-CNN може оцінити великий набір даних у 7 разів швидше, ніж тест хі-квадрат з точністю 96% (рис. 2).

Рис. 2. Перевірка хі-квадрат і час виконання 1D-CNN для доступу до повного набору перевірки 10-значних послідовностей

96% точність показує, що все ще є місце для вдосконалення за рахунок подальшої оптимізації, тестування більшого обсягу даних і додаткового часу на навчання. Після збільшення довжини послідовності з 10 до 100 цифр спостерігаються ті самі результати: точність 1D-CNN залишається на 4-5% нижчою, ніж хі-квадрат, але час виконання на 40% кращий. Проте необхідна додаткова оптимізація для наборів даних з довшими послідовностями, щоб зменшити втрати підтвердження та підвищити точність.

На підставі наданого коду та аналізу його результатів можна зробити такі висновки:

Точність: нейронна мережа не демонструє вищої продуктивності щодо точності, вона не є більш ефективною для оцінки випадковості послідовності чисел. Необхідні подальші вдосконалення архітектури нейронної мережі та процесу навчання.

Час обчислення: нейронна мережа має вищу продуктивність, особливо під час роботи з великими наборами даних. Процес навчання нейронної мережі може займати багато часу, але після навчання вона потенційно може пропонувати швидші прогнози.

Хоча поточне дослідження дає цінну інформацію про ефективність тесту хі-квадрат і підходів на основі нейронних мереж для оцінки випадковості числових послідовностей, воно має деякі обмеження, які вимагають подальших досліджень.

Обмежене дослідження архітектур нейронних мереж: дослідження було зосереджене насамперед на 1D-CNN, і подальші дослідження мають вивчити продуктивність інших архітектур, таких як RNN, LSTM та більш удосконалені варіанти CNN.

Гіперпараметрична оптимізація: у цьому дослідженні використовувалася відносно проста архітектура нейронної мережі та процес навчання. Майбутні дослідження повинні досліджувати вплив оптимізації гіперпараметрів, таких як швидкість навчання, розмір партії та кількість епох, на продуктивність нейронної мережі.

Неконтрольоване та напівконтрольоване навчання: дослідження покладалося на позначені дані для навчання та оцінювання. Майбутні дослідження можуть вивчити потенціал неконтрольованих або напівконтрольованих методів навчання для оцінки випадковості, не покладаючись на позначені дані.

Дані та застосунки реального світу: у дослідженні для оцінки використовувалися синтетичні набори даних, які можуть не повністю відобразити складність даних реального світу. Майбутні дослідження мають оцінити ефективність цих методів з використанням реальних даних і застосунків (програм), таких як генерація криптографічних ключів або моделювання за методом Монте-Карло.

Комбінація методів: поточне дослідження було зосереджене на незалежному порівнянні тесту хі-квадрат і підходів на основі нейронної мережі. Майбутні дослідження можуть вивчити потенційні переваги поєднання цих методів або використання методів ансамблю для покращення загальної ефективності оцінки випадковості.

З урахуванням попередніх досліджень нейронних мереж для оцінювання випадковості існує значний потенціал для подальших досліджень і розвитку в цій галузі.

Висновки

нейронний мережа числовий випадковість

У цьому дослідженні було вирішено дослідити ефективність тесту хі-квадрат і методів на основі нейронної мережі в оцінюванні випадковості числових послідовностей. Початкові висновки свідчать про те, що методи на основі нейронних мереж є перспективними в цій галузі. Однак важливо зазначити, що ці результати можуть бути не остаточними через обмежений обсяг експериментів, проведених у дослідженні. Проте спостереження дають цінну інформацію про потенційні переваги та недоліки використання нейронної мережі для оцінки випадковості. Наприклад, нейронні мережі можуть запропонувати покращену масштабованість і надійність порівняно з тестом хі-квадрат, якщо працювати з великими та різноманітними наборами даних.

У межах майбутніх досліджень рекомендуємо проводити більш масштабні експерименти з більшими наборами даних і різними послідовностями чисел для подальшої перевірки та вдосконалення результатів цього дослідження. Крім того, було б корисно вивчити більш удосконалені архітектури нейронних мереж і методи машинного навчання, щоб визначити найбільш ефективний підхід для оцінювання випадковості в числових послідовностях.

Крім того, розгляд можливості інтеграції нашого підходу з усталеними наборами тестів на випадковість, такими як тест NIST, може бути цінним. Поєднання сильних сторін статистичних тестів і методів машинного навчання може сприяти більш комплексному та надійному оцінюванню випадковості, покращити виявлення невипадкових закономірностей і допомогти краще зрозуміти їх основні структури.

Література

1. Goodfellow Y. Bengio, and A. Courville, Deep Learning. Cambridge, MA: MIT Press, 2016.

2. P. L'Ecuyer and R. Simard. "TestU01: A C library for empirical testing of random number generators," ACM Trans. Math. Softw. 2007. Vol. 33, № 4. Р. 22.

3. Marsaglia G. The Marsaglia Random Number CDROM including the Diehard Battery of Tests of Randomness. 1995.

4. Knuth D.E. The Art of Computer Programming. Vol. 2: Seminumerical Algorithms, 3rd ed. Reading, MA: Addison-Wesley, 1997.

5. NIST (National Institute of Standards and Technology), NIST Special Publication 800-22: A Statistical Test Suite for Random and Pseudorandom Number Generators for Cryptographic Applications. 2010.

6. Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Comput. 1997. Vol. 9, № 8. P. 1735-1780.

7. Lecun Y., Bengio Y., Hinton G. Deep learning. Nature. 2015. Vol. 521, № 7553. Р. 436-444.

8. Graves A. Mohamed, Hinton G. Speech recognition with deep recurrent neural networks. Proc. IEEE Int. Conf. Acoust., Speech, Signal Process. IEEE, 2013. Р. 6645-6649.

9. Abdi H. A neural network primer. J. Biol. Syst. 1994. Vol. 2. Р. 247-281.

10. Bassham L.E. III, Rukhin A.L., Soto J., Nechvatal J.R., Smid M.E., Barker E.B., Leigh S.D., Levenson M., Vangel M., Banks D.L. et al. Sp 800-22 rev. 1a. a statistical test suite for random and pseudorandom number generators for cryptographic applications, 2010.

11. Desai V., Patil R., Rao D. Using layer recurrent neural network to generate pseudo random number sequences. Int. J. Comput. Sci. 2012. Vol. 9. Р. 324-334.

12. Hughes J.M. Pseudo-random Number Generation Using Binary Recurrent Neural Networks: Ph.D. thesis, 2007.

13. Bernardi M. De, Malacaria P. Pseudo-random number generation using generative adversarial networks. Workshop Proc.

14. Mnih V., Kavukcuoglu K., Silver D., Graves A., Antonoglou I., Wierstra D., Riedmiller M. A. Playing atari with deep reinforcement learning. ArXiv! 2013. Abs/1312.5602.

15. Schaul T., Quan J., Antonoglou I., Silver D. Prioritized experience replay. 2015. ArXiv preprint arXiv:1511.05952.

16. Schulman J., Moritz P., Levine S., Jordan M., Abbeel P. High-dimensional continuous control using generalized advantage estimation. 2015. ArXiv preprint arXiv: 1506.02438.

17. Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms. 2017. ArXiv preprint arXiv: 1707.06347.

18. Sutton R., Barto A. Reinforcement Learning: An Introduction, Adaptive Computation and Machine Learning series. Cambridge, MA: MIT Press, 2018. URL: https://books.google.it/books?id=6DKPtQEACAAJ.

19. Sutton R.S., McAllester D.A., Singh S.P., Mansour Y. Policy gradient methods for reinforcement learning with function approximation. Adv. Neural Inf. Process. Syst. 2000. Р. 1057-1063.

20. Wang Z., Schaul T., Hessel M., Hasselt H. Van, Lanctot M., Freitas N. De. Dueling network architectures for deep reinforcement learning. 2015. ArXiv preprint arXiv: 1511.06581.

Размещено на Allbest.ru