Автоматизоване тестування веб-платформ з використанням JAVA та SELENIUM

Анотація

На даний час тестування програмного забезпечення є одним із основних етапів забезпечення контролю його якості та ефективності використання. Перехід на автоматизацію дозволяє скоротити час тестування і значно прискорити цій процес. Система, яка пропонується для реалізації, дозволить швидше та якісніше виконувати автоматизовані тести. Метою роботи є реалізація системи автоматизованого тестування веб-платформ із використанням мови програмування Java та інструменту Selenium, з підтримкою усіх популярних браузерів і операційних систем. Для досягнення основної мети пропонується вирішити наступні завдання: дослідити аналоги систем автоматизованого тестування; реалізувати метод автоматизованого тестування веб-платформ із використанням мови програмування Java та інструменту Selenium; розробити алгоритм запуску тестів в рамках системи для різних браузерів та операційних систем; навести метод автоматизованого тестування із використанням Maven та Selenium Web Driver та результати тестування системи в порівнянні з аналогами. Наукова новизна. Авторами пропонується застосовувати загальний фреймворк автоматизованого тестування, як систему, набір умов, концепцій та практик, спрямованих на перевикористання, зменшення витрат на підтримку, підвищення надійності, швидкості та якості виконання тестів, включаючи його використання широким колом фахівців, включаючи розробників та спеціалістів з ручного тестування. Висновком, у роботі є те, що структура тестів реалізована за допомогою анотацій, що є зрозумілою для користувача та інформує систему про призначення поміченого коду. Окрім цього, при запуску та виконанні автоматизованих тестів за допомогою TestNG, використовується багатопотоковість, яка дозволяє одночасно виконувати декілька тестів. Перевагою системи є: підтримка різних браузерів та операційних систем; кращі швидкісні характеристики; детальна система звітів за результатами тестувань;умовна безкоштовність та реалізація проекту з відкритим вихідним кодом.

Ключові слова: тестування, автоматизація, веб-додатки, артефакт, фреймворк, Page Object pattern.

Automated testing of web platforms using java and selenium

Abstract

Currently, software testing is one of the main stages of ensuring control over its quality and efficiency. Switching to automation reduces test time and significantly speeds up the process. The system proposed for implementation will allow you to perform automated tests faster and better. The aim of the work is to implement an automated testing system of web platforms using the Java programming language and the Selenium tool, with support for all popular browsers and operating systems. To achieve the main aim, it is proposed to solve the following tasks: to research the analogs of automated testing systems; to implement a method of automated testing of web platforms using the Java programming language and the Selenium tool; to develop an algorithm for running tests within the system for different browsers and operating systems; to give the method of automated testing using Maven and Selenium Web Driver and the results of testing the system in comparison with analogs. Scientific novelty. The authors proposed to use the general framework of automated testing as a system, set of conditions, concepts, and practices aimed at reuse, reduce maintenance costs, improve reliability, speed, and quality of test performance, including its use by a wide range of professionals, including developers and specialists in manual testing. The conclusion of the paper is that the structure of the tests is implemented using annotations, which are understandable to the user and inform the system about the purpose of the observed code. In addition, when running and running automated tests with TestNG, multithreading is used, which allows you to run multiple tests at the same time. The advantages of the system are: support for different browsers and operating systems; best speed characteristics; detailed system of reports on test results; conditional free and open source project implementation.

Key words: testing, automation, web applications, artifact, framework, Page Object pattern.

У сучасному світі розробка програмного забезпечення (ПЗ) постійно еволюціонує, тому тестування є одним з основних етапів контролю якості програмного забезпечення при його проектуванні, під час реалізації та при подальшому супроводженні [1]. При цьому автоматизоване тестування використовує програмні засоби для запуску тестів в процесі перевірки ПЗ, із попередньо вказаними очікуваними результатами, що допомагає скоротити час при проведенні тестувань. Актуальність вирішення цих проблем в зростанні кількості використань гнучких методів реалізації програмного забезпечення, основними напрямами яких є оптимізація виробничого процесу та мінімізація ризиків, шляхом зведення етапів розробки до серії коротких циклів. Тестування є процесом, спрямованим на виявлення характеристик інформаційних систем та демонстрації відмінностей між їх потрібним та фактичним станами [1; 2]. Окрім того воно є частиною процесу валідації при перевірці достовірності та верифікації, а точніше доказу того, що вірогідний факт або твердження є істинним [3]. При цьому автоматизація тестування ПЗ є методом, який виконується з використанням спеціальних програмних засобів, які необхідні для виконання набору тестових прикладів [4]. Тому, після автоматизації набору тестів, втручання тестувальника в їх виконання більше не потрібне [5]. Метою автоматизації є зменшення кількісті тестових сценаріїв, які запускаються вручну, не виключи ручне тестування. При цьому, поєднання двох підходів часто є найбільш виграшним варіантом, у якому частка тестів автоматизованих та виконаних вручну залежить від вимог проекту, його бюджету, експертизи команди та термінів проведення тестувань [3; 5].

Аналіз останніх досліджень та публікацій

При виконанні досліджень розглянуто п'ять фрейм-ворків, які використовуються для автоматизованого тестування, це: Katalon, JBehave, Test Complete, Ranorex та Robot Framework. Авторами проаналізовані їх переваги та недоліки.

Katalon є дуже популярним інструментом при автоматизації процесу тестування у початківців Quality Assurance (QA) інженерів і має функції спрощеного запису скриптів та тестування із використанням ключових слів. Але використання мови Groovy, яка побудована на Java та завантаження безлічі бібліотек для аналізу тестових даних і об'єктів та записів журналу робить процес більш повільнішим, ніж у Java. Також в Katalon відсутні деталізовані звіти та немає можливості одночасного запуску декількох тестів [6]. JBehave є одним із найкращих фреймворків тестування Java, він підтримує розробку на основі поведінки, приділяючи особливу увагу взаємодії з користувачем та автоматизації дій. Але у JBehave високий поріг входження для новачків та він має складний етап установки тестового фреймворку [7]. TestComplete є ефективним інструментом для тестування десктопних, мобільних і веб-додатків та допомагає реалізувати свої тест-кейси у різних скриптових мовах: JavaScript, Python, VBScript, Delphi Script та JavaScript. Але він доступний тільки для операційної системи (ОС) Windows; має високу вартість та в ньому відсутній спрощений запис скриптів [8]. Ranorex Studio є приватним корпоративним інструментом для автоматизації тестування графічного інтерфейсу Windows, веб-додатків і мобільних додатків. При редагуванні записів або створенні тестів він використовує платформу Microsoft. NET і мови програмування C# і VB.NET, є платним та недостатньо поширеним [9]. Robot Framework (RF) є відкритим фреймворком автоматизації тестування для приймального тестування Acceptance Test Driven Development (ATDD) і Robotic Process Automation (RPA) та його ядро може запускатися на Jython (Java-реалізація Python) та IronPython (Python для .NET framework) [10; 11].

Виходячи з характеристик досліджених фреймворків, авторами пропонується застосовувати загальний фреймворк автоматизованого тестування, як систему, набір умов, концепцій та практик, спрямованих на перевикористання, зменшення витрат на підтримку, підвищення надійності, швидкості та якості виконання тестів, включаючи його використання широким колом фахівців, включаючи розробників та спеціалістів з ручного тестування.

Постановка завдання. Метою роботи є реалізація системи автоматизованого тестування веб-платформ із використанням мови програмування Java [2; 11], інструменту Selenium [1] та з підтримкою всіх популярних браузерів та операційних систем. Об'єктом дослідження є процес автоматизації тестування web-сервісів з використанням мови програмування Java та інструменту Selenium. Предметом є моделі, методи та програмні засоби автоматизації тестування web-сервісів. Процедуру автоматизованого тестування виконано із використанням Maven та Selenium Web Driver [1]. Структура проекту застосовує паттерн Page Object та Maven у середовищі Intellij IDEA.

Для досягнення основної мети авторами пропонується реалізувати: метод автоматизованого тестування веб-платформ із використанням мови програмування Java та інструменту Selenium; алгоритм запуску тестів в рамках системи, що дозволить проводити тестування із підтримкою різних браузерів та операційних систем; метод автоматизованого тестування із використанням Maven та Selenium Web Driver та модель системи з застосуванням паттерну Page Object та Maven у середовищі Intellij IDEA [12; 13]. Система, яка пропонується для реалізації, дозволить швидше та якісніше виконувати автоматизовані тести.

Виклад основного матеріалу

Система реалізована у вигляді фреймворка автоматизованого тестування веб-платформ. Середовище IntelliJ IDEA будує синтаксичне дерево, коли тільки вводимо код. В процесі вводу та виконання воно аналізує код, виявляє помилки та пропонує рішення, видаючи лише один варіант для автодоповнення, один, але вірний. Це робить розробку набагато більш оптимізованою за існуючі аналоги. Авторами для реалізації фреймворку обрано паттерн проектування PageFactory. Кожну веб-сторінку проекту описуємо як об'єкт класу. Взаємодію користувача наводимо у методах класу, а в тесті залишаємо лише бізнес-логіку. Паттерн Page Object у Selenium реалізовано за допомогою бібліотеки PageFactory та класу сторінки. Page Object є окремим класом, що містить локатори елементів, методи роботи з ними і конструктор, що приймає в якості параметру об'єкт WebDriver.

Методи класу Page Object можуть повертати об'єкти інших Page Object класів. За допомогою цього можна відтворити копію переходів та поведінки веб-програми. Одним із наслідків такого підходу є те, що необхідно моделювати як успішні так і неуспішні методи. Або, наприклад, якщо натискання на елемент може відкривати різні сторінки в залежності від умов, то також необхідно створювати різні методи для кожного необхідного випадку [12].

В роботі для тестування веб-сторінок браузерів застосовано Selenium WebDriver, який надає автотестам доступ до браузера [1; 3]. Він підтримує основні мови програмування: C #, Ruby, Java, Python, Perl, тощо; зв'язується із браузером; йому не потрібен Server, а необхідні три основні програмні компоненти: браузер, роботу якого треба автоматизувати; драйвер браузера для керування ним та скрипт/тест із набором команд для драйвера браузера. Головними особливостями реалізованого фреймворку є декларативний опис проекту (усі необхідні параметри налаштовуються за замовчанням) та гнучке управління залежностями. Maven вміє складати проекти підвантажувати до свого локального репозитарію сторонні бібліотеки, вибирати необхідну версію пакету та обробляти транзитивні залежності. Файл pom.xml у кореневому каталозі є файлом опису проекту, на основі якого здійснюються всі операції Maven.

Тег project є базовим та містить всю інформацію про проект. У заголовку вказано інформацію, необхідну Maven для розуміння файлу pom.xml. Тег modelVersion вказує на поточну версію POM. Ці два теги зазвичай генеруються автоматично, міняти їх не потрібно. Далі формується унікальний ідентифікатор проекту: теги groupId та artifactId. Тег version теж входить до цієї групи. Він зазвичай генерується та оновлюється автоматично. Після номера версії йде суфікс -SNAPSHOT. Він означає, що проект перебуває у стадії розробки. Коли програмне забезпечення випускається фреймворк прибирає цей суфікс, а якщо розробка продовжиться він автоматично збільшить номер версії. Разом ці три теги дозволяють однозначно ідентифікувати артефакт. Тег name містить ім'я артефакту, що відображається, а url - посилання на сайт. Оскільки сайт не заданий під час створення, pom.xml містить нагадування про це у вигляді коментаря. Крім того, можна додати короткий опис до description. Ці теги використовуються для формування документації. Далі йде дуже важливий блок dependencies. У ньому описуються всі використовувані у проекті залежності. Кожну виділяємо тегом dependency та вказуємо унікальні ідентифікаційні дані. Maven сам завантажує транзитивні залежності. Крім того, за допомогою тега scope можна вказати етапи, на яких використано артефакт. При цьому життєвий цикл Maven складається з 9 етапів. Автотестування відбувається у фоновому режимі і може проходити паралельно з роботою будь-яких програм. Метод прискорення швидкості виконання автоматизованих тестів базується на декількох основних принципах (рис. 1).

Рис. 1. Метод прискорення швидкості виконання тестів

Основні принципи роботи реалізованої системи автоматизації тестування (рис. 2): створення тестового сценарію; пошук та опис елементів веб-сторінки (використовуються різні види локаторів); групування усіх елементів в окремі класи; використання анотацій при створенні тестів; проведення попередньої ініціалізації об'єктів сторінок та реалізація багатопотоковості при запуску та виконанні автоматизованих тестів за допомогою TestNG.

автоматизоване тестування веб-платформа браузер

Рис. 2. Класи фреймворку для авто тестування

Алгоритм роботи системи для запуску тесту HomePageTest.java включає: запуск BasePage.java в якому реалізовані загальні методи обробки помилок; клас HomePage.java з ініціалізацією елементів веб-сторінки за допомогою локаторів та методи роботи з ними; BaseTest.java реалізує загальні параметри та методи; HomePageTest.java реалізує виклик методів порівняння контенту за тест-кейсом. Усі інші тести, а саме LoginTest, LogoutTest, NegativeCartTest та PositiveCartTest реалізовано аналогічно. Основний функціонал є ядром роботи фреймворку, а службовий відповідає за надання додаткових функцій при реалізації тестів. Для створення звітності розроблено декілька видів звітів у форматі HTML.

Тестування системи

На основі проведених тестувань авторами узагальнені швидкісні показники системи, яка реалізована, та фреймворків Katalon та Ranorex. В процесі тестування проведено по десять запусків тест-ранів для тест-кейсів: HomePageTest, LoginTest та LogoutTest. Кожен тест-ран реалізовано із використанням фреймворків Katalon та Ranorex. У таблицях наведено час у секундах при виконанні автотесту для кожної із систем, що досліджуються. Результати спроб для HomePageTest тест-рану наведено у таблиці 1. У цьому класі запрограмовані переходи між сторінками: пошук по сайту; аналіз результатів пошуку та UI тестування переходу до корзини.

Таблиця 1

Результати тестів для HomePageTest тест-рану