Огляд сучасних веб-краулерів

Размещено на http://www.allbest.ru/

Огляд сучасних веб-краулерів

Ганна Заволодько,

Яна Колєснікова,

Єлизавета Королех,

Контянтин Фокша,

Андрій Скиба

Анотація

веб краулер інтернет бот

Веб-краулер - це інтернет-бот, який сканує веб-сторінки та вилучає адреси для подальшого отримання з них даних, котрі потрібні. Це необхідний елемент автоматизації для сайтів-агрегаторів, щоб підтримувати актуальність розміщеної найбільш достовірної та релевантної інформацію. Він шукатиме необхідні дані, а потім переходитиме за посиланнями, згаданими в них, на інші сторінки, де повторюватиме те ж саме. Зрештою краулери створюють сотні тисяч сторінок, інформація, з яких потенційно може бути структурована для потреб користувача. Інтелектуальні можливості таких веб- краулерів роблять їх незамінними в задачах агрегації даних. Повноту результатів сканування можна визначити як кількість сторінок, завантажених сканером, із загальної кількості веб-сторінок. Повнота дуже важлива, оскільки низький рівень повноти може призвести до «часткового» завантаження, погіршуючи продуктивність краулера. В статті були розглянуті сім найбільш популярних веб-сканерів, які сьогодні широко використовуються для краулінгу веб-сторінок. Також описаний загалький механізм їх використання та проаналізовані галузі знань, в яких вони використовуються. Усі з проаналізованих аналогів мають безкоштовну версію з обмеженим функціоналом або пробний період використання, чого достатньо для дослідження їх роботоспроможності. Також усі можуть бути налаштовані на пошук різноманітної інформації та мають досить високий рівень пошуку. Зіткнувшись із різними формами організації веб-сторінок серед різних веб-сайтів в Інтернеті, вони досить ефективно витягують інформацію завдяки своїй гнучкості. Більшість з них потребують мануального введення вхідних даних (Webz.io, Data Scraper, Outwit hub), інші працюють з іншими формами отримання інформації, такі як попередньо збережені дані на сервер (Octoparse, ScrapingBot, ParseHub, Dexi.io).

Ключові слова: ВЕБ-краулер, ВЕБ-додаток, скарнер, пошук даних, агрегування даних.

Abstract

Ganna Zavolodko

Associate professor National Technical University “Kharkiv Polytechnical Institute ” Kharkiv, Ukraine

Yana Koliesnikova

Master's student of the Department "Information Systems named after V.O. Kravtsia", NTU "KhPI", Kharkiv, Ukraine

Yelyzaveta Korolekh

Master's student of the Department ”Information Systems named after V.O. Kravtsia”, NTU ”KhPI”, Kharkiv, Ukraine

Andrii Skyba

Bachelor's student of Department “Distributed Information Systems and Cloud Technologies”, NTU ”KhPI”, Kharkiv, Ukraine

MODERN WEB CRAWLERS OVERVIEW

A web crawler is an internet bot that scans web pages and extracts URLs for the further extraction of the necessary data from them. This is a necessary element of automation for aggregator websites to maintain the topicality of the most reliable and relevant information that is posted. It searches for the data and then follow the links mentioned in it to other pages where it repeats the same actions. Ultimately, crawlers create hundreds of thousands of pages, from which information can potentially be structured for the user needs. The intellectual capabilities of such web crawlers make them indispensable in data aggregation tasks. The completeness of the crawl results can be defined as the number of pages loaded by the crawler out of the total number of web pages. Completeness is very important, as low completeness can lead to "partial" loading, degrading crawler performance. In the article are described seven popular web scanners that are widely used nowadays for crawling web pages. Moreover the general mechanism of their usage is described, and the fields of knowledge in which they are used are analyzed. All of the analyzed analogues have a free version with limited functionality or a trial period of use, which is enough to study their work. Also, all of them can be configured to search for various information types and have a fairly high level of search. Faced with different forms of web page organization among different websites on the Internet, they extract information quite efficiently due to their flexibility. Most of them require manual input of input data (Webz.io, Data Scraper, Outwit hub), others work with other forms of receiving information, such as pre-saved data on the server (Octoparse, ScrapingBot, ParseHub, Dexi.io).

Keywords: WEB crawler, WEB application, scanner, data search, data aggregation.

Постановка проблеми. Агрегування даних є складний та інтелектуальний процес. Для автоаматизації оновлення даних агрегатора було проведено огляд існуючих ВЕБ-краулерів.

Аналіз останніх досліджень і публікацій. Проаналізований процес агрегування даних [8-10] та способи кравленгу [1,2] а також сучасні платформи кравленгу даних [3-7].

Мета статті - дослідити веб-сканери, які доступні на сьогодні в Інтернеті.

Виклад основного матеріалу

Наразі досить важко знайти якісне програмне забезпечення, яке мало би нелімітовані функції безкоштовно. Більшість програм має пробні періоди або обмежені безкоштовні версії, які надають безкоштовний доступ до більшості функції, маючи обмеження на використання або кількість опрацьованих сторінок.

Веб-краулер -- це інтернет-бот, також відомий як веб-павук, автоматичний індексатор або веб-робот, який працює для систематичного сканування мережі та збору даних зі сторінок.

Він об'єднує та завантажує інформацію та вміст, який потім індексується та каталогізується в результатах пошуку, щоб користувачі могли бачити його в порядку відповідності. [1].

Щоб знайти найбільш достовірну та релевантну інформацію, бот починає роботу з певного вибору веб-сторінок. Він шукатиме (або скануватиме) ці дані, а потім переходитиме за посиланнями, згаданими в них (або павуком), на інші сторінки, де повторюватиме те ж саме. Зрештою краулери створюють сотні тисяч сторінок, інформація з яких потенційно може відповісти на ваш пошуковий запит.

Поведінка веб-краулера є результатом комбінації політик [2]:

Політика вибору, яка визначає, які сторінки завантажувати. Якщо набір S реалізовано як стек, алгоритм відвідує веб-сайт у глибину, тоді як використання черги забезпечує відвідування в ширину.

Політика ввічливості. Використання веб-краулерів корисно для багатьох завдань. Витрати на їх використання включають мережеві ресурси та перевантаження серверів. Частковим вирішенням цих проблем є файл виключення robots. Цей файл вказує, до яких веб-сайтів (або їх частин) сканери не повинні отримати доступ.

Політика розпаралелювання, яка визначає, як координувати процеси або потоки на етапі завантаження.

У таблиці 1 представлені сім популярних на сьогодні краулерів та зазначено їх доступність.

Таблиця 1Сучасні краулери-скрапери

Функції: його можна встановити як на Windows, так і на macOS, просто треба завантажити та встановити зі сторінки завантаження Octoparse.

Дані: він підтримує майже всі типи веб-сайтів для копіювання, включаючи соціальні мережі, електронну комерцію, маркетинг, списки нерухомості тощо.

Особливості: обробляє як статичні, так і динамічні веб-сайти за допомогою AJAX, JavaScript, файлів cookie; витягує дані зі складного вебсайту, який потребує входу та розбиття сторінок; працює з інформацією, яка не відображається на веб-сайтах, аналізуючи вихідний код.

Octoparse пропонує різні варіанти для користувачів з різним рівнем навичок програмування.

Режим шаблону завдання дозволяє користувачам, які не розуміють код, миттєво перетворювати веб-сторінки на деякі структуровані дані. У середньому потрібно лише близько 6,5 секунд, щоб отримати дані за однією сторінкою та завантажити дані в Excel.

Розширений режим має більшу гнучкість. Це дозволяє користувачам налаштовувати та редагувати робочий процес із додатковими параметрами. Розширений режим використовується для сканування складніших веб-сайтів із величезною кількістю даних.

Scraping Bot -- чудовий інструмент для веб-розробників, яким потрібно очищати дані з URL-адреси. Він особливо добре працює на сторінках продукту, де збирає всю необхідну інформацію (зображення, назву продукту, ціну продукту, опис продукту, запас, вартість доставки, тощо). Це чудовий інструмент для тих, кому потрібно збирати комерційні дані або просто агрегувати дані про продукти та підтримувати їх точність.

ScrapingBot також пропонує кілька API, що спеціалізуються на різних сферах, таких як нерухомість, результати пошуку Google або збір даних у соціальних мережах (LinkedIn, Instagram, Facebook, Twitter, TikTok) [3].

Особливості: швидкість реакції; одночасні запити; дозволяє виконувати великі обсяги краулінгу.

ScrapingBot не має інтерфейсу користувача, тому не рекомендується для користувачів, які не знайомі з мовами програмування [3].

Parsehub -- це веб-краулер (Рисунок 2), який збирає дані з веб-сайтів за допомогою технологій AJAX, JavaScript, файлів cookie тощо. Parsehub використовує технологію машинного навчання, яка здатна читати, аналізувати та перетворювати веб-документи на відповідні дані [4].

Пристрій: настільна програма Parsehub підтримує такі системи, як Windows, Mac OS X і Linux, або можна використовувати розширення браузера для миттєвого сканування.

Однією з багатьох чудових речей ParseHub є посібник, який автоматично починається, коли відкривається програма вперше після її завантаження. Це позбавить користувача, який починає працювати вперше, від спроби самостійно розібратися в інтерфейсі та надасть зразок веб-сайту, з якого можна отримати дані під час проходження. Незважаючи на те, що інтерфейс досить інтуїтивно зрозумілий, деякі терміни потрібно вивчити, щоб успішно переміщатися по різних сторінках для збирання даних. Наприкінці навчального посібника можна запустити проект, який матиме дані у форматі, який легко завантажити [4].

Загалом цей інструмент для збирання веб-сторінок є простим у використанні та ефективним! Для візуальної людини, побачити те, що «бачить» ParseHub у реальному часі, дуже корисно для розуміння структури даних і створення робочої програми.

Dexi.io -- призначений для досвідчених користувачів, які мають досконалі навички програмування. У ньому є три типи роботів, щоб можна було створити завдання розбору сторінок кравлера: Extractor, Crawler і Pipes (Рисунок 3)[5].Він надає різні інструменти, які дозволяють точніше збирати дані: можна звертатися до деталей на будь-якому веб-сайті.

Рис. 3. Інтерфейс веб-сканеру Dexi.io

Безкоштовна програма надає анонімні веб-проксі-сервери для веб- збирання. Зібрані дані будуть розміщені на серверах Dexi.io протягом двох тижнів перед архівацією, або можна безпосередньо експортувати дані у файли JSON або CSV. [5].

Крім того, платформа також дозволяє користувачам налаштувати спеціальний канал миттєвих контактів і обміну повідомленнями SLACK відповідно до потреб. Який також можна використовувати для безпосереднього зв'язку з експертами Dexi.io для отримання вказівок. Dexi.io навіть допомагає користувачам керувати правами доступу зацікавлених сторін, налаштовувати інформаційні панелі, керувати інтеграціями, оновлювати сповіщення та планувати виконання роботів. Ці роботи надають найкращі послуги для отримання цільових даних користувачів. Інші важливі функції включають перевірку якості даних, перевірку вибраних точок даних і нормалізацію даних.

Webz.io -- дає змогу отримувати дані в режимі реального часу, збираючи онлайн-джерела в різні формати даних. Веб-краулер(Рисунок 1.5) дозволяє очищувати дані багатьма мовами за допомогою кількох фільтрів і експортувати зібрані дані у форматах XML, JSON і RSS. Безкоштовне програмне забезпечення пропонує безкоштовний план підписки, щоб можна було робити 1000 HTTP-запитів на місяць, і платні плани підписки, щоб робити більше HTTP-запитів на місяць, щоб задовольнити потреби веб-збирання [6].

Рис. 4. Інтерфейс веб-сканеру Webz.io

Webz.io є провідним постачальником машинно-визначених веб-даних. Він перетворює величезний пул веб-даних із відкритої мережі на структуровані канали веб-даних, готові для використання машинами.

У світі, де зростання онлайн-даних є експоненціальним, отримання доступу до якісних і структурованих веб-даних часто є складним і дорогим завданням. Організаціям потрібен доступ до структурованих веб-даних для широкого спектру програм, включаючи маркетингові технології, фінансовий аналіз, кібербезпеку, дослідження ринку, програми машинного навчання тощо.

Webz.io постійно займається розробкою передових технологій, щоб зберегти свою роль лідера ринку в поточних і майбутніх вертикалях обробки даних, зберігаючи при цьому рентабельність своїх послуг із чудовим обслуговуванням клієнтів корпоративного рівня [6].

Data Scraper -- може очищати дані з таблиць і дані типу списку з однієї навігації веб-сайтом, конкретних даних, які потрібно здобути, і того, як це зробити. Програмне забезпечення збирає дані з веб-сторінок на основі Javascript і Ajax і зберігає вихідні дані у форматі CSV або JSON. Data Scraper витягує дані з веб-сторінок HTML та імпортує їх до електронних таблиць Microsoft Excel [2].

Рис. 5. Інтерфейс веб-сканеру Data Scraper

Основні функції:

• Для використання розширення Chrome для веб-скребка не потрібні попередні технічні знання.

• Розширення Chrome Web scraper є безкоштовним.

• Зберігає набір даних у форматі CSV.

Його безкоштовний план повинен задовольнити більшість простих аналізів із невеликою кількістю даних. Платний план має більше функцій, таких як API та багато анонімних IP-проксі. Можна отримати великий обсяг даних у режимі реального часу швидше.

Outwit hub -- це розширення Firefox, яке можна легко завантажити з магазину доповнень Firefox (Рисунок 6). Після встановлення та активації можна миттєво знімати вміст із веб-сайтів [7].

Рис. 6. Інтерфейс веб-сканеру Outwit hub

Функції: він має чудові функції «Швидке сканування», які швидко сканують дані зі списку URL-адрес, які були надіслані. Отримання даних із сайтів за допомогою центру Outwit не вимагає навичок програмування.

Особливості: Попередньо визначені екстрактори дозволяють збирати структуровані таблиці, списки або канали. Також можна створювати власні структури для вилучення даних із менш структурованих елементів сторінки. Регулярні вирази можуть бути включені в структури, а також в інші частини програми для визначення маркерів розпізнавання змінних.

Він дозволяє точніше визначити маски вилучення, ніж вузли HTML, і швидше виконувати, оскільки браузеру під час вилучення не потрібно відображати дерево об'єктної моделі документа.

Корпоративна версія програми містить розширені функції видобування та автоматизації для видобування окремих чи великих обсягів, надсилання серії автоматично згенерованих запитів HTTP або POST і завантаження зібраних даних на сервери FTP [8; 11].

В результаті порівняння особливостей існуючих кравлерів-скреперів була складена таблиця 2 з основними характеристиками розглянутих кравлерів.

Таблиця 2 Порівняння краулерів

2. KAUSAR, Md Abu; DHAKA, V. S.; SINGH, Sanjeev Kumar. Web crawler based on mobile agent and java aglets. IJ Information Technology and Computer Science, 2013, 5.10: 85-91.

3. ScrapingBot Documentation. scraping-bot.io Retrieved from https://www.scraping- bot.io/web-scraping-documentation/[in English].

4. ParseHub Features parsehub.com Retrieved from https://www.parsehub.com/features [in English].

5. Dexi Bot Solutions dexi.io Retrieved from https://www.dexi.io/solutions/ [in English].

6. Webz.io FAQ docs.webz.io Retrieved from https://docs.webz.io/reference?_gl=1* 1rld3zb*_ga*MTI0MTkwOTA3OS4xNjY2Nzg4OTE1*_ga_PWD5DT66E0*MTY2NzQ2OTI0 MC4yLjEuMTY2NzQ2OTI3NC4yNi4wLjA.#about-webzio [in English].

7. OutWit Hub blog blog.outwit.com Retrieved from https://blog.outwit.com/?p=887 [in English].

8. YU, Linxuan, et al. Summary of web crawler technology research. In: Journal of Physics: Conference Series. IOP Publishing, 2020. p. 012036.

9. Zavolodko Ganna & Korolekh Yelyzaveta (2021) Ahrehator onlain-kursiv v navchalnomu protsesi [Aggregator of online courses in the educational process]. Project approach in the didactic process of universities - international dimension, Ш(У), 271 - 283[in Ukrainian].

10. Zavolodko Ganna & Korolekh Yelyzaveta (2022) Ahrehator navchalnykh kursiv "ProstoEDU [Aggregator of educational courses "ProstoEDU"]. Informatsiini tekhnolohii v kulturi, mystetstvi, osviti, nautsi, ekonomitsi ta biznesi : materialy 7-i Mizhnar. nauk.-prakt. konf., - Information technologies in culture, art, education, science, economy and business: materials of the 7th International science and practice conference, 2, 97-101. [in Ukrainian].

11. Balandma N. M., Vasilenko M. D., Slatvms'ka V. M., Sisoєnko S. V. PMhM do modeljuvannja povedmkovih projavіv u sodafnomu mzhirnringu v mteresah zahistu mformacu. VNnik Cherkas'kogo derzhavnogo tehnologkhnogo urnversitetu. Serija tehrnchrn nauki. Vip. 4. 2020. S. 57-66. DOI: 10.24025/23064412.4.2020.222064 URL: http://vtn.chdtu.edu.ua/article/view/222064/225697 [in Ukrainian].

Размещено на Allbest.ru