Система тестирования антивирусного программного обеспечения

Размещено на http://www.allbest.ru/

Система тестирования антивирусного программного обеспечения

Белянина Н.В., к.т.н., доцент, Семин Е.А., аспирант,

Современная гуманитарная академия, г. Москва

Приведены результаты анализа методов тестирования антивирусного программного обеспечения (ПО). Рекомендованы принципы эффективного тестирования и предложена система их реализации. Обоснованы преимущества указанной системы, а также перспективы ее дальнейшего развития.

Ключевые слова: антивирусы, вирусы, тестирование, антивирусная защита

Важным элементом любой защищенной компьютерной системы, независимо от ее сложности и назначения, являются программные средства антивирусной защиты. Современный рынок предлагает огромное количество антивирусного программного обеспечения (ПО), что, очевидно, требует проведения тестов, позволяющих выявить наиболее эффективные продукты этого класса. Однако те способы и методы, которые используются в настоящее время, не могут одновременно удовлетворить требования антивирусных компаний, независимых лабораторий по тестированию и конечных пользователей (например, последние результаты тестов известных антивирусов, полученные Virus Bulletin -- VB100). Основными причинами этого являются следующие факторы.

* Не всегда качественные, полные и актуальные коллекции вирусов, на которых проводят тесты лаборатории по тестированию антивирусов. Одним из примеров может служить тестирование, проводящееся компанией Virus Bulletin [7] с использованием коллекции WildList.org [9], которое в последнее время все в большей степени вызывает недовольство экспертов антивирусных компаний [1].

* «Непрозрачные», несовершенные, неуниверсальные, устаревшие методики проведения тестов. Не все тесты, выполняемые в лабораториях, представлены широкой общественности, помимо этого в существующих тестах сегодня не учитывается большое количество эффективных технологий, таких как, например, поведенческие блокираторы и репутационные сервисы [4]. Помимо этого использование разных методик приводит к различным результатам тестирования [8].

* Псевдонезависимость тестовых лабораторий. Существуют лаборатории, так или иначе связанные с конкретным производителем антивируса, что позволяет в обзорах использовать тот тест, который выгоден заказчику [1].

* Несоответствие практики тестирования практике научного эксперимента, т.е. у обычного пользователя отсутствует возможность, взяв исходные данные, повторить тестирование, поскольку не достаточно информации об используемых коллекциях вирусов и настройках ПО.

* Недостаточно качественная и полная настройка антивирусов на тестовых стендах независимых лабораторий. Это не позволяет в полной мере использовать все возможности тестируемого продукта, что неоднократно отмечают эксперты различных антивирусных компаний [1, 3].

* Отсутствие комплексного подхода в проведении тестирования антивирусного ПО и его оценки. Для комплексной проверки и оценки работы антивирусного ПО недостаточно вести учет того, сколько вирусов пропущено. Здесь важно и детектирование, и учет уровня ложных срабатываний, и производительность, и самозащита программ [1, 2].

* Отсутствие единых стандартов и методик для проведения тестирования. Осознание данной проблемы ведущими производителями антивирусов и программ защиты данных привело к образованию международной некоммерческой организации AMTSO (Anti-Mailware Testing Standards Organization), основной целью которой является создание новых стандартизированных принципов тестирования антивирусных продуктов [5, 6]. Однако, по мнению некоторых экспертов, результаты работы данной организации будут отражать интересы компаний-монополистов, занимающих доминирующее положение в ней. Таким образом, существует риск необъективности решений организации, а поскольку спрос на альтернативные решения очевиден, то на рынке довольно скоро могут появиться не зависящие от AMSTO и ее стандартов тестовые лаборатории [1]. Это может вернуть решение проблемы на исходные позиции.

Выделим задачи, решение которых позволит изменить ситуацию, сложившуюся в данной области информационных технологий: разработка новых критериев комплексной оценки эффективности существующего антивирусного ПО, исследование, описание и создание новых подходов, методов и моделей проведения тестирования.

Одним из основных шагов на пути к решению указанных задач является определение основных принципов, которым должна удовлетворять система проведения эффективного тестирования антивирусного ПО.

1. Использование при проведении тестирования качественных коллекций вирусов, максимально соответствующих реальным условиям.

2. Обеспечение участников процесса (разработчики антивирусов, тестовые лаборатории, эксперты, пользователи) информацией об используемой версии ПО, антивирусной базе, сделанных настройках и др.

3. Открытость используемых методов и подходов по отношению к участникам процесса.

4. Настройка тестируемого ПО должна быть выполнена с учетом реализованных в нем технологий.

5. Независимость тестирования.

6. Единая методика проведения тестирования.

7. Одинаковые условия проведения тестирования.

8. Сбор данных и ведение статистики с целью многогранного сравнения работы антивирусов.

9. Критерии оценки должны объективно и максимально полно характеризовать тестируемый продукт.

С учетом вышеизложенных принципов предлагается система проведения эффективного тестирования антивирусного ПО (рис. 1). Элементами данной системы являются: участники процесса, сервер тестовой лаборатории, единая статистическая база данных, коллекция вирусов.

Участниками процесса являются: пользователи, разработчики антивирусов, эксперты.

Сервер тестовой лаборатории представляет собой кластер, элементы (А1, А2,…, Аn) которого полностью идентичны по аппаратному и программному обеспечению, что обеспечивает равнозначные условия для тестирования. На одном из не занятых другим антивирусом элементов разработчик устанавливает и конфигурирует свой продукт, при этом пользователь имеет доступ к просмотру конфигурации любого тестируемого продукта. Общий контроль сервера осуществляют эксперты.

Размещено на http://www.allbest.ru/

тестирование антивирусный программный обеспечение

Единая статистическая база данных - постоянно пополняемая база данных (БД), содержащая информацию о результатах тестирования (быстродействие, количество обнаруженных и пропущенных вирусов и т.д.), версии и настройке антивируса, другую техническую и служебную информацию. Формируя выборки из этой базы с различными параметрами, можно сравнить тестируемые антивирусные продукты с различных точек зрения.

Коллекция вирусов - эталонный набор вирусов, предназначенный для анализа разработчиками и тестирования на сервере тестовой лаборатории. Данная коллекция может быть сформирована экспертами по аналогии с WildList.org [9], а также регулярно пополняться файлами, которые прислали пользователи (такой подход реализован на многих сайтах поддержки антивирусных программ). Данная коллекция по запросу может быть предоставлена пользователю для проведения тестирования в «домашних условиях». Однако в этом случае существует риск использования данной коллекции недобросовестными пользователями.

Перечислим преимущества предлагаемой системы (рис. 1).

1. Формирование полной и объективной коллекции вирусов.

2. Прозрачность проведения тестирования для всех участников процесса.

3. Использование всех возможностей антивирусного ПО в полном объеме благодаря настройке их собственными разработчиками.

4. Возможность повторить тест и перепроверить результаты тестирования в «домашних условиях».

5. Объективность тестирования благодаря равным условиям для всех его участников.

6. Проведение тестов в условиях максимально приближенных к реальным.

7. Ведение единой статистической БД позволяет:

а) отслеживать эволюцию антивирусного ПО по различным критериям.

б) формировать отчеты о работе антивирусов по различным параметрам (быстродействие, количество пропущенных и обнаруженных вирусов и т.д.).

8. Удобство конфигурирования антивирусного ПО пользователями на своих ПК, благодаря возможности видеть настройки, сделанные разработчиками на сервере.

9. Гибкость системы в задании новых критериев тестирования.

10. Масштабируемость системы (возможность добавления новых продуктов подлежащих тестированию).

11. Достаточно одной тестовой лаборатории для проведения столь разностороннего анализа.

Обозначим перспективные направления совершенствования системы.

* Организация работы сервера тестовой лаборатории, возможно, с использованием виртуальных машин для сокращения затрат и повышения универсальности создания тестовых платформ.

* Механизмы сбора данных и занесение их в единую статистическую БД.

* Критерии отбора файлов, полученных от пользователей, для занесения их в коллекцию вирусов.

* Интерфейсы и механизмы взаимодействия между участниками системы и ее компонентами. Возможно, добавление таких операций, например, для пользователей - возможность изменять значения аппаратной конфигурации виртуальной машины для большего сходства со своей системой; для разработчиков - устанавливать свои продукты на различные ОС для максимального охвата аудитории.

* Критерии комплексной оценки антивирусного ПО с использованием данных из единой статистической БД.

Литература

1. Бумагин А. В погоне за идеальным антивирусом. // Компьютерра. 2008. № 32 (748). С. 36--39.

2. Двас Н. Забег антивирусов. // Ежедневное электронное издание о российском Интернете. Рубрика: безопасность. 2008. http://www.telnews.ru/dvas/c54081/

3. Ильин С, Жизнь и смерть тестов Virus Bulletin. // Блог Сергея Ильина. 2008. http://www.anti-malware.ru/node/531

4. Смирнов Ф. ЕГЭ для антивирусов. Ежедневное электронное издание о российском Интернете. Рубрика: безопасность. 2008.

http://www.telnews.ru/Fedor_Smirnov/c37706/

5. AMTSO. The Fundamental Principles of Testing. RFC document for public comment. Lays out the Fundamental Principles and Guidlines of Testing as published by AMTS. 2008.

http://www.amtso.org/documents/doc_download/4-amtso-fundamentals-principles-of-testing.html

6. http://www.amtso.org

7. http://www.virusbtn.com

8. http://www.widenet.ru/security/amtso-antivirusnoe-testirovanie-trebuet-standartizacii/

9. http://www.wildlist.org/

Размещено на Allbest.ru