Эволюция систем учета трафика в Интернете

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Эволюция систем учета трафика в Интернете

В.В. Сафронов

Аннотация

В данной статье рассмотрена необходимость учета трафика для различных групп пользователей - операторов связи и собственно конечных корпоративных пользователей, показаны различия в потребностях этих пользователей и обосновано наличие двух различных классов программного обеспечения для учета трафика: автоматизированных систем расчетов для операторов связи и серверов контроля Интернет доступа для корпоративных сетей, подключенных к Интернету. учет трафик интернет сеть

Как известно, любая информация в сети Интернет передается в виде отдельных пакетов - блоков данных сравнительно небольшого размера, каждый из которых имеет адрес отправителя и получателя и путешествует по сети самостоятельно. Так вот, трафик это суммарный объем пакетов, прошедших через точку наблюдения.

Для конечного пользователя сети Интернет интерес представляет не только сколько и откуда данных было получено, то есть количество, но и качество, а именно - что содержалось в этих полученных данных. В общем случае задача учета трафика для операторов и для конечных потребителей отличается именно тем, что последним необходимо контролировать не только количество, но и качество трафика, то есть. в определенных пределах его содержимое.

Необходимость учета трафика

Учет трафика появился вместе с развитием коммерческого сегмента сети Интернет. Как только появился платный ресурс, для любого пользователя, подключенного к провайдеру услуг. Следует учитывать потребление платного ресурса, чтобы контролировать провайдера и понимать, на что расходуются деньги за связь. Точно также практически любой провайдер подключен к другому провайдеру, для которого он выступает как клиент - т.е. платит за входящий трафик. Поэтому провайдеру необходимо не только учитывать трафик, ушедший к клиентам, но и вести подсчет трафика, пришедшего в сеть провайдера снаружи - от других провайдеров.

Если провайдеру необходимо вести учет трафика для тарификации клиентов, то собственно клиенту учет необходим по целому ряду причин:

для проверки данных провайдера о потребленном клиентом объеме трафика и его стоимости путем сравнения данных представленных провайдером и собственной системы учета трафика у клиента.

для определения того, как именно распределился полученный от провайдера трафик по компьютерам и пользователям в корпоративной сети клиента. Эта информация, кстати, помогает выявить в корпоративной сети клиента зараженные червями или вирусами компьютеры, которые могут стать автономными источниками (получателя) паразитного трафика.

для того, чтобы убедиться, что потребленный трафик был «целевым», т.е. относящимся к выполнению сотрудниками клиента их непосредственных служебных обязанностей.

Таким образом, учет трафика необходим для того, чтобы, во-первых, тарифицировать использование Интернет ресурсов, а во-вторых, максимально сократить расходы и оптимизировать использование рабочего времени в организации - клиенте.

Внутренний учет трафика в организации. Внутри компании, подключенной к сети Интернет, имеется серьезнейшая мотивация для использования систем учета трафика. Интернет уже стал неотъемлемой частью бизнес-процессов, тесно переплетаясь с информационными системами бизнеса. Степень контроля информации бизнеса, теперь зависит от того, насколько компания контролирует Интернет подключение.

Каждый год растет скорость Интернет подключений, также растет количество пользователей. Широкополосные подключения, уже повсеместно заменили собой низкоскоростные подключения на корпоративном рынке. Благодаря этому Интернет становится мощным инструментом, который требует существенно большего контроля. Миллионы новых пользователей появляются в сети, постоянно снижая средний уровень квалификации его пользователей. Развитие технологии направлено в основном на получение большей скорости, в то время как разработка и внедрение механизмов, которые должны обеспечивать учет трафика, контроль и безопасность, серьезно отстает от технологии, ответственной за скорость.

Нецелевое использование средств. Прямые затраты на Интернет зависят от объема потребленной информации. Создать потребление может как передача данных о новом продукте поставщиком, так и увлечение сотрудников играми в сети. Таким образом, информация может быть как целевой, так и нецелевой. К сожалению, провайдеру все равно, какую информацию вы получили - платить придется за все виды трафика.

Рассмотрим данные ряда зарубежных исследователей относительно типа потребляемого трафика сотрудниками компаний на своих рабочих местах.

В опросе, проведенном SurfControl, 100% сотрудников, использующих веб-доступ на работе, сообщили, что они пользовались им в личных целях. А 18% сотрудников ежедневно используют Интерент в личных целях 10 и более раз.

Исследование, проведенное Yankelovich Partners, показало, что более 62% сотрудников ежедневно используют доступ в Интернет в личных целях хотя бы раз.

Исследование SANS Institute показало, что от 50 до 70% сайтов, которые посещают сотрудники во время работы, не связаны с бизнесом.

Исследование, проведенное в Великобритании, показало, что 44% сотрудников, имеющих доступ в Интернет на работе, тратят в среднем по 3 часа в неделю на использование рабочего Интернета в личных целях.

По результатам исследования, проведенного в США, сотрудники с интернет-доступом тратят около 15% своего рабочего времени на просмотр веб-сайтов, не связанных с их бизнесом.

Проблема нецелевого использования трафика существует в любой компании, предоставляющей сотрудникам доступ в Интернет в связи с выполнением ими служебных обязанностей, например, продаж, поиска новых клиентов, поставщиков, осуществления Интернет рекламы и так далее. Проблема состоит не столько в самом факте нецелевого расходования, сколько в масштабе этого явления, поскольку полностью искоренить его вряд ли возможно. Основной риск состоит в потерянном рабочем времени.

Необходимость учета трафика. Для того, чтобы не растратить деньги компании попусту во- первых, необходимо, иметь точную и оперативную информацию о том, кто, сколько и каких ресурсов из Интернета потребляет, а во-вторых, иметь возможность запретить доступ отдельным неблагонадежным пользователям или доступ всех к явно бесполезным ресурсам.

В чистом виде учет трафика - это только счетчик. Программные продукты, которые реализуют учет трафика в корпоративных сетях, должны также уметь управлять доступом пользователей, фильтровать содержимое данных, получаемых компанией из сети Интернет, обеспечивать защиту корпоративной сети, а также иметь различные дополнительные функции, облегчающие взаимодействие корпоративной сети с Интернетом. Такие серверы контроля корпоративного Интернет подключения в идеале должны полностью автоматизировать и управлять взаимоотношениями между корпоративной сетью и Интернетом. Эти требования позволяют четко разграничить требования к продуктам для учета трафика в сетях операторов связи и в корпоративных сетях, породив по сути две различные ветви эволюции в развитии таких систем.

Ветви систем учета трафика. Таким образом, и автоматизированные системы расчетов, используемые провайдерами, и серверы для контроля Интернет подключения в организациях - клиентах строятся вокруг функции учета трафика, и это главное, что их объединяет, но остальной функционал их сильно отличается.

Для автоматизированных систем расчетов характерен уклон в сторону бухгалтерии и автоматизации бизнес процессов оператора связи. Кроме того, провайдерские системы учета трафика не должны иметь большого числа функций, поскольку это замедляет их быстродействие, и для определения пользователя им достаточно знать IP-адрес его сети.

С другой стороны, серверы для контроля Интернет подключения для компаний пользователей Интернета помимо учета трафика должны гибко управлять доступом пользователей к сети, обеспечивать защиту её и, что особенно важно, обладать набором развитых механизмов авторизации пользователя. Для провайдера с маршрутизируемой сетью авторизации на основе IP-адреса будет вполне достаточно, а вот для организации, использующей Интернет, авторизация по IP-адресу ненадежна и неудобна.

Именно поэтому пути развития программных продуктов для провайдеров и для корпоративных пользователей расходятся все дальше. Каждый из этих программных продуктов постоянно оптимизируется под задачи, характерные для своей области использования. Так что, если вы - Интернет провайдер - выбирайте автоматизированную систему расчетов, имеющую сертификат соответствия по системе сертификации в области связи, что дает право использовать данные автоматизированной системы расчетов для выставления счетов клиентам. Если вы - корпоративный пользователь, то вам нужен сервер контроля Интернет подключения. Сервер контроля Интернет подключения не обязан обладать сертификатом, напротив, наличие сертификата способствует удорожанию продукт и говорит о его приспособленности под совершенно другие задачи.

Эволюция решений по учету трафика для корпоративных сетей. Существенная доля решений серверов контроля Интернет подключения реализуется на базе компьютера или сервера, который либо маршрутизирует трафик, либо на нем имеется прокси сервер. В наиболее продвинутых решениях обе модели реализованы одновременно. Операционные системы решений - это Microsoft Windows Server, FreeBSD либо Linux. Решения, естественно, различаются наборами как основных, так и дополнительных функций. Лидеры отрасли имеют в своем арсенале максимальное количество взаимоувязанных сервисов, которые управляются из единого интерфейса.

Наиболее удобны для пользователя такие решения, дистрибутив которых устанавливает на компьютер все, включая операционную систему и все необходимые программы и утилиты. Это значительно удобнее, чем устанавливать все по отдельности. Естественно, что такие решения базируются на ОС Linux или FreeBSD. Решения на базе UNIX-подобных систем зачастую не требуют абсолютно никаких знаний этих операционных систем от пользователя, поскольку все функции управляются через веб или иные интерфейсы.

Можно выделить следующие направления в развитии серверов контроля корпоративного интернет подключения:

решения обзавестись дополнительными сервисами, стремясь к обеспечению всех потребностей клиента по работе с Интернетом.

работа по интеграции корпоративного почтового сервера и решению задач контроля спам рассылок и иных угроз, связанных с электронной почтой.

существенное усиление компонента информационной безопасности в серверах контроля корпоративного Интернет доступа будет существенно усиливаться.

Развитие пользовательских интерфейсов пойдет по пути упрощения и автоматизации, чтобы корпоративный Интернет доступ сравнялся по простоте настроек, скажем, с мобильным телефоном.

Методы учета трафика. В зависимости от архитектуры сервера контроля корпоративного Интернет доступа могут быть задействованы различные методы получения данных о потреблении трафика.

Для того чтобы полностью учитывать входящий в корпоративную сеть компании трафик, необходимо либо пропускать его через устройство учета, либо получать достоверные данные от системы, которая является маршрутизатором между корпоративной сетью клиента и сетью оператора связи. Причем, поскольку нас интересует распределение входящего трафика по конкретным пользователям, то такой учет должен вестись внутри сети по отношению к тому устройству, которое осуществляет функцию сетевой трансляции адресов (NAT).

Это связано с тем, что система, ведущая учет трафика, должна точно знать внутренний адрес конечного потребителя, и следствием этого требования является тот факт, что оператор связи чаще всего не в состоянии предложить клиенту даже услугу детального анализа его трафика.

Второй вариант построения системы учета - это получение информации о транзитном трафике от маршрутизатора, через который этот трафик проходит. Причем маршрутизатор должен либо сам осуществлять преобразование сетевых адресов клиента (NAT) и включать эту информацию в свои отчеты, либо находиться в топологии внутренней сети до того устройства, которое осуществляет функцию NAT.

Третьим способом получения данных о трафике, поступающем в корпоративную сеть компании, является мониторинг и анализ лог файлов различных программных шлюзов, обслуживающих корпоративную сеть компании. Наиболее явными представителями таких шлюзов являются прокси сервер для обслуживания обращений пользователей к внешним веб серверам, а также корпоративный почтовый сервер, отправляющий и принимающий корпоративную электронную почту.

Авторизация пользователей. Важнейшей функцией серверов контроля корпоративного Интернет подключения является авторизация пользователей. Это механизм, посредством которого сервер отличает одного пользователя от другого. В наиболее продвинутых решениях таких механизмов должно быть несколько, для того чтобы решение можно быть настроить под любую сеть, а не сеть приходилось настраивать под решение. Крайне важна поддержка таких механизмов, как авторизация через Active Directory посредством контроллера Windows домена, поскольку во многих организациях именно этот механизм применяется для ведения учетных записей пользователей. Другие механизмы авторизации, достойные упоминания: это авторизация по IP-адресу (как говорилось ранее, не самая удобная и безопасная, но в ряде случаев необходимая), авторизация посредством туннелей, когда пользователь создает VPN подключение к серверу контроля корпоративного Интернет доступа (например PPTPили L2TP), авторизация по протоколу PPPoE.

Общая архитектура сервером контроля корпоративного Интернет доступа. Для того чтобы лучше представить себе принципы работы систем, контролирующих Интернет доступ в корпоративной сети, рассмотрим принципиальную архитектурную схему такого сервера, взяв в качестве примера сервер под управлением ОС UNIX.

Ядро системы на базе ОС UNIX осуществляет маршрутизацию IP пакетов между интерфейсами системы (в общем случае между внешним и внутренним интерфейсом) на основании статической настройки маршрутов с указанием маршрутизатора оператора связи в качестве маршрута по умолчанию.

В более сложных конфигурациях может применяться динамическая маршрутизация на основании протоколов RIPv2, OSPF. Кроме того, внутренние интерфейсы могут быть настроены в режиме поддержки VLAN (802.1Q). В этом случае для системы будет существовать несколько логических интерфейсов по одному на каждый VLAN.

При прохождении пакетов через интерфейсы система перехватывает копию каждого пакета для осуществления учета трафика.

В процессе обработки трафика необходимо связать данные каждого пакета с конкретным пользователем корпоративной сети и начислить на этого пользователя потребленный трафик. Причем нужно также избежать двойного начисления трафика, когда мы учитываем данные одновременно от перехвата пакетов и по запросам прокси сервера. Статистика снимается как на внешнем, так и на внутреннем интерфейсах системы. Это сделано для того, чтобы учитывать трафик, чьим адресом назначения является сам сервер контроля корпоративного Интернет доступа.

Источникамиданныхдляучетнойсистемыявляютсятакжепроксисерверисерверэлектроннойпочты SMTP. Данные из журналов этих систем поступают процессу-обработчику статистики, который соотносит потребление трафика с конкретными пользователями сети компании. Этот же процесс обрабатывает «сырую» базу данных по трафику, которая содержит пары IP-адресов и количество прошедших пакетов вместе с временной отметкой.

На входе в систему трафик поступает также в межсетевой экран операционной системы, правила фильтрации которому задает программное обеспечение сервера на основании целого ряда условий, указываемых для пользователя.

Межсетевой экран используется не только для предотвращения несанкционированного доступа извне, но и для управления правами самих пользователей корпоративной сети.

Для управления межсетевым экраном сервер контроля корпоративного Интернет доступа используют готовые блоки правил, которые подключаются и отключаются из пользовательского интерфейса. Для удобства продвинутых пользователей может существовать возможность работать с правилами межсетевого экрана на уровне системных команд и индивидуальных правил.

Сервер электронной почты настраивается автоматически на заносимых в интерфейс управления пользователей. После этого сервер становится способным принять на себя функции корпоративного сервера электронной почты.

Поскольку сервер контроля корпоративного Интернет доступа работает с IP трафиком, то для того, чтобы соотнести IP-адрес получателя с пользователем ему необходимо проделать ряд дополнительных действий, если не используется самая простая авторизация пользователя по IP-адресам. Во всех остальных случаях информация о текущем IP-адресе пользователя получается от встроенных механизмов авторизации: серверов VPN (PPPoE и PPTP), контроллера домена под управлением Microsoft Windows Server, например, посредством механизма Samba.

Сервер контроля корпоративного Интернет доступа может также содержать в себе классический HTTP proxy сервер, что позволяет ему отслеживать обращения пользователей к конкретным веб ресурсам (т.е. не ограничиваться ведением статистики только по IP-адресам), а также управлять доступом к ресурсам Интернета помимо IP-адресов также и по URL объектов. Кроме того, такой сервер сможет осуществлять кэширование содержимого веб страниц и тем самым способствует снижению потребления веб-трафика клиентом.

Для управления правами доступа пользователей к внешним ресурсам сервер использует данные по учет потребления трафика пользователями, которые обновляются практически в реальном времени, информацию по настроенным для пользователя лимитам на потребление услуг (в объемном или денежном выражении), а также данные по наличию средств на лицевом счете пользователя. Вся эта информация используется управляющим процессом сервера для динамического внесения изменений в настройки межсетевого экрана в ядре операционной системы, Squid прокси сервера и SMTP сервера.

Заключение

Таким образом, в настоящей статье, во-первых, обоснована необходимость систем учета трафика для различных групп пользователей-операторов связи и, собственно, конечных корпоративных пользователей, показаны различия в потребностях этих пользователей и, во-вторых, обосновано наличие двух различных классов программного обеспечения для учета трафика: автоматизированных систем расчетов для операторов связи и серверов контроля Интернет доступа для корпоративных сетей, подключенных к Интернету. Далее подробно рассмотрены основные аспекты работы сервера контроля Интернет доступа и дано описание принципиальной архитектурной схемы, по которой строится функционирование современных решений учета трафика для корпоративных сетей.

Размещено на Allbest.ru