Стратегия поиска и обмена информацией в Internet

26 июня Google и Yahoo! объявили о сотрудничестве, которое укрепило репутацию компании. Теперь Google отвечал на 18 миллионов запросов в день. В последовавшем месяце ведение совместных дел было объявлено на всех направлениях. Два портала добавили поиск Google на свои сайты: ведущий китайский портал NetEase и портал NEC's BIGLOBE в Японии.

Для привлечения малого бизнеса к рекламированию по ключевым словам Google создал AdWords. В конце 2000 года, чтобы дать пользователям возможность поиска из любой точки Сети, Google ввел Google Toolbar. Это нововведение позволяло искать через Google, не заходя на его сайт. Google Toolbar оказалась очень популярна и с того времени была загружена миллионами пользователей.

2000-ый год закончился, Google уже обрабатывал более 100 миллионов запросов в день. Помня о своих академических корнях, Google начал предлагать бесплатные услуги поиска школам, университетам и другим образовательным учреждениям во всем мире.

Поскольку поисковые способности приумножились, финансовое состояние компании стало более солидным. К началу четвертого квартала 2001 года Google объявил о самоокупаемости.

Тем временем поисковый сервер Google учился индексировать ряд новых типов файлов. В декабре вышла бета-версия расширенного поиска по картинкам (обычный поиск начался еще летом с индексом в 250 миллионов изображений). Также был запущен бета-поиск по каталогу Google, который дал возможность искать и просматривать в более, чем 1,100 каталогах "Товары почтой", доступные ранее только в печати. Гусев В.С. Google. Эффективный поиск - Москва, Санкт - Петербург, Киев.: Диалектика, 2007г. 154 стр.

Декабрь также принес другое известие: индекс Google достиг 3-х миллиардов доступных для поиска документов. В конце года, в соответствии с Духом Времени, Google представил картину поиска за 2001 год.
Любовь к Google со стороны технологического общества (инженеров, программистов, вебмастеров) отразилась в феврале 2002 года, когда Google взял верх во многих номинациях 2001 Search Engine Watch Awards. На нем сообщество вебмастеров отдало призовое место Google за Выдающийся Поисковый Сервис (Outstanding Search Service), Лучший Поисковый Сервер по Изображениям (Best Image Search Engine), Лучший Дизайн (Best Design), Наиболее Дружелюбная Поисковая Система для Вебмастера (Most Webmaster Friendly Search Engine), и Лучший Поиск Будущего (Best Search Feature).

Чтобы помочь решить ресурсоемкие научные задачи, Google использует неактивные промежутки на компьютерах пользователей, установивших Google Toolbar. Таким образом, некоммерческая научно-исследовательская работа Стэндфордского университета Folding@home, в которой, используя ресурсы миллионов компьютеров, анализируется структура белков глаза для улучшенного лечения множества болезней.

В феврале 2002 была преображена рекламная система AdWords, получив широкую известность в мире. В сентябре в бета-версии были запущены Новости Google, предоставляющие доступ 4,500 ведущим новостным источникам со всего света. В тестовом режиме в декабре 2002 запущена служба Froogle, помогающая пользователям найти нужный продукт. Froogle перерывает миллионы релевантных сайтов и представляет пользователям множество источников со специфичным продуктом, отображая к нему картинки и цены.

Цель компании по-прежнему остается неизменной: сделать доступной всю информацию в мире.

В 2004 году Google объявляют брендом года, а количество поисковых запросов переваливает за 4 миллиарда в день. Также компания запускает бесплатный почтовый сервис Gmail.

В ноябре 2006 года Google купила самый крупный видеосервис в Интернете - YouTube, заплатив за него 1.65 миллиарда долларов.

В 2008 Интернет-общественность получает новый браузер от Google - Chrome.

На очереди - своя операционная система. Это реальная угроза для монополиста Microsoft, которую уже сейчас серьезно настораживает такой конкурент. Особенно после выхода ОС Android, предназначенной для мобильных устройств.

Еще 1 апреля 2004 года компания объявила о запуске (на тот момент в бета-версии) сервиса электронной почты Gmail, обладавшего новыми возможностями в сортировке писем, а также предоставлявшего пользователям для хранения писем беспрецедентное количество бесплатной памяти (исходно - один гигабайт, в дальнейшем объем свободной памяти Gmail увеличивался). Впоследствии сервис Gmail был расширен: в частности, в 2007 году в нем появилась возможность онлайн-чата , а в феврале 2010 года на базе Gmail был создан аналог социальной сети Google Buzz, который экспертами расценивался как возможный конкурент таких известных сервисов, как Facebook и Twitter.

В 2005 году Google Inc. запустила портал Google Video, на котором был организован просмотр бесплатных видеоматериалов (многие из которых были предоставлены крупными телекомпаниями, в том числе PBS и Fox News) и поиск по ним. В октябре 2006 года было объявлено о покупке Google Inc. сайта YouTube - ведущего интернет-проекта, предназначенного для хранения и демонстрации видеоматериалов. YouTube стал самым дорогим приобретением Google Inc.: компания согласилась выплатить за него 1,6 миллиарда долларов. При этом сервис Google Video был сохранен.

Осенью 2007 года Google Inc. анонсировала выпуск собственной операционной системы для мобильных телефонов и смартфонов: первый смартфон с новой системой, получившей название Android, появился в сентябре 2008 года. В том же месяце Google Inc. официально выпустила новый интернет-браузер Google Chrome, который воспринимался как один из основных потенциальных конкурентов Internet Explorer, широко распространенного браузера компании Microsoft. Уже к концу следующего года Google Chrome занял третье место по популярности среди браузеров в мире - впрочем, доля его использования составляла менее пяти процентов.

Еще одним амбициозным проектом Google Inc. стала экспериментальная коммуникационная система Wave, впервые продемонстрированная в мае 2009 года и объединявшая возможности электронной почты, мгновенной передачи сообщений, одновременного редактирования документов и некоторых других сервисов. Однако в начале августа 2010 года компания прекратила разработку Google Wave в связи с тем, что система не получила широкого распространения. Через месяц после этого Google Inc. сообщила, впрочем, о планируемом выпуске приложения Wave in a Box, которое могло позволить пользователям развертывать аналог Wave на собственных серверах.

В январе 2010 года Google Inc. официально представила собственный смартфон Nexus One, разработанный совместно с тайваньской компанией HTC и работающий на платформе Android. Nexus позиционировался как возможный конкурент смартфона iPhone от компании Apple . В декабре того же года Google Inc. представила смартфон Nexus S, на этот раз созданный совместно с южнокорейской компанией Samsung .

Успех операционной системы Android привел к тому, что в 2010 году компания Oracle, незадолго до этого купившая программную платформу Java, подала в суд на Google, заявив о незаконном использовании лицензированного программного кода и патентов в мобильной операционной системе. Впоследствии этот иск на сумму в один миллиард долларов назывался в прессе "технической судебной тяжбой десятилетия". В мае 2012 года суд объявил, что Google действительно мог нарушить имущественные авторские права Oracle .

В сентябре 2010 года произошла реформа интерфейса поисковика Google, в результате которой он стал первой системой, показывающей результаты поиска по мере набора запроса, .

Летом 2011 года Google Inc. запустила в тестовом режиме новый проект под названием Google+. Он не раз назывался журналистами "социальной сетью" и "убийцей Facebook", хотя сами разработчики позиционировали его иначе, как сервис, который призван помогать делиться интересным в интернете.

В августе 2011 года Google Inc. объявила о покупке компании Motorola Mobility. Сумма сделки должна была составить около 12,5 миллиардов долларов. В СМИ отмечалось, что данное приобретение поможет Google составить более успешную конкуренцию компании Apple на рынке смартфонов.

Несмотря на общую идеологию предоставления пользователю всей возможной информации, представители компании Google Inc. признавали, что результаты поиска Google могли редактироваться по требованию властей конкретных государств. В этой связи особую известность приобрели отношения между компанией и правительством Китая, где сайт Google был заблокирован еще в 2002 году. Китайская версия поисковика была запущена только в 2006 году, причем на условиях фактического цензурирования результатов поисков. Спустя два года после этого на сервера Google была произведена хакерская атака, которую компания связала с китайскими властями, после чего фильтрация результатов поиска китайской версии Google была фактически отменена - китайские пользователи поисковика автоматически перенаправлялись на нецензурируемый гонконгский сайт Google. Однако летом 2010 года под угрозой непродления лицензии Google Inc. на работу в Китае эта переадресация была отменена и Google Inc. вновь открыла цензурируемый китайский сайт, содержавший, однако, ссылку на его гонконгский аналог. После этого в июле 2010 года Китай продлил лицензию компании.Джон Смит.: В постели с Google. Передовые способы оптимизации поиска. - М.: Олимп-Бизнес, 2010г. - 226стр.

Компания Google Inc. известна активной благотворительностью. В частности, в 2005 году в компании появилось специальное ответвление Google.org со стартовым капиталом около одного миллиарда долларов, которое занималось благотворительными проектами. 

Подводя итог, можно сказать, что компания Google совершила стремительный взлет всего за десять лет существования, и очень уверенно и оптимистично смотрит в будущее.

Чистая прибыль компании в 2008 году составила более $6,5 миллиардов долларов. Распоряжаясь такими средствами, Google в состоянии реализовать все десять в сотой степени своих идей, и постоянно радовать пользователей новыми возможностями и услугами.

3 Обмен информации в Internet

Обмен информации в глобальной сети - это передача файлов, сообщений на расстоянии. Начиная от общения в социальных сетях и заканчивая скачиванием фильмов, музыки и игр из интернета. Все компьютеры, участвующие в передаче данных, используют единый протокол коммуникации TCP/IP. TCP/IP - аббревиатура термина Transmission Control Protocol/Internet Protocol (Протокол управления передачей/Интернет Протокол) - это согласованный заранее стандарт, служащий для обмена данных между двумя узлами (компьютерами в сети), причём неважно, на какой платформе эти компьютеры и какая между ними сеть. TCP/IP служит как мост, соединяющий все узлы сети воедино, за это TCP/IP и завоевал свою популярность. Ющук Е.: Интернет-разведка. Руководство к действию. - М.: Вершина, 2007г. - 256стр.

Название "TCP/IP" связано с двумя протоколами: TCP и IP. Протокол IP- Internet Protocol, на него возложена важная задача - маршрутизация. Протокол IP обеспечивает доставку данных по каналам(маршрутам) к адресату, то есть отвечает за доставку данных из пункта А в пункт В. Но сам IP является дейтограмным протоколом, а значит, он не гарантирует, что посланные по нему данные придут к получателю полностью и без искажений, а такое часто происходит из-за помех на канале связи. Надёжность передачи данных по IP протоколу обеспечивают протоколы более высокого уровня.- Transmission Control Protocol занимается передачей больших объёмов данных по сети с помощью IP-протокола, разделяя их по частям и вновь собирая воедино в конце маршрута. При отправке с помощью TCP/IP данные кодируются и делятся на TCP-пакеты (сегменты) так, чтобы потом была возможность восстановить их при распаковке в случае их повреждения. Существуют целые науки о таком кодировании. Простым же примером обеспечения безопасности TCP-пакета является проверка на чётность (для чего к каждому байту добавляется ещё по одному биту) и хранение контрольной суммы в заголовке TCP-пакета. При помещении данных в TCP-конверт вычисляется контрольная сумма, которая записывается в TCP-заголовок. Если при приеме заново вычисленная сумма не совпадает с той, что указана на конверте, значит, при передаче данные были утеряны или искажены, поэтому протокол требует пересылку этого пакета заново. Таким образом, для работы по этому протоколу TCP модули должны быть установлены и у адресата, и у отправителя такого пакета.

В большинстве случаев TCP-пакет пересылается в одной IP-дейтограмме. Но бывает, что TCP разбивает сегмент на несколько дейтограмм. Иными словами, TCP не сохраняет во время передачи границы записей, но по прибытию данные будут собраны воедино в правильной последовательности. требует от получателя подтверждения прихода данных. Протокол TCP использует ожидания (таймауты) и повторные передачи для обеспечения надежной доставки. Отправителю разрешается передавать некоторое количество данных, не дожидаясь подтверждения приема ранее отправленных данных. Таким образом, между отправленными и подтвержденными данными существует "окно" уже отправленных, но ещё не подтвержденных данных. Количество байт, которое можно передавать без подтверждения, называется размером окна этот размер устанавливается в стартовых файлах ПО. TCP является двунаправленным протоколом, и данные могут передаваться по нему в двух направлениях одновременно, за счёт этого подтверждения принятия данных идут вместе с данными, идущими в этот момент в противоположном направлении. Такие возможности TCP даются не просто так. Его реализация требует немалой производительности от машины и большой пропускной способности сети.

Таким образом, протокол TCP обеспечивает гарантированную доставку с установлением логического соединения в виде байтовых потоков. Этот протокол освобождает прикладные процессы от необходимости использовать ожидания и повторные передачи для обеспечения надежности. Наиболее типичными прикладными процессами, использующими TCP, являются ftp и telnet. Кроме того, TCP использует система X-Windows. Однако бывают случаи, когда нам не столь нужна точность информации, сколь скорость передачи. Например, при передаче мультимедийных данных. В таких случаях применяют другой протокол передачи данных.Datagram Protocol - протокол пользовательских дейтаграмм. UDP приходит на смену TCP, когда пользователей не заботит точность передаваемых данных. Этот протокол реализует дейтограммный метод передачи данных. Дейтаграмма - это пакет, передаваемый через сеть независимо от других пакетов без установления логического соединения и подтверждения приема. Дейтограмма сама содержит в себе все нужные данные для доставки.

В отличие от TCP, UDP не требует установки соединения и при передаче не делит свои дейтограммы на части. Схема без установления соединения привлекательна также тем, что позволяет при передаче данных от исходного источника к большому числу приемников минимизировать общий трафик. Использование точек разветвления поможет сократить исходящий от передатчика трафик для передачи данных N машинам в N раз! Таким образом, мультикастинговая передача с помощью UDP более практична, чем с TCP.

На практике UDР находит применение при транслировании мультимедийных данных, а также, например, в SNMP (Simple Network Management Protocol - простой протокол управления сетями) и многих других программах.

Альтернатива TCP - UDP - позволяет программисту гибко и рационально использовать предоставленные ресурсы, исходя из своих возможностей и потребностей. Именно для этого и служит TCP/IP. Входящие в его состав протоколы предоставляют широкие возможности настройки сети с помощью IP-протокола.

HTTP протокол- (Hyper Text Transfer Protocol) -- это протокол передачи гипертекста. Протокол HTTP используется при пересылке Web-страниц с одного компьютера на другой.

Основой HTTP является технология «клиент-сервер», то есть предполагается существование потребителей (клиентов), которые инициируют соединение и посылают запрос, и поставщиков (серверов), которые ожидают соединения для получения запроса, производят необходимые действия и возвращают обратно сообщение с результатом.

HTTP в настоящее время повсеместно используется во Всемирной паутине для получения информации с веб-сайтов. В 2006 году в Северной Америке доля HTTP-трафика превысила долю P2P-сетей и составила 46 %, из которых почти половина -- это передача потокового видео и звука[1].

HTTP используется также в качестве «транспорта» для других протоколов прикладного уровня, таких как SOAP, XML-RPC, WebDAV.

Основным объектом манипуляции в HTTP является ресурс, на который указывает URI (англ. Uniform Resource Identifier) в запросе клиента. Обычно такими ресурсами являются хранящиеся на сервере файлы, но ими могут быть логические объекты или что-то абстрактное. Особенностью протокола HTTP является возможность указать в запросе и ответе способ представления одного и того же ресурса по различным параметрам: формату, кодировке, языку и т. д. (В частности для этого используется HTTP-заголовок.) Именно благодаря возможности указания способа кодирования сообщения клиент и сервер могут обмениваться двоичными данными, хотя данный протокол является текстовым.

HTTP -- протокол прикладного уровня, аналогичными ему являются FTP и SMTP. Обмен сообщениями идёт по обыкновенной схеме «запрос-ответ». Для идентификации ресурсов HTTP использует глобальные URI. В отличие от многих других протоколов, HTTP не сохраняет своего состояния. Это означает отсутствие сохранения промежуточного состояния между парами «запрос-ответ». Компоненты, использующие HTTP, могут самостоятельно осуществлять сохранение информации о состоянии, связанной с последними запросами и ответами (например, «куки» на стороне клиента, «сессии» на стороне сервера). Браузер, посылающий запросы, может отслеживать задержки ответов. Сервер может хранить IP-адреса и заголовки запросов последних клиентов. Однако сам протокол не осведомлён о предыдущих запросах и ответах, в нём не предусмотрена внутренняя поддержка состояния, к нему не предъявляются такие требования.

FTP (англ. File Transfer Protocol -- протокол передачи файлов) -- стандартный протокол, предназначенный для передачи файлов по TCP-сетям (например, Интернет). FTP часто используется для загрузки сетевых страниц и других документов с частного устройства разработки на открытые сервера хостинга.

Протокол построен на архитектуре "клиент-сервер" и использует разные сетевые соединения для передачи команд и данных между клиентом и сервером. Пользователи FTP могут пройти аутентификацию, передавая логин и пароль открытым текстом, или же, если это разрешено на сервере, они могут подключиться анонимно. Можно использовать протокол SSH для безопасной передачи, скрывающей (шифрующей) логин и пароль, а также шифрующей содержимое.

Первые клиентские FTP-приложения были интерактивными инструментами командной строки, реализующими стандартные команды и синтаксис. Графические пользовательские интерфейсы с тех пор были разработаны для многих используемых по сей день операционных систем. Среди этих интерфейсов как программы общего веб-дизайна вроде Microsoft Expression Web, так и специализированные FTP-клиенты (например, CuteFTP).

FTP является одним из старейших прикладных протоколов, появившимся задолго до HTTP, в 1971 году. Он и сегодня широко используется для распространения ПО и доступа к удалённым хостам.

В отличие от HTTP FTP работает на прикладном уровне модели OSI и используется для передачи файлов с помощью TCP/IP. Для этого должен быть запущен FTP-сервер, ожидающий входящих запросов. Компьютер-клиент может связаться с сервером по порту 21. Это соединение (поток управления) остаётся открытым на время сессии. Второе соединение (поток данных), может быть открыт как сервером из порта 20 к порту соответствующего клиента (активный режим), или же клиентом из любого порта к порту соответствующего сервера (пассивный режим), что необходимо для передачи файла данных. Поток управления используется для работы с сессией - например, обмен между клиентом и сервером командами и паролями с помощью telnet-подобного протокола. Например, "RETR имя файла" передаст указанный файл от сервера клиенту. Вследствие этой двухпортовой структуры, FTP считается внешнеполосным протоколом, в отличие от внутриполосного HTTP.

SMTP (англ. Simple Mail Transfer Protocol -- простой протокол передачи почты) -- это широко используемый сетевой протокол, предназначенный для передачи электронной почты в сетях TCP/IP.

SMTP впервые был описан в RFC 821 (1982 год); последнее обновление в RFC 5321 (2008) включает масштабируемое расширение -- ESMTP (англ. Extended SMTP). В настоящее время под «протоколом SMTP», как правило, подразумевают и его расширения. Протокол SMTP предназначен для передачи исходящей почты с использованием порта TCP 25. Романенко В. Н., Никитин Г. В., Неверов В. С.: Работа в Интернете. От бытового до профессионального поиска. - СПБ.: Профессия, 2008г. - 416

В то время, как электронные почтовые серверы и другие агенты пересылки сообщений используют SMTP для отправки и получения почтовых сообщений, работающие на пользовательском уровне клиентские почтовые приложения обычно используют SMTP только для отправки сообщений на почтовый сервер для ретрансляции. Для получения сообщений клиентские приложения обычно используют либо POP (англ. Post Office Protocol -- протокол почтового отделения), либо IMAP (англ. Internet Message Access Protocol), либо патентованные системы (такие как Microsoft Exchange и Lotus Notes/Domino) для доступа к учетной записи своего почтового ящика на сервере.

SMTP -- требующий соединения текстовый протокол, по которому отправитель сообщения связывается с получателем посредством выдачи командных строк и получения необходимых данных через надёжный канал, в роли которого обычно выступает TCP-соединение (Transmission Control Protocol -- протокол управления передачей). SMTP-сессия состоит из команд, посылаемых SMTP-клиентом, и соответствующих ответов SMTP-сервера. Когда сессия открыта, сервер и клиент обмениваются её параметрами. Сессия может включать ноль и более SMTP-операций (транзакций).

SMTP-операция состоит из трёх последовательностей команда/ответ (см. пример ниже). Описание последовательностей:

MAIL FROM -- устанавливает обратный адрес (т. е. Return-Path, 5321.From, mfrom). Это адрес для возвращённых писем.

RCPT TO -- устанавливает получателя данного сообщения. Эта команда может быть дана несколько раз, по одному на каждого получателя. Эти адреса также являются частью оболочки.

DATA -- для отправки текста сообщения. Это само содержимое письма, в противоположность его оболочке. Он состоит из заголовка сообщения и тела сообщения, разделенных пустой строкой. DATA, по сути, является группой команд, а сервер отвечает дважды: первый раз на саму команду DATA, для уведомления о готовности принять текст; и второй раз после конца последовательности данных, чтобы принять или отклонить всё письмо.

Помимо промежуточных ответов для DATA-команды, каждый ответ сервера может быть положительным (код ответа 2хх) или отрицательным. Последний, в свою очередь, может быть постоянным (код 5хх) либо временным (код 4хх). Отказ SMTP-сервера в передаче сообщения -- постоянная ошибка; в этом случае клиент должен отправить возвращённое письмо. После сброса -- положительного ответа, сообщение скорее всего будет отвержено. Также сервер может сообщить о том, что ожидаются дополнительные данные от клиента (код 3xx).

Изначальным хостом (SMTP-клиентом) может быть как почтовый клиент конечного пользователя (функционально определяемый как почтовый агент -- MUA), так и агент пересылки сообщений (MTA) на сервере, т.е. сервер действует как клиент в соответствующей сессии для ретрансляции сообщения. Полностью функциональные сервера поддерживают очереди сообщений для повторной передачи сообщения в случае ошибок.

MUA знает SMTP-сервер для исходящей почты из своих настроек. SMTP-сервер, действующий как клиент, т. е. пересылающий сообщения, определяет, к какому серверу подключиться, просмотром ресурса записей MX (Mail eXchange) DNS для домена каждого получателя. В случае, если запись MX не найдена, совместимые MTA (не все) возвращаются к простой А-записи. Пересылающие сервера также могут быть настроены на использование Smart host.

SMTP-сервер, действующий как клиент, устанавливает TCP-соединение с сервером по разработанному для SMTP порту 25. MUA должен использовать порт 587 для подключения к агенту предоставления сообщений (MSA). Основное различие между MTA и MSA заключается в том, что SMTP-аутентификация обязательно только для последнего.

3.1 Программное обеспечение для передачи данных.

Браузеры

Самой популярной программой для просмотра сайтов и передачи информации является браузер. С вводом новых технологий в web- программировании функциональность сайтов значительно расширилась, web-приложения заменили стандартные, изжившие себя программы для обмена информации.

Браузер -- программное обеспечение для просмотра веб-сайтов, то есть для запроса веб-страниц (преимущественно из Сети), их обработки, вывода и перехода от одной страницы к другой. Многие современные браузеры также могут загружать файлы с FTP-серверов. Маринин С. А.: Популярные интернет-браузеры. - М.: НТ Пресс, 2007г. - 160стр.

Браузеры постоянно развивались со времени зарождения Всемирной паутины и с её ростом становились всё более востребованными программами. Ныне браузер -- комплексное приложение для обработки и вывода разных составляющих веб-страницы и для предоставления интерфейса между веб-сайтом и его посетителем. Практически все популярные браузеры распространяются бесплатно или «в комплекте» с другими приложениями: Internet Explorer (совместно с Microsoft Windows), Mozilla Firefox (бесплатно, свободное ПО, совместно с многими дистрибутивами Linux, например, Ubuntu), Safari (совместно с Mac OS X и бесплатно для Microsoft Windows), Google Chrome (бесплатно), Opera (бесплатно, начиная с версии 8.5).

Первым распространённым браузером с графическим интерфейсом был NCSA Mosaic. Исходный код этого одного из первых браузеров был открыт, и некоторые другие браузеры (Netscape Navigator и Internet Explorer) взяли его за основу. Этот браузер имел свои недостатки, но почти все они были устранены в браузере Netscape Navigator (некоторые сотрудники компании Netscape были из NCSA и участвовали в разработке Mosaic). Netscape выпустила Netscape Navigator под разные операционные системы (UNIX, Windows, Mac OS) и добилась заметного успеха, в том числе и коммерческого. Это побудило компанию Microsoft выпустить свой браузер Internet Explorer.

В последствии в Mozilla Foundation было принято решение поставлять и развивать браузер отдельно от общего пакета и родился проект Mozilla Firefox. Firefox содержит много возможностей, отсутствующих в IE или других браузерах, и постепенно набирает популярность. Гладкий А. А.: Интернет на 100%. - М.: Литрес, 2012г. - 295стр.

Монополизация рынка браузером IE имела и другие последствия -- Microsoft почти перестала развивать браузер, и он с 4-й до 6-й версии почти не менялся: хуже других браузеров поддерживал стандарты, отставал по удобству использования и по скорости работы и отображения страниц. Такое положение сподвигло Microsoft вновь заняться браузером, и седьмая версия вышла с некоторыми изменениями (были добавлены вкладки, улучшена поддержка стандартов, поднята скорость работы и более удобный интерфейс). 19 марта 2009 года Microsoft выпустила 8-ю версию Internet Explorer, а 14 марта 2011 года 9-ю версию Internet Explorer и активно продвигает её на российском рынке совместно с такими компаниями, как Яндекс, Mail.ru и Рамблер.

В 1995 году появился браузер Opera. Первоначально Opera распространялась как условно-бесплатное ПО (shareware), этим, возможно, объясняется её низкая популярность в большинстве стран мира и высокая популярность в странах СНГ. Однако с 2005 года Opera также стала распространяться бесплатно.

Война браузеров была бы исключительно коммерческим делом корпораций, если бы основным приёмом в борьбе не стало добавление специфических, нестандартных возможностей к браузерам. Наибольшие различия возникали в поддержке JavaScript -- языка сценариев, придающего интерактивность документам. В результате многие сайты «оптимизировались» под одни браузеры и плохо работали в других браузерах.

В Internet Explorer 8 Microsoft сначала предлагала ввести HTML-комментарий, который бы указывал браузерам, какие версии движков использовать (заголовок DOCTYPE при этом должен был быть отменён, как малоиспользуемый), что вызвало возмущение сторонников стандартов, так как указания на использование стандартов не предусматривалось. Позже было объявлено, что IE8 будет по умолчанию использовать «режим стандартов» (англ. standards mode), а не «режим совместимости» (англ. quirks mode), а при обнаружении соответствующего комментария использовать режим имитации предыдущей версии.

В 2008 году компания Google решила «помочь» конкуренции на рынке браузеров и выпустила свой браузер -- Chrome, основанный на свободном проекте Chromium. Браузер Chrome содержит некоторые новшества (изоляция сбоев, режим «инкогнито» и т. д.). Выпущены версии для Windows XP, Windows Vista, Windows 7, Linux, BSD и Mac OS X .

В начале 2009 года Microsoft объявила, что разрабатывает новый браузер, который будет называться Gazelle. Новый браузер будет применять принципы разделения ресурсов, характерные для многопользовательских операционных систем, что, согласно Microsoft, повысит его безопасность.

В сентябре 2009 года стало известно о намерении российской правительственной комиссии по федеральной связи и информтехнологиям разработать для государственных организаций свой браузер, выбрав разработчика по результатам открытого конкурса. Парадоксально, что Opera и Firefox отвергаются в пользу Internet Explorer из-за того, что они «передают информацию о пользователях в поисковую систему Google», хотя это легко отключается в настройках обеих программ.

Почтовые программы

Почтовые программы-программное обеспечение, устанавливаемое на компьютере пользователя и предназначенное для получения, написания, отправки и хранения сообщений электронной почты одного или нескольких пользователей (в случае, например, нескольких учётных записей на одном компьютере) или нескольких учётных записей одного пользователя.

Большие почтовые программы, т. н. «всё в одной», такие как Mozilla Thunderbird, The Bat! и Microsoft Outlook, сегодня комбинируют работу MSA, MDA и MRA в одном приложении. Более простые почтовые агенты (англ. mail user agent, MUA), например Mutt, также являются почтовыми программами. Краинский И.: 200 лучших программ для Интернета. Популярный самоучитель. - СПБ.: Питер, 2008г. - 374стр.

В отличие от почтового сервера, клиент электронной почты обычно отправляет сообщение не прямо на соответствующий сервер получателя, а на один и тот же почтовый сервер, который выступает как релей. Обычно это почтовый сервер провайдера или компании. Отправка почты чаще всего осуществляется по протоколу SMTP.

Клиент электронной почты принимает почту с одного или нескольких почтовых серверов, часто это тот же самый сервер, который служит для отправки. Приём почты обычно осуществляется по протоколам POP или IMAP.

Также в функции клиента электронной почты может входить: сортировка, хранение сообщений, поиск по архиву сообщений, ведение адресной книги, фильтрация принимаемых сообщений по разным критериям, конвертация форматов, шифрование, организация интерфейсов с офисными программами и другие функции.

Популярность почтовых клиентов постепенно снижается. Современная продвинутая молодежь предпочитает работать с почтой через веб-интерфейс, используя браузер. Действительно, зачем использовать две программы, когда достаточно освоить одну?

Подручных средств, предоставляемых интерфейсом популярных почтовых сервисов, в общем-то, достаточно для повседневных нужд. Однако использование специализированных программ, в любом случае, дает несколько приятных бонусов. Общаясь с почтовым клиентом, вы ведете работу с электронной корреспонденцией так, как удобно именно вам, а не веб-дизайнеру. При наличии нескольких адресов электронной почты освоение одной новой программы зачастую оказывается менее трудоемким, чем осваивание тонкостей веб-интерфейса каждого сервиса.

Кроме того, вы заметно экономите входящий трафик, так как не загружаете сайты сервисов. Почтовые клиенты, чаще всего, предоставляют гибкие средства сортировки сообщений, позволяют выбрать шаблон из готового набора, производят проверку орфографии по мере набора текста и имеют другие полезные возможности, что делает работу с электронной корреспонденцией более удобной и эффективной. Экслер А.Б. Самоучитель работы в Интернете - Москва.: NT Press, 2007г.

3.2 Протокол обмена данными p2p

В основе технологии лежит принцип децентрализации: все узлы в сети P2P равноправны, что обеспечивает такие преимущества технологии P2P перед клиент-серверным подходом, как отказоустойчивость при потере связи с несколькими узлами сети, увеличение скорости получения данных за счет копирования одновременно из нескольких источников (рис. 2), возможность разделения ресурсов без “привязки” к конкретным IP-адресам, огромная мощность сети в целом и др.

По некоторым данным, в настоящее время в Интернете более половины всего трафика приходится на трафик файлообменных P2P-сетей, а размеры самых крупных из них перевалили за отметку в миллион одновременно работающих узлов, разделяющих петабайты (1015 байт) информации. Общее количество зарегистрированных участников файлообменных сетей P2P во всем мире составляет порядка 100 млн.

Хотя P2P-сети используются сейчас в основном для разделения файлов, существует еще много других областей, где данная технология тоже успешно применяется, -- это телевидение и аудиотрансляции, параллельное программирование, распределенное кэширование ресурсов для разгрузки серверов, рассылка уведомлений и статей, поддержка системы доменных имен, индексирование распределенных ресурсов и их поиск, резервное копирование и создание устойчивых распределенных хранилищ данных, обмен сообщениями, создание систем, устойчивых к атакам типа “отказ в обслуживании”, распространение программных модулей. Имеется огромное число клиентских программ для работы с P2P-сетями, как коммерческих, так и с открытым кодом. Постоянно идет работа по усовершенствованию протоколов и увеличению функциональности систем, и, судя по всему, недалек тот момент, когда клиентское ПО для P2P будет интегрировано с операционными системами. Так, уже сейчас крупные компании проявляют интерес к Р2Р -- например, компания Sun разрабатывает протокол для доступа к основным P2P-сетям с карманных компьютеров и смартфонов, а компания Microsoft создала свои реализации P2P-протоколов Scribe и Pastry.

В данной статье представлен обзор наиболее распространенных P2P-систем -- так называемых файлообменных сетей, рассмотрены принципы их работы и протоколы. В конце статьи затронут вопрос, связанный с безопасностью, являющейся основным минусом P2P-подхода.

Итак, технология P2P предполагает построение сети распределенных равноправных узлов по принципу децентрализации. Эта идея является альтернативой принципу клиент--сервер.

В существующих сегодня файлообменных P2P-сетях изначально был использован смешанный подход -- с наличием выделенных узлов и/или серверов. Но в последние несколько лет во всех крупных сетях реализована поддержка протоколов, обеспечивающих полностью автономное функционирование сети без серверов, т. е. в чистом виде P2P-подход.

Сеть P2P -- это множество узлов (компьютеров, смартфонов и пр.), объединенных в единую систему и взаимодействующих посредством протокола P2P, который обеспечивает возможность создания и функционирования сети равноправных узлов.

Протоколом или набором протоколов определяется логическая топология сети, механизм подключения к ней и отключения от нее узлов, а также алгоритм взаимодействия последних. Решение таких задач, как коррекция ошибок, регламентирование форматов сообщений, служебных запросов и откликов, маршрутизация в условиях постоянного подключения и отключения узлов, тоже определяется протоколом P2P.

В модели стека сетевых протоколов TCP/IP протоколы P2P относятся к прикладному уровню. Таким образом, P2P-сеть является наложенной (overlay), функционирующей поверх Интернета и использующей существующие транспортные протоколы TCP или UDP.

Клиентская программа P2P, или просто “клиент”, -- программа, обеспечивающая функциональность узла, она сама является реализацией лежащего в основе сети P2P-протокола. Клиент может запрашивать сервер или выделенные узлы, получать ответ с информацией о запрошенных файлах, узлах, на которых эти файлы находятся, и далее уже работать напрямую с указанными узлами. Последние реализации клиентов наделены возможностями обмена служебной информацией, построения запросов и поиска ресурсов во всей сети без участия серверов.

ID узла -- уникальный идентификатор узла, вычисляется он с помощью хеш-функции из IP-адреса и дополнительной информации (имени компьютера, MAC-адреса сетевой карты и пр.) и присваивается при регистрации узла в сети P2P.

ID, или ключ, ресурса -- уникальный идентификатор файла или любого другого ресурса -- вычисляется с помощью хеш-функции из имени файла и его содержимого.

Протоколами обеспечивается равномерное распределение ключей ресурсов вместе с идентификаторами узлов, опубликовавшими данный ресурс, по всем зарегистрированным в сети узлам (или по некоторым выделенным узлам и/или серверам). Задача поиска (lookup) ресурса сводится к нахождению ID узла, на котором хранится ключ ресурса.

На ПРИЛОЖЕНИИ приведен пример P2P-сети, работающей по протоколу DHT Kademlia. К сети, способной поддерживать максимум 16 узлов и 16 ресурсов, подсоединились 7 узлов (красные кружки), разделяющих 12 ресурсов. Узлам присвоены соответствующие ID, а ресурсам -- ключи. Последние вместе с адресами опубликовавших их узлов (адреса на рисунке не показаны) равномерно распределены между узлами сети.

Предположим, узел с ID 0 “хочет” найти ресурс, соответствующий ключу 14, для этого он посылает запрос на поиск. Запрос проходит определенную процедуру маршрутизации и достигает узла, на котором находится ключ 14. Далее узел ID 14 пересылает узлу ID 0 адреса всех узлов, обладающих ресурсом, соответствующим ключу 14.

Большой рост популярности сетей P2P обусловлен привлекательностью характеристик данной технологии -- это децентрализация, распределенность, самоорганизуемость сети. Обозначенные принципы обеспечивают такие преимущества, как простота и дешевизна реализации и поддержания работы сети, ее отказоустойчивость и масштабируемость, увеличение скорости копирования и колоссальная мощность сети в целом.

Среди файлообменных сетей по количеству узлов лидируют такие сети, как Bittorrent, eDonkey2000, Gnutella2, Gnutella.

BitTorrent

С целью инициализации узла в сети Bittorrent (www.bittorrent.com) клиентская программа обращается к серверу (tracker), предоставляющему информацию о файлах, доступных для копирования, а также статистическую и маршрутную информацию об узлах сети. Сервер и после инициализации “помогает” узлам взаимодействовать друг с другом, хотя последние версии клиентских программ требуют наличия сервера только на стадии инициализации.

Если узел “хочет” опубликовать файл, то программа разделяет этот файл на части и создает файл метаданных (torrent file) с информацией о частях файла, местонахождении их и -- опционально -- сервера, который будет поддерживать распространение этого файла. Первый узел, опубликовавший файл, называется распространителем (seedеr). Узел, “желающий” скопировать файл, при копировании сам становится распространителем по принципу: “сколько копирую я, столько разрешаю скопировать с меня”. Узлы, скопировавшие весь файл, становятся распространителями этого файла и вместе с узлами, скопировавшими файл не полностью, дают возможность другим узлам получать части файла из нескольких источников, что ускоряет копирование (см. рис. 2).

В сети, о которой идет речь, используются протоколы Bittorrent и BitTorrent Azureus DHT. Последний основан на модифицированном протоколе Kademlia и используется для обеспечения работы с файлами метаданных, не привязанными к серверам, для децентрализованного поиска ресурса по ID и присваивания ресурсам комментариев и рейтинга. Вместо BitTorrent Azureus DHT некоторые клиенты поддерживают аналогичный ему по функциональности протокол BitTorrent Mainline DHT.

Приведем наиболее распространенные клиентские программы. Это Azureus, BitTorrent_client, µTorrent, BitSpirit, BitComet, BitTornado, MLDonkey.

Gnutella, Gnutella2

Gnutella (www.gnutella.com) -- одна из первых пиринговых сетей, создана в 2000 г. Она функционирует до сих пор, хотя из-за серьезных недостатков алгоритма пользователи в настоящее время предпочитают сеть Gnutella2 (www.gnutella2.com).

При подключении клиент получает от узла, с которым ему удалось соединиться, список из пяти активных узлов; им отсылается запрос на поиск ресурса по ключевому слову. Узлы ищут у себя соответствующие запросу ресурсы и, если не находят их, пересылают запрос активным узлам вверх по “дереву” (топология сети имеет структуру графа типа “дерево”), пока не найдется ресурс или не будет превышено максимальное число шагов. Такой поиск называется размножением запросов (query flooding).

Понятно, что подобная реализация ведет к экспоненциальному росту числа запросов и соответственно на верхних уровнях “дерева” может привести к отказу в обслуживании, что и наблюдалось неоднократно на практике. Разработчики усовершенствовали алгоритм, ввели правила, в соответствии с которыми запросы могут пересылать вверх по “дереву” только определенные узлы -- так называемые выделенные (ultrapeers), остальные узлы (leaves) могут лишь запрашивать последние. Введена также система кеширующих узлов.

В таком виде сеть функционирует и сейчас, хотя недостатки алгоритма и слабые возможности расширяемости ведут к уменьшению ее популярности.

Недостатки протокола Gnutella инициировали разработку принципиально новых алгоритмов поиска маршрутов и ресурсов и привели к созданию группы протоколов DHT (Distributed Hash Tables) -- в частности, протокола Kademlia, который сейчас широко используется в наиболее крупных сетях.

Запросы в сети Gnutella пересылаются по TCP или UDP, копирование файлов осуществляется через протокол HTTP. В последнее время появились расширения для клиентских программ, позволяющие копировать файлы по UDP, делать XML-запросы метаинформации о файлах.

В 2003 г. был создан принципиально новый протокол Gnutella2 и первые поддерживающие его клиенты, которые были обратносовместимы с клиентами Gnutella. В соответствии с ним некоторые узлы становятся концентраторами, остальные же являются обычными узлами (leaves). Каждый обычный узел имеет соединение с одним-двумя концентраторами. А концентратор связан с сотнями обычных узлов и десятками других концентраторов. Каждый узел периодически пересылает концентратору список идентификаторов ключевых слов, по которым можно найти публикуемые данным узлом ресурсы. Идентификаторы сохраняются в общей таблице на концентраторе. Когда узел “хочет” найти ресурс, он посылает запрос по ключевому слову своему концентратору, последний либо находит ресурс в своей таблице и возвращает ID узла, обладающего ресурсом, либо возвращает список других концентраторов, которые узел вновь запрашивает по очереди случайным образом. Такой поиск называется поиском с помощью метода блужданий (random walk).

Примечательной особенностью сети Gnutella2 является возможность размножения информации о файле в сети без копирования самого файла, что очень полезно с точки зрения отслеживания вирусов. Для передаваемых пакетов в сети разработан собственный формат, похожий на XML, гибко реализующий возможность наращивания функциональности сети путем добавления дополнительной служебной информации. Запросы и списки ID ключевых слов пересылаются на концентраторы по UDP.

Вот перечень наиболее распространенных клиентских программ для Gnutella и Gnutella2: Shareaza, Kiwi, Alpha, Morpheus, Gnucleus, Adagio Pocket G2 (Windows Pocket PC), FileScope, iMesh, MLDonkey

EDonkey2000

Сеть EDonkey2000 (www.edonkey.com) появилась в 2000 г. Информация о наличии файлов в ней публикуется клиентом на многочисленных серверах в виде ed2k-ссылок, использующих уникальный ID ресурса. Серверное ПО доступно для установки любым пользователем. Сервер обеспечивает поиск узлов и информации. Сейчас в сети имеется до 200 серверов, обслуживающих одновременно около миллиона клиентов, совместно использующих порядка миллиарда различных файлов. Общее число зарегистрированных пользователей данной сети составляет порядка 10 млн.

Когда клиент сети EDonkey2000 копирует желаемый ресурс, он делает это одновременно из нескольких источников с помощью протокола MFTP (Multisource File Transfer Protocol).

Сейчас информацию о доступных файлах можно получать не только с серверов EDonkey. С 2004 г. в состав сети EDonkey2000 интегрирована сеть Overnet (www.overnet.com) -- полностью децентрализованная сеть, позволяющая осуществлять взаимодействие между узлами без “привязки” к серверам, для чего используется DHT-протокол Kademlia.

Самой распространенной для сети EDonkey2000 клиентской программой с закрытым кодом (версия Pro -- платная) является программа eDonkey, однако существует и клиент с открытым программным кодом -- eMule, который, помимо сети EDonkey2000, может задействовать еще одну сеть P2P -- Kad Network (Kademlia). Клиент eDonkey имеет очень интересное расширение, позволяющее копировать метафайлы .torrent, которые пользуются большим доверием пользователей, а также применять верификационную информацию из этих метафайлов для работы с файлами собственной сети. При этом, если инициализировалась загрузка файла, соответствующего метафайлу, части файла, доступные в собственной сети EDonkey2000, тоже включаются в список источников для загрузки.

Такая интеграция возможностей разных сетей и дополнительная верификация способствовали развитию сети EDonkey2000. В нее стали переходить пользователи других сетей -- например, сети FastTreсk, базирующейся на протоколе FastTreсk, который реализуется, в частности, таким популярным клиентом, как Kazaa (www.kazaa.com/us/index.htm).

Основные уязвимые стороны P2P

Реализация и использование распределенных систем имеют не только плюсы, но и минусы, связанные с особенностями обеспечения безопасности. Получить контроль над столь разветвленной и большой структурой, какой является сеть P2P, или использовать пробелы в реализации протоколов для собственных нужд -- желанная цель для хакеров. К тому же защитить распределенную структуру сложнее, чем централизованный сервер.

Столь огромное количество ресурсов, которое имеется в сетях P2P, тяжело шифровать/дешифровать, поэтому большая часть информации об IP-адресах и ресурсах участников хранится и пересылается в незашифрованном виде, что делает ее доступной для перехвата. При перехвате злоумышленник не только получает собственно информацию, но также узнает и об узлах, на которых она хранится, что тоже опасно.

Только в последнее время в клиентах большинства крупных сетей эта проблема стала решаться путем шифрования заголовков пакетов и идентификационной информации. Появляются клиенты с поддержкой технологии SSL, внедряются специальные средства защиты информации о местонахождении ресурсов и пр.

Серьезная проблема -- распространение “червей” и подделка ID ресурсов с целью их фальсификации. Например, в клиенте Kazaa используется хеш-функция UUHash, которая позволяет быстро находить ID для больших файлов даже на слабых компьютерах, но при этом остается возможность для подделки файлов и записи испорченного файла, имеющего тот же ID.

Чтобы справиться с описанной проблемой, клиенты должны пользоваться надежными хеш-функциями (“деревьями” хеш-функций, если файл копируется по частям), такими, как SHA-1, Whirlpool, Tiger, и только для решения малоответственных задач -- контрольными суммами CRC. Для уменьшения объемов пересылаемых данных и облегчения их шифрования можно применить компрессию. Для защиты от вирусов нужно иметь возможность хранить идентифицирующую метаинформацию о “червях”, как это, в частности, сделано в сети Gnutella2.

Другая проблема -- возможность подделки ID серверов и узлов. При отсутствии механизма проверки подлинности пересылаемых служебных сообщений, например с помощью сертификатов, существует возможность фальсификации сервера или узла (многих узлов). Так как узлы обмениваются информацией, подделка некоторых из них приведет к компрометации всей сети или ее части. Закрытое ПО клиентов и серверов не является решением проблемы, так как есть возможность для реинжиниринга протоколов и программ (reverse engineering).

В настоящее время выделенные серверы и узлы периодически обмениваются между собой верифицирующей информацией и при необходимости добавляют поддельные серверы/узлы в черный список блокировки доступа.

Часть клиентов только копируют чужие файлы, но не предлагают ничего для копирования другим (leechers).

В московских домовых сетях на нескольких активистов, делающих доступными более 100 Гбайт информации, приходится около сотни, выкладывающих менее 1 Гбайт. Для борьбы с этим используются разные методы. В eMule применен метод кредитов: скопировал файл -- кредит уменьшил-ся, позволил скопировать свой файл -- кредит увеличился (xMule -- кредитная система с поощрением распространения редких файлов). В сети eDonkey стимулируется размножение источников, в Bittorrent реализована схема “сколько блоков файла получил, столько отдал” и т.д.

Заключение

Чем ближе мы к настоящему времени, тем более очевидными становятся две тенденции. Во-первых, информации становится больше, а во-вторых, способы ее хранения становятся все менее износостойкими. Так, например, бумажные книги, в отличие от написанных на пергаменте, живут всего несколько сотен лет, а, например, современные фотографии на серебросодержащей бумаге способны продержаться, по словам производителей, до 100 лет при правильных условиях хранения.

Так же с ростом количества информации актуальной проблемой становится её поиск.

Интернет-технологии в использовании информационных ресурсов идут вперед семимильными шагами, и это значительно облегчает обмен и поиск информации по необходимой теме.

В сети Интернет хранится очень большой объем информации по различной тематике в виде статей в электронных газетах, отчетов, справочников, графических изображений, аудио- и видео-файлов и многого другого. Путешествуя по Интернету, осуществляя интернет-серфинг, как это теперь называется, можно найти и скачать любую информацию, не выходя из дома, офиса или находясь в дороге. Для этой цели нужен компьютер с доступом к интернету с установленной специальной программой - браузером для просмотра содержимого Web-страниц. Или мобильное устройство, смартфон, планшет и прочие гаджеты, подключенные к интернету и располагающие мобильной версией браузера OperaMini, Safari либо иными специализированными для других платформ (например, андроида или Apple iOS) средствами доступа к сети.