Стратегия поиска и обмена информацией в Internet

Размещено на http://www.allbest.ru/

Основные данные о работе

Версия шаблона	1.1
Филиал	Севастополь
Вид работы	Электронная письменная предзащита
Название дисциплины
Тема	Стратегия поиска и обмена информацией в Internet
Фамилия выпускника	Дацко
Имя выпускника	Денис
Отчество выпускника	Олегович
№ контракта	21700060601004

Содержание

Введение

1. Обзор стратегий поиска информации в Internet

1.1 Поисковые каталоги

1.2 Поисковые машины

2. Поисковые системы

2.1 Сравнительный обзор поисковых систем

2.2 Поисковые системы Google

3. Обмен информации в Internet

3.1 Программное обеспечение для обмена информации

3.2 Протокол обмена данными p2p

Заключение

Глоссарий

Список использованных источников

Приложения

Введение

Необходимость обмена информацией, сохранения письменных свидетельств о своей жизни и т. п. существовала у человека всегда. За всю историю человечества было перепробовано множество носителей информации. Так как носитель обладает рядом параметров, эволюция носителя информации определялась тем, какие требования к нему предъявлялись.

Широкое внедрение современных компьютерных и телекоммуникационных технологий, и особенно технологий и информационных ресурсов сети Интернет привело к качественным изменениям в организации информационных ресурсов, их хранении и обеспечении доступа к ним. Скорость поиска информации в электронном варианте возросла во много раз.

Всемирная сеть очень важна и полезна практически для любого! Каждый пользователь Интернета может найти в нем массу разнообразной и интереснейшей информации, а также использовать все богатейшие возможности сети. Для меня решающими обстоятельствами в выборе темы «Обзор современных поисковых систем в интернете», для своей квалификационной работы, стала, во-первых, достаточная известность мне этой темы, в силу частого посещения мной всемирной сети, а также актуальность темы на сегодняшний день. Ресурсы Интернета давно перестали быть просто игрушкой, превратившись в незаменимый инструмент для повседневной работы людей многих профессий. Быстрый рост информации в сети сделали его океаном разнообразнейших данных, важность которых растет пропорционально их объему. По оценке экспертов объем информации, передаваемой по каналам Интернет, удваивается каждые полгода. Ежедневно в сети появляются миллионы новых документов, и естественно, что без систем поиска они в подавляющем своем большинстве остались бы не востребованными, вообще не были бы не кем найдены, и все то огромное количество информации оказалось бы никому не нужным. Возникла необходимость создания таких средств, которые позволили бы легко ориентироваться в информационных ресурсах глобальных сетей, быстро и надежно находить нужные сведения. В интернете появились специальные поисковые средства. Еще несколько лет назад бытовало такое мнение: в Интернете есть все, но найти там ничего невозможно. Однако с появлением и быстрым развитием поисковых каталогов, поисковых машин, и всевозможных поисковых программ ситуация изменилась, и теперь в Сети срочно понадобившуюся информацию иногда можно найти быстрее, чем в книге, лежащей на столе.

Наиболее популярным и используемым способом поиска в Интернете является использование поисковых систем? Поисковая система - портал, осуществляющий поиск, сбор и сортировку информации в сети Интернет. Поисковые системы это инструмент, позволяющий пользователю глобальной сети в кратчайшие сроки найти интересующую его информацию.

Первоочередная задача любой поисковой системы - доставлять людям именно ту информацию, которую они ищут.

Получая результат, пользователь оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Основная часть

Обзор стратегий поиска информации в Internet

Одной из наиболее распространенных и одновременно наиболее сложных задач, с которыми приходится сталкиваться в Сети любому пользователю является поиск информации в интернете. Причина сложностей, возникающих при информационном поиске в Интернет, определяется двумя главными факторами. Во-первых, число источников в Сети чрезвычайно велико. Во-вторых, массив информации в Сети не только колоссален по объему, но еще и крайне динамичен.

Необходимость и важность проблемы информационного поиска привела к образованию в самом Интернет целой отрасли, задача которой заключается именно в оказании помощи пользователю в его навигации в киберпространстве. Составляют эту отрасль специальные поисковые службы или сервисы. Условно их можно разделить на кaтaлoги (dirесtоriеs) и пoиcкoвыe мaшины (sеаrсh еnginеs).

Эти разновидности внешне очень похожи, поскольку каждый каталог, как правило, обладает собственной поисковой машиной, а каждая поисковая машина - собственным каталогом. Однако принципы их работы базируются на абсолютно разных подходах и технологиях. Каждый из этих инструментов имеет определенные преимущества, а основная разница между ними заключается в участии/неучастии человека. Поисковые машины запускают в Web программных «пауков» (spiders), которые путешествуют со страницы на страницу и на каждой индексируют ее полный текст. Каталоги же формируются людьми-редакторами, которые прочитывают страницы, отсеивают неподходящие и классифицируют узлы по темам. При этом каждая разновидность поисковых сервисов применяется для решения определенного типа задач. Правильным выбором инструмента во многом определяется стратегия поисковой деятельности и, в конечном итоге, результат разысканий. Абрамзон Михаил.: Яндекс для всех. - СПБ.: БХВ-Петербург, 2007г. - 544стр.

Приступая к информационному поиску в Интернет, следует всегда помнить несколько основных моментов. Прежде всего, никакие средства навигации - каталоги или поисковые машины - не охватывают всего текущего информационного массива Интернет. По некоторым оценкам, даже такие признанные лидеры сетевого поиска как Google, отражают не более трети совокупного содержания Сети. Причина этого - постоянный колоссальный прирост объемов информации в Интернет, который, несмотря на все усилия навигационных служб, содержит огромное число белых пятен.

Помимо быстрого роста и изменения местоположения документов, большинство поисковых систем имеют внутренние ограничения на отражение материалов одного сайта и на объем индексируемой части страницы. Программы-роботы зачастую не идут дальше определенной директории, что также сокращает число отраженных материалов.

В тоже время многие крупные сайты имеют собственную систему поиска, которая отражает весь их информационный массив. Выявив такие сервера с помощью каталогов, можно провести более детальное их обследование, использовав локальный поисковый механизм. Таким образом, для достижения наиболее полных результатов следует применять каталоги и поисковые машины в сочетании друг с другом.

Существует также ряд общих требований к поисковой деятельности, соблюдение которых повышает эффективность и экономит время, затрачиваемое на разыскание данных.

1. Для поиска материалов по крайне узкой специфической тематике стоит начинать с каталогов.

2. Для получения более полных результатов по сложному запросу поиск рекомендуется проводить отдельно в каждой поисковой машине. Поисковые системы имеют сильный разнос в отражении документов, и их последовательное использование в значительной степени расширяет охват материала.

3. При разыскании документов об отдельной стране или на конкретном языке следует отдать предпочтение национальным/региональным поисковым средствам.

4. Формировать запрос надо максимально точно, используя все возможности механизма составления запроса. Затраты времени на детальное составление поискового предписания окупаются при анализе результатов поиска. При точном формировании запроса процент информационного шума будет намного ниже.

При систематическом обращении к поисковым средствам, необходимо постоянно следить за новостями, относящимися к поисковому сервису. В окружающем нас мире вообще, а в цифровом мире тем более, нет ничего вечного. Каждая поисковая система переживает периоды зарождения, расцвета и упадка. В этом случае следует перейти на использование новых поисковых инструментов, обладающих большей эффективностью.

Так же стоит описать проблемы, с которыми сталкивается пользователь при поиске информации.

Наполнение базы данных

Любая поисковая машина или каталог регламентируют свою работу по сбору данных из Сети. Очевидно, что формирование поискового образа информационного объекта, или, другими словами, его "отражения" в "зеркале" поисковой системы неизбежно связано с некоторыми искажениями. По сути главным при этом становится вопрос о том алгоритме, на основе которого создается поисковый образ. Объектом-оригиналом при этом может стать как Web-страница, так и файл "закрытого" формата, который не доступен для проникновения сканирующих программ ИПС, например, видео или аудио-запись. Определенный шаблон обычно используется и при построении поискового образа для физического лица или компании в момент их регистрации в поисковой службе. Отсечение, фильтрация информации от оригинала свойственны всем без исключения ИПС, в том числе и полнотекстовым системам глобального охвата и самого общего назначения.

Фильтрация может регламентироваться как на техническом, так и на лингвистическом уровне, однако задача у нее одна -при минимальных материальных затратах добиться реальной эффективности поиска.

В связи с этим на практике часто возникает вопрос - что становится причиной неудачного поиска: отсутствие ли в Сети с высокой вероятностью на данный момент времени информации, релевантной запросу, или то, что эта информация потенциально не доступна для рассматриваемой поисковой системы. "Подводным камнем" этот аспект становится тогда, когда получен ненулевой отклик на поисковый запрос, а доля недополученных данных оказывается неконтролируемой. Некоторый свет на особенности работы глобальных ИПС проливает сравнительный анализ их возможностей, который был приведен в прошлом выпуске. Однако, если детали алгоритма фильтрации не известны, наиболее чувствительные потери данных возникают именно при использовании специализированных поисковых служб.

Рассмотрим несколько примеров. Немало специализированных систем имеют собственный интерфейс для ввода поисковых запросов. Тем не менее можно считать веянием времени, когда многие подобные сервисы интегрируются в шаблоны глобальных ИПС в виде фильтров. Такими возможностями всегда был известен HotBot, недавно соответствующие элементы были внедрены на AltaVista, есть они и на Еxcite.

Отклик поисковой системы

Самая захватывающая интрига Сети, связана с особенностями работы алгоритма, ранжирующего результаты в списке отклика. Эти сведения обычно не предаются широкой огласке, но они крайне необходимы Web-мастерам, продвигающим в суровой конкурентной борьбе свои узлы через поисковые системы Интернета. Попасть в первые несколько десятков записей из списка отклика на ИПС по часто повторяющимся в Сети запросам - значит обеспечить свою доступность для потенциальных клиентов. Кутовенко Алексей .: Профессиональный поиск в Интернете. - М.: Питер, 2011г. - 256стр.

Тем не менее и при решении поисковых задач во время работы со списком отклика из-за недостатка информации также могут возникать некоторые проблемы.

В предыдущем выпуске мы говорили о том, что простые тестовые запросы, позволяют с самого начала работы с ИПС понять, насколько широко в индексе представлена искомая информация. Однако не всякая ИПС дает полное число документов, содержащихся в отклике на запрос (например, Lycos, не дает). В какой-то мере это позволяет системе сохранить свое лицо, избежав сравнения с гигантами - Northern Light, AltaVista или HotBot. При решении профессиональных поисковых задач к таким сервисам следует обращаться в последнюю очередь.

Обычно в списке отклика появляется информация, которая включает в себя заголовок страницы, адрес и аннотацию. Аннотация берется либо из специального META-элемента, задаваемого автором документа, либо в ее качестве выступают несколько первых нередактируемых строк текста, взятых со страницы. В некоторых случаях указывается язык документа. Выше мы уже обратили внимание на проколы алгоритма AltaVista, связанные с идентификацией языка, и подобные случаи не редкость и на других ИПС.

Другая обескураживающая неприятность - это возможное отсутствие в найденных документах тех самых ключевых слов, по которым проводился поиск. Причиной подобного явления, если не считать незарегистрированное обновление страницы без изменения адреса, оказывается тот факт, что ключевые слова были заданы автором в специальном поле - элементе META. Оно доступно для сканирования роботом ИПС, но не отображается на странице. В этом случае путем просмотра META-элементов HTML-источника у вас есть возможность убедиться в недобросовестности автора: несоответствие ключевых слов содержанию документа - это прямая дезинформация.

Еще одна проблема вообще неочевидна для единичного пользователя. Речь идет о том, как поисковый сервер обрабатывает запросы в случае, когда их поступает слишком много, т. е. в режиме переполнения. Так, автору статьи не раз приходилось сталкиваться с тем, что, например на AltaVista, при одинаковом и практически одновременном тестовом запросе с 10-15 компьютеров, количество результатов, появляющихся в отклике для каждого пользователя системы иногда может отличаться на десятки тысяч. В действительности, попадая в режим перегрузки, поисковый сервер не имеет большого выбора, а именно: либо он отклоняет запрос, либо обслуживает его по "сокращенному" варианту. Последний вполне может предполагать предоставление лишь части удовлетворяющих запросу данных. Выход очевиден: проверять достоверность отклика ИПС многократно и в разное время суток. Аксак Валерий Александрович.: Поиск в Интернет и полезные ресурсы рунета. Просто как дважды два. - М.: ЭКСМО, 2007г. - 175стр.

1.1 Поисковые каталоги

система поисковый internet

Это наиболее простая Интернет-услуга. Поисковые каталоги имеют древовидную структуру и больше напоминают систематические каталоги обычных библиотек. При открытии каталога, на титульную его часть, вынесены основные его разделы: работа, дом, дача, машины, спорт, здоровье, новости, развлечения, и так далее. Система построения каталогов основана на принципе: от простого к сложному. Каталоги имеют иерархическую структуру, то есть пользователь, входя в любой раздел каталога, последовательно видит все более и более дробную его детализацию. Бoльшинcтвo кaтaлoгoв сoздaются путeм дoбaвлeния aвтopaми wеb-cтpaниц cвoeгo сaйтa к сущecтвующeму cпиcку ccылoк.

Поисковые кaтaлoги coздaются вpучную, то eсть инфopмaция в них зaнoсится людьми. Высококвалифицированные редакторы лично просматривают информационное пространство WWW, отбирают то, что по их мнению представляет общественный интерес, и заносят в каталог. Благодаря "человеческому" фактору, информация в каталогах организована достаточно четко, что позволяет в определенных случаях достичь требуемого результата быстрее, чем при помощи поисковых машин. Основной проблемой поисковых каталогов является чрезвычайно низкий коэффициент охвата ресурсов WWW. В каталоги попадают лишь лучшие страницы. Поэтому найти достаточно специфическую информацию в каталоге зачастую очень сложно.

Кроме основных разделов многие каталоги имеют дополнительные, в которых сайты классифицированы по другому основанию: региону, стране; алфавиту; популярности.

Особенность каталогов в том, что они более эффективны при поиске подборок информации на определенную общую тему, например, «профсоюзное движение», «редакции газет Урала», а не при поиске ответа на конкретный вопрос!

Каталоги могут быть:

специализированными и включать только ссылки на сайты определенной, узкой тематики. Подобные каталоги удобны для поиска информации по конкретной тематике. Пример специализированного каталога: «Русский медицинский сервер» dir.rusmedserv.com <http://www.dir.rusmedserv.com/>.

универсальными, которые позволяют производить поиск по различным темам. Информация сгруппирована по разделам. Каждый раздел имеет несколько подразделов. Например, www.ru <http://www.ru/>, referal.ru <http://referal.ru/>, www.freeedom.ru <http://www.freeedom.ru/>.

Созданием и актуализацией каталогов глобального масштаба в большинстве случаев занимаются информационные компании, прежде всего американские. Практически все каталоги декларируют всемирный охват материала, однако, практика показывает, что основной упор делается все-таки на североамериканские сайты. Естественно, что обращение к глобальным каталогам ресурсов требует минимального владения английским языком.! (http://dir.yahoo.com/)! является одним из самых первых, надежных и авторитетных каталогов всемирной паутины. У каталога два основных достоинства: - внушительный объем (на сегодня отражено порядка 2 миллионов сайтов в более чем 25 тысячах категорий) и научность и логичность используемой схемы классификации. Основной ряд Yahoo! включает 14 категорий, в числе которых: бизнес и экономика, компьютеры и интернет, новости и сми, развлечения, искусство и гуманитарные науки, образование, политика, здравоохранение, естественные науки, общественные науки и так далее. Использование«Yahoo!», как и любых других каталогов, наиболее эффективно для ознакомления с наполнением Интернет по различным областям деятельности, при размытости критериев пoиcкa - кoгдa нeизвecтнo пo кaким ключeвым cлoвaм ocущecтвлять пoиcк. «Yahoo!»- огромный транснациональный проект. В основном каталоге учитываются, главным образом, англоязычные ресурсы, представленные по всему миру. Крупник А.Б.: Поиск в Интернете. Самоучитель. 3-е издание. - СПБ.: Питер, 2006г. - 268стр.

Для разысканий по отдельным странам выделены «Local Yahoos!» - региональные каталоги, обладающие иерархической структурой, аналогичной главному справочнику, но отражающие ресурсы в основном отдельных стран, большинство которых представлено на национальных языках. Учитывая гигантскую популярность и, следовательно, посещаемость «Yahoo!», в последние несколько лет его владельцы уделяют все большее внимание побочным сервисам, среди которых электронные магазины, аукционы, службы новостей, агентства путешествий и тому подобное.

Каталог ресурсов Интернет, являющийся на сегодня одним из наиболее полных в мире - порядка 4,5 миллионов сайтов в более чем 590 тысячах категорий. Главной особенностью проекта является его некоммерческая направленность: каталог практически полностью формируется силами добровольцев из числа пользователей Сети, дополняются каталоги экспертами в различных областях знания. В этом одновременно сила и слабость проекта, поскольку степень и качество наполнения разных категорий каталога полностью определяются наличием, квалификацией и степенью ответственности редактора конкретной рубрики. Иерархическая структура Open Directory достаточно научна и логична. В каждой рубрике, помимо англоязычной части, как правило, представлены варианты каталога на нескольких десятках национальных языков, в числе которых и русский. Все рубрики подготовлены региональными редакторами из числа жителей соответствующих стран. В настоящее время Open Directory является динамично развивающимся проектом, который перехватывает значительную долю популярности у коммерциализировавшегося «Yahoo!». Усовершенствованный вариант Open Directory с успехом используется в качестве каталога в поисковой системе Google.(http://www.about.com/)

Каталог, поддерживаемый экспертами различных областей знания. Основная отличительная черта About - принципиальная ориентация на отражение не всех, а лишь наиболее ценных и заслуживающих доверия ресурсов. Основной ряд классификации включает 24 деления, которые выделены в соответствии с интересами среднестатистических пользователей Интернет. Среди них автомобили, помощь в выполнение домашних заданий, хобби и игры, деньги, путешествия и так далее. Внутри категорий подрубрики выделяются в виде перечней в правой стороне экрана. Очень квалифицированно составлены аннотации включенных сайтов. Главным недостатком About является огромное количество рекламы, как встроенной в интерфейс, так и самопроизвольно открывающейся в новых окнах, а также практически стопроцентная ориентация на североамериканские ресурсы. Александров Е. Л.: Интернет - легко и просто! Популярный самоучитель. - СПб.: Питер, 2005. - 208 стр.

В большинстве стран мира существует множество собственных каталогов ресурсов, которые гораздо полнее отражают национальный информационный массив, нежели глобальные каталоги. В России на сегодняшний день существует несколько подобных источников, ни один из которых пока не отличается высоким качеством.

Апopт (http://aport.ru/)

Нa ceгoдня этo eдинcтвeнный профессионально пoддepживaeмый oтeчecтвeнный кaтaлoг Интepнeт-pecуpcoв. Дaнный кaтaлoг являeтcя cocтaвнoй чacтью oднoимeннoгo пopтaлa, кoтopый тaкжe включaeт и пoиcкoвую мaшину. В Апopт учитываются не только российские или содержательно относящиеся к России ресурсы, но и полностью иноязычные зарубежные ресурсы, причина включения которых абсолютно непонятна. Каждая ссылка каталога cнaбжeнa aннoтaциeй. К сервисным функциям Апорт относится возможность сортировки ссылок в рубриках по дате поступления, в алфавите названий, по индексу цитирования или лиге. Каталог обладает хорошей возможностью непосредственного поиска, который можно осуществлять как в каталоге в целом, так и в отдельных его разделах. К числу главных недостатков справочника Апорт относится низкая скорость актуализации сведений. В ряде случаев до четверти ссылок из разделов уже устарели.

Все прочие российские каталоги ресурсов Интернет демонстрируют еще менее качественный уровень работы. К числу каталогов, в которых иногда можно обнаружить интересные сведения, относятся List.ru (list.,mail.ru), Wеblist (Weblist.ru или http://www.yahoo.ru/).

1.2 Поисковые машины

Принцип работы, преимущества и недостатки поисковых машин

Наряду с кaтaлoгaми (и дaжe гоpaздo чaщe) иcпoльзуютcя пoиcкoвыe мaшины. Это уже более современный и удобный способ навигации и поиска в Сети. В отличие от каталогов, поисковая система - это полностью автоматизированная структура.

К преимуществам поисковых машин следует отнести: малое количество в результатах поиска устаревших ссылок; намного большее количество Web-узлов, по которым производится поиск; более высокая скорость поиска; высокая релевантность поиска; наличие дополнительных сервисных функций, облегчающих работу пользователя, например, возможность перевода текста документа на иностранный язык, способность выделять все документы с определенного сайта, сужение критериев в ходе поиска, нахождение документов «по образцу» и так далее.

В основу работы поисковых машин заложены совершенно иные технологические принципы. Задача поисковых машин - обеспечивать детальное разыскание информации в электронной вселенной, что может быть достигнуто только за счет учета (индексирования) всего содержания максимально возможного числа web-страниц. В отличие от каталогов, поисковые машины функционируют в автоматизированном режиме и имеют одинаковый принцип действия. Поисковые системы состоят из двух базовых компонентов. Первый компонент представляет собой программу-робот, задача которого путешествовать с сервера на сервер, находить там новые или изменившиеся документы и скачивать их на главный компьютер системы. При этом робот, просматривая содержимое документа, находит новые ссылки, как на другие документы данного сервера, так и на внешние сайты. Программа самостоятельно направляется по указанным ссылкам, находит новые документы и ссылки в них, после чего процесс повторяется вновь, напоминая хорошо известный в библиографии «метод снежного кома». Выявленные документы обрабатываются (индексируются) вторым компонентом поисковой системы. При этом, как правило, учитывается все содержание страницы, включая текст, иллюстрации, аудио и видеофайлы. Индексации подвергаются все слова в документе, что как раз и дает возможность использовать поисковые системы для детального поиска по самой узкой тематике. Образуемые гигантские индексные файлы, хранящие информацию о том, какое слово, сколько раз, в каком документе и на каком сервере употребляется, и cocтaвляют бaзу дaнных, к кoтopoй происходит обращение пользователей, вводящих в строку запроса сочетания ключевых слов. Браун Маркус.: Методы поиск информации в Интернете. - М.: Новый Издательский дом, 2005г. - 136стр.

Выдача результатов осуществляется с помощью специального модуля, который производит интеллектуальное ранжирование результатов. При этом берется в расчет местоположение термина в документе (название, заголовок, основной текст), частота его повторения, процентное соотношение искомого термина к остальному тексту cтpaницы, a тaкжe чиcлo и aвтopитeтнocть внeшних ccылoк нa дaнную cтpаницу c дpугих caйтoв.

Однако у поисковых машин существуют некоторые недостатки: ограниченная область поиска. Если какой - либо сайт не был внесен в бaзу дaнных пoиcкoвoй мaшины, oн для неё не «существует», и его документы в результаты поиска попасть не могут; относительная сложность использования. Для того чтобы составленный запрос на поиск точно соответствовал тому, что именно требуется найти, нужно хотя бы немного представлять, как работает поисковая машина, и уметь использовать простейшие логические операторы. Поисковые каталоги в этом смысле проще и привычнее; менее наглядная форма представления результатов запроса. Каталог выдает название сайта с его краткой аннотацией и другой полезной информацией. Результаты работы пoиcкoвoй мaшины мeнee нaглядны; пocкoльку бaзу дaнных пoиcкoвoй мaшины пополняют программы - роботы, нечестные владельцы рекламных сайтов могут их «обмануть», из-за чего релевантность поиска может быть значительно снижена.

Поисковые машины (sеаrch еnginуs) более распространены чем каталоги, и число их, составляющее сегодня нескольких десятков, продолжает неуклонно увеличиваться. Профессиональная работа с ними требует специальных нaвыкoв, тaк кaк пpocтoй ввoд иcкoмoгo тepминa в пoиcкoвую cтpoку, cкopee вceгo, пpивeдeт к пoлучeнию cпиcка из coтeн тыcяч дoкумeнтoв, coдepжaщих дaннoe пoнятиe, что практически равносильно нулевому результату.(http://www.gogle.com/)

Данная поисковая машина запущена в 1998 году. В настоящий момент эта система пo вceм знaчимым пapaмeтpaм являeтcя eдинoличным лидepoм cpeди глoбaльных пoиcкoвых cиcтeм. Google является одной из самых популярных поисковых систем. Свое название эта поисковая система получила от слова «Googol», которое обозначает число, записанное как единица со 100 нулями. Google обладает поддоменами для большого количества стран - для России, например, это www.google.com.ru.

Поисковая машина Google найдет по запросу пользователя не только гипертекстовые документы, но и файлы формата doc, pdf, mp3 и так далее. Google может похвастаться своим качественным «движком», который осуществляет поиск в Интернете по запросам пользователей. Релевантность - степень соответствия найденных результатов поиска запросу - у Google часто выше, чем у российских поисковиков, например Яндекса. Именно по этой причине все больше пользователей Интернета начинают использовать Google в качестве основной поисковой системы. Поисковик Google использует алгоритм ссылочного ранжирования PageRank, который определяет авторитетность сайта при формировании списка результатов поиска. PageRank схож с индексом цитирования у Яндекса и зависит от качества и количества ссылок на этот сайт. Благодаря PageRank пользователи находят в Интернете именно то, что ищут.

Поисковая машина Google копирует в свою базу все страницы (кэширует), благодаря чему пользователь может просмотреть страницу, открыв ее из кэша Google, а не из первоисточника, что позволяет значительно уменьшить время поиска. Особенностью Google является и то, что поисковик индексирует полностью все страницы. Также стоит отметить возможность Google искать изображения различного качества, размера, формата. Введя в строку поиска арифметическое выражение, можно получить верный ответ от Google. Чтобы воспользоваться поиском Google необязательно заходить на www.google.com.ru - можно установить программу Google Toolbar, которая создаст в браузере панель инструментов с поисковой строкой, в которой можно ввести свой запрос.

Помимо перечисленных глобальных поисковых систем, в некоторых случаях, скорее по инерции, продолжают использоваться устаревшие поисковые сервисы, среди которых наиболее заметны HotBot (http://www.hotbot.com/) и Excite (http://www.excite.com/). Малый объем их индeкcных фaйлoв нa ceгoдня не позволяет полагаться на предоставляемые ими сведения. "Молодая" поисковая система как Ask (http://www.ask.com/) несмотря на внушительный объем проиндексированных документов, пока не представляет особого интереса. Ask, к примеру, не способн осуществлять поиск документов на русском языке.

2 Поисковые системы

Поисковая система - это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете - Яндекс, Mail.Ru, Рамблер.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Поисковые системы уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас - это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса. Гусев В.С. Яндекс.: Эффективный поиск. - М.: Вильямс, 2007г. -

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…Данный мастер-класс призван дать ответы на эти вопросы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов в поисковых системах. Об этом - отдельный мастер-класс. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегалович.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы - доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Обозначим главные характеристики поиска:

ПОЛНОТА.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

ТОЧНОСТЬ.

Еще одна основная функция поисковой системы - точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

АКТУАЛЬНОСТЬ.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

НАГЛЯДНОСТЬ.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

2.1 Сравнительный обзор поисковых систем

На сегодняшний день всемирная сеть Интернет насчитывает огромное множество поисковых систем во всех странах мира, из них всех можно выделить несколько самых крупных и пользующихся наибольшей популярностью среди пользователей:

Google

Лидер поисковых машин Интернета, Google занимает более 60 % мирового рынка, а значит, шесть из десяти находящихся в сети людей обращаются к его странице в поисках информации в Интернете. Сейчас регистрирует ежедневно около 50 миллионов поисковых запросов и индексирует более 8 миллиардов веб-страниц.

Была разработана в 1998 выпускниками Стэндфордского университета Сергеем Брином и Лари Пейджем, которые применили для ранжирования документов технологию PageRank, где одним из ключевых моментов является определение "авторитетности" конкретного документа на основе информации о документах, ссылающихся на него. Говоря общими словами, чем больше документов ссылается на данный документ и чем они авторитетнее, тем более авторитетным данный документ становится. Количественное значение авторитетности документа (другими словами, взвешенное количество ссылок или PageRank) относится к так называемым статическим факторам (то есть независящим от конкретного запроса) и учитывается при определении релевантности документа конкретному запросу как весовой коэффициент. Наряду с этим Google применил для определения релевантности документа не только текст самого документа, но и текст ссылок на него. Эта технология позволила ему обеспечить выдачу довольно релевантных результатов на фоне других поисковиков. Довольно быстро Google стал лидировать в различных опросах по такому показателю, как удовлетворенность пользователей результатами поиска.

Google осуществляет поиск по документам на более чем 35 языках, в том числе русском. В настоящее время многие порталы и специализированные сайты предоставляют услуги поиска информации в Интернете на базе Google, что делает задачу успешного позиционирования сайтов в Google еще более важной. Google проводит переиндексацию своей поисковой базы примерно раз в четыре недели. Во время этого усовершенствования, неофициально называемого Google dance, происходит обновление базы на основе информации, собранной роботами за время, прошедшее с предыдущего усовершенствования, и перерасчет значений PageRank документов. Также существует определенное количество документов с достаточно большим значением PageRank, информация о которых в поисковой базе обновляется ежедневно, однако значение PageRank пересчитывается только во время Google dance. Нормированное значение PageRank для конкретного документа, загруженного в браузер, можно узнать, скачав и установив Google ToolBar - специальную панель инструментов для работы с этим поисковиком. Не смотря на то, что в поисковике имеется форма для бесплатного добавления страницы в базу, Google предпочитает сам находить новые документы по ссылкам с уже известных и не будет Ющук Е.: Интернет-разведка. Руководство к действию. - М.: Вершина, 2007г. - 256стр.

индексировать добавленную через форму страницу, если в его базе не найдется ни одной страницы, ссылающейся на нее.

Yahoo

Одна из самых первых Поисковых систем (создана Дэвидом Фило и Джерри Янгом в апреле 1994года) по сей день остается и самой популярной из них, традиционно сочетая поиск, как по ключевым словам, так и с помощью иерархического дерева разделов.

Нынешнее развитие Yahoo можно определить как движение в он-лайн, интерактивность. Yahoo быстро осваивает эту область Интернет-услуг, но возникает одна проблема: ядро Yahoo! не было на это рассчитано. Не была в 1994 году заложено в него "онлайновая" составляющая, ее "приклеил" Тим Кугл несколькими годами позже. Естественно возникает угроза хакерских атак через эту незащищенную область.

Одно из новшеств поисковой системы Yahoo - панель задач для браузера Firefox,. Этот инструмент помогает пользоваться поиском Yahoo, не заходя на официальный сайт, а лишь используя функциональные кнопки панели.

1 сентября 2005 года поисковик Yahoo, которому принадлежит более 200 миллионов адресов электронной почты по всему миру, анонсировал запуск новой системы поиска текстов, фотографий и других документов, содержащихся в письмах.

Необходимость такого нововведения возникла вслед за увеличением объёма хранимых данных, ведь некоторые пользователи создают целые почтовые архивы. Подгоняемый конкурентом Google и его почтовым сервисом Gmail, Yahoo для хранения почты предлагает отныне 1 гигабайт бесплатного места, или 2 гигабайта по годовому абонементу. "Как только вы получаете возможность хранить больше информации, вам необходимы и расширенные поисковые возможности", - объясняет Эрик Петерсон, аналитик компании Jupiter Research.

Пользователи поисковой системы Yahoo, в свою очередь, смогут теперь использовать возможности детализированного поиска слов в названии или непосредственно в тексте письма, а также в присоединенных документах, не открывая их. Результат поиска отражается в трёх строках с указанием всех атрибутов. На панели справа отображаются все похожие документы. Найденные фотографии выводятся на экран в уменьшенном виде, что значительно облегчает поиск. Система также учитывает орфографические ошибки, позволяя искать слова лишь по первым буквам.

Для начала Yahoo планирует предложить новую систему небольшому числу американских пользователей, а затем распространить её по всему миру. Со стороны клиентов это не потребует никаких дополнительных усилий. "Когда услуга станет, доступна, в левом верхнем углу страницы вашего почтового ящика появится соответствующий баннер", - обещает компания Yahoo.

По данным comScore Media Metrix на июль этого года, домену Yahoo принадлежит 219 миллионов адресов электронной почты, что составляет 31,5% мирового рынка, уступая лишь Microsoft с 221 миллионом пользователей сервиса Hotmail (35,5% рынка).

Yandex

Яндекс - На сегодня наиболее популярная поисковая система, ежемесячно к ней обращаются более 35 миллионов пользователей Русскоязычной части Интернета. Начала свою работу во второй половине 1997 года учитывая морфологию русского языка. История компании "Яндекс" началась в 1990 году с разработки поискового программного обеспечения в компании "Аркадия". За два года работ были созданы две информационно-поисковые системы - Международная Классификация Изобретений, 4 и 5 редакция, а также Классификатор Товаров и Услуг. Обе системы работали локально под DOS и позволяли проводить поиск, выбирая слова из заданного словаря, с использованием стандартных логических операторов. В1993 году "Аркадия" стала подразделением компании CompTek. В 1993-1994 годы программные технологии были существенно усовершенствованы благодаря сотрудничеству с лабораторией Ю. Д. Апресяна (Институт Проблем Передачи Информации РАН). В частности, словарь, обеспечивающий поиск с учетом морфологии русского языка, занимал всего 300Кб, то есть целиком грузился в оперативную память и работал очень быстро. С этого момента пользователь мог задавать в запросе любые формы слов.

Слово Яндекс придумал за несколько лет до этого один из основных и старейших разработчиков поискового механизма. "Яndex" означает "Языковой index", или, если по-английски, "Yandex" - "Yet Another indexer". За 4 года публичного существования Яndex возникли и другие толкования. Например, если в слове "Index" перевести с английского первую букву ("I" - "Я"), получится "Яndex". Гусев В.С. Яндекс. Эффективный поиск - Москва, Санкт - Петербург, Киев.: Диалектика,2007г.

В начале 1996 года был разработан алгоритм построения гипотез. Отныне морфологический разбор перестал быть привязан к словарю - если какого-либо слова в словаре нет, то находятся наиболее похожие на него словарные слова и по ним строится модель словоизменения. В это время Интернет в России только начинался. Еще через полгода стало очевидно, что ничто не отделяет CompTek от создания собственной глобальной поисковой машины. Объем Рунета составлял тогда всего несколько гигабайт. Осенью 1997 года был открыт Yandex.Ru.

Помимо поисковой системы, сегодня Яндекс - огромный портал с целым набором широко используемых сервисов, такими как каталог, Яндекс. деньги, и другие. Официально поисковая машина Yandex.Ru была анонсирована 23 сентября 1997 года на выставке Softool. Основными отличительными чертами Yandex.Ru на тот момент были проверка уникальности документов (исключение копий в разных кодировках), а также ключевые свойства поискового ядра Яндекс, а именно: учет морфологии русского языка (в том числе и поиск по точной словоформе), поиск с учетом расстояния (в том числе в пределах абзаца, точное словосочетание), и тщательно разработанный алгоритм оценки релевантности (соответствия ответа запросу), учитывающий не только количество слов запроса, найденных в тексте, но и "контрастность" слова (его относительную частоту для данного документа), расстояние между словами, и положение слова в документе. Сегодня Яндекс имеет внутри мощный поисковый робот, позволяющий производить поиск по самым различным критериям.

Rambler

Rambler - Старейшая поисковая система российского Интернет, запущена в 1996 году, на сегодня - вторая по популярности с обращением более 25 миллионов посетителей в месяц. Помимо поисковой системы, сегодня Рамблер - один из крупнейших порталов Русскоязычной части Интернета с большим набором широко известных сервисов, таких как каталог Рамблер, Рамблер-почта, Рамблер-ICQ или Рамблер-ТВ. По сути сегодня Рамблер - больше, чем просто поисковая система и набор сервисов, это крупная медиагруппа. Поисковая машина "Рамблер" начала работу в октябре 1996 года, на стартовом этапе содержала всего 100 тысяч документов. "Рамблер" не был первой отечественной поисковой системой, однако в первый год своего существования (когда весь русский веб с приемлемой степенью правдоподобия индексировался "Рамблером", "Апортом", "Русской поисковой машиной", а также шведской и калифорнийской AltaVista) вынес основной груз поисковых запросов. Вторая версия "Рамблера" начала разрабатываться летом 2000 года, в марте нынешнего года приняла достаточно законченные очертания. В нее были введены функции, давно уже имевшиеся в конкурирующих системах. Она учитывает координаты слов, обучена строгой и нечеткой морфологии, связывает поиск с каталогом, в качестве которого используется Top100 (http://top100.rambler.ru/), группирует результаты поиска по сайтам, ищет по числам. Достаточно удачная архитектура продукта позволяет "Рамблер" иметь для поисковика количество серверов в 2 раза меньшее, чем у "Яндекса", и в 3 раза меньшее, чем у "Апорта".

Mail.ru

Национальная почтовая служба Mail.ru - это не только поисковая система но и один из крупнейших порталов российского Интернета. Ежедневная аудитория Mail.ru - более 5 миллионов пользователей. Общее число регистраций со дня основания около 60 миллионов. Mail.ru - самый быстроразвивающийся российский Интернет-ресурс. Через почтовые ящики Mail.ru ежедневно проходит более 25 миллионов писем. Mail.ru занимает лидирующую позицию среди бесплатных почтовых сервисов, предоставляя своим пользователям почтовый ящик неограниченного размера с защитой от спама и вирусов, переводчиком, проверкой правописания, архивом для хранения фотографий и многое другое.

В 1998-м году программисты, работающие в питерском офисе американской софтверной компании DataArt, создали новое ПО для почтового веб-сервера, которое в дальнейшем предполагалось продавать западным компаниям. Чтобы протестировать сервис, его временно выложили в открытый доступ для российских пользователей, а сервис вдруг стал стремительно набирать популярность.

20 февраля 2001 года произошло слияние двух крупных игроков российского Интернет-рынка, компаний Port.ru и netBridge под брендом Port.ru. В результате объединения родилась компания, которая сразу заняла лидирующие позиции среди российских Интернет - холдингов по доле рынка и охвату аудитории.

Первоочередная задача любой поисковой системы - доставлять людям именно ту информацию, которую они ищут.

Основные характеристики поисковых систем:

1. Полнота

2. Точность

3. Актуальность

4. Скорость поиска

5. Наглядность

В состав поисковой системы входят компоненты:

1. Модуль индексирования

2. База данных

3. Поисковый сервер

Подводя итог можно сказать что, как правило, несмотря на обилие поисковых систем, пользователь предпочитает обращаться к услугам лишь одной - двух из них (точно также как при обилии газет или новостных сайтов мы регулярно просматриваем лишь некоторые, привычные и любимые). Самой популярной поисковой системой в мире является Google

2.2 Поисковая система Google

По данным компании Net Applications, в ноябре 2011 года использование поисковых систем распределялось следующим образом:

Google -- 83,87 %;

Yahoo! -- 6,20 %;

Baidu -- 4,22 %;

Bing -- 3,69 %;

Yandex -- 1,7 %;

Ask -- 0,57 %;

AOL -- 0,36 %.

Отталкиваясь от этих данных можно увидеть что Google занимает лидирующую позицию в области поиска информации в Internet.

Google - это игра со словом googol (гугол). Гугол - это 1 со ста нулями. Во вселенной не существует гугол чего-нибудь. Так создатели Google хотели дать понять, что цель компании - создать бесконечно огромную базу данных для поиска.

К сентябрю 1998 года, собрав инвестиций на $1,000,000, Ларри и Сергей зарегистрировали как юридическое лицо Google Inc. Их первый офис был открыт 7 сентября этого же года в парке Menlo (Menlo Park), в Калифорнии (California). Также открытие офиса способствовало найму на работу в новую компанию первого служащего. Им стал Крейг Сильверстоун (Craig Silverstein), являющийся сегодня директором технологий Google.

Еще в бета-версии Google.com обрабатывал 10,000 запросов в день. Пресса обратила внимание на релевантные результаты поиска. Появились публикации в USA Today и Le Monde, расхваливающие работу Google. В декабре журнал PC назвал Google одним из 100 лучших web-сайтов и поисковых систем 1998 года. Google становился более известным в мире.

К февралю 1999 года офис Google переехал на Университетское Авеню (University Avenue) в Пало Альто (Palo Alto). Гугл уже обрабатывал до 500,000 запросов в день. Red Hat стал первым коммерческим клиентом, обязав Google поставить на часть серверов операционную систему с открытым исходным кодом Linux.

  Сотрудники Google сделали множество усовершенствований к поисковому серверу: добавили Google Каталог (Google Directory), основанный на проекте Открытого Каталога Нетскейпа (Netscape's Open Directory Project), и возможность поиска через беспроводные устройства. Также Google ввел десять языковых версий для пользователей, предпочитающих искать на родном языке.

Широкая привлекательность поиска Google стала очевидна, когда в мае 2000 года сайт получил Webby Award и награду Народный Выбор (People's Voice Award) за технические достижения. В своей речи Ларри и Сергей сказали всего пять слов: "Мы любим вас, пользователи Google!" ("We love you, Google users!"). В последующем месяце Google официально стал самым большим поисковым сервером в мире, проиндексировав миллиард страниц.

...