Размещено на http://www.allbest.ru/

Содержание

1. Метапоисковые системы: понятие, назначение, механизм работы, обзор и сравнение существующих систем

2. Планирование поисковой процедуры

3. Описание технологии поиска информации в сети Internet с помощью различных информационно поисковых систем (ИПС)

3.1 Технология поиска информации в ИПС Яндекс

3.2 Технология поиска информации в ИПС Google

3.3 Технология поиска информации в ИПС Rambler

3.4 Технология поиска информации в ИПС Mail

3.5 Технология поиска информации в Lycos

4. Сравнительный анализ использованных при поиске ИПС по различным критериям

4.1 Анализ полученных данных

Информационно - справочные ресурсы Internet

поиск информация метапоисковая система

1. Метапоисковые системы: понятие, назначение, механизм работы, обзор и сравнение существующих систем

Мета-поисковая система (также называемая метакраулером или мульти-поточной системой) - это поисковый инструмент, посылающий ваш запрос одновременно на несколько поисковых систем (ПС), каталогов и, иногда, в так называемую невидимую (скрытую) паутину - собрание онлайновой информации, не проиндексированной традиционными поисковыми системами.

Мета-поисковая система (МПС) удаляет дублированные ссылки и, в соответствии со своим алгоритмом, объединяет/ранжирует результаты в общем списке.

МПС бывают четырех видов:

- "Реальные" МПС, которые объединяют/ранжируют результаты на одной странице

- "Псевдо" МПС первого типа, которые группируют результаты по поисковым системам на одной длинной странице

- "Псевдо" МПС второго типа, которые открывают для каждой используемой поисковой системы новое окно

- Поисковые утилиты - программные поисковые средства

1. "Реальные" МПС

Эти "реальные" МПС одновременно производят поиск в основных поисковых системах, обобщают результаты, удаляют дублированные ссылки и представляют наиболее подходящие результаты, в соответствии с алгоритмом.

Универсальная служба поиска (поисковая система) - это комплекс программ и мощных компьютеров, выполняющий следующие функции:

Специальная программа (поисковый робот, паук, spider, crawler, bot) непрерывно просматривает страницы WWW, выбирает ключевые слова и составляет базу данных индексов. В эту базу включаются ключевые слова и адреса документов, в которых эти слова обнаружены (напомним, что индекс - это упорядоченный по ключевым словам набор указателей).

Web-сервер принимает от пользователя запрос на поиск, преобразует его и передает специальной программе - поисковой машине.

Поисковая машина просматривает базу данных индексов, составляет список страниц, удовлетворяющих условиям запроса (точнее, список ссылок на эти страницы) и возвращает его Web-серверу.

Web-сервер оформляет результаты выполнения запроса в удобном для пользователя виде и передает их на машину клиента.

Среди наиболее известных и мощных поисковых систем: Alta Vista (www.altavista.com), Infoseek (www.infoseek.com), Lycos (www.lycos.com), российская система Рамблер (www.rambler.ru) и другие.

Специализированные справочные службы (классификаторы) - это тематические каталоги (subject catalogs), в которых собраны более или менее структурированные сведения об адресах серверов по той или иной тематике. В отличие от универсальных баз индексов, тематические каталоги составляются специалистами и обеспечивают клиента более строгой, достоверной и систематизированной информацией о Сети. В классификаторах используется иерархическая (древовидная) организация информации. Это дает пользователю возможность вести просмотр, перемещаясь по иерархии тематических рубрик, и, постепенно сужая поле поиска до необходимых размеров.

Кроме того, многие сайты Internet располагают собственными механизмами поиска (в пределах данного сайта). В первую очередь это механизм контекстного поиска, а также специализированный поиск по фамилиям (например, персоны компьютерного бизнеса), товарам (на рекламных сайтах), фирмам и т.д.

С точки зрения методологии стратегия работы современных поисковых серверов базируется на трех основных подходах:

- создание Web-индексов (Web indexes),

- создание каталогов (Web directories),

- “гибридный” метод, сочетающий в той или иной степени два первых подхода.

Кроме того, существует ряд дополнительных подходов к классификации информации: онлайновые справочники, системы на CD-ROM, различные желтые и белые страницы Internet и т.д.

Единой оптимальной схемы поиска в Internet не существует. В зависимости от специфики необходимой вам информации, для ее поиска вы должны использовать соответствующие поисковые службы. В принципе, конечно, можно всегда пользовать какой-нибудь одной поисковой системой, например Rambler, но чем грамотнее подобраны поисковые службы и составлен запрос на поиск информации, тем качественнее будут результаты поиска.

Правильное использование информационно-поисковой системы заключается в знании языка запросов. Только применяя на практике этот язык, вам не придется разгребать кучу ссылок, никак не относящихся к тому, что вы искали, и поиск будет быстрым и эффективным. Технология поиска с помощью поисковой системы такова:

1. Проанализируйте предполагаемое содержание запрашиваемой информации и выберите ключевые слова, которые обязательно встретятся в интересующих вас материалах или их заголовках.

Необходимо получить из любого источника прецедент подробного и грамотного описания исследуемого вопроса. Таким источником вполне может стать как узко специальный справочник, так и электронная энциклопедия общего профиля. На основе изученного материала необходимо сформировать максимально широкий набор ключевых слов в виде отдельных терминов, словосочетаний, профессиональной лексики и клише, при необходимости - и на нескольких языках. Заранее стоит побеспокоиться о потенциальной возможности уточнения поискового запроса - редких словах, возможно, названий и фамилий, тесно связанных с проблемой.

2. Продумайте строку запроса информации (не более чем 5 слов), учитывая, что на каждом поисковом сервере может применяться свой собственный синтаксис запросов. В зависимости от того, построили ли вы запрос в соответствии с правилами или нет, вы можете получить то, что искали, или лавину нерелевантных ссылок.

У большинства поисковых машин есть три основных вида поиска:

* по любому (одному) из слов,

* по всем словам и

* точно по фразе.

В зависимости от выбранного режима результаты поиска могут сильно различаться:

Поиск по любому слову. В результате поиска составляется список всех индексированных страниц, содержащих любое из ваших ключевых слов. Нередко число совпадений при таком поиске огромно. Однако если поисковая система хорошо сортирует результаты по тематике, то нужную страницу можно найти в верхней части списка ссылок, который вам выдала поисковая машина. Поиск по любому слову может быть удобен в случаях, когда пользователь не уверен в ключевых словах. Если вы не знаете, как правильно называется прибор для измерения кровяного давления - "sphygmomanometer" или "sphygnomanometer", - то ищите по любому из слов, указав оба термина.

Поиск по всем словам. В этом режиме поиска формируется список всех индексированных страниц, содержащих сразу все ключевые слова, в любом порядке. При этом сохраняется вероятность получения результатов, не соответствующих теме. Поиск точно по фразе. В этом режиме поиска составляется список всех индексированных страниц, содержащих фразу, точно совпадающую с ключевой; знаки препинания игнорируются. В список не попадают узлы, посвященные одной теме, описываемой с использованием разных фраз. Даже в этом режиме поиска возможны ложные результаты.

Для составления запроса также можно использовать специальные логические операторы AND ("И"), OR ("ИЛИ") и AND NOT ("И НЕ") или их сокращенную запись, при необходимости группируя ключевые слова с помощью круглых скобок. Как правило, эти операторы обозначаются одним из следующих способов (см. Табл.1).

Таблица 1

Оператор	Обозначение	Сокращенная запись	Обозначение при простомпоиске (кроме ИПС Rambler)
И	AND	&	+
ИЛИ	OR	|	пробел
И НЕ	AND NOT	&!	~
скобки	( )	( )	( )

Оператор "И" используется тогда, когда вам нужно найти документы, содержащие все ключевые слова из запроса. Например, по запросу рефераты AND сочинения вы найдете все документы, в которых упоминаются сразу оба слова.

Оператор "ИЛИ" обычно используется для того, чтобы найти документы, содержащие, по крайней мере, одно из содержащихся в запросе слов. Его удобно использовать при поиске синонимов. Например, по запросу рефераты OR сочинения вы найдете все документы, в которых упоминается либо слово "рефераты", либо слово "сочинения", либо сразу оба слова.

Оператор "И НЕ" используется тогда, когда требуется найти документы с предложением, в котором содержится первое слово из запроса, но отсутствует второе слово, указанное в запросе. Например, по запросу рефераты AND NOT сочинения вы найдете все документы, в которых упоминается слово "рефераты", а слово "сочинения" отсутствует.

Следует также отметить, что существуют некие приоритеты операторов. Так оператор AND NOT имеет более высокий приоритет (т.е. выполняется первым), чем AND и OR, а оператор AND имеет более высокий приоритет, чем оператор OR. Поэтому запрос из нескольких слов сначала группируется по операторам AND NOT и AND и только потом по операторам OR. Изменить порядок группировки можно с помощью скобок. Так, до сих пор наш запрос состоял только из двух слов. Теперь же попытаемся найти документы, в которых встречаются либо сразу оба слова "рефераты" и "сочинения" либо слово "курсовые". Для этого используем запрос рефераты AND сочинения OR курсовые. Чтобы найти документы, содержащие слово "рефераты" и одно из слов "сочинения" или "курсовые", воспользуемся запросом рефераты AND (сочинения OR курсовые).

3. Наберите ваш запрос в строке ввода на главной странице выбранной информационно-поисковой системы и нажмите <Enter> (или щелкните по соответствующей кнопке, например, с названием Найти или Поиск (Search) и т.п.).

4. Поисковая система в результате вашего запроса сгенерирует список адресов URL с короткими описаниями. Найденные поисковыми машинами документы сортируются по величине релевантности, то есть сначала выдаются документы, в которых чаще всего встречаются искомые слова, и документы, содержащие слова наиболее близкие к искомым, а затем - все остальные.

Если в результате поиска было обнаружено слишком много ссылок, то выполните одно из следующих действий:

* переключитесь из режима поиска "по одному из слов" в режим поиска "по всем словам",

* добавьте к запросу еще одно ключевое слово и повторите поиск; на некоторых узлах есть более быстрая функция "поиск среди найденного",

* переключитесь в режим расширенного поиска, обладающего дополнительными типами запросов и возможностями сортировки.

Если в результате было обнаружено слишком мало ссылок, переключитесь из режима поиска "точно по фразе" в режим поиска "по всем словам", из него - в режим поиска "по одному из слов" или используйте меньше ключевых слов.

5. Найдите на странице наиболее подходящую вам по смыслу ссылку, щелкните на ней правой кнопкой мыши и выберите пункт контекстного меню Открыть в новом окне (или перенесите ссылки мышью во второе окно обозревателя). Если информация по выбранному адресу оказалась ценной, не дайте ей потеряться. Сохраните ссылку на найденную страницу в папке Избранное, а еще лучше скопируйте саму информацию на жесткий диск вашего компьютера. Если же вы не обнаружили на странице ничего ценного, просто закройте текущее окно обозревателя и переходите к просмотру следующей ссылки.

6. Если результаты поиска с помощью данной поисковой системы вас не удовлетворили, отправляйтесь на другой поисковый сервер (см. список).

Поиск с помощью тематических каталогов

Один из способов работы с тематическим каталогом - воспользоваться иерархическим деревом при поиске информации. Т.е. вы выбираете сначала общую тематику, удовлетворяющую вашему запросу информации, и далее конкретизируете, следуя подсказкам каталога. В конечном результате вы получаете список сайтов, содержащих информацию, соответствующую вашему запросу.

При работе с тематическим каталогом вы обычно также можете пойти и по другому пути. Проанализируйте предполагаемое содержание запрашиваемой информации и выберите ключевые слова, которые обязательно встретятся в интересующих вас материалах или их заголовках. Наберите эти слова через пробел в строке ввода на главной странице и нажмите клавишу <Enter>. Система попытается сама подобрать интересующую вас информацию.

Поиск с помощью метапоисковых систем

Наиболее популярная в мире система такого класса - Search.com (www.search.com), но если вы работаете преимущественно с русскоязычными документами, то можно воспользоваться метапоисковой системой MetaSeek. Это достаточно мощная система, отсылающая ваш запрос на 30 крупнейших поисковых машин и специализированных серверов и возвращающая вам их отчеты.

Другая российская система мета поиска - 360.Ru (www.360.ru) обрабатывается 26 поисковых систем по всему миру. Существует возможность определения региона поиска и ограничения времени поиска.

Метапоисковая система AdClick.Ru (www.adclick.ru) работает c 15 российскими и зарубежными поисковыми машинами и каталогами.

Также существуют так называемые мультипоисковые страницы: Search, БКФ Поиск, www.cmk.kirov.ru/search.htm и др. (см. список). Эти серверы не умеют посылать запросы и получать отчеты от поисковых служб как системы мета поиска. Мультипоисковые страницы загружают во множестве окон поисковые службы и передают им ваш запрос.

Метапоисковая система (метапоисковая машина) -- это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.

Не является секретом тот факт, что Интернет представляет собой постоянно растущий огромными темпами массив информации. Для того, чтобы каким-то образом упорядочить этот непрерывный поток данных и, самое главное, иметь возможность находить в этом потоке необходимую информацию, были созданы знакомые нам поисковые машины. Каждый обычный (назовем его "традиционным") поисковик имеет только свой собственный, ограниченный своими ресурсами перечень (индекс) документов, которые доступны для поиска. Ни одна из подобных систем не может охватить всех ресурсов, которые существуют в Интернет. Поэтому, может возникнуть ситуация, когда пользователя не удовлетворяют результаты поисковой выдачи. Обычно, в этом случае, пользователь переходит на другой поисковик и пытается найти то, что ему нужно, там.

Когда количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии, но доля непроиндексированного, так называемого "невидимого" Интернета для каждой поисковой системы (даже для такой мощной, как Gooogle) возрастает с каждым месяцем.

Происходит это потому, что разные поисковые машины используют различные алгоритмы поиска и уделяют свое внимание разным участкам Сети, к которым они наиболее адаптированы. Логичным решением, в таком случае, является поиск не одним, а несколькими поисковиками, для получения более релевантного результата. Именно такую возможность и предлагают метапоисковые системы.

Следует иметь в виду, что метапоисковые машины не имеют собственных поисковых баз данных (исключение - nigma.ru), не содержат никаких индексов и для поиска используют базы данных других поисковых систем. Принцип работы метапоисковика заключается в следующем: запрос пользователя преобразуется в запросы, отформатированные синтаксически и логически в конструкции, оптимальные для каждого отдельного, "традиционного" поисковика, т. е. из одного запроса метапоисковый механизм делает ряд запросов, которые адресуются нескольким "обычным" поискам.

Таким образом, метапоисковые системы объединяют для достижения результатов индексы поисковых серверов различных специализаций. В рамках одной метапоисковой системы можно осуществлять поиск информации различного типа. Метапоисковые системы не предназначены для индексирования и накопления данных, их назначение - чистый поиск и обработка результатов поиска. Все метапоисковые системы сортируют результаты поиска таким образом, чтобы избежать дублей и одинаковых страниц в выдаче, найденных различными поисковыми системами. Рассмотрим два метапоисковых механизма - один западный, другой "наш".

Vivisimo представляет собой метапоисковую систему, которая собирает данные, используя индексы нескольких поисковых машин одновременно. При более детальном рассмотрении можно говорить, что Vivisimo обладает набором уникальных, нигде больше не встречающихся функций.

Дело в том, что большинство метапоисковых систем отсылают запрос пользователя в несколько поисковиков одновременно, а затем результаты, попавшие в начало списков, выводят в качестве ответа на запрос. Vivisimo работает таким же образом, но кроме этого, система сортирует результаты поиска по группам со схожим смыслом. Особенно полезно это бывает, когда существуют разные варианты вводимых ключевых слов. Результаты поиска объединяются в список все более узких подразделов, что делает возможным обходиться без дополнительных поисковых запросов. Пример поискового запроса [abba] на скриншоте.

Еще одна интересная функция Vivisimo заключается в возможности предварительного просмотра содержания страницы по найденным ссылкам. При этом пользователь может открыть окно просмотра прямо посреди страницы с поисковой выдачей, что позволяет быстро просматривать результаты поиска.

Но это еще не все возможности Vivisimo, достойные внимания. Если зайти на страницу расширенного поиска advanced search, можно найти много полезных инструментов для нашего дела. К примеру, пользователь может задать поиск по новостным сайтам (CNN, USA Today, Reuters, BBC и др.) или воспользоваться специализированными поисковыми машинами, такими как поисковик официального сайта правительства США FirstGov, Business.com, Энциклопедии Британника, аукциона eBay или системой поиска патентов Delphion. Поиск Vivisimo в расширенном режиме выдает 200 результатов. Если этого недостаточно, то можно настроить машину на вывод 300 или 500 результатов.

В своей работе Vivisimo использует результаты поиска следующих машин и каталогов: MSN, Lycos, Looksmart, Wisenut, Open Directory, Overture. Сервис может корректно работать и с контентом на русском - но, к сожалению, русскоязычных сайтов, проиндексированных приведенными выше системами, не так уж и много, поэтому результаты поиска для страниц на русском оставляют желать лучшего.

NIGMA.RU

Поисковый сервис nigma.ru позиционирует себя как "интеллектуальная поисковая система". Чтобы составить начальное представление о поисковике, обратимся к его странице в Википедии. Из описания становится понятно, что nigma.ru - универсальная поисковая машина, одновременно использующая несколько популярных поисковых движков, которые можно включать/отключать по желанию.

Принцип действия NIGMA аналогичен поиску Vivisimo: поисковая выдача группируется по различным критериям, что позволяет быстро произвести уточняющий поиск.

Мало того, что NIGMA предлагает разные варианты запросов по рейтингу их популярности на сервисе, она еще дает краткую справку (из Википедии) по теме возможного варианта. Такого пока нет даже в Google.

Над строкой поиска главной страницы можно видеть вкладки, определяющие результаты наших запросов. Жмем на вкладку "музыка" и вписываем в строку ключевые слова - название музыкального произведения, слова из песни, имя автора и т. п. Кроме того, что NIGMA выдает вполне достаточное количество ссылок, любую композицию можно прослушать здесь же, на странице поисковой выдачи!

Debriefing

Мощная метапоисковая система Dogpile использует для метапоиска не только поисковые системы, но и FTP-серверы, а также новостные сайты, котировки фондовых бирж и даже "желтые страницы" Интернета. Дополнительные услуги, предоставляемые сервисом, дают возможность получать подробные прогнозы погоды и топографические карты интересующей местности.

Mamma

Канадская система метапоиска Mamma Systems обеспечивает стандартный пакет услуг, принятый для подобных сервисов. Используя базы данных популярных поисковых машин, сервис Mamma отличается качественным поиском нужной информации.

MetaCrawler

MetaCrawler, как и многие подобные системы, первоначально производит поиск необходимой информации в базах данных других поисковых сервисов. Затем запускает свой алгоритм и анализирует полученную информацию: сортирует ссылки, ищет дубликаты и, учитывая рейтинги найденных ссылок, выдает их пользователю. Система адаптирована только для англоязычного сегмента Сети.

Exactus

Метапоисковая система Exactus - проект Института Системного Анализа РАН. Поиск информации осуществляется с учетом морфологического, синтаксического и семантического анализа поисковых запросов. Сервис использует индекс поисковых машин Google, Yandex, Rambler, Ask, MNS и Yahoo. Отличается точной выдачей ответов на конкретные завершенные фразы и вопросы.

Metabot.ru

Сервис, который использует не только индексы ведущих поисковиков, но и базы данных многих каталогов, новостных и FTP серверов. Мощнейший российский метапоисковый сервис. Расположен на серверах хостинг-оператора в США.

Google - одна из самых интересных метапоисковых машин в Cети. Дело в том, что ее создатели справедливо считают, что популярность и достоверность информации на той или иной странице прямо пропорциональны количеству упоминаний ее адреса в других источниках, и поэтому они ведут учет внешних ссылок на данный ресурс и сортируют ответы на запрос по данному критерию. Таким образом, рейтинг страницы определяется по количеству ссылок на нее с популярных внешних сайтов и по упоминанию данного адреса в авторитетных источниках информации (впрочем, от такого метода сортировки можно и отказаться). Отображение найденных страниц сделано очень аккуратно. Google выделит на них именно тот фрагмент текста, где содержатся введенные ключевые слова. Среди дополнительных услуг можно отметить кэширование индексированных страничек (копия пригодится в том случае, если сервер в момент его следующего посещения будет недоступен).

Принципы работы метапоисковых систем

При проектировании метапоисковой системы нужно решить ряд проблем.

Прежде всего, из полученного от поисковых систем множества документов необходимо выделить наиболее релевантные, то есть соответствующие запросу пользователя. Как правило, создатели метапоисковых систем не совсем оправданно надеются, что поисковые системы, которые они используют, возвращают релевантные результаты поиска, и слишком полагаются на позицию, на которой в данной поисковой системе находится документ.

Этот стандартный подход представлен на рис. 1. В таких системах анализ полученных описаний документов не производится, что может поставить нерелевантные документы, идущие первыми в одной поисковой системе, выше релевантных в другой, чем существенно понизить качество самого поиска. Этот принцип оказался хорошим при создании автором анализатора позиции сайта в поисковых системах, но в целом для систем метапоиска оказался неудовлетворительным.

Рис. 1 Стандартная метапоисковая система

При разработке следующего поколения метапоисковых систем были учтены недостатки, присущие стандартным метапоисковым системам. Были созданы системы с возможностью выбора тех поисковых машин, в которых, по мнению пользователя, он с большей вероятностью может найти то, что ему нужно (рис. 2).

Рис. 2 Следующее поколение метапоисковых систем

Кроме этого, такой подход позволяет уменьшить используемые вычислительные ресурсы метапоискового сервера, не перегружая его слишком большим объемом ненужной информации и серьезно сэкономить трафик. Здесь нужно отметить, что в любой системе метапоиска наиболее узким местом в основном является пропускная способность канала передачи данных, так как обработка страниц с результатами поиска, полученными от нескольких десятков поисковых серверов не является слишком трудоемкой операцией, потому что затраты времени на обработку информации на порядки меньше времени прихода страниц, запрошенных у поисковых серверов.

Принцип работы метапоисковой системы MetaPing, разработанной автором этой статьи, однако общие принципы будут верны и для остальных систем этого класса (см. рис. 2).

Начнем со стартовой страницы данной метапоисковой системы. Обычно интерфейс такой системы предельно упрощен и сразу же позволяет понять, что, где и как здесь можно искать. В нашем случае (MetaPing) поиск возможен по трем областям поиска: по России, по Украине и по всему миру, при этом имеется возможность искать все, отметив поиск по интернету, или сузить область поиска и искать конкретно объявления, новости, файлы и рефераты (рис. 3).

Рис. 3 Стартовая страница MetaPing

Пользователь выбирает, скажем, поиск по России, и вводит, например, такой запрос: "лучшие поисковые системы" (рис. 4).

Рис. 4 Страница MetaPing с результатами поиска

После этого запрос ретранслируется указанным российским поисковым системам (в нашем случае это Рамблер, Апорт, Lycos и Google). Следует отметить, что Google, хотя и не является российской поисковой системой, в настоящее время успешно с ними конкурирует как по полноте баз, так и по качеству поиска, и именно поэтому он здесь оказался. Кстати, внимательный читатель наверняка отметил отсутствие самой крупной российской поисковой системы Яндекс. На момент запуска MetaPing Яндекс тоже здесь тоже присутствовал, но после известного скандала его пришлось убрать.

Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает не только за процесс ретрансляции запроса и приема страниц, но и за то, чтобы запрос был передан в правильной кодировке, принятой в каждой из выбранных поисковых систем, иначе будет получен совершено другой набор описаний документов или не будет получен вовсе, что негативно скажется на качестве поиска.

После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу.

2. Планирование поисковой процедуры

Эффективность любого вида деятельности определяется четким представлением того, что, как и в какой последовательности мы собираемся делать, т.е. четким планированием работ. Сказанное в полной мере относится и к процедуре поиска информации в сети Internet.

Рассмотрим, из каких этапов состоит процесс поиска информации:

№	Этап	Содержание работ этапа
1.	Определение предмета поиска	На этом этапе определяем, что конкретно нас интересует.
2.	Составление списка ключевых слов	На этом этапе выявляем, как может называться то, что нас интересует.
3.	Выбор информационного пространства	На этом этапе определяем, где может находиться то, что нас интересует.
4.	Определение инструмента для поиска	На этом этапе принимаем решение о том, как проще и быстрее найти то, что нас интересует.
5.	Предварительный поиск	Пробуем найти.
6.	Анализ полученной информации	Смотрим на полученные результаты. Если это необходимо (в том случае, когда полученные результаты нас не устраивают), проводим корректировку всех предыдущих действий.
7.	Дополнительный поиск	Ищем дальше, пока не получаем ответ на свой вопрос.

Неплохо, также, определить время, в течение которого информация должна быть найдена, оценить альтернативные способы получения и степень важности этой информации для Вас. В любом случае опирайтесь на здравый смысл: возможно, для поиска адреса нужной Вам фирмы достаточно открыть телефонный справочник, лежащий у Вас на столе или просто набрать телефон этой фирмы и попросить секретаря продиктовать его Вам (особенно, если Вы заходите в Internet через модем). При единичном поиске поставщика необходимой товарной продукции, в некоторых случаях, работать с печатным каталогом может оказаться удобнее. Но гораздо эффективнее для проведения сравнительного анализа цен за последние несколько месяцев, взять информацию из точно такого каталога, но размещенного в сети.

Конкретно нас интересует тема домашнего задания: «Метапоисковые системы: понятие, назначение, механизм работы, обзор и сравнение существующих систем».

Для того, чтобы проще и быстрее найти интересующую нас информацию, выберем из темы домашнего задания ключевые слова: сначала введем в поисковое окно ИПС «Метапоисковые системы» (рисунок 1,2,3,4,5) Затем в этих же поисковых системах вводим следующий запрос: «+метапоисковые системы+понятие+назначение+обзор». Перед каждым словом ставим знак «+» для того, чтобы слова из запроса присутствовали на странице во что бы то ни стало.

Рисунок 1 ИПС Яндекс

Рисунок 2 ИПС Google

Рисунок 3 ИПС Rambler

Рисунок 4 ИПС Mail

Рисунок 5 ИПС Lycos

3. Описание технологии поиска информации в сети Internet с помощью различных информационно поисковых систем (ИПС)

Web-технология World Wide Web (WWW) считается специальной технологией подготовки и размещения документов в сети Интернет. В состав WWW входят и web-страницы, и электронные библиотеки, каталоги, и даже виртуальные музеи! При таком обилии информации остро встает вопрос: «Как сориентироваться в столь огромном и масштабном информационном пространстве?»

В решении данной проблемы на помощь приходят поисковые инструменты.

Поисковые инструменты - это особое программное обеспечение, основная цель которого - обеспечить наиболее оптимальный и качественный поиск информации для пользователей Интернета. Поисковые инструменты размещаются на специальных веб-серверах, каждый из которых выполняет определенную функцию:

Анализ веб-страниц и занесение результатов анализа на тот или иной уровень базы данных поискового сервера.

Поиск информации по запросу пользователя.

Обеспечение удобного интерфейса для поиска информации и просмотра результата поиска пользователем.

Приемы работы, используемые при работе с теми или другими поисковыми инструментами, практически одинаковы. Перед тем как перейти к их обсуждению, рассмотрим следующие понятия:

Интерфейс поискового инструмента представлен в виде страницы с гиперссылками, строкой подачи запроса (строкой поиска) и инструментами активизации запроса.

Индекс поисковой системы - это информационная база, содержащая результат анализа веб-страниц, составленная по определенным правилам.

Запрос - это ключевое слово или фраза, которую вводит пользователь в строку поиска. Для формирования различных запросов используются специальные символы ("",, ~), математические символы (*, +, ?).

Схема поиска информации проста. Пользователь набирает ключевую фразу и активизирует поиск, тем самым получает подборку документов по сформулированному (заданному) запросу. Этот список документов ранжируется по определенным критериям так, чтобы вверху списка оказались те документы, которые наиболее соответствуют запросу пользователя. Каждый из поисковых инструментов использует различные критерии ранжирования документов, как при анализе результатов поиска, так и при формировании индекса (наполнении индексной базы данных web-страниц). Таким образом, если указать в строке поиска для каждого поискового инструмента одинаковой конструкции запрос, можно получить различные результаты поиска. Для пользователя имеет большое значение, какие документы окажутся в первых двух-трех десятках документов по результатам поиска и на сколько эти документы соответствуют ожиданиям пользователя. Большинство поисковых инструментов предлагают два способа поиска - simple search (простой поиск) и advanced search (расширенный поиск) с использованием специальной формы запроса и без нее. Ниже мы приведем результаты поиска в различных поисковых системах.

3.1 Технология поиска информации в ИПС Яндекс

Отличительная особенность Яндекс -- возможность точной настройки поискового запроса. Это реализовано за счёт гибкого языка запросов. Яндекс создает сервисы прежде всего для миллионов пользователей интернета. Это означает, что команда Яндекса в первую очередь думает о пользовательских характеристиках сервиса, и уже затем о его монетизации. Внутри Яндекса работает правило: если получается хороший продукт, который нравится людям, то модель монетизации образуется сама собой. При этом модель монетизации сервиса всегда учитывает интересы его пользователей и не мешает им пользоваться сервисом. Так, на Яндексе всегда была запрещена реклама, препятствующая доступу к каким-либо функциональным частям сервиса, -- например, всплывающие или «ползающие» по экрану окна. Основные доходы Яндекс получает от контекстных объявлений -- рекламы, напрямую связанной с интересами пользователя. Яндекс структурирует и агрегирует необходимый пользователям уже существующий онлайновый и офлайновый контент и отражает его в результатах поиска, не влияя при этом на его качество и свойства. Часть сервисов Яндекса позволяет пользователям хранить собственную информацию и делиться ей прямо на Яндексе (сайты, фотографии и пр.). Несмотря на то, что ответственность за контент лежит на его создателе, Яндекс считает себя вправе определять политику размещения контента на собственных сервисах. Пользовательское соглашение сервисов Яндекса запрещает не только нарушение действующего законодательства, но и действия, наносящие вред экологии интернета (например, спам и вирусы). Пользовательский контент (UGC), опубликованный во всеобщем доступе, часто является анонимным, при этом может оказаться, что он нарушает закон, авторские права или содержит клевету в адрес третьих лиц. В том случае, если контент такого рода размещен на сервисе Яндекса (например, сайт на Народ.ру или ролик на Яндекс.Видео), к нему применяется следующее правило. При поступлении жалобы на очевидно незаконный контент Яндекс сразу же блокирует к нему доступ (это происходит, например, когда речь идёт о детской порнографии или призывах к насилию). При жалобах на размещенный на серверах Яндекса анонимный контент деструктивного свойства, незаконность которого не очевидна, (к примеру, контент, содержащий клевету), Яндекс предлагает владельцу контента два варианта действия: либо согласиться с жалобой и убрать спорный контент, либо перестать быть анонимом, т.е. предоставить свои контактные данные для предъявления жалобщику. Если автор не делает ни того, ни другого, Яндекс блокирует контент.

3.2 Технология поиска информации в ИПС Google

Поисковый робот Google имеет User Agent -- Googlebot (Поисковый робот), который является основным роботом, сканирующим содержание страницы для поискового индекса. Помимо него существуют ещё несколько специализированных роботов:

Googlebot-Mobile -- робот, индексирующий сайты для мобильных устройств,

Google Search Appliance (Google) gsa-crawler[11] -- поисковый робот нового аппаратно-программного комплекса Search Appliance,

Googlebot-Image -- робот, сканирующий страницы для индекса картинок,

Mediapartners-Google -- робот, сканирующий контент страницы для определения содержания AdSense,

Adsbot-Google -- робот, сканирующий контент для оценки качества целевых страниц AdWords.

Существует теория эффекта песочницы, которая утверждает, что сайты, которые имеют новые доменные имена, частые смены владельцев или нэймсерверов, помещаются в «песочницу» (зону ожидания) и пребывают там, пока механизм Google не сочтёт сайт готовым из неё выйти. Также существует обратная теория, называющаяся «бонус новичка», в которой при первоначальной индексации сайта, в силу некоторых аспектов (например нескольких ссылок с авторитетных ресурсов), сайту сразу присваивается высокий PageRank и хорошие места в поисковой выдаче. По истечении некоторого времени, после снятия этого эффекта сайту присваиваются его реальные показатели.

3.3 Технология поиска информации в ИПС Рамблер

Когда кто-либо делает ряд последовательных запросов в поисковике Рамблер, эти слова и фразы становятся связанными между собой - Rambler ассоциациями. Пользователям поисковой системы Rambler доступен механизм ассоциаций Rambler. Ассоциации Rambler - это тематически (ассоциативно) связанные запросы с исходным запросом пользователя. Когда кто-либо делает ряд последовательных запросов в поисковике Рамблер, эти слова и фразы становятся связанными между собой. И такая последовательность создает ассоциации Rambler. Фактически, это понятие "У нас также ищут". С одной стороны, с помощью механизма ассоциаций Rambler пользователь может быстро уточнить или расширить свой запрос. С другой стороны, цепочка типичных ассоциаций выявляет недостатки исходного запроса, его неоднозначность, "размытость". В результате посетитель поисковика Rambler учится правильно спрашивать, не тратя впустую время, то есть, по сути, прибегает к помощи "коллективного разума". Механизм ассоциаций "У нас также ищут" интересен любому, кто хочет посмотреть, о чем думают тысячи и тысячи посетителей сети. Это инструмент для поиска, равно как и источник ценной информации для лингвистов и web-мастеров.

3.4 Технологии поиска информации в Mail

Mail - полнотекстовая поисковая система. Это означает, что она индексирует все слова, которые бы увидел на экране человек, просматривая конкретную страницу сервера. Mail периодически проверяет имеющиеся в его базе сайты и приводит свою базу в соответствие с произошедшими там изменениями. Период проверки в значительной степени зависит от конкретного сайта (учитывается его популярность, динамичность обновления по данным собранным Mail при предыдущих заходах на сайт и ряд других факторов).

С момента добавления сайта в поисковую систему Mail до момента его появления в поисковой базе проходит от двух-трех дней до двух недель. Mail индексирует все статические документы (в Url которых не встречается символ "?"), найденные его поисковым роботом по ссылкам на сайте. Документы, содержащие в Url символ "?", индексируются поисковой системой Mail выборочно. При этом используется квотирование количества таких документов для каждого сайта. Размер квоты вычисляется автоматически в зависимости от ряда условий, в частности от индекса цитируемости сайта, и может, в частности, быть для некоторых сайтов нулевым. Необходимо учитывать, что полная индексация сайта может происходить постепенно, а также то что содержание базы является прерогативой поисковой системы и каких-либо гарантий по индексации (а также сохранению в индексе уже проиндексированных документов) Mail не дает. Для документов HTML кроме основного текста документа индексируются также: заголовок документа (TITLE), ключевые слова (META KEYWORDS), описания страниц (META DESCRIPTION) и подписи к картинкам (ALT). Кроме того, Mail индексирует как принадлежащие документу, тексты гиперссылок на этот документ с других страниц, находящихся, как внутри сайта, так и за его пределами, а также составленные (или проверенные) редакторами описания сайтов из каталога Mail.

3.5 Технологии поиска информации в Lycos

Lycos назван в честь Ликозиды, латинского названия для волчьих пауков. В отличие от большинства пауков, которые пассивно ждут добычу в паутине, волчьи пауки активно охотятся за своей жертвой. (Адаптированная для России версия: поисковик назван в честь собаки-космонавта Лайки - прим. Вокруг Новостей). Т.к. некоторые результаты берутся при использовании Direct Hit, то нужно знать, что user agent этой поисковой системы: "Grabber" или "Ask Jeeves"

Поисковый робот FAST'а достаточно глубоко индексирует сайты. Прочитать о глубине индексации поисковым роботом Direct Hit, которая также предоставляет результаты для Lycos, можно здесь: Direc Hit Следующие параметры учитываются при ранжировании результатов:

- Место ключевых слов и частота встречаемости

- Текст ссылок

- Ключевые слова в заголовках

Как Lycos составляет описание для страниц в результатах поиска

Результаты поиска разделяются на 3 категории: "Products and Services" (иногда помеченные как "Featured Listings", "Sponsored Links") "Web Results" и "Categories". В разделе "Featured Listings" размещены 3 коммерческих ссылки от Overture.com. В разделе "Web Results" результаты от FAST'а, для них резюме составлено из первых 250 символов. Первая ссылка может быть помечена как: "From the Lycos Network", это уже ссылка на ресурсы портала Lycos. Если запрос соответствует какому-нибудь из разделов ODP, то будут выданы ссылки на разделы ODP. Внизу страницы пользователям предоставлена возможность искать только в категориях ODP (установлено по умолчанию). Но можно выбрать поиск только по HotBot или только по Direct Hit.

4. Сравнительный анализ использованных при поиске ИПС по различным критериям

Ниже будут приведены данные полученные мной при проведении поиска в различных поисковых систем. Первая таблица приведена по результатам поисковой системы Яндекс.

Запрос	Результаты	Оценка	Кол. найд.ответов
Метапоисковые системы +понятие+назначение+обзор	http://ru.wikipedia.org/wiki/Метапоисковая_система	3	11 тыс.
	http://www.metabot.ru/	3
	http://yandex.ru/clck/redir/http://www.vsepoisk.ru/2009/07/blog-post_23.html	2
	http://goodpc.chat.ru/other/resurs/meta.htm	2
	http://yandex.ru/clck/redir/http://www.CoolReferat.com/%25D0%259C...	-2
	http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013.html	3
	http://otherreferats.allbest.ru/programming/00222031_0.html	2
	http://daxnow.narod.ru/index/0-17	1
	http://www.adhdportal.com/book_648_chapter_27_1._Ponjatie_i_naznachenie_pasportno-registraionnojj_sistemy.html	0
	http://www.coolreferat.com/Понятие_и_назначение_информационной_системы	0

Следующей поисковой системой для сравнения является Google:

Запрос	Результаты	Оценка	Кол. найд.ответов
Метапоисковые системы +понятие+назначение+обзор	http://ru.wikipedia.org/wiki/Метапоисковая_система	3	15900
	http://www.poisk-vsem.info/2-soderjanie/2_6_2_populyarnye_metapoiskovye_sistemy_interneta.html	3
	http://www.catalysis.ru/link/index.php?ID=12&SECTION_ID=54	3
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	2
	http://www.goodpc.narod.ru/other/resurs/meta.htm	2
	http://ru.wikipedia.org/wiki/Метапоисковая_система	2
	http://search.tstu.ru/main/technology/?te=7	3
	http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013/206541/page1.html	3
	http://www.bgsha.com/ru/learning/course/course_content.php?COURSE_ID=6&LESSON_ID=166	2
	http://www.osp.ru/pcworld/2009/08/9957584/	1

Следующей поисковой системой для сравнения является Rambler:

Запрос	Результаты	Оценка	Кол. найд.ответов
Метапоисковые системы +понятие+назначение+обзор	http://ru.wikipedia.org/wiki/Метапоисковая_система	3	53тыс.
	http://www.metabot.ru/	3
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	3
	http://goodpc.chat.ru/other/resurs/meta.htm	2
	http://www.coolreferat.com/Метапоисковые_системы	1
	http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013.html	3
	http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013.html	3
	http://student.zoomru.ru/metall/opredelenie-metapoiskovyh-sistem/14193.130678.s1.html	2
	http://ru.wikipedia.org/wiki/%D1%E8%F1%F2%E5%EC%E0_%F3%EF%F0%E0%E2%EB%E5%ED%E8%FF_%E1%E0%E7%E0%EC%E8_%E4%E0%ED%ED%FB%F5	0
	http://do.gendocs.ru/docs/index-54002.html?page=21	0

Следующей поисковой системой для сравнения является Mail:

Запрос	Результаты	Оценка	Кол. найд.ответов
Метапоисковые системы +понятие+назначение+обзор	http://ru.wikipedia.org/wiki/Метапоисковая_система	3	Данные не выводятся
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	3
	http://www.goodpc.chat.ru/other/resurs/meta.htm	3
	http://www.metabot.ru/	3
	http://www.torgovec.com/article.php?articleId=189	2
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	3
	http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013.html	3
	http://rudocs.exdat.com/docs/index-371315.html?page=17	2
	http://itoim.kspu.ru/ITOD/itod/m7/pon_m7.htm	1
	http://www.lib.csu.ru/obibl/ibk.shtml	-2

Следующей поисковой системой для сравнения является Lycos:

Запрос	Результаты	Оценка	Кол. найд.ответов
Метапоисковые системы +понятие+назначение+обзор	http://www.promo-webcom.by/analytics/search-systems/	1	955000
	http://www.catalysis.ru/link/index.php?ID=12&SECTION_ID=54	3
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	3
	http://runetica.com/course/04_metasearch.html	3
	http://www.kgau.ru/istiki/umk/mir/ch08s10.html	3
	http://www.vsepoisk.ru/2009/07/blog-post_23.html	3
	http://kursovih.ru/opisanie.php?rabota=url_rugpr149	1
	http://revolution.allbest.ru/transport/00140518.html	0
	http://ru.wikipedia.org/wiki/%D1%E8%F1%F2%E5%EC%E0_%F3%EF%F0%E0%E2%EB%E5%ED%E8%FF_%E2%E5%F0%F1%E8%FF%EC%E8	0
	http://otherreferats.allbest.ru/programming/00009867.html	0

4.1 Анализ полученных данных

Название ИПС	Средний бал	Кол. релевантных ссылок
Яндекс	2	4
Google	3	5
Mail	2	4
Rambler	2	3
Lycos	2	2

Google - оказался одной из наиболее эффективных систем с точки зрения ее релевантности и соответствия выданных результатов заданному запросу. Хоть страниц было много, но нужная информация находилась на самых первых из них. Мало затраченного времени - необходимые результаты.

Яндекс - выдавал результаты страниц, на которых не всегда первое место занимали релевантные документы. Зато жалоб на разнообразие просто не было, т.к. в представленном количестве материала можно было найти что угодно (при этом было потрачено времени в два раза больше, по сравнению с поисками в других поисковых системах).

Mail - оказалась менее эффективной, чем вышеназванные из-за ее чрезмерной ориентации на частные случаи, но результаты, которые она выдавала, значительно отличались от результатов других поисковых систем. Они были единственные в своем роде, не всегда релевантны, но неповторимы.

Rambler - несмотря на прочно занимаемое четвертое место в количественном рейтинге, оказался намного менее эффективной по релевантности системой. Здесь преобладает ориентация на российские источники информации, что снижает ее адекватность в оценке ситуации в других странах.

Поисковую систему Lycos можно рассматривать как наиболее эффективную наравне с Yandex, но только в англоязычном поиске. На русском языке в данной системе имеется незначительное количество сайтов и их релевантность минимальна.

Информационно - справочные ресурсы Internet

1. Yandex.ru.

2. Mail.ru.

3. Rambler.ru.

4. Google.ru.

5. Lycos.com.

6. http://ru.wikipedia.org/wiki/Метапоисковая_система.

7. http://www.metabot.ru/.

8. http://goodpc.chat.ru/other/resurs/meta.htm.

9. http://referat.yabotanik.ru/informatika/metopoiskovye-sistemy-ponyatie-naznachenie-obzor-i/220013.html.

10. http://otherreferats.allbest.ru/programming/00222031_0.html.

11. http://daxnow.narod.ru/index/0-17.

12. http://www.adhdportal.com/book_648_chapter_27_1._Ponjatie_i_naznachenie_pasportno-registraionnojj_sistemy.html.

13. http://www.coolreferat.com/Понятие_и_назначение_информационной_системы.

14. http://www.poisk-vsem.info/2-soderjanie/2_6_2_populyarnye_metapoiskovye_sistemy_interneta.html.

15. http://www.catalysis.ru/link/index.php?ID=12&SECTION_ID=54.

16. http://www.vsepoisk.ru/2009/07/blog-post_23.html.

17. http://search.tstu.ru/main/technology/?te=7.

18. http://www.bgsha.com/ru/learning/course/course_content.php?COURSE_ID=6&LESSON_ID=166.

19. http://www.osp.ru/pcworld/2009/08/9957584/.

20. http://rudocs.exdat.com/docs/index-371315.html?page=17.

21. http://www.lib.csu.ru/obibl/ibk.shtml.

22. http://itoim.kspu.ru/ITOD/itod/m7/pon_m7.htm.

23. http://do.gendocs.ru/docs/index-54002.html?page=21.

24. http://www.torgovec.com/article.php?articleId=189.

25. http://student.zoomru.ru/metall/opredelenie-metapoiskovyh-sistem/14193.130678.s1.html.

Размещено на Allbest.ru

...