Новые технологии поиска информации в сети Интернет

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Новые технологии поиска информации в сети Интернет

1.Ведущие операторы интернет-поиска Google, Yahoo и Microsoft

информация поиск интернет

Они ведут неустанную борьбу за расширение сферы поиска, совершенствуя поисковые технологии и разрабатывая новые поисковые сервисы.

Веб-портал Yahoo сообщил о своих планах создания нового механизма поиска видеоматериалов в Интернете, который позволит удовлетворить растущий спрос на онлайновые мультимедийные развлечения. Yahoo разрабатывает специальную службу, которая даст возможность искать в Сети видеоклипы с тем же успехом, с которым сегодня происходит поиск текстовой и графической информации. Бета-версия продукта уже доступна широкой публике на страничке разработчиков Next.yahoo.com. Она может выполнять поиск видеофайлов в формате Windows Media, Apple QuickTime и Real Media.

Другие компании, сделавшие поиск информации своей специализацией, также работают над созданием подобных сервисов. Google (не особо разглашая сей факт) уже записывает и индексирует телепрограммы, чтобы в дальнейшем сделать возможным их онлайн-поиск, занимается оцифровкой литературы, библиотечных книжных архивов.

Microsoft также разрабатывает платформу для поиска через Интернет видеофайлов и телепрограмм. А America Online недавно обновила свою мультимедийную поисковую систему Singingfish, добавив функцию поиска видео на своем главном сайте. В решении задачи видеопоиска Yahoo сотрудничает с порталом AtomFilms, имеющим огромный видеоархив -- от мультфильмов до сериалов.

Сегодня видеопоиск актуален по нескольким причинам. Многие люди в мире имеют современные компьютеры и высокоскоростной доступ в Интернет дома и на работе -- практически все, что необходимо для просмотра видеофильмов или телепрограмм через Всемирную сеть.

Стоимость создания, хостинга и транспортировки видеоинформации по Интернету значительно снизилась и сделала мультимедийные интернет-технологии более доступными. Сеть развивается, превращаясь в развлекательную платформу для телевидения, появляются новые устройства, объединяющие функции персонального компьютера и телевизора, и для многих людей стала весьма актуальной возможность поиска видеоинформации вне зависимости от способа ее распространения -- через платные кабельные каналы или широковещательную сеть.

Для операторов, предоставляющих сервис поиска видео, новый рынок услуг весьма привлекателен не только из-за возможности удовлетворить мультимедиаголод потребителей. Он также поможет эффективнее взаимодействовать с компаниями, которые занимаются рекламой и тратят на нее $60 млрд ежегодно. Основные рекламодатели с телевидения готовы использовать новые рекламные площадки в сети Интернет.

Поэтому Yahoo, Google и другие поисковые системы стараются наладить хорошие отношения с Голливудом, навести деловые мосты, которые станут основой для взаимовыгодного сотрудничества в области видеорекламы, распространения и продажи видеопродукции. Кроме делового партнерства с магнатами видео- и киноиндустрии, Yahoo внедряет новые технологии при создании своей системы видеопоиска. Компания разрабатывает новый медиастандарт Really Simple Syndication (RSS) Media, над которым работает совместно с Creative Commons, Broadband Mechanics, AtomFilms и другими компаниями. Новая система, построенная на этом стандарте, позволит добавлять текстовую информацию или метатеги в медиафайлы, размещенные на веб-сайтах.

Эти данные могут использоваться поисковой системой для индексации и, соответственно, поиска видеофайлов. Новый стандарт должен помочь решить проблему поисковой индексации файлов, которые содержат мало текстовой информации или не содержат ее вовсе. Yahoo создает технологию, которая позволит извлекать для поиска текстовую информацию из заголовков и других данных, связанных с видеофайлом, а в дальнейшем планирует задействовать технологии распознавания речи для расширения возможностей поиска. Для компаний, подобных AtomFilms, новый поисковый сервис означает увеличение трафика и в результате дополнительные поступления средств от рекламы. Компания занимается продажей рекламы, которая демонстрируется при загрузке видеофайлов с ее сайта и стоит от 20 до 35 долларов за тысячу показов -- почти в пять раз дороже обычной баннерной рекламы.

Вместе с тем новые технологии и поисковые инструменты порой нуждаются в доработке. Ученый-компьютерщик из университета Rice, Сан Франциско, вместе со своими учениками обнаружил серьезный недостаток, который является потенциальной угрозой безопасности, в утилите для поиска информации на дисках ПК, недавно выпущенной Google.

Эта брешь может позволить злоумышленнику негласно выполнять поиск данных на компьютере с установленной утилитой desktop search через Интернет. Первоначально исследователи просто занялись анализом работы данной программы, но, выяснив алгоритмы и механизмы ее поведения, обнаружили, что ею может управлять злоумышленник. Тестовая версия desktop search выпущена Google 14 октября 2004 г., и ее можно бесплатно загрузить с сайта компании.

Программа индексирует данные, хранящиеся на жестком диске, и использует их при поиске информации среди электронных писем, текстовых и других файлов. Брешь в системе безопасности программы делает возможным поиск в относительно небольшом объеме файлов, и только при наличии определенных обстоятельств. С компьютера через Интернет могут уходить поисковые запросы пользователя, но не файлы, которые хранятся на его дисках.

Читая эти запросы, отправляемые поисковой службе, Google может размещать текстовую рекламу в результатах поиска, которые отображаются пользовательским браузером. Авторы программы заявили, что обнаружили уязвимость в конце ноября и уже 10 декабря начали распространять новую версию desktop search, в которой потенциальная дыра в системе безопасности закрыта.

Основными конкурентами Google в области новых поисковых технологий и desktop search являются Microsoft и Yahoo. Microsoft также выпустила тестовую версию своей утилиты desktop search как составную часть панели управления MSN, а Yahoo объявил о начале тестирования подобной программы в январе 2005 г. Исследователи из университета Rice сообщили, что не проверяли программу desktop search от Microsoft, однако отметили, что она не интегрирует результаты локального поиска и поиска во Всемирной паутине, как это делает программа от Google. Уязвимость поисковой утилиты Google заложена в алгоритме ее работы и позволяет перехватывать данные, передаваемые с компьютера пользователя в Интернет. Программа отслеживает трафик, направленный на сайт Google.com, и добавляет к нему результаты поиска на локальном диске. Оказалось, что программу можно обмануть и перенаправить данные с результатами поиска на другой сайт, где их сможет получить злоумышленник.

Для успешной атаки хакеру достаточно заманить жертву на свой сайт, причем тип и версия браузера не имеют значения. По заявлению Google, фактов наличия подобных атак выявлено не было. Занявшиеся этой проблемой ученые смогли создать небольшую программу на языке Java, которая после загрузки на компьютер пользователя с установленной программой Google desktop search устанавливала сетевое соединение с сервером, с которого была загружена, и перенаправляла на него все поисковые запросы и результаты локального поиска. Программа настольного поиска Google может автоматически обновляться, загружая новые версии с сайта компании незаметно для владельца компьютера, на котором установлена. Благодаря этому пользователи могут уточнить наличие на своей машине безопасной версии программы, обратившись к пункту меню "О программе" -- свежая и надежная версия имеет номер 121,004.

2. Технология поиска информации в Интернете и профессиональных базах

Поиск любой информации в Интернете - творческих процесс, требующий глубоких знаний в области информационных технологий, лингвистики, принципах построения поисковых и информационных ресурсов глобальной сети.

На сегодняшний день во всемирной паутине представлены миллиарды страниц самой разнообразной информации. При таком изобилии ресурсов встаёт вполне логичный вопрос: как рационализировать поиск? Как при минимальный затратах времени извлечь максимум нужной и полезной информации?

Что такое поиск? Полнотекстовый - это поиск по всему документу. Поиск по метаданным -- это поиск по атрибутам документа (название документа, дата создания, размер, автор), поддерживаемым системой. Запрос -- это способ выражения потребностей в определенном виде информации пользователем системы в особом формате. Для этого используется особый язык поисковых систем или синтаксис, который у каждой системы может быть свой.

Существует понятие естественных запросов. Это упрощает составление сложного запроса. Самый популярный поисковый сайт на основе языка естественных запросов - это Ask.com. Он преобразует запрос в ключевые слова, которые затем и использует при индексировании сайтов. Этот подход работает только в случае простых запросов.

Как всё начиналось. В 1993 году первой поисковой системой для всего Интернет пространства был «Wandex», на смену ему пришел «Aliweb», функционирующий и по сей день. В 1996 году появилось морфологическое расширение к Altavista и оригинальные российские поисковые машины Aport (http://www.aport.ru/) и Rambler (http://www.rambler.ru). В 1997 году была открыта сама популярная поисковая система Яндекс (http://www.yandex.ru/), которая охватывает 47 % Рунета. Рунет - это русскоязычная часть Интернета, включая домены .ru, так же все русскоязычные ресурсы.

Развиты специализированные поисковые системы. К примеру - это отдельная категория поиска картинок во многих крупных поисковых системах. Существуют системы с фильтрацией спама, вирусов и вредоносных программ на сайтах, находящихся в базах данных. Искать файлы можно даже на ftp-серверах (http://www.filesearch.ru/).

Наилучшим вариантом работы с глобальными информационными ресурсами является тот, когда пользователь знает адрес сайта и получает возможность доступа к его содержанию. Адрес сайта может быть получен из различных источников: справочников, желтых страниц, Интернета, рекламы. На сайт так же можно попасть по гиперссылкам других сайтов, схожих по тематике.

Опытный пользователь всегда имеет под рукой список, каталог адресов поисковых серверов. В этом случае необходимо отслеживать обновления и появления новых сайтов.

Если пользователь исследует новую проблему, осуществляет поиск информации среди ресурсов, которые до этого ещё не были им изучены и освоены, одним из наиболее эффективных методов является использование поисковых систем и каталогов. В этом случае может быть предложена следующая технология поиска:

1. определение общего направления запроса и его содержания (текст, изображения, товары в интернет-магазинах, новости и последние обновления) по ключевым словам;

2. определение географических рамок поиска (популярные поисковые машины Рунета Яндекс, всемирные Yahoo!, Google, в Европейском Союзе - Accoona). Для получения лучших результатов можно воспользоваться расширенными условиями поиска. Например задать язык, дату создания документа, страну, популярность посещения сайта.

3. На следующем этапе осуществляется отбор и установка последовательного использования поисковых машин в соответствии с убыванием ожидаемой эффективности поиска в каждой из машин. Качество выполнения постановки задания поисковой машине будет напрямую зависеть от опытности работы пользователя с ней.

4. Далее задается запрос к поисковой машине - это наиболее ответственный момент. Требуется максимально сузить область поиска информации. Следует отдавать предпочтение нескольким узким запросам, а не обширному предложению. Эффективно создать тезаурус по ключевым словам - требуется углубленное знания языка пользователя, а так же знание специфической терминологии исследуемой предметной области.

5. На заключительном этапе происходит выполнение запроса и его уточнение. Анализ полученных результатов позволяет корректировать запрос с целью сужения области поиска.

Можно воспользоваться услугой Query-By-Example (найти подобные). Этой услугой оснащены не все поисковые системы. При просмотре результатов поиска пользователь выбирает документ или группу документов, наиболее близких по содержанию к тому, что Вы ищете, и даете команду «найти подобные документы».

Все поисковые системы (службы, серверы) разделяются на поисковые машины (роботы, указатели) и поисковые каталоги.

Одни из самых известных поисковых систем можно классифицировать так:

Системы, поддерживающие все языки мира:

Yahoo!

Google

Overture

Inktomi

AltaVista

Alltheweb FAST-Engine

MSN

Русскоязычные -- индексируют и ищут тексты на украинском, белорусском, английском и др. В основном индексируются ресурсы, расположенные в доменных зонах, где доминирует русский язык и языки стран СНГ: Aport , Rambler, Яндекс, Mail.ru, Webalta, Qwika, GoGo, Turtle, Punto, Nigma, Visualworld.

Украинские: A.UA ,Мета, Bigmir)net, Поиск I.ua

Европейский Союз:

Немецкие: Abacho.de, de.Ez2find.com,

Французские: fr.Ez2Find.com, Francite, Locace, Nomade, Voila

Эстонские: www.ee, neti.ee

Чешские: seznam.cz,

Узбекские: Voydod.uz, www.uz

Основные функции поисковых систем:

1. сбор статистики (чтобы определять число страниц на сервере, типы присутствующих на нем файлов, их соотношения, средний размер страницы и т. д);

2. обслуживание (сбор информации о неисправных ссылках и обновлениях, проверка ссылок сайтов, авторы которые самостоятельно подали регистрационную заявку, и др);

3. поиск новых ресурсов.

Каталог ресурсов -- классифицированный набор ссылок на сайты с кратким описанием содержания. Сайты в каталоге делятся по тематике, а внутри тем могут быть ранжированы по индексу цитирования, дате добавления, алфавиту, или по другому параметру. В зависимости от тематики ссылок каталоги могут быть общими и специализированными.

Наилучшим вариантом работы с информационными ресурсами Интернета является вариант, когда пользователь знает адрес сайта и получает возможность ознакомиться с его содержимым. Адрес сайта может быть получен из любых источников (например, рекламные объявления, желтые страницы и т.д.). Также на сайт можно прийти с помощью гиперссылок, просматривая другие сайты.

Опытный специалист в области информации всегда должен иметь список интересующих его сайтов. В этом случае ему придется только отслеживать появление новых интересующих его сайтов.

Если пользователь исследует новую проблему в бизнесе, ищет информацию среди ресурсов, которые он еще не освоил, одним из основных методов является использование поисковых машин и каталогов. В этом случае может быть предложена следующая технология подготовки и проведения поиска:

3. Основные методы поиска информации в Интернете

Можно выделить следующие основные методы поиска информации в Интернете, которые, в зависимости от целей и задач ищущего, используются по отдельности или в комбинации друг с другом:

3.1 Непосредственный поиск с использованием гипертекстовых ссылок

Поскольку все сайты в пространстве WWW фактически оказываются связанными между собой, поиск информации может быть произведен путем последовательного просмотра связанных страниц с помощью браузера.

Хотя этот полностью ручной метод поиска выглядит полным анахронизмом в Сети, содержащей более 60 млн. узлов, "ручной" просмотр Web-страниц часто оказывается единственно возможным на заключительных этапах информационного поиска, когда механическое "копание" уступает место более глубокому анализу.

Использование каталогов, классифицированных и тематических списков и всевозможных небольших справочников также относится к этому виду поиска.

3.2 Использование поисковых машин

Сегодня этот метод является одним из основных и фактически единственным при проведении предварительного поиска. Результатом последнего может являться список ресурсов Cети, подлежащих детальному рассмотрению.

Как правило, применение поисковых машин основано на использовании ключевых слов, которые передаются поисковым серверам в качестве аргументов поиска: что искать.

Если делать все правильно, то формирование списка ключевых слов требует предварительной работы по составлению тезауруса.

3.3 Поиск с применением специальных средств

Этот полностью автоматизированный метод может оказаться весьма эффективным для проведения первичного поиска.

Одна из технологий этого метода основана на применении специализированных программ - спайдеров, которые в автоматическом режиме просматривают Web-страницы, отыскивая на них искомую информацию.

Фактически это автоматизированный вариант просмотра с помощью гипертекстовых ссылок, описанный выше (поисковые машины для построения своих индексных таблиц используют похожие методы).

Нет нужды говорить, что результаты автоматического поиска обязательно требуют последующей обработки.

Применение данного метода целесообразно, если использование поисковых машин не может дать необходимых результатов (например, в силу нестандартности запроса, который не может быть адекватно задан существующими средствами поисковых машин).

В ряде случаев этот метод может быть очень эффективен.

Выбор между использованием спайдера или поисковых серверов являет собой вариант классического выбора между применением универсальных или специализированных средств.

4. Анализ новых ресурсов

Поиск по новообразованным ресурсам может оказаться необходимым при проведении повторных циклов поиска, поиска наиболее свежей информации или для анализа тенденций развития объекта исследования в динамике.

Другой возможной причиной может явиться то, что большинство поисковых машин обновляет свои индексы со значительной задержкой, вызванной гигантскими объемами обрабатываемых данных, и эта задержка обычно тем больше, чем менее популярна интересующая тема.

Это соображение может оказаться весьма существенным при проведении поиска в узкоспециальной предметной области.

4.1 Поисковые системы

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на ftp-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка.

Индексация информации осуществляется специальными поисковыми роботами.

В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.

Улучшение поиска -- это одна из приоритетных задач сегодняшнего Интернета.

4.2 Использование поисковых систем на Западе

По данным компании Net Applications в декабре 2007 года использование поисковых систем на Западе распределялось следующим образом:

Google -- 77,04 %

Yahoo -- 12,46 %

MSN -- 3,33 %

Microsoft Live Search -- 2,57 %

AOL -- 2,12 %

Ask -- 1,38 %

AltaVista -- 0,13 %

Excite -- 0,07 %

Lycos -- 0,02 %

All the Web -- 0,02 %

В вышеприведенный отчёт не входят российские поисковики, такие как, например, Яндекс, Рамблер или Nigma.

По данным аналитической компании comScore все поисковые сайты в декабре 2007 года обработали 66 млрд 221 млн поисковых запросов.

Яндекс попал в статистику и находится на 9-ом месте.

4.3 История поисковых систем

Одним из первых инструментов поиска в интернете (до WWW) был Archie.

Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» -- бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993.

Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор.

Первой полнотекстовой, то есть индексирующей ресурсы при помощи робота, поисковой системой стала «WebCrawler», запущенная в 1994.

В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице -- с тех пор это стало стандартом во всех основных поисковых системах.

Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона. Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!».

Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport.

23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и метапоиска.

Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivн'69simo.

В 2005 году на российских просторах при поддержке МГУ запущен поисковик Nigma, поддерживающий автоматическую кластеризацию.

В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака ключевых слов.

Nigma тоже экспериментировала с визуальной кластеризацией.

5. Русскоязычные поисковые системы

Большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках -- украинском, белорусском, английском и др.

Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами.

Яндекс (46,3 % Рунета)

Mail.ru (8,9 % Рунета)

Rambler (3,3 % Рунета)

Nigma (0,5 % Рунета)

Генон (0,1 % Рунета)

Gogo.ru (<0,1 % Рунета)

Aport (<0,1 % Рунета)

Из перечисленных поисковых систем не все имеют собственный поисковый алгоритм -- так QIP.ru используют поисковый механизм Яндекса, Mail.ru использует Google, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Размещено на Allbest.ru