Поисковая система Nigma.ru

Размещено на http://www.allbest.ru/

Министерство связи и информатизации Республики Беларусь

Учреждение образования

Высший государственный колледж связи

Реферат

на тему: Поисковая система Nigma.ru

Выполнила:

Жукович Екатерина

Минск 2014



Содержание

Введение

1. Датированная история

2. История создания (с чего начиналась Нигма)

3. Стратегия развития

4. Запросы Нигма

5. Синтаксис языка запросов

6. Основные Nigma-фичи. Возможности Нигмы

7. Дополнительная информация

Вывод



Введение

Поисковая система - это компьютерная система, предназначенная для поиска информации.

Поисковая система - программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в интернете.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существует также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Цель поисковой системы заключается в том, чтобы находить документы, содержащие либо ключевые слова, либо слова как-то связанные с ключевыми словами.

В данной работе я представлю поисковую систему Nigma.ru .

Интеллектуальная поисковая система Nigma.ru - это первая кластеризующая поисковая система в Рунете. Конечная цель проекта - создание программного обеспечения, позволяющего анализировать проиндексированные документы и выдавать конкретную информацию на запрос пользователя, а не ссылки на другие сайты.



1. Датированная история

· 12 апреля 2005 запущена альфа версия

· 26 сентября 2005 Nigma предоставила поиск сайту Livestream.ru

· 3 ноября 2005 Nigma и компания Яндекс заключили партнерское соглашение, в рамках которого Яндекс будет поставлять Nigm-е результаты поиска в формате XML, а Nigma разместит рекламный блок Яндекс.Директа

· 29 ноября 2005 Nigma создала собственный индекс

· 24 апреля 2006 Nigma купила сто серверов оригинальной разработки

· 12 июня 2006 Nigma запускает AJAX-интерфейс для поиска

· 27 ноября 2006 Nigma внедрила новый механизм управления релевантностью

· 26 февраля 2007 Nigma запускает поиск по картинкам

· 10 апреля 2007 Nigma запускает поиск по электронным библиотекам

· 16 июля 2007 Nigma вводит в экплуатацию новую систему исправления ошибок

· 8 октября 2007 Nigma проводит тестирование новой версии поисковой системы

· 22 апреля 2008 Nigma запускает сервис расшифровки сокращений

· 21 октября 2008 Nigma запускает математический сервис

· 4 декабря 2008 Nigma запускает сервис Свежих новостей

· 18 декабря 2008 Nigma запускает сервис по автоматическому заполнению в строку поиска.

· 22 декабря 2008 Nigma запускает сервис по поиску химических реакций

· 23 декабря 2008 Nigma запустила поиск по музыкальным файлам

· 10 февраля 2009 Nigma открывает свой собственный NigmaForum

· 11 марта 2009 Nigma запускает систему по нахождению цепочек химических реакций



2. История создания Nigma.ru

Nigma.ru -- это еще один шаг на пути к созданию искусственного интеллекта. Речь идет о моделировании интеллектуальной деятельности с помощью вычислительных машин. Конечная цель всех работ -- создание алгоритмического и программного обеспечения вычислительных машин, позволяющих решать интеллектуальные задачи.

Руководитель проекта -- Лавренко Виктор -- выпускник факультета Вычислительной математики и Кибернетики (ВМиК) Московского Государственного Университета, ранее работавший в компании Mail.ru в должности вице-президента по стратегии и финансам.

Технический директор проекта - Чернышов Владимир, начавший работу над Nigma, будучи еще студентом-старшекурсником, в данный момент является выпускником ВМК МГУ и Stanford University.

С чего начиналась Нигма:

История проекта началась с исследований в области искусственного интеллекта, которые проходили на кафедре АСВК факультета вычислительной математики и кибернетики МГУ им М.В. Ломоносова в 2004-м году. Именно там познакомились и начали работу над Нигмой основатели проекта Виктор Лавренко и Владимир Чернышов.

В 2005 году поисковики уже выдавали сотни тысяч ссылок на один запрос, просмотреть которые, просто, физически, было невозможно.

Поэтому появилась потребность структурировать многочисленные результаты поиска. Для этого был создан кластеризующий поисковик, который позволяет уточнить запрос пользователя, группировать и фильтровать результаты поиска по темам.

Так же была разработана и внедрена уникальная система исправления ошибок, которая позволяет исправлять до 4-х грубых ошибок в одном слове (включая опечатки).



3. Стратегия развития

После успешного запуска Нигмы в РУнете, разработчики провели обширное маркетинговое исследование. По его результатам было решено создать принципиально новые поисковые алгоритмы, которые позволят выдавать необходимую информацию уже на странице результатов поиска, а не в виде ссылок на сайты, как это делают обычные поисковые системы.

Нигма и Stanford University

В 2007-м году Владимир Чернышов отправился в Стенфордский университ, где под руководством Гектора Гарсия Молины (научный руководитель создателей Google - C.Брина и Л. Пейджа) был разработан алгоритм, способный извлекать структурированную информацию из веб.страниц, обрабатывать ее и выдавать пользователю в виде удобной таблицы.

Умная строка поиска

Позднее, разработчики научили Нигму мгновенно отвечать на вопросы в поисковых подсказках, т.е. еще до того, как пользователь введет свой запрос в строку поиска. Эта технология является уникальной разработкой программистов Нигма.РФ и не имеет аналогов в мире.

Про образовательные сервисы Нигмы

В 2009 году совместно с заслуженными преподавателями России команда Нигма.РФ запустила несколько уникальных образовательных сервисов для школьников: Нигма-математика и Нигма-химия. Программы способны решать самые разные задачи ,а также подробно объяснять школьнику, как происходило вычисление. Сервис Нигма-Химия и многие функции Нигма-математики не имеют аналогов ни в России, ни в мире.

Нигма идет во Вьетнам:

Начиная с 2009 года, Нигма разрабатывает интеллектуальную поисковую систему во Вьетнаме. Именно эта, богатая природными и людскими ресурсами, азиатская страна была выбрана не случайно. Рынок IT во Вьетнаме стремительно развивается, за последний год рост проникновения интернета составил 7% (28 миллионов пользователей). Вьетнамские пользователи посещают, в основном, западные поисковики, поэтому существует высокая потребность в национальной поисковой системе, учитывающей особенности вьетнамского языка.

В 2010-м году была закончена разработка языкового модуля, который способен поддерживать специфику вьетнамского языка значительно качественнее, чем другие, популярные в этой стране поисковики. В апреле 2011 поисковая система itim.vn запущена в тестовом режиме и доступна по инвайтам. nigma кластеризующий интеллектуальный поисковый

В ближайшем будущем разработчики планируют запустить Itim для широкой аудитории.

4. Запросы Нигма

Кластеризация

На основе введённого пользовательского запроса Nigma формирует список документов, разделённых на несколько классов (кластеров). Пользователь может уточнить, в каком классе продолжить поиск, тем самым улучшив релевантность результатов поиска. Пользователь также может исключить ненужные ему классы сайтов, например документы, пришедшие с интернет-магазинов (для них формируется специальный кластер).

Список кластеров выводится слева от списка результатов поиска. Для каждого кластера указывается образующая его фраза и количество документов в кластере. Пользователь может управлять кластерами при помощи специальных ссылок под списком кластеров.

Орфография.

Поддерживается орфография на базе словаря, составленного из реальной русской орфографии, которую авторы веб-сайтов используют на своих страницах, за исключением жаргона падонков.

Система исправления ошибок Nigma.ru исправляет грубые ошибки (ЮрейЛушкоф, опечатки, предлагая пользователю на выбор не один, а несколько вариантов исправлений. Корректируются ошибки, связанные с неправильным выбором раскладки клавиатуры fibgrf-ошибка,(включая комбинации с другими ошибками). Словарь интеллектуальной поисковой системы расширен названиями известных брендов, набирать которые в строке запроса пользователь может даже на русском языке, так как Нигма автоматически расширяет поиск альтернативным написанием бренда.

Морфология

Nigma поддерживает русскую морфологию. Используется морфологический модуль для русского языка собственной разработки.

Ранее в Nigma.ru поддержка морфологии была реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены распространенные морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращал, а увеличивал количество найденных документов, так как морфологически измененный запрос объединяется с исходным. Релевантность также увеличивалась, так как использовались специальные алгоритмы объединения результатов.

Таким образом, через Nigm'у например можно было искать документы в индексе Google с учётом русской морфологии, даже в то время пока Google не поддерживал русскую морфологию. Сейчас надобность в данной технологии отпала, так как все ведущие поисковые системы поддерживают русскую морфологию.

5. Синтаксис языка запросов

Операторы AND и + По умолчанию считается, что слова разделенные пробелами -- это то же самое, что слова, разделенные оператором «+», или оператором «AND» -- все три формы запросов эквивалентны (a AND b -- нас интересует и слово «a» и слово «b»). Например, запросы розовая пантера, розовая+пантера и розовая AND пантера для поисковой системы будут неотличимы.

Оператор OR Иногда некоторые слова запроса для вас эквиваленты, например «скачать» и «download», тогда можно указать поисковой системе при помощи оператора «OR» между этими словами, что достаточно найти страницы с любым из этих слов. Будут найдены страницы, на которых есть хотя бы одно из слов. Примеры: бегемот OR гиппопотам, музыка mp3 (скачать OR download)

Оператор "" Если вы хотите найти страницы, на которых встречается заданная фраза, в запросе заключите ее в кавычки. Это может быть поезным, например при поиске какого-нибудь стихотворения или текста песни по известной строчке. Сравните результаты: «мороз и солнце -- день чудесный» и мороз и солнце -- день чудесный Фраза, заключенная в кавычки, ищется целиком без изменения порядка слов и без учета словоформ, то есть находясь только точные вхождения этой фразы.

Оператор - Иногда в результатах на некоторые запросы выдается не только нужная Вам информация, но и много другой. Например, по запросу «окна роста» будут выданы как результаты об агитационных плакатах советских времен, так и об одноименной фирме, занимающейся производством окон. Допустим, нам нужно найти информацию о плакатах. Ненужные результаты можно отфильтровать при помощи оператора «-», поставленного перед тем словом, которое Вы хотите исключить из результатов поиска. Уточним запрос окна роста при помощи оператора «-»: окна роста -пвх -производство -виа

Оператор site Если требуется найти страницы, удовлетворяющие запросу и находящиеся на определенном сайте, добавьте к запросу оператор «site:адрес_сайта». Можно искать по нескольким сайтам сразу. По запросу: nigma site:www.habrahabr.ru будут найдены страницы с сайта www.habrahabr.ru, содержащие слово «nigma». А по запросу: новости site:lenta.ru site:utro.ru будут найдены новости, с двух сайтов. Можно уточнить адрес сайта до поддоменов, например такой запрос: новости site:auto.utro.ru задает поиск только по указанному поддомену (auto.utro.ru), результаты с других поддоменов будут проигнорированы.

Сложные запросы

Скобки позволяют группировать слова запроса для применения к ним оператора. Например: микроволновая печь samsung (руководство OR документация) слова «руководство» и «документация» объединены скобками для того, чтобы оператор OR применялся только к ним.

6. Основные Нигма-фичи. Возможности Нигмы

Основные Nigma-фичи:

1. Nigma-Математика

2. Nigma-Химия

3. Nigma-Музыка

4. Горячие новости

5. Автозаполнение

6. Инфопоиск

7. Борьба со спамом

8. Расшифровка сокращений

9. Поиск по библиотекам

10. Англоподсказка

11. Кластеризация

12. Табличный Nigma-поиск

Расшифровка сокращений

В Nigma.ru есть сервис расшифровки сокращений. Сокращения вводятся в строку поиска и параллельно с поиском документов ведется поиск расшифровок сокращений. Расшифровки, которые получили подтверждения в найденных документах, попадают в список кластеров. А те расшифровки, которые не получили подтверждения документами, попадают в специальный псевдокластер "Аббревиатуры". Примеры:

· IMHO , а еще и вот так имхо

· CTR

· ЗАГС

· php

Математический сервис

Система Nigma позволяет не только производить простейшие арифметические преобразования, но и решать математические задачи различной степени сложности. Также Нигма распознает более тысячи физических, математических констант и единиц измерения, что позволяет производить операции с множеством величин (в том числе решать с ними уравнения) и получать ответ в требуемых еденицах измерения. Помимо уравнений система решает все задачи, характерные для калькуляторов поисковых систем и конверторов валют. Однако Нигма умеет считать в дробях и знает общеупотребимые синонимы валют. Так, например, можно посчитать, сколько деревянных в баксе. С помощью нового сервиса пользователи смогут решать различные математические задачи (упрощать выражения, решать линейные и квадратные уравнения, системы уравнений, уравнения с единицами измерения, конвертировать валюты, вычислять модуль числа, упрощать тригонометрические выражения, сокращать дроби и многое другое), вводя их прямо в строку поиска в виде строгого или нестрогого (обычного) текста.

Примеры выражений:

· 8/13+2/3

· x+корень из x=2(x-1

· cos^2x+sin^2x

· 2 ч * 30 м/мин = х

· 3 GBP + 1 евро в долларах

· 2x-y=4, 3y+x=9

· x+1=0

Сейчас разработчики Nigma работают над созданием дополнительной возможности: вывода хода решения.

Сервис по химическим реакциям

Система позволяет производить поиск по более чем 12000 неорганических реакций. Вещества можно записывать как при помощи названий ("хлорид натрия", "каменная соль"), так и в виде формул ("NaCl"). Для введенного набора из одного или нескольких веществ система попробует найти реакции с их участием.

Если пользователь хочет найти определенную реакцию, он вводит вещества, разделяя их знаками "+", например, "гидроксид натрия + HCl". Система найдёт все реакции с участием NaOH и соляной кислоты. Разработчики предусмотрели возможность указать с какой стороны в реакции находятся искомые вещества. Например, если написать знак «равно» после веществ: "2KOH + H2SO4 =", то Нигма найдёт только те реакции, где гидроксид калия и серная кислота находятся в исходных веществах. Если пользователь напишет знак «равно» перед реакцией:"= NaCl + H2S", то Нигма найдёт те реакции, где в конечных продуктах есть каменная соль и сероводород. Если пользователь укажет вещество и конечный продукт: "KOH = KCl", то Nigma отыщет все реакции, в которых из гидроксида калия получается его хлорид. Кроме молекулярной формулы для реакций, идущих в растворах, система выдает ионную формулу, которая поможет тем, кто учит химию, лучше понять суть химических процессов. В некоторых случаях система может подсказать пользователю, почему требуемая реакция невозможна. Например, если спросить у Нигмы, что будет при взаимодействии "K + NaOH", система даст ответ: "В водном растворе идёт не указанная реакция, а взаимодействие калия с водой".

Поиск цепочек химических реакций

Команда разработчиков Nigma.ru расширила функциональность поиска по химическим реакциям. В новой версии реализована возможность, которая наверняка понравится многим школьникам. Теперь можно искать не одну реакцию, а сразу целую цепочку, например: NaCl = Na = NaH = NaOH = NaHSO3. Система разобьет цепочку на стадии и подробно опишет, как из одного вещества получить другое. Для разделения стадий также можно использовать стрелочки, например, так: Fe -> FeS -> H2S -> S -> Na2S2O3 -> Na2S4O6. В цепочках могут быть и неизвестные вещества, которые можно обозначать буквой «X»: Ag -> X -> AgNO3 -> X -> Ag(NH3)2OH -> X -> Ag, а также знаком вопроса и многоточием:Cu2O -> X -> CuSO4 -> ? -> CuCl2 -> ... -> Cu2O.

Сервис свежих новостей

В ответ на запрос пользователи увидят три самые свежие новости прямо на странице результатов поиска.Разработчики проиндексировали и обработали данные более 3500 rss-лент СМИ и популярных блогов. На сайте также есть форма, через которую пользователи сами могут добавлять новостные ресурсы в индекс поисковой системы. База данных новостей обновляется каждые 5 минут.

Автоматическое заполнение

Во-первых, система предлагает варианты на основе предыдущих запросов пользователей Nigma.ru.Во-вторых, напротив предложенных примеров автозаполнения выводятся наиболее релевантные сайты, связанные с запросом пользователя. Теперь перейти на нужный сайт можно даже не вбивая запрос до конца, а лишь выбрав его из списка и нажав клавишу «вправо», или просто кликнув мышкой по ссылке. Если же нужный сайт находится на первом месте в подсказке, то его можно не выделять, а перейти на него только с помощью клавиши «вправо». Например, если ввести две буквы: «по» и нажать клавишу «вправо», то откроется сайт gismeteo. В-третьих, разработчики максимально упростили переход на самые популярные сайты среди пользователей Нигма.ру. Например, раньше, чтобы попасть на сайт «Одноклассники», нужно было набрать 13 букв, нажать «Enter», дождаться поисковой выдачи, а потом кликнуть на первый результат. Теперь пользователи nigma.ru, удерживая клавишу «О» несколько секунд, а потом отпустив ее, тут же попадут на сайт «Одноклассники». То же самое будет при нажатии клавиш: «в» (пользователь попадет на сайт «в контакте»), «ю» («youtube.com»), «з» («зайцев.нет») и т.п. Причем пользователю не нужно переключать язык - вместо «о» можно нажать на «j» и он также будет перенаправлен на сайт одноклассников.

Поиск по музыкальным файлам

Через вкладку «Музыка», пользователи Нигмы смогут найти и сразу послушать любимую песню прямо на странице результатов поиска ("Вивальди Времена Года"). Поисковый робот Nigma.ru находит в Интернете музыкальные файлы и индексирует теги, содержащиеся в этих самых файлах.

Когда пользователь ищет во вкладке "музыка", то Нигма находит музыкальные файлы, а пользователь в качестве результатов получает прямые ссылки на них. Сейчас поисковая система проиндексировала 1.600.000 аудио файлов.

7. Дополнительная информация

Поисковая система Nigma.ru разработала новый алгоритм индексирования

Поисковая система Nigma.ru разработала новый алгоритм индексации Интернет-сайтов, который расщепляет содержимое web-страниц на информационные блоки. Затем блоки, содержащие информацию, связанную с запросом пользователя, подмешиваются в результаты поиска с более высоким приоритетом. Новая технология разработана и запущена в тестовом режиме - пока проиндексировано около одного миллиона страниц Рунета, к концу лета разработчики расширят инфоиндекс до сотен миллионов страниц. Примеры работы нового алгоритма

Т.к. база у алгоритма все еще экспериментальная, новые результаты поиска выдаются примерно на 1% пользовательских запросов, но уже по первым подсчетам видно, что пользователи кликают на информационные блоки в два раза чаще, чем на обычные результаты поиска, т.е. релевантность выдачи стала существенно выше.

Появление новой технологии стало возможным, так как значительно увеличилось число сайтов, которые наполняются информацией автоматически с помощью скриптов и шаблонов на основе баз данных. По оценкам Дэвида Эксмарка, одного из основателей самой популярной системы управления базами данных MySQL, сейчас такие страницы составляют не менее 80% всех страниц Интернета.

Гектор Гарсия Молина, научный руководитель проектов Nigma.ru со стороны Стэнфорда, ранее -- руководитель Проекта Электронной Библиотеки Стенфорда, в рамках которого была разработана поисковая машина Google: «Так как объемы структурированной информации в Интернете растут, то поисковик, который сможет обрабатывать и использовать информацию о структуре веб-страниц, будет работать гораздо лучше, чем обычные поисковые системы».

Дмитрий Завалишин, президент Digital Zone, известный эксперт в области поисковых технологий: «Безусловно, будущее - за поисковыми системами нового поколения. Сегодня уже недостаточно просто искать «страницы, в которых встречается данное слово». Поисковая система должна быть способна анализировать структуру документа, отличать суть его от вторичного текста, не просто откликаться на запрос, а вести с пользователем осмысленный диалог».

Интеллектуальная поисковая система Nigma.ru предоставила поиск сайту Livestream.ru

6 сентября 2005 года команды разработчиков Nigma.ru и Livestream.ru объявили об официальном запуске партнерской программы, в результате которой пользователи информационно-развлекательного ресурса Livestream.ru получили возможность искать любую интересующую их информацию в Интернете, используя технологию, предоставленную Nigma.ru.

Форма поиска доступна вверху всех страниц сайта Livestream.ru, кроме того, оформлена в виде лаконичного варианта по адресу www.livestream.ru/search/. При поиске, результаты вместе с кластеризацией, осуществляемой интеллетуальной поисковой системой Nigma.ru, выдаются в дизайне Livestream.ru. Это позволяет, с одной стороны, добавить функциональности сайту Livestream.ru, а с другой, не создает у пользователя ощущения того, что форма поиска была рекламной.

Виктор Лавренко, руководитель разработчиков Nigma.ru:

-- К нам обратились разработчики сайта Livestream.ru с вопросом о том, можем ли мы предоставить им услуги нашей поисковой системы. Мы с радостью согласились это сделать, и готовы сделать такой поиск бесплатно для любого сайта, но с одним лишь условием: на странице результатов поиска не должно быть коммерческой рекламы.

Артур Виноградов, руководитель Livestream.ru

-- Поисковая система Nigma.ru обладает ощутимым преимуществом по сравнению с традиционными поисковыми системами -- искусственным интеллектом. Благодаря чему, наши пользователи теперь смогут быстрее находить нужную им информацию. В результате этой партнерской программы, за время тестирования технологии Nigma.ru на нашем сайте, аудитория увеличилась на 20%. Выросло и количество возвратов как на сам сайт, так и непосредственно на поиск.

Nigma.ru тестирует AJAX-интерфейс для поиска

Интеллектуальная поисковая система Nigma.ru, разрабатываемая студентами и аспирантами МГУ им. М.В.Ломоносова, начинает тестировать свой AJAX-интерфейс для отображения результатов кластеризации.

AJAX (Asynchronous JavaScript and XML) -- это новая технология, применяемая в самых современных проектах, таких как gmail.com. Однако, среди популярных поисковых систем AJAX еще не применялся. Nigma.ru решила использовать эту технологию для отображения результатов кластеризации в виде "облака" тэгов. Тэги-"облачка" разлетаются по синему "небу"; на каждый тэг можно кликнуть и получить подтэги, связанные с этим тэгом, а под облаком тэгов отображаются соответствующие тэгу результаты поиска.

AJAX-интерфейс доступен по адресу http://ajax.nigma.ru или по соответствующей ссылке с главной страницы проекта (http://nigma.ru)

Виктор Лавренко, руководитель Nigma.ru: "Нас всегда интересуют новые технологии, и мы не могли проигнорировать возрастающую популярность AJAX. С другой стороны, есть гипотеза, что пользователям важен именно интерфейс в результатах, поэтому мы решили проверить эту гипотезу. Сейчас интерфейс находится в стадии альфа-тестирования и мы с удовольствием выслушаем предложения по его улучшению".



Выводы

1. Метапоисковая система Nigma принадлежит к классу метапоисковых систем, осуществляющих кластеризацию результатов поиска существующих поисковых систем.

2. Система Nigma за счет использования кластерного анализа имеет характеристики поиска, отличающиеся от традиционных поисковых систем (возможность выделения слов, часто встречающихся совместно со словами поискового запроса). Однако использование только кластерного анализа не дает существенных преимуществ метапоисковым системам данного типа (clusty, nigma и др.).

3. Улучшение качества поиска, особенно при обработке запросов на естественном языке возможно только на основе использования синтаксического и семантического анализа текстовой информации.

4. Технология кластерного анализа имеет особенности, позволяющие на некоторых запросах пользователей получить немного лучшее качество поиска по сравнению с традиционными поисковыми системами. Однако, на других запросах качество поиска у систем кластерного анализа хуже, чем у традиционных поисковых систем. Это просто системы одного уровня, но несколько отличающиеся в части представления информации пользователю.

5. Качественное повышение эффективности поисковых систем возможно только за счет использования синтаксического и семантического анализа текста, а существующие поисковые системы (как традиционные, так и кластерные) этого не реализуют.

Размещено на Allbest.ru

...