Когда речь заходит о лингвистическом поиске, обнаруживается множество разных точек зрения на то, в чём же должна заключаться "лингвистичность" поиска и каким образом он должен работать. С одной стороны, логично рассматривать создание особенного поискового сервиса, заточенного непосредственно под лингвистические нужды. С другой стороны, при давно существующей общей архитектуре и логике поиска, нерационально не использовать их. Поэтому часто учёные пытаются создать так называемую "обёртку" для обычной существующей поисковой системы.

Если говорить о лингвистической "обёртке" обычного поиска, обычно её суть заключается в дополнительном этапе лингвистической обработки, предваряющий поиск или наоборот дополняющий его после выполнения запроса. Одним из наиболее известных примеров является постоянно пополняемый корпус текстов из Интернета, WebCorp, и его поисковая система, WebCorp Search Engine (Renouf et al. 2005). Авторы этого проекта фактически попытались создать лингвистическую систему, но не с нуля и не с особенным интерфейсом, заточенным под грамматику, а основанную на обычном поиске вроде Google или Yahoo. В чём же заключаются изменения, внесённые Renouf et al.? В первую очередь, они добавили в поисковую выдачу такое важное свойство как контекстуальность. Вывод контекста в несколько слов позволяет пользователю определять разницу в значениях употреблений даже в небольшой выдаче из 10-15 примеров. При этом контекст можно фильтровать, например, убирая из устойчивого выражения одно из слов, чтобы изучить, как в действительности употребляется это выражение.

Далее, авторы проекта ввели возможность просмотра коллокаций и так называемых грамматических профилей (word sketches) для слова или словосочетания из запроса. Эти профили предоставляют грамматическую информацию об искомых словах, а также список наиболее частотных "соседей" слов из запроса и словосочетаний с ними.

Что касается, собственно, поисковой системы в корпусе WebCorp, она отличается от обычных поисковых систем тем, что выносит процесс всей лингвистической обработки текстов и его результаты в отдельную базу данных, разгружая тем самым основную базу данных и обращаясь только к нужным лексико-грамматическим элементам. Помимо этого, в WebCorp Search Engine реализован принцип “wildcard”, позволяющий строго указывать только часть слова, а оставшуюся часть делать рандомной (например, запрос *gate выдаст среди результатов Northgate, Williamgate и др.).

В те же годы, что и WebCorp Search Engine, разрабатывался KWiCFinder. Этот проект схож с вышеупомянутым, отличаясь лишь формой реализации: в отличие от WebCorp SE это дополнение к обычной поисковой системе в виде приложения Windows. Он точно так же, как и первый, умеет предоставлять список коллокаций и лексические профили, но не умеет порождать словоформы изменяемых лексем, а потому не может предоставить хорошую полную выдачу для падежных языков или языков с другими частотными морфологическими изменениями (KWiCFinder 2002). Формат поисковой системы (сайт в Интернете или самостоятельная программа на компьютере пользователя) играет важную роль в тех случаях, когда корпус, по которому проводится поиск, размещён не в Интернете, а скачан пользователем на компьютер, как например Открытый Корпус Русского Языка (OpenCorpora).

Ещё одной попыткой создать удобную лингвистическую оболочку для поисковой системы был проект GoogleLing, разработанный Смарром и Гроу в 2002 году. Противопоставляя свой проект упомянутой выше WebCorp Search Engine, они добавили возможность дополнительного лингвистического анализа запроса и сложного языка запросов (Smarr, Grow 2002). Это означает, что в системе GoogleLing можно запросить любую необходимую форму изменяемого слова или наоборот все её формы.

Самыми известными примерами обособленных самостоятельных лингвистических систем можно назвать Linguistic Search Engine (далее LSE, Kilgarriff 2003) и Search Engine for Applied Linguistic (Fletcher 2004). В 2003 году Адам Килгарифф анонсировал создание LSE, которую он противопоставлял известному проекту WebCorp. Он указывал на то, что последний всё же опирается на Google и другие поисковые системы, лишь конвертируя и передавая пользовательский запрос в существующие системы поиска, по возвращении добавляя в выдачу необходимую лингвистическую информацию, и не является самостоятельно поисковой системой (Kilgarriff 2003). В случае же с LSE разработчики заявляли абсолютную самостоятельность своей системы, отдельный язык запросов и свой собственный веб-краулер, собирающий тексты из Сети в собственную базу. В итоге проект не был запущен, как и проект Флетчера, однако, интересно, что в обоих случаях разработчики рассчитывали опираться на документацию Google и, так или иначе, использовать разработки этой компании.

В последние же несколько лет поиск всех основных корпусов базируется на уже упомянутых выше универсальных библиотеках полнотекстового поиска или на платформе известных обособленных поисковых систем, таких, как Яндекс. Сервер или Google. Например, Мангеймский корпус немецкого языка (COSMAS Corpora, он же DeReKo) и Синтаксический корпус средневекового французского языка (Syntactic Reference Corpus of Medieval French) опираются, соответственно, на системы COSMAS II и TigerSearch, которые основаны на базе ElasticSearch. В свою очередь Британский Национальный Корпус (British National Corpus) использует для поиска собственную систему Xaira, разработанную на Java и схожую по устройству с Apache Lucene. Национальный Корпус Русского Языка использует в качестве основы своей поисковой системы архитектуру Яндекс. Сервера.

Обращаясь в целом к структуре лингвистического поиска, важно отметить, что основным элементом лингвистической системы является корпус текстов или корпусная платформа, по которой, собственно, осуществляется поиск. В зависимости от того, насколько хорошо организован и размечен корпус, поиск будет точнее и качественнее.

Когда собран корпус текстов, объединённых общим свойством: как правило, языком (например, Национальный Корпус Русского Языка) или жанром (например, Корпус текстов из интернет-блогов), каждый текст размечается по необходимым в будущем поисковым аспектам. Понятно, что грамматика и морфология в первую очередь важны учёным-лингвистам в их исследованиях, но при этом есть не менее актуальные свойства речи. Так, в своей обзорной статье Е.А. Гришина говорит о необходимости размечать ударения, акцентуацию и различные интонации в звучащей речи (Grishina 2007). То же актуально и для корпусов поэтической речи. В качестве ещё одного примера можно привести разметку жаргонной и специфической лексики в корпусе газет и интернет-блогов. После успешно размеченного и подготовленного корпуса, в систему встраивается поисковой сервис, позволяющий учитывать грамматические свойства запроса.

Соответственно, при происходящем в реальном времени запросе в первую очередь пользователь формирует при необходимости подкорпус, по которому будет проходить поиск. Далее система ищет запрошенную форму слова в индексе искомой лексемы или все формы слова, если определённая структура не задана в запросе. Выдача поисковых результатов содержит, как правило, несколько слов слева и справа для того, чтобы был ясен контекст. Ранжирование осуществляется безотносительно предпочтений пользователя и обычно основывается на времени создания текста.

1.3 Способы ускорения процесса поиска