iOS приложение РуСленг - Словарь Русского сленга

В данной главе будет проведен анализ существующих сервисов и приложений, которые реализуют возможность просмотра определений слов, сформулированы основные требования к приложению, выбраны программные методы и средства для реализации приложения.

Анализ существующих сервисов для просмотра определений слов

Существует множество вариантов просмотра определений слов, реализованных в виде интернет ресурсов и приложений. Мы рассмотрим самые популярные и функциональные из них, далее сравним преимущества и недостатки и сделаем выводы.

Google/Яндекс

Первое, что приходит в голову при желании найти определение какому-то слову - это поисковые сервисы. В наше время Google или Яндекс анализируют информацию при индексации сайтов, распознают вопрос «что такое X?» и предлагают небольшое окошко с предполагаемым ответом на вопрос, с прикреплённой ссылкой на источник ответа. Такой подход позволяет быстро узнать значение популярного слова. Однако такой подход не даёт подробное определение слова сразу же, требуется переход по ссылке. А также предлагаемая информация не структурирована. Также есть вероятность того, что достаточно известное выражение останется без предполагаемого определения при индексации и не будет предложено поисковиком. Удобство пользования поисковиком при поиске определений слова на среднем уровне, так как с мобильного устройства это доступно в один-два клика.

Wiktionary

Поисковые сервисы часто берут определение для слов из Wiktionary. В целом, это достаточно удобный сайт, однако у них нет официального приложения на мобильные устройства, а значит для поиска слова придется сначала открыть этот ресурс.

Urban Dictionary

Urban Dictionary [11] обладает наибольшей известностью и масштабу среди ресурсов для просмотра определений английского сленга [12]. В добавок к полнофункциональному веб-интерфейсу, существует официальное мобильное приложение, работающее по интернету и включающее основной функционал сайта. Одной из важных ключевых особенностей платформы Urban Dictionary является возможность голосования за конкретный вариант определения, что позволяет на основе большинства голосов сопоставлять слову наиболее популярное и корректное значение.

Teenslang.su

Teenslang.su обладает достаточной функциональностью для просмотра определений через браузер, включая расширенный поиск, однако в мобильных устройствах сайт отображается некорректно, с ним невозможно взаимодействовать используя смартфон. Кроме того, этот ресурс не обладает функцией добавления слов в избранное.

ABBYY Lingvo

ABBYY Lingvo [13] - образцовое мобильное приложение-словарь, реализующее весь необходимый функционал, включая поиск по различным словарям, добавление в избранное, а так же встроенное распознавание текста с изображений, режим изучения слов по карточкам и много другого. К сожалению, это приложение является платным, а словари приобретаются по-отдельности.

Сравнение приложений и веб ресурсов, предоставляющих возможность просмотра определений слов

Ни один из существующих российских ресурсов сленговых слов не представлен в виде мобильного приложения. Дизайн наибольшего ресурса, Teenslang.su, не изменялся с 2012 года, его текущая версия отображается в браузере мобильного устройства некорректно.

Таблица 2.1 Сравнение ресурсов для просмотра определений слов

В результате сравнения видно, что вариантов просмотра определений слов множество, у каждого свои преимущества. Многие варианты обладают своими уникальными преимуществами и заслуживают пристального внимания. Однако, как мы видим, среди рассмотренных сервисов и приложений нет оптимальных по всем параметрам. Основной недостаток большинства из них в том, что они не работают без доступа к интернету. Но если даже исключить это условие из требований, по-прежнему нет оптимальных приложений без недостатков. Следовательно, разрабатываемое приложение РуСленг следует проектировать с учётом покрытия всех условий. Следует заметить, что приложение ABBYY Lingvo является отличным продуктом и покрывает большинство основных требований. К сожалению, оно не является бесплатным, а также не содержит словаря русского сленга, к созданию которого мы и будем стремиться.

Основные функциональные требования к приложению

В результате анализа и сравнения существующих вариантов просмотра определений слов, сформируем следующие требования к приложению:

- Русский язык интерфейса

- Функция добавления слов в избранное

- Просмотр нескольких различных определений для одного слова

- Возможность работы без интернета

- Бесплатное

- Просмотр определений для сленговых слов

- Добавление и изменение слов (локально на устройстве)

Кроме перечисленных выше конкурентных особенностей, было решено реализовать следующие функции:

- Возможность просмотра списка слов по алфавиту и в случайном порядке

- Возможность поиска слов в конкретном словаре, если их будет несколько

В сравнении с приложением Urban Dictionary [14], РуСленг будет иметь те же возможности поиска и просмотра слов. Основная разница и конкурентное преимущество в том, что РуСленг будет поддерживать офлайн режим и может работать независимо от интернет-соединения. Наилучшим аналогом подобного словаря является платное приложение ABBYY Lingvo [15]. Это приложение реализует функционал офлайн словарей различного содержания на разных языках мира. Для русского языка в приложении можно приобрести множество словарей перевода на популярные языки мира и толковый словарь русского языка на 130 000 слов. Кстати, там также доступен словарь неформального английского языка с переводом значений на русский.

Сбор данных и создание словаря сленговых слов

В этой главе описываются методы, инструменты и реализация сбора данных с сайтов Teenslang.su, Vsekidki.ru и Модные-слова.рф, приведение данных в конечный формат словаря сленговых слов. Цель для каждого ресурса - загрузить всю информацию о всех словах, представленных на ресурсе. Обработать, привести к единому формату и объединить в едином словаре сленга. Словарь РуСленг соберёт в себе всю информацию, находящуюся на существующих русских сленг ресурсах, а значит станет самым масштабный русским словарём среди существующих в настоящий момент.

Основные инструменты и методы сбора данных

Задача сбора данных состоит из трёх подзадач:

Загрузка веб страницы.

Парсинг документа с целью получения данных.

Обработка и приведение данных к единому формату.

У каждой из этих задач есть своя специфика и популярные инструменты для их реализации. Рассмотрим реализацию каждой из подзадач на примере каждого из выбранных веб-ресурсов сленговых слов.

Основой для всех взаимодействий является Jupyter Notebook [16] -- командная оболочка для интерактивных вычислений

Загрузка веб страниц

Загрузка статичных веб-страниц выполнялась с помощью aria2 - свободная кроссплатформенная консольная программа для загрузки файлов по сети. Она обладает простым интерфейсом и предельной производительностью.

Teenslang.su

Структура сайта простая, html код страницы статичен, и для просмотра отдельных статей и общего списка, содержащего 19954 слов, требуется просто загрузить код страниц. Однако для того, чтобы открыть список из 26429 слов, в которые входят ещё и закрытые по разным причинам слова, требуется полноценный браузер, поскольку для этого на странице расширенного поиска требуется активировать галочку просмотра закрытых слов и нажать кнопку «Искать». Тогда в этом окне браузера будет доступен полный список слов, разделенный на 661 страницу по 40 слов на каждой, доступ к которым возможен только с помощью JS-команды `openpage(n)`.

Для осуществления этих взаимодействий было решено применить Puppeteer [17] - библиотека для Node.js, которая позволяет управлять браузером Chromium без пользовательского интерфейса.

Был написан метод `puppeteerSession`, который запускает Chromium в режиме headless и выполняет описанные выше действия для доступа ко всем словам. Для эффективного взаимодействия метод `puppeteerSession` запускается параллельно в 5-ти процессах, что позволяет загрузить 661 страницу за несколько минут.

let puppeteerSession = () => {

puppeteer

.launch({

headless: true

})

.then(async browser => {

let page = await browser.newPage()

console.log('await page.goto(url)')

await page.goto(url, {waitUntil: 'networkidle2', timeout: 60000})

await page.click('#in_full')

console.log(`await page.click('.adv_submit')`)

await page.click('.adv_submit')

await awaitPageOpening(page, 1)

while (current_page < last_page) {

let num = current_page++

console.log(num)

if (!fs.existsSync(`adv_pages/adv_${num}.html`)) {

await openPage(page, num)

await awaitPageOpening(page, num)

await downloadHTML(page, num)

}

}

})

.catch(console.error)

Рисунок 3.2.1 Загрузка страниц сайта Teenslang.su

Vsekidki.ru

На сайте Vsekidki есть единый список статей, который состоит из 82 страниц со 20 статьями на каждой. Каждая статья является отдельной статичной страницей, которая содержит подробное описание слова.

Загрузка страницы каждого слова становится возможна при наличии ссылки на эту страницу. Для получения ссылки воспользуемся python-библиотекой BeautifulSoup4, о которой будет подробнее рассказано в части 3.3.

Кроме записи ссылок на страницы слов также сохраняем категории, к которым относятся слова, такие как «Аниме», «Геймеры» и т.д.:

vsekidki_url = "http://vsekidki.ru/page/"

for i in range(1, num_of_slang_words_pages):

print(i, end=' ')

r = requests.get(vsekidki_url + str(i) + '/')

data = r.text

soup = BeautifulSoup(data, "lxml")

divs = soup.find_all('div', id="wid_m_bc")

for div in divs:

link = div.find('a')['href']

cats = div.find('div', id='wid_m_cat').text

link_to_cats[link] = cats

cat_to_links[cat].append(link)

with open ('words', 'w') as links_file:

links_file.write('\n'.join(link_to_cats.keys()))

!aria2c -i {'words'} -d words_pages

Рисунок 3.2.2. Загрузка страниц сайта Vsekidki.ru

Модные-слова.рф

Сайт Модные-слова не даёт единого списка всех слов, статьи распределены на категории, которых в общей сложности 27. Для каждой категории можно просмотреть список статей, по 6 на каждой странице. Всего на этом сайте 3651 статей.

!wget модные-слова.рф

with open ('index.html', 'r', encoding = "ISO-8859-1") as main_html_file:

main_html = main_html_file.read()

main_soup = BeautifulSoup(main_html)

main_soup.find_all('ul > li')

for ultag in main_soup.find_all('ul', {'class': 'lmenu reset'}):

for a in ultag.find_all('a'):

theme_links[mainLink + a['href']] = a.text.encode('ISO-8859-1')

.decode('WINDOWS-1251')

Рисунок 3.2.3. Получение ссылок на темы сайта Модные-слова.рф

with open ('theme_links', 'w') as links_file:

for link, name in theme_links.items():

links_file.write('{}\n out={}\n'.format(link, name))

!aria2c -i theme_links -d theme_pages --continue=true

Рисунок 3.2.4. Загрузка страниц каждой темы

for theme, link in theme_to_link.items():

for i in range(1, theme_pages_count[theme] + 1):

aria2c_input_file += '{}/page/{}\n dir=themes/{}\n out={}{}\n'.format(link, i, theme, theme, i)

with open ('theme_pages_links', 'w') as links_file:

links_file.write(aria2c_input_file)

!aria2c -i theme_pages_links --continue=true

Рисунок 3.2.5. Получение ссылок на страницы слов внутри каждой темы и их загрузка

Парсинг документа с целью получения данных

Парсинг данных со скачанных с помощью aria2 [18] html страниц выполняется с помощью python библиотеки BeautifulSoup4 [19], которая является самым популярным и качественным инструментом веб-парсинга с широким функционалом и большим сообществом пользователей.

Скачанные данные html страниц открываются с помощью python и обрабатываются фреймворком BeautifulSoup4. Данные инструменты были выбраны исходя из их популярности, развитого сообщества и удобных методах, позволяющих сконцентрироваться непосредственно на задаче парсинга веб страниц.

Teenslang.su

Каждое слово в Teenslang имеет чёткую структуру, размеченную html классами. Поэтому парсинг всех характеристик здесь достаточно ёмкий и простой:

for page in os.listdir(pages_dir):

with open(pages_dir + page, 'r') as word_page_file:

word_page = word_page_file.read()

soup = BeautifulSoup(word_page, "lxml")

table = soup.find('div', class_='visible-xs visible-md visible-sm visible-lg col-lg-6')

words = table.find_all('div', class_='issueword1')

for word in words:

words_dict.append({

'name': brush(word.find('span', class_='cap').text),

'definition': word.find('span', class_='mea').text,

'type': word.find('span', class_='sta').text,

'group': word.find('span', class_='sph').text.strip('()'),

'examples': word.find('span', class_='text').text,

'origin': word.find_all('div', class_='category').text,

'hashtags': word.find('span', class_='src').text,

'synonyms': word.find('span', class_='syn').text,

'link': 'teenslang.su/' + word.find('a', target="_blank", class_="btn btn-default btn-circle")['href']

})

Рисунок 3.3.1. Парсинг страниц сайта Teenslang.su

Vsekidki.ru

Статьи о словах на сайте Vsekidki не имеют чёткой структуры и, как правило, ограничиваются одним определением. Поэтому парсинг ограничен выделением названия слова и его определения:

def find_definition(soup):

text = []

for x in soup.find('div', itemprop="text").contents:

x = BeautifulSoup(str(x).replace('<br/>', '\n')).text

x = x.replace('(adsbygoogle = window.adsbygoogle || []).push({});', '')

x = x.strip(' \n')

text.append(x)

text = list(filter(lambda x: x, text))

return '\n'.join(text)

for i, word_page in enumerate(os.listdir('words_pages')):

with open(word_page, 'r') as word_page_file:

word_page = word_page_file.read()

soup = BeautifulSoup(word_page, "lxml")

name = definition = find_definition1(soup)

words.append({

"name": soup .find('h1').b.text.replace('Что такое ', '').rstrip('?'),

"definition": find_definition(soup)

})

Рисунок 3.3.2. Парсинг страниц сайта Vsekidki.ru

Модные-слова.рф

Статьи на сайте Модные-слова достаточно объемные, содержат картинки и видео, рекламу и текст, не относящийся к определению. Кроме того, текст определения слов практически не структурирован в html коде. Поэтому обработка слов этого ресурса заняла относительно много усилий:

Сайт имеет нестандартную кодировку cp1252, а не Unicode, как стандартно бывает. Функция ru_text декодирует русские буквы.

Название статьи не стандартизировано и не равно названию слова. Состоит из предложения, вида «СЛОВО - что значит?», «Что означает СЛОВО?» и таких префиксов и суффиксов более 90 видов. Функция clean_name парсит из этого предложения название слова.

Текст содержит рекламу. Функция clean_google_ad очищает определение от рекламы.

Главное определение слова лежит в div теге с классом “info”. Функция up_info поднимает главное определение в начало.

Из-за некорректной разметки, в тексте определения образуется множество артефактов. С помощью метода sent_tokenize лингвистической библиотеки nltk текст разделяется на предложения, фильтруется на предмет соответствия описанию слова и собирается обратно в функции clean_sentences.

def ru_text(text):

return text.encode('cp1252').decode('WINDOWS-1251')

def clean_name(name):

for word in endings_stop_list:

if name.endswith(word):

name = name.replace(word, '')

for word in beginnings_stop_list:

if name.startswith(word):

name = name.replace(word, '')

return name.strip(' \n?')

def clean_google_ad(text):

for ad in google_ads:

text = text.replace(ad, '')

return text

def up_info(soup, text):

info = soup.find('div', class_="info")

if info:

info = ru_text(info.text)

text = info + '\n' + text.replace(info, '')

return text

def clean_sentences(text):

from nltk import sent_tokenize

paragraphs = text.split('\n')

for i in range(len(paragraphs)):

para = paragraphs[i]

sentences = sent_tokenize(para)

clean_sentences = []

for sentence in sentences:

if not all([sentence.find(stop_word) == -1 for stop_word in stop_list]):

break

clean_sentences.append(sentence)

paragraphs[i] = ' '.join(clean_sentences)

text = '\n'.join(paragraphs).strip()

text = text.replace('\n(\n', ' ').replace('\nп\n', ' ').replace(u'\xa0', u' ')

return text

def parse_word_page(page, content, name):

word = dict()

word['link'] = page[:page.rfind('/')].replace('https://', '').encode('utf-8').decode('idna') + page[page.rfind('/'):]

word['name'] = clean_name(name)

word['definition'] = ru_text(content.text)

word['definition'] = clean_highslide_caption(soup, word['definition'])

word['definition'] = clean_google_ad(word['definition'])

word['definition'] = up_info(soup, word['definition'])

word['definition'] = clean_sentences(word['definition'])

if content.find('iframe'):

word['video'] = content.find('iframe')['src']

return word

for page in os.listdir(pages_dir):

with open(pages_dir + page, 'r', encoding = "cp1252") as word_page_file:

word_page = word_page_file.read()

soup = BeautifulSoup(word_page, "lxml")

content = soup.find('div', class_="maincont")

for span in content.find_all(['td', 'style', 'script', 'table']):

span.decompose()

name = soup.find('h1', class_="btl").text

word = parse_word_page(page, soup, content)

words_dict.append(word)

Рисунок 3.3.3. Парсинг страниц сайта Модные-слова

Объединение данных в единый словарь

В результате скачивания и обработки данных для каждого слова были получены такие характеристики, как название, определение, группа использования и ссылка на источник. Слова с сайта Teenslang отдельно имеют происхождение, примеры, часть речи. Слова с сайта Модные-слова могут иметь ссылку на прикреплённое к статье видео. Слова со всех ресурсов обрабатываются и объединяются с помощью python-библиотеки pandas, которая оптимально подходит для обработки табличных данных. Данные сохраняются в формате csv - текстовый формат, который является простым и оптимальным для представления табличных данных:

teenslang = pd.read_csv('teenslang.csv')

vsekidki = pd.read_csv('vsekidki.csv')

modnyeslova = pd.read_csv('modnyeslova.csv')

teenslang['dict_id'] = 1

vsekidki['dict_id'] = 2

modnyeslova['dict_id'] = 3

full = teenslang.append(vsekidki, sort=False).append(modnyeslova, sort=False)

full.reset_index(inplace=True, drop=True).replace(' ', float('nan'))

full.name = full.name.apply(lambda n: n[0].upper() + n[1:])

Рисунок 3.4.1. Объединение слов из трёх словарей в один CSV файл

Итоговый csv файл имеет следующий вид:

name,definition,type,group,examples,origin,hashtags,synonyms,link,dict_id,video

Ап,см. афтерпати.,аббрев. ,флэшмоб, , ,#Флэшмоб , ,teenslang.su/id/5367,1,

Апартунист,"искажение, типичная ошибка, правильно -- оппортунист.", , , , ,#Общие , ,teenslang.su/id/1078,1,

Рисунок 3.4.2. Пример строк CSV файла

Реализация мобильного приложения

Сленг занимает важную роль в социальном общении, особенно с развитием интернет технологий, благодаря которым новые сленговые слова почти мгновенно приобретают большую популярность и активно используются среди молодёжи. Поиск определения таких слов является важной потребностью людей, сталкивающихся со сленгом в своей жизни и деятельности.

В результате анализа всех существующих ресурсов с определениями сленговых слов русского языка было выявлено, что для русского сленга не существует полноценного словаря сленговых слов в удобном формате. Были собраны и обработаны данные с различных открытых источников сленговых слов, отобранных по полноте и актуальности информации. Данные были объединены в самый большой словарь русского сленга на текущий момент.

Сбор данных реализован с помощью современных методов и инструментов, в числе которых консольная утилита Aria2, Python-библиотеки BeautifulSoup4 и Pandas, Node-JS фреймворк Puppeteer. В результате был сформирован табличный документ, содержащий более 32000 слов и значений.

Все поставленные цели по созданию словаря сленговых слов для русского языка были успешно выполнены. В будущем словарь сленговых слов будет итеративно расширяться и объединять всё больше источников данных, планируется реализация автоматического обновления словарной базы с использованием сервера. Кроме того, планируется обработка неструктурированных определений с целью выделения различных характеристик слова в отдельные поля.