Данная утилита, которая автоматизирует первый и второй шаг в создании датасета, представлена на воркшопе International Workshop on Refactoring 2019 как самостоятельный результат [10].

Датасет создавался посредством запуска утилиты на 1000 проектах с открытым исходным кодом. Все проекты были взяты с платформы GitHub по следующим критериям: основным языком программирования должна быть Java, последний коммит был сделан не раньше 2018 года. Среди всех таких проектов были взяты 1000 с наибольшим количеством звезд (рейтинг популярности на GitHub). Далее на каждом проекте был запущен поиск методов, которые можно перемещать между классами. Для обработки такого большого числа данных использовалась платформа Google Colaboratory - бесплатные облачные вычисления на производительном оборудовании.

Из 1000 проектов в 485 не было найдено ни одного перемещаемого метода. В оставшихся 473 проектах суммарно было найдено 18086 методов, которые можно перемещать в другие классы. Каждая возможность переместить метод в другой класс добавляет в датасет негативный пример - ситуацию, когда метод перемещать не нужно. Каждый метод, который можно перемещать между разными классами, добавляет в датасет позитивный пример - метод необходимо вернуть в исходный класс. Для решаемой в данной работе задачи класс, из которого перемещается метод, не имеет значения, поэтому каждый отдельный метод позволяет добавить в датасет лишь один позитивный пример. Из-за того, что некоторые методы можно перемещать сразу в несколько классов, датасет получился несбалансированным, всего в нем получилось 38320 точек с соотношением позитивных примеров к негативным.

2.3 Модель

Задача о рекомендации рефакторинга «перемещение метода» может быть формализована следующим образом. На вход поступают исходный код метода и класса, в который этот метод можно переместить. На выходе ожидается вещественное число из отрезка - степень уверенности в том, что данный метод нужно переместить в данный класс. Далее можно посчитать степень уверенности для класса, в котором метод уже лежит и для всех классов, в которые метод можно переместить. Среди всех кандидатов предлагается выбрать класс, для которого степень уверенности наибольшая.

Первый шаг в любой модели машинного обучения - сопоставление исходным данным численных признаков. Так как признаков обычно много, то каждому объекту из датасета сопоставляется целый вектор из вещественных чисел, а сам процесс называется векторизацией.

Наиболее простой и популярный способ сопоставления исходному коду численных значений - расширенный набор метрик Чидамбера и Кемерера [5]. Данные метрики просто подсчитывают статистику, основанную на объектно-ориентированной структуре программы. Примерами метрик служат: количество методов в классе, глубина дерева наследования, количество потомков у класса и так далее. Недавняя работа продемонстрировала, что подобного рода метрики плохо справляются с задачей обнаружения «запахов кода» [6]. Задачу поиска «запахов кода» можно свести к задаче рекомендации рефакторинга - если предлагается применение рефакторинга, то обнаружен «запах кода». Таким образом метрики Чидамбера и Кемерера не подходят для векторизации входных данных для разрабатываемой модели.

Обучение представлениям - подраздел машинного обучения, в котором процесс векторизации автоматизирован. Примером модели обучения представлениям является word2vec [8]. Данная модель сопоставляет каждому слову языка (обычно английского) вектор, который называется эмбеддинг (embedding). Так получается, что данные вектора хранят в себе семантику слов. Например, разница между векторами для слов «мужчина» и «женщина» оказывается почти такой же, как разница между векторами для слов «мальчик» и «девочка». Обычно эмбеддинги применяются для векторизации текстов, написанных на естественном языке, для их дальнейшей обработки. Авторы статьи о рекомендации рефакторинга «перемещение метода» с помощью глубокого обучения и обучения представлениям применили word2vec для векторизации имен классов и методов [7]. Данные вектора использовались в их модели для дальнейшей классификации и предложения рекомендаций.

Не смотря на то, что word2vec может помочь в рекомендации рефакторингов, эта модель не предназначена для анализа исходного кода программ. Недавно исследователи предложили другую модель обучения представлениям, которая предназначена для векторизации исходного кода - code2vec [9]. code2vec принимает на вход тело метода и предсказывает имя этого метода. В процессе для метода конструируется вектор, который является его эмбеддингом и обладает свойствами, похожими на свойства word2vec векторов.

Рисунок 4.1

Для векторизации метода code2vec конструирует его абстрактное синтаксическое дерево (АСД). Метод представляется как набор всевозможных путей между каждой парой листьев в этом дереве. Такие пути называются контекстными путями. На рисунке 4.1 изображено АСД некоторого метода, цветом выделены четыре контекстных пути между листьями этого дерева. Каждый контекстный путь - это значения, записанные в двух листах, и набор типов всех промежуточных вершин на пути между этими листьями. Так как путей между каждой парой листьев может быть очень много, для каждого метода выбирается случайный набор из не более чем 200 контекстных путей.

Рисунок 4.2

На рисунке 4.2 изображена схема code2vec модели. На вход модель получает набор контекстных путей. Каждому из двух значений в листе и каждому набору типов промежуточных вершин сопоставляется 128-мерный вектор, которые модель обучает. Контекстный вектор - конкатенация трех векторов: два для значений в листьях и один для промежуточных вершин. Таким образом, контекстный вектор имеет размерность 384. Чтобы смешать координаты трех независимых векторов используется полносвязный слой, который не изменяет размерность вектора. Объединенные контекстные вектора суммируются в один вектор с помощью механизма внимания - каждый вектор входит в сумму с определенным весом, который означает важность этого вектора для всей суммы. Полученный вектор и является эмбеддингом (векторным представлением) исходного метода, который можно использовать в других моделях. Для предсказания имени метода softmax функция применяется к скалярным произведениям векторного представления с обучаемыми эмбеддингами для всевозможных имен методов из фиксированного словаря. Softmax возвращает для каждого имени число от 0 до 1, а сумма всех чисел равна 1. Данные числа можно интерпретировать как степень уверенности в каждом конкретном имени для исходного метода. Модель обучается на большом корпусе Java проектов, в результате чего вычисляемое векторное представление начинает обладать полезными скрытыми свойствами.

Рисунок 4.3

На рисунке 4.3 изображена схема предлагаемой в данной работе модели. На вход модель принимает исходный код метода и класса. Метод преобразуется в вектор путем простого применения code2vec модели. Так как обучение code2vec ресурсоемкая задача, использовались предобученные веса, предоставленные авторами статьи.

С векторизацией классов встает такая же проблема, как с векторизацией предложений. Предложения состоят из слов, для которых существуют векторные представления, класс можно приближенно представить как набор методов, которые можно векторизовать. Но как векторизовать сами предложения и классы? Существует много различных способов векторизации предложений. Ранее было показано, что простое математическое среднее векторов всех слов из предложения работает не хуже других моделей [25]. По аналогии можно векторизовать исходный код класса.

Для векторизации класса используется следующая конструкция: класс представляется как набор методов, которые он содержит; каждый метод векторизуется с помощью code2vec; итоговый вектор для класса - среднее арифметическое всех векторных представлений методов. Если на вход модель получает класс и метод , причем метод уже находится внутри класса , то не используется для векторизации . Таким образом, класс, который уже содержит метод, является равноправным кандидатом на перемещение метода внутрь себя. Если в конечном итоге модель предлагает переместить метод внутрь того класса, в котором он уже находится, то это интерпретируется как ситуация, в которой нет необходимости перемещать метод.

Полученные два вектора для метода и для класса конкатенируются в один вектор размерности 768. Для улучшения точности предсказаний и ускорения процесса обучения размерность понижается с помощью метода Principle Components Analysis (PCA). PCA находит такое вращение исходного пространства, что разброс точек из датасета по первой координате максимален, по второй координате разброс наибольший из оставшихся возможных и так далее. Изменение значений в последних компонентах оказывается незначительным, и этими компонентами можно пренебречь. В данном случае были убраны все координаты, которые объясняли меньше чем 0.1% общего разброса. В результате осталось только 166 компонент, которые вместе отвечают за 88.1% общего разброса.

На полученных 166-мерных векторах, каждый из которых соответствует примеру из датасета, была обучена Support Vectors Machine (SVM) модель. Данная модель пытается провести между точками из разных классов разграничивающую полосу из двух гиперплоскостей, минимизируя при этом суммарное отклонение каждой точки от правильного полупространства. У данной модели есть один необучаемый гиперпараметр - вещественное положительное число . Данный параметр отвечает за ширину полос, которую предпочитает модель.

Для улучшения качества классификации SVM применялся ядерный метод (kernel trick), который заключается в том, что скалярное произведение в исходном пространстве подменяется на другую формулу (ядро). Ядро позволяет искать разделяющую полосу в пространстве более высокой размерности. Тогда эта полоса в исходном пространстве может иметь более сложную структуру. В данной работе в качестве ядра применялась radial basis function (RBF):

где и - два вектора признаков, соответствующие двум разным примерам, а - гиперпараметр.

Так как SVM решает задачу классификации, то результатом является бинарная метка: нужно перемещать метод или нет. Конечной же целью является степень уверенности - число от 0 до 1. Для таких случаев была разработана калибровка Платта (Platt scaling) [26]. Данный метод использует тот факт, что для каждого примера из датасета результатом SVM является вещественное число, возвращаемое решающей функцией - отклонение от разделяющих гиперплоскостей. Знак отклонения (зависит от полупространства, в которое попала точка) является результатом классификации, но само отклонение вещественное. Калибровка Платта работает по следующей формуле:

где - вероятность того, что вектор принадлежит классу (), - решающая функция SVM, а и - вещественные числа, которые вычисляются с помощью метода максимального правдоподобия.

1 Обучение модели

В сгенерированных примерах датасета используется оригинальный исходный код всех методов. Чтобы приблизить ситуацию к реальной, нужно было бы анализировать исходный код перемещенных методов, который немного, но отличается от исходного кода неперемещенного метода. Так как code2vec все равно отбрасывает часть информации об АСТ метода, а генерация перенесенных методов требует доработки утилиты, методы не перемещались.

Датасет получился немного несбалансированным (38320 точек с соотношением позитивных примеров к негативным). Неравное количество примеров для разных классов ведет к тому, что обученный классификатор будет предпочитать один класс другому. Поэтому к данным была применена балансировка. Позитивный пример каждого метода, который порождал несколько негативных примеров (метод, который можно переместить в несколько классов), дублировался несколько раз. В итоге каждый метод порождал одинаковое количество позитивных и негативных примеров. Такая стратегия балансировки поощряет классификатор правильно находить настоящий класс тех методов, которые можно переместить в несколько других классов. Но такие ситуации действительно сложнее правильно распознать, а значит, и награда может быть немного выше. Так как соотношение почти сбалансированное, то дубликатов в итоговом датасете получилось не очень много, количество точек увеличилось до 40468.

Полученный датасет был разделен на три группы в соотношении . На первой части производилось обучение модели, вторая часть использовалась для валидации гиперпараметра , а на третьей части производилось тестирование качества итоговой модели. В таблице 5.1 приведены точные размеры каждой из группы. Для формирования первой группы были взяты 30 проектов с наибольшим количеством примеров в них, для второй группы были взяты следующие 40, в последнюю группу попали примеры из проектов с небольшим количеством примеров. Таким образом тестирование производилось на очень разнообразном датасете.

Обучение модели производилось с помощью библиотеки scikit-learn. Для оценки результатов использовались метрики precision, recall, -score и area under the ROC-curve (AUC). Значения первых трех метрик зависит от порога уверенности, на котором классификатор меняет класс. В данной работе использовался порог . Это означает, что если модель возвращает хотя бы , то пример классифицируется как случай, когда метод нужно перемещать, иначе наоборот. Последняя метрика является оценкой вероятности того, что значение, возвращаемое моделью, для случайного отрицательного примера будет выше значения для случайного положительного примера. Данная метрика является универсальной и не зависит от выбора порога.

Таблица 5.1