Появление гибридных вычислительных кластеров обусловило необходимость разработки новых алгоритмов, которые используют технологию CUDA для проведения части ресурсоемких расчетов на ГПУ, а для связи между различными ГПУ, физически принадлежащих разным узлам кластера, используется технология MPI. В представленной работе рассматривается подобный гибридный алгоритм, позволяющий объединить технологии CUDA и MPI в одной программе. Было проведено сравнение эффективности созданного кода как с программой, использующей только интерфейс MPI, так и с CUDA программой предназначенной для работы только с одним ГПУ. Тестирование алгоритмов и программ проводилось на физической системе, описывающей столкновение двух медных кластеров (Рис.1,2). Взаимодействие атомов меди описывалось моделью погружённого атома (Embedded Atom Model - EAM), которая хорошо зарекомендовала себя для молекулярно-динамического моделировании различных металлов [1]. Число атомов системы составляло 243644 и 709214 атомов. Интегрирование уравнения движений поводилось с использованием схемы Верле второго порядка точности по временному шагу [2]. Шаг по времени при численном моделировании составлял 10^-16 с.

Расчет сил межатомного взаимодействия является наиболее трудоемкой, с точки зрения вычислительных ресурсов, частью молекулярно-динамического моделирования, поскольку при расчете сил действующей на атом i необходимо учитывать вклад со стороны всех соседних атомов.

Существует ряд общепринятых методик оптимизации расчетов сил, которые позволяют значительно сократить время расчета. [2] К наиболее часто используемым способам оптимизации можно отнести список Верле (список соседей), метод связанных списков (Cell linked list method-CLLM), а также различные гибридные комбинации метода связанных списков и списка Верле (гибридный список Верле). Самой очевидной гибридной комбинацией является метод, где список Верле для атома i создается не на основе перебора всех атомов системы, а на основе анализа расстояния до атомов в ячейке, которой принадлежит атом i и расстояния до атомов в соседних 26 ячейках. Тем самым исключается одна из основных проблем, связанных с необходимостью перебора всего набора атомов системы, при построении списка Верле.

Рис.1 Столкновение медных кластеров. Начальная скорость кластеров 350 м/с.

Рис.2 Продольный разрез столкнувшихся кластеров в момент времени 10 пс. Желтым цветом обозначены атомы с наибольшей кинетической энергией.

алгоритм наноструктура субмолекулярный уровень

Создание вычислительного кода проводилось на основе уже апробированной ранее MPI программы. Данная программа основана на разбиении системы атомов по пространству (одномерная параллелизация с дополнительным алгоритмом динамической балансировки). Поскольку расчет силовых взаимодействий является самой трудоемкой частью вычислений, именно эта часть переносилась с ЦПУ на ГПУ. Так как операция копирования данных с ЦПУ на ГПУ отнимает очень много времени, было принято решение создавать метод связных списков непосредственно на ГПУ, а не копировать уже готовые массивы данных из основной памяти компьютера. Соответственно, расчет сил проводился на ГПУ при помощи метода связных списков (26 соседних ячеек).

Очевидным недостатком данной схемы является необходимость копирования большого количества информации между ЦПУ и ГПУ на каждом расчетном шаге, с целью организации обмена данными между ГПУ о перемещении атомов внутри расчетной области. Меняющееся на каждом шаге число атомов N_ЦПУ на каждом вычислительном ядре ЦПУ делает невозможным использование списков Верле.

Было выполнено сравнительное тестирование созданных программ. Общее время расчета составляло 0.005 нс. - 50000 шагов 10^-16 с. Из представленных в таблице 1 временных зависимостей следует, что для системы состоящей из 243644 атомов, программа основанная только на технологии CUDA и гибридных списках Верле использует меньше всего временных ресурсов (запуск проводился на 1 ГПУ). Гибридная программа MPI+CUDA считает быстрее чем MPI программа почти в два раза (запуск проводился на 9 узлах ЦПУ и 9 ГПУ). При увеличении числа атомов в системе (709214 атомов), самым быстрым вариантом становится гибридная программа MPI+CUDA.

Таблица 1. Время расчета задачи (секунды). * - Обновление списков соседей проводилось каждые 20 шагов. Расчеты проводились на гибридном вычислительном кластере установленном в ССКЦ СОРАН (НКС-30Т+ГПУ, 40 узлов, на каждом 2 Xeon X5670, 3 ГПУ Tesla M 2090).

Следует отметить, что алгоритм MPI+CUDA несет в себе все недостатки присущие алгоритму MPI, связанные, в первую очередь, с необходимостью обменов между узлами ЦПУ, а также с их неравномерной загрузкой. Как уже упоминалось выше, из-за постоянно меняющегося числа атомов на каждом узле невозможно использовать списки Верле, что также усугубляет ситуацию.

Однако не смотря на все эти недостатки, полученный код будет эффективен при моделировании физических систем состоящих из большого числа атомов. Это связано с тем, что рост числа атомов приведет к неизбежному росту требований к памяти для хранения информации. Возможна ситуация, когда программа основанная только на технологии CUDA и гибридных списках Верле затребует больше ресурсов, чем может обеспечить ГПУ. В случае же использования гибрида MPI+CUDA подобная ситуация маловероятна, поскольку размер запрашиваемых ресурсов будет обратно пропорционален числу используемых ГПУ и ЦПУ.

Таким образом, был разработан и программно реализован гибридный параллельный алгоритм, позволяющий проводить расчеты с использованием ГПУ и ЦПУ (CUDA+MPI). Проведенное сравнение с аналогами, реализованными только на MPI или с использованием CUDA, демонстрирует хорошее быстродействие гибридного кода. Разработанные алгоритмы и программы были использованы для молекулярно-динамического моделирования на микроуровне явлений в твердых телах, при интенсивных внешних нагрузках.

Литература

1. Voter A.F. // Embedded Atom Method Potentials for Seven FCC Metals: Ni, Pd, Pt, Cu, Ag, Au, and Al: Los Alamos Unclassified Technical Report / Los Alamos National Laboratory. - Los Alamos, 1993.9 p. - N. LA-UR 93-3901.

2. M.P. Allen, D.J. Tildesley Computer Simulation of Liquids. Oxford Science Publications, 2000.385p.

Размещено на Allbest.ru