Создание решения для типовых задач, которые значительно ускоряют вычисления при анализе астрономических данных
Практическая реализация основных алгоритмов обработки. Особенности работы с графическими ускорителями, реализация алгоритмов агрегирующей статистики данных. Разработка архитектуры проекта, реализация алгоритмов Фурье. Специфика алгоритма Bitonic.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | дипломная работа |
Язык | русский |
Дата добавления | 07.09.2018 |
Размер файла | 1,3 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
СОДЕРЖАНИЕ
- ВВЕДЕНИЕ
- ГЛАВА 1. ПОСТАНОВКА НАУЧНЫХ ЗАДАЧ, ТЕОРИЯ
- ГЛАВА 2. ИСПОЛЬЗУЕМАЯ АППАРАТУРА, ФОРМАТ ДАННЫХ
- §1 Радиотелескоп БСА ФИАН
- §2 Формат данных, хранение, обработка, вывод
- ГЛАВА 3. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ ОСНОВНЫХ АЛГОРИТМОВ ОБРАБОТКИ
- §1 Постановка задачи
- §2 Выбор технологии
- §3 Особенности работы с графическими ускорителями
- §4 Разработка архитектуры проекта
- §5 Реализация алгоритмов Фурье
- §6 Реализация алгоритмов агрегирующей статистики данных
- §7 Анализ производительности
- §8 Подведение итогов
- ЗАКЛЮЧЕНИЕ
- СПИСОК ЛИТЕРАТУРЫ
- Приложение 1. Исходный код ядер (kernels.cl)
- Приложение 2. Чтение данных из файла (open_science_data.h)
- Приложение 3. Управление контекстом OpenCL (ocl_Astronomy.h
ВВЕДЕНИЕ
Как известно, астрономия - одна из тех наук, которые поставляет Большие Данные - от сотен гигабайт до петабайт информации в зависимости от наблюдательных инструментов. Поэтому именно в ней наиболее востребованы современные методы высокопроизводительной обработки.
Пущинская радиоастрономическая обсерватория Астрокосмического Центра Физического института Российской академии наук им. П.Н. Лебедева (ПРАО АКЦ ФИАН) располагает одним из наиболее чувствительных радиотелескопов в мире - БСА (Большая Сканирующая Антенна) ФИАН, который работает в диапазоне частот 109 - 111.5 МГц.
Рисунок 1 - пример суточного обзора на 96-лучевой диаграмме БСА ФИАН (вверху) и вид самого радиотелескопа (внизу). Рисунок предоставлен сотрудником ПРАО ФИАН к.т.н. Орешко В.В.
Радиотелескоп БСА ФИАН - это антенная решетка (Рисунок 1), состоящая из 16384 вибраторов, расположенных на площади 384Ч187 м (геометрическая площадь более 70 тыс. кв. м, эффективная - около 45 тыс.). Рабочая частота - 109-112 МГц (с 1996 г., ранее - 101-104 Мгц), т.е. наблюдения идут на длине волны около 3 м. В этом диапазоне БСА является самым чувствительным радиотелескопом в мире (и одним из наиболее чувствительных в мире на метровом диапазоне волн в целом). БСА ФИАН - это незаменимый инструмент для решения целого ряда задач в области исследования пульсаров, изучения динамических процессов в околосолнечной и межпланетной плазме, анализа структуры компактных радиоисточников в метровом диапазоне волн.
В 2012 г. радиотелескоп был оснащен специальными цифровыми приемниками, которые позволяют оцифровывать всю поступающую с него информацию. В текущий момент при помощи специальных цифровых приемников на ПЛИС-матрицах оцифровывается информация с 96 лучей радиотелескопа на небесных склонениях -8?<?<+42? в частотном диапазоне 109.0 - 111.5 МГц (см. Рисунок 1, верхняя часть).
С июля 2012 г. - ежесуточно наблюдалось около 2 стерадианов в полосах склонений общей шириной 25 градусов (48 лучей антенны), а с апреля 2013 г. ежесуточно покрывается уже 5.08 стерадиана или 0.40 поверхности всей сферы в полосе склонений 50 градусов (96 лучей антенны). С июня 2014 г. ведутся наблюдения одновременно уже в 2-х модах: стандартной (постоянная времени ф = 100 мс, в 6 полосах по 415 кГц + одна общая 2,5 МГц) и быстрой (ф = 12,5 мс, 32 полосы по 78 кГц + одна общая 2,5 МГц).
Подобного ежесуточного обзора столь большой небесной зоны в истории мировой астрономии еще не было. При этом уникальный массив данных, позволяющий с дискретностью до 12.5 мс детектировать и исследовать транзиентные события северной полусферы (время экспозиции текущего наблюдаемого участка неба - около 5 минут) с чувствительностью 0.07 Ян - 0.2 Ян (при временах накопления 12.5 мс и 100 мс соответственно) - продолжает увеличиваться.
Научные задачи, решаемые при помощи анализа этих данных:
? Мониторинг любых объектов на небе - на масштабах от миллисекунд до лет и на удалении от сотен километров (мониторинг состояния ионосферы и фиксация пролетов наиболее крупных спутников Земли) до миллиардов световых лет (квазары и радиогалактики)
? Поиск новых объектов импульсной природы. БСА имеет большую площадь, а следовательно и высокую эффективность для исследований именно такого рода
? Сложные виды обработки данных для получения новой информации о небесных объектах - фурье-анализ, корреляционный анализ, спектральный анализ, применение нейронных сетей и алгоритмов машинного обучения для анализа данных и так далее.
Поскольку радиотелескоп БСА является в своем диапазоне самым чувствительным радиотелескопом в мире, поступающие с него обзорные данные являются уникальными. Особый интерес представляет то, что накопленные ряды данных можно использовать как для исследования импульсных явлений масштабом от миллисекунд, секунд и минут до мониторинга параметров космических объектов на масштабах месяцев и лет.
На основе регистрируемого потока данных и непрерывно пополняемой реляционной базе данных наблюдений с использованием параллельных и распределенных методов обработки данных предлагается решать поисковые и мониторинговые задачи для различных классов радиоастрономических объектов. В целом задачи мониторинга известных радиоисточников и поиска новых объектов можно разделить на два класса:
? исследование объектов с медленно изменяющимися потоками с характерными масштабами от вековых (многолетних) изменений потоков до суточных и недельных вариаций потоков
? исследование объектов транзиентной природы с быстрыми изменениями потоков на характерных масштабах от десятков секунд до тысячных долей секунды.
Даже краткий список научных задач, решаемых при помощи анализа этих данных включает и мониторинг состояния ионосферы Земли, и мониторинг вспышечных явлений на Солнце, поведения околосолнечной плазмы, мониторинг транзиентных (вспышечных) явлений в Солнечной системе, исследования галактических и внегалактических транзиентных явлений, поиск возможных радиоисточников, сопровождающих гравитационно-волновые события обнаруженные в экспериментах LIGO и Virgo, поиск и мониторинг пульсаров, исследование слабых полей радио рекомбинационных линий, порождаемых холодными молекулярными облаками нашей Галактики и т.д.
Так, открытие десятков новых пульсаров при ежесуточном сканировании значительной части неба данной сверхвысокочувствительной антенной уже стало вполне посильной задачей (Тюльбашев и др., 2016; Родин и др, 2017; Samodurov et al, 2017; Тюльбашев и др., 2018). В результате за счет анализа новых данных на обсерватории ПРАО ФИАН уже открыто около 40 пульсаров из более чем 2,5 тысяч ныне известных (Manchester R.N., 2005). В результате обсерватория всего за два года вышла на 4-е место в мире среди обсерваторий по числу открытых пульсаров за все время с момента открытия пульсаров в 1967 (Hewish, 1968). Это показывает всю уникальность поступающих данных.
В этом исследовании задача состояла в разработке методов ускоренной обработки данных с радиотелескопа БСА ФИАН, который ведет круглосуточные наблюдения в многолучевом режиме. На конец апреля 2018 накоплено уже более 113 ТБ данных. При этом (в стандартной моде с временным разрешением 100 мс - накоплено почти 6 лет непрерывных наблюдений объемом 4.0 Тб; в «быстрой», с разрешением 12.5 мс - почти 4 года непрерывных мониторинговых наблюдений - накоплено 109 ТБ. В год регистрируется около 33 ТБ. После завершения ввода в строй всех 128 цифровых приемников (сейчас оснащено цифровыми приемниками лишь 96 лучей радиотелескопа из 128 возможных) поток данных лишь увеличится.
Главная проблема, которую предстояло решить: темп обработки поступающих данных сейчас существенно отстает от темпов регистрации новых данных. Важнейшая задача, поставленная перед автором данной работы - состояла именно в устранении данного временного разрыва между архивацией указанных наблюдений и их потоковой обработкой методами высокопроизводительных вычислений.
Например, фурье анализ данных накопленных данных в «быстрой» моде займет около 40 суток на обычном процессоре. При этом, в целях анализа данных необходимо проводить еще множество различных затратных операций, таких как: агрегация, вычисление статистических параметров (медиана, математическое ожидание, дисперсия, стандартное уклонение и т.п - для всех частот приемника (до 32)). Анализ данных при помощи других методов - например, Fast Folding Algorithm, также занимает многие часы обработки для месячного отрезка данных в «грубой» моде (6 частотных полос), а в тонкой моде увеличивает время расчета практически до времени, сравнимого с самими наблюдениями. Это делает анализ данных тривиальными способами неактуальным и требует применения технологий высокопроизводительных вычислений.
Наличие современных относительно недорогих суперкомпьютеров с «параллельной» архитектурой, а также технологий распределенных вычислений позволяет за адекватное время осуществить обработку больших массивов наблюдательных данных и позволяет решить поставленную задачу. Однако даже небольшие суперкомпьютеры требуют достаточно значимых для небольшого учреждения финансовых вложений. Распределенные вычисления, в свою очередь, также требуют наличия дорогостоящего мощного сервера и широкополосного интернета.
Один из новейших способов - анализ на графических ускорителях или GPU. Данные устройства в том или ином виде присутствуют в любом персональном компьютере и типично отвечают за обработку и выведение изображения на экран. Также, в связи с ростом их производительности в последние годы актуализировалась возможность использования огромного количества ядер в их процессорах для обработки крупных массивов данных. Распространённость, сравнительная дешевизна и вариативность модельного ряда наделяют решения, построенные на стеке технологий вычисления на графических ускорителях портабельностью и адаптивностью, так как можно подбирать видеокарты с необходимой мощностью и решения будут работать не зависимо от производителя.
Скромный бюджет, выделяемый обсерватории, и сравнительно небольшой объём данных толкает на поиск более дешёвых альтернатив, чем покупка полноценного суперкомпьютера и актуализация GPU вкупе с их распространённостью приходится очень кстати, что приводит к исследованию возможности применения технологий GPGPU в области астрономии, выражающееся в том числе в практической реализации.
ГЛАВА 1. ПОСТАНОВКА НАУЧНЫХ ЗАДАЧ, ТЕОРИЯ.
Произведем постановку темы исследования, попутно вводя необходимые определения и формулы.
Непрерывные наблюдения во всех спектральных диапазонах всего неба с высоким временным разрешением все время и последующая массовая обработка поступающих данных является генеральной целью наблюдательной астрофизики, к достижению которой она идет уже много десятилетий.
Рисунок 1.1. Окна прозрачности земной атмосферы для разных электромагнитных диапазонов волн. К поверхности Земли проникают лишь оптическое излучение, мягкое УФ-излучение, коротковолновое ИК-излучение и обширный диапазон радиоволн.
Но лишь в последние годы в мировом сообществе появились конкретные проекты на разных стадиях своего воплощения, которые готовятся осуществить эту идею непрерывных обзоров - как в радиодиапазоне, так и в других спектральных диапазонах. Мы перечислим лишь наиболее амбициозные либо наиболее близкие по тематике данной работы: данные из области радиоастрономии.
Астрономы на Земле наблюдают обычно в довольно широком диапазоне волн, проникающих сквозь атмосферу и ионосферу (которая ограничивает проникновение радиоволн со стороны длинноволновой части спектра). При этом земная атмосфера прозрачна почти полностью для падающего извне излучения лишь в двух сравнительно узких окнах (см. Astronet.ru и Рисунок 1.1): оптическом - в диапазоне длин волн л от 0,3 мкм (3000 ?) до 1,5-2 мкм (область до 8 мкм в инфракрасном диапазоне состоит из ряда узких полос пропускания) и в радиодиапазоне - для волн длиной от 1 мм до 15-30 м.
Диапазон наблюдений радиоастрономов простирается от длины волны примерно 10 м (частота 30 МГц) до 1 мм (частота 300 ГГц), где начинается далекий инфракрасный диапазон. Тем самым разброс длин волн/частот наблюдений составляет 104, что несравнимо больше, чем у других диапазонов наблюдений (оптическая часть электромагнитного диапазона, например, различается всего в 2 раза).
При этом в радиодиапазоне работают большое количество механизмов излучения - кроме теплового излучения, работающего в оптическом диапазоне, действуют и другие механизмы излучения в молекулярных линиях, мазерное излучение, тормозное излучение, сихротронное излучение и некоторые другие (Рудницкий, 2001).
Это приводит к тому, что канал изучения космических объектов посредством радиоастрономии является одним из наиболее информативных в астрономии.
Определение: Радиоастрономия -- раздел астрономии, изучающий космические объекты путём исследования их электромагнитного излучения в диапазоне радиоволн. Объектами излучения являются практически все космические тела и их комплексы (от тел Солнечной системы до Метагалактики), а также вещество и поля, заполняющие космическое пространство (межпланетная среда, межзвёздный газ, межзвёздная пыль и магнитные поля, космические лучи, реликтовое излучение и т. п.). Метод исследования -- регистрация космического радиоизлучения с помощью радиотелескопов.
Википедия
Определение: Радиотелескоп -- астрономический инструмент для приёма собственного радиоизлучения небесных объектов (в Солнечной системе, Галактике и внегалактические объекты) и исследования их характеристик, таких как: координаты, пространственная структура, интенсивность излучения, спектр и поляризация.
Википедия
Определение: Янский (русское обозначение: Ян; международное: Jy) -- внесистемная единица измерения спектральной плотности потока излучения, применяемая в радиоастрономии. Введена Международным Астрономическим союзом в 1970 году. Названа в честь Карла Янского, американского радиоинженера и основоположника радиоастрономии.
1 Ян = 10?26 Вт/(м2·Гц ) (СИ) ; 1 Ян = 10?23 (эрг/с)/(см2·Гц) (СГС)
Википедия
В целом в настоящее время наблюдается значительное увеличение интереса именно к длинноволновому радиодиапазону (частоты ниже 300 МГц, вблизи нижней границы которого накапливает свои данные БСА ФИАН). Для этого диапазона существует обширный класс научных задач (см., например, в Коноваленко, 2016). Уже существующие инструменты (наиболее известный из них УТР-2 - Брауде, 1978), обсуждаемый в данной работе БСА ФИАН (Орешко, 2014) проходят модернизации приемной системы и аппаратуры, строятся также новые радиотелескопы - LOFAR (Van Haarlem, 2013), нужно еще назвать LWA (Taylor, 2016) и ГУРТ (Коноваленко, 2016).
Достаточно близких к БСА ФИАН по тематике исследований (массовая обработка радиоастрономических данных) радиотелескопов сейчас несколько - LOFAR, SKA и уже готовые прототипы этих инструментов. Это уже введенная в строй часть LOFAR-а и центральная секция будущего ядра SKA - проект ASKAP.
Одним из крупнейших зарубежных проектов, регулярные наблюдения на котором проводятся с декабря 2012 года, но который еще не запущен на полную мощность, является массив радиотелескопов LOFAR (LOw Frequency ARray - «низкочастотная антенная решётка») - см. Van Haarlem, 2013. Данный проект разработан университетом ASTRON в Гронингене (Нидерланды), и служит для исследования низкочастотного радиоизлучения (от 10 до 250 МГц) в поисках первых звезд и галактик, потенциальных сигналов внеземного разума, а также изучения черных дыр и пульсаров, LOFAR представляет собой радиотелескоп с центром в Нидерландах и с удаленными станциями в Германии, Швеции, Франции и Великобритании, соединенных вместе при помощи оптоволоконных линий связи. Всего посредством данных станций объединено около 10000 элементов радиоантенн. Сигналы со всех этих станций объединяют при помощи суперкомпьютера, превращая массив телескопов в самый сложный радиотелескоп в мире (до полного запуска проекта SKA) с разрешением эквивалентным телескопу, составляющему 1 000 км в диаметре. Благодаря такому колоссальному разрешению LOFAR за раз может исследовать огромные участки неба и работать одновременно над несколькими научными проектами. Технические наблюдательные характеристики озвучиваются пока разные, но ожидается, что LOFAR будет вести наблюдения в нескольких лучах, покрывая площадь на небе в несколько квадратных градусов.
Окончательный запуск проекта был запланирован на 2017 год, уже получены первые изображения и научные результаты. Одной из ключевых задач заявлено проведение время от времени обзоров всего неба, первый из которых уже проведен: (Coenen, 2014). Он представляет из себя последовательный пульсарный обзор (в полосе 3.3 МГц, т.е. наблюдения практически не отличаются от наших по ширине полосы, но при этом проигрывают в эффективной площади инструмента наблюдений).
Определение: Радиопульсар -- космический источник импульсного радиоизлучения, приходящего на Землю в виде периодически повторяющихся всплесков (импульсов). Представляют из себя быстро вращающиеся (с периодом от нескольких мс до нескольких секунд) нейтронные звезды массой от 1.3 до 3 масс Солнца, испускающие мощное радио-, гамма- (реже) и оптическое (совсем редко) излучение вдоль конуса оси вращения-магнитная ось.
Пульсары были открыты в июне 1967 года Джоселин Белл, аспиранткой Э. Хьюиша, на меридианном радиотелескопе Маллардской радиоастрономической обсерватории Кембриджского университета на длине волны 3,5 м (85,7 МГц) во время наблюдений по исследованию мерцаний «точечных» радиоисточников (Hewish, 1968). За этот выдающийся результат Хьюиш получил в 1974 году Нобелевскую премию. В текущий момент известно более 2,5 тысяч пульсаров (Manchester R.N., 2005).
Пульсары послужили первой очевидной целью при обработке данных БСА, и открытие десятков новых пульсаров при ежесуточном сканировании значительной части неба данной сверхвысокочувствительной антенной уже стало вполне посильной задачей (Тюльбашев и др., 2016; Родин и др, 2017; Samodurov et al, 2017; Тюльбашев и др., 2018). В результате за счет анализа новых данных на обсерватории ПРАО ФИАН уже открыто около 40 пульсаров из ныне известных более чем 2,5 тысяч (Manchester R.N., 2005). В результате обсерватория всего за два-три года вышла на 4-е место в мире среди обсерваторий по числу открытых пульсаров за все время с момента открытия пульсаров в 1967 (Hewish, 1968). Это показывает всю уникальность поступающих данных.
Помимо наблюдений пульсаров на LOFAR, авторы (Coenen, 2014) оценили критерий обнаружимости для так называемых быстрых радио всплесков - FRB. При критерии S/N?10 для поиска быстрых радио всплесков FRB, он равен Fmin_LOFAR?107 Ян (постоянная времени в этой работе dt=0,66 мс). После приведения к нашей постоянной времени (12.5 мс) получаем Fmin_LOFAR ~25 Ян, что по-прежнему является более худшим значением, чем аналогичная для наблюдений на БСА для полосы 78 кГц - Fmin_BSA?10,6 Ян (при таком же критерии S/N?10). Заметим, что постоянная времени dt=12,5 мс - вполне удовлетворяет характерным масштабам FRB, особенно с учетом их возможного уширения ввиду межзвездного рассеяния на низких частотах. Видно, что 32-частотные данные БСА с dt=12,5 мс имеют хороший потенциал даже в сравнении с LOFAR, но при этом подобные обзоры мы делаем не на протяжении многих месяцев, как в работе (Coenen, 2014), а ежедневно.
Определение: Fast Radio Bursts (FRB), быстрые радиовсплески -- единичные радиоимпульсы, регистрируемые радиотелескопами, длительностью несколько миллисекунд, неизвестной пока природы.
Открыты в 2007 г. (Lorimer, 2007), на текущий момент найдено всего лишь 33 быстрых радиовсплеска FRB (Petroff, 2016). Причем из них пока лишь один объект, FRB 121102, демонстрирует повторные импульсы (Scholz, 2016).
Считается, что FRB находятся вне нашей Галактики на удалении от нескольких миллионов до нескольких миллиардов световых лет. Типичная энергия всплесков, по оценкам, эквивалентна выбросу в космическое пространство энергии, испускаемой Солнцем в течение нескольких десятков тысяч лет. Предлагается около двадцати различных моделей данных объектов. Это и более-менее классические: разновидности пульсаров с особо сильными импульсами, варианты слияния черной дыры или нейтронной звезды с другими объектами, наблюдения последнего момента испарения черной дыры и т.п. Так, модель, в которой быстрые радиовспышки (FRB) вызваны падениями астероидов на нейтронные звезды (Bagchi, 2017), может объяснить как повторяющиеся, так и не повторяющиеся всплески. Если нейтронная звезда проходит через пояс астероидов вокруг другой звезды, будет возникать серия всплесков, вызванная рядом астероидных ударов.
Особняком стоят совершенно экзотические модели вплоть до запуска внеземными цивилизациями межзвездных зондов, снабженных солнечными парусами (Lingam, 2017). Такое обилие моделей явления четко указывает нам на то, что данные объекты изучены очень слабо и настоятельно требуются любые данные, в том числе статистические данные поиска данных объектов в разнообразных обзорах. Выделению FRB сигналов из данных БСА ФИАН посвящена отдельная дипломная работа (Тюрин В.А.).
Самым глобальным астрономическим проектом, который разрабатывается в настоящее время, является The Square Kilometre Array (SKA - www.skatelescope.org). Одна из частей данного радиотелескопа называется ASKAP (Whiting, 2012) - Australian Square Kilometre Array Pathfinder («Австралийский поисковый телескоп площадью в квадратный километр»), и уже запущена в режиме наблюдений в октябре 2012 года в Западной Австралии (но первые реальные изображения появились только в конце 2013 - начале 2014 г). Система ASKAP состоит из 36 антенн диаметром 12 м (малый размер антенн позволяет быстро переводить с одной точки на небе на другую) площадью 4000 кв. м, работающих в диапазоне 700 - 1800 МГц (с полосой приема 300 МГц) и формирует 36 лучей, покрывающих 30 квадратных градусов. ASKAP в печати называют сейчас «самым быстрым обзорным радиотелескопом в мире». Радиоинтерферометрическая система будет строить изображения практически в режиме реального времени при помощи мощных компьютеров мощностью в 2 петафлопа, потоки данных составляют 70 Тб/c.
В целом ядро радиотелескопа SKA будет состоять из нескольких тысяч антенн, при этом будет использоваться технология, позволяющая объединить приемные площади отдельных радиотелескопов в одну общую площадь размером в один квадратный километр. Часть антенн будут расположены в Западной Австралии и Новой Зеландии, часть - в Южной Африке. Выход на полную мощность сбора данных данным проектом планируется к 2024 году.
Наконец, еще один амбициозный астрономический проект будет запущен в 2020 г - это Большой обзорный телескоп (Large Synoptic Survey Telescope, LSST - www.lsst.org, широкоугольный обзорный телескоп-рефлектор с апертурой 6.68 м ), предназначенный для непрерывной обзорной съёмки всей доступной области неба. На LSST предполагается каждую неделю получать очередной обзор всего доступного для наблюдений неба в оптическом диапазоне. Архитектура LSST способна обеспечить очень широкое поле зрения: его диаметр - 3,5 градуса, а площадь - 9,6 квадратного градуса. Цифровая ПЗС-камера с мозаичной ПЗС-матрицей общим объемом 3,2 гигапикселя будет делать 15-секундные экспозиции каждые 20 секунд, соответственно каждые 20 секунд будет добавляться очередные 6,4 ГБ данных (за ночь - 15 Тбт, в год до 6.8 Пбт). С учетом технического обслуживания, плохой погоды ПЗС-камера, как предполагается, реально будет производить около 200 000 изображений (1 ,28 петабайта в несжатом виде) за год. Управление и эффективный интеллектуальный анализ столь огромного количества данных на выходе телескопа, как ожидается, будет наиболее технически сложной частью проекта. Первоначальные требования к вычислительному центру оцениваются в 60 терафлопс вычислительной мощности и 200 петабайт для хранения данных.
Несмотря на весьма впечатляющие цели, задачи и возможности (например, совокупная стоимость вышеперечисленных установок - почти 2 млрд. долларов) вышеуказанных проектов, отметим, что научные данные с многолучевой диаграммы БСА уже имеются с июля 2012 г., и мы уже сейчас каждый день осуществляем круглосуточный обзор около половины доступной нам площади неба в редком для мировой радиоастрономии наблюдательном диапазоне 110 МГц. У данных с радиотелескопа БСА ФИАН имеется своя уникальная ниша и возможности, и в течение ближайших нескольких лет его данные де-факто будет вне конкуренции среди ежесуточных обзоров всего неба в длинноволновом радиодиапазоне.
При этом, если организовать обработку так, чтобы извлекать из данных обзора информацию о радиоисточниках различных классов в режиме практически реального времени, ценность данных резко повысится. Поскольку в мире астрономии часто открываются новые объекты, которые нужно срочно проверить на наличие в данных с разных инструментов. И преимущество (в том числе в скорости опубликования результатов) получает тот ученый, который немедленно обрабатывает данные, сколь объемны бы они не были.
Существует несколько классов объектов, которые требуют быстрой обработки. Тем самым используется наиболее сильная сторону БСА - способность регистрировать короткие импульсы на масштабах мс и секунд. Объекты, которые генерируют (либо могут генерировать) такие импульсы, помимо названных уже радиопульсаров и FRB, это: SGR и гравитационно-волновые события.
Определение: SGR (Soft Gamma Repeaters) - источник мягких повторяющихся гамма-всплесков является астрономическим объектом, который производит мощные всплески гамма-излучения и рентгеновских лучей с нерегулярной периодичностью. Предполагается, что они являются одним из подтипов магнетаров или нейтронными звёздами с пылевыми дисками вокруг них. По-английски эти объекты обозначаются аббревиатурой SGR (Soft Gamma Repeaters), в статьях на русском языке часто применяется аббревиатура МПГ.
Википедия
Многие ученые в последнее время полагают (Katz, 2016; Wang, 2017), что SGR и FRB - это лишь разновидности одного и того же явления.
В момент самой вспышки SGR в длинноволновом радиодиапазоне поток может достигнуть десятков и более Ян. Соответственно, если в этот момент источник будет находиться в зоне диаграммы БСА (ее площадь - около 40 кв. градусов), либо даже в близких боковых лепестках, то вероятность обнаружения на БСА достаточно велика. Поскольку вероятность попадания в многолучевую диаграмму гамма-всплеска внутри нашей полосы склонений равна примерно 1/300 (см. выше), нам нужно накопить значимую статистику событий, прежде чем утверждать о доступности/недоступности прямых наблюдений данного явления во время вспышки.
Интересны также задачи по поиску послесвечения в радиодиапазоне гамма-вспышек, которые также принадлежат внегалактическим объектам. Данное послесвечение уже обнаружено на сантиметровых и дециметровых волнах (Chandra, 2012). В районе 1 ГГц обнаруживаются послесвечения с интенсивностью до 1 Ян (и даже более) в течение десятков дней после вспышки. Это позволяет надеяться на обнаружение точечных компонент послесвечения порядка 0.1 Ян в режиме наблюдений мерцаний на нашей частоте в данных БСА ФИАН.
Однако это потребует филигранной работы с данными. Действительно, для редко расположенных источников - мерцающих, транзиентных либо просто переменных источников (их на 1-2 порядке меньше, чем обычных) предел обнаружения на БСА в реализованных ранее наблюдениях может быть и действительно был не хуже, чем несколько сотых долей Ян (см. далее в разделе «Радиотелескоп БСА»). Но, чтобы их выделить из общего фона данных, нам нужно усреднить эти данные за многие месяцы наблюдений, при этом отбросив плохие и недостоверные данные.
Наконец, еще один возможный объект для наблюдения, который активно пытаются сейчас обнаружить в данных БСА ФИАН (Самодуров и др, 2017; Pozanenko et al, 2018) - гравитационно-волновые события (их отклик в радиодиапазоне).
Определение: гравитационно-волновые события - генерация гравитационных волн при слияниях объектов большой массы (черных дыр, нейтронных звезд), которая длится несколько миллисекунд.
Их открытие было выполнено путем их прямого детектирования 14 сентября 2015 года коллаборациями LIGO и VIRGO; об открытии было объявлено 11 февраля 2016 года (Abbott, 2016). Событие получило обозначение GW150914.
За экспериментальное обнаружение гравитационных волн по наблюдениям этих событий в 2017 году была присуждена Нобелевская премия по физике. На текущий момент зарегистрировано менее 10 гравитационно-волновых событий. Последние работы показали (Pozanenko, 2018), что как минимум при некоторых событиях (слияниях нейтронных звезд) генерируются не только гравитационные волны (регистрация которых чрезвычайно трудна), но и излучение в различных спектральных диапазонах - гамма-, ренген-, оптическое излучение - с большими мерами дисперсии DM~200 (и, вероятно, будут найдены и более высокие меры дисперсии). Обнаружено и послесвечение в радиодиапазоне.
Крайне интересно было бы обнаружить радиоизлучение непосредственно в момент события. Для этого нужны длительные обзорные наблюдения, которые проводятся, в частности, на БСА ФИАН. Первые попытки обнаружения уже дали верхние оценки мощности явления (Самодуров В.А., 2017), в дальнейшем можно надеяться на попадание явлений непосредственно в центр одного из лучей радиотелескопа БСА.
Итак, данная работа направлена на решение проблемы обработки данных как в режиме почти реального времени (сразу после наблюдений), так и в режиме потоковой обработки накопленных архивов с целью системного анализа, выделения усредненных кнебесных карт и выделения на их фоне слабых изменений (появление и исчезновение новых источников) на масштабах месяцев и лет.
В целом же задачи мониторинга известных радиоисточников и поиска новых объектов в данных можно разделить на два больших раздела:
a) исследование объектов с медленно изменяющимися потоками с характерными масштабами от вековых (многолетних) изменений потоков до суточных и недельных вариаций потоков;
b) исследование объектов транзиентной природы с быстрыми изменениями потоков на характерных масштабах от десятков секунд до тысячных долей секунды.
В последнем типе задач наиболее интересны направления поиска быстрых радио транзиентов (вспышек), т.н. FRB, на небе на масштабах миллисекунд (Lorimer, 2007). Подобные радио всплески открыты в дециметровом диапазоне, но в метровом диапазоне их пока никто не находил.
Мы полагали также возможным обнаружение новых радио пульсаров, и наши надежды уже сейчас оправдались (Тюльбашев и др., 2016; Родин и др, 2017; Samodurov et al, 2017; Тюльбашев и др., 2018) - найдено около 40 новых пульсаров всего за 2-3 года. Мы рассчитываем обнаружить в наших данных еще несколько десятков новых пульсаров.
При этом мы не забываем и про задачи обнаружения и классификации новых объектов транзиентного характера в радиодиапазоне в архивных данных радиотелескопа длинноволнового (110 МГц) диапазона: коротких транзиентов астрофизической природы:
· новых радиопульсаров, причем самых сложных для обнаружения на низких частотах - с мерой дисперсии (см. далее) DM?100 см-3пк;
· быстрых радиовсплесков FRB и им подобных внегалактических импульсов возможного радиоизлучения в их активной фазе. DM = 100ч2000 см-3пк.
Далее нам необходимо описать особенности сигналов с высокими дисперсиями DM?100 см-3пк, которые нам надо будет учитывать при обработке и анализе данных.
Определение: мера дисперсии (DM) -- характеристика среды, определяющая разное время прихода (запаздывание) сигналов на разных частотах (в силу зависимости показателя преломления плазмы от частоты) от космического объекта к наблюдателю. Мера дисперсии равна полному числу электронов на луче зрения (от объекта до наблюдателя) в столбе сечением 1 смІ.
(1)
где -- концентрация электронов в единице объёма, dl -- элемент длины вдоль луча зрения, -- среднее значение , и L -- расстояние до излучающего объекта. Зная распределение электронов на луче зрения, можно определить расстояние до космического объекта (например, радиопульсара). Однако, чаще всего это распределение не известно. Величину средней концентрации по Галактике обычно принимают равной 0,03 см?3. В астрономии расстояние измеряют в пк (парсек, который равен расстоянию, с которого радиус земной орбиты виден под углом в 1"). 1 пк ? 206 264,8 а.е. = 3,0856776·1016 м = 30,8568 трлн км (петаметров) = 3,2616 световых года (расстояние, которое свет проходит за один год). Соответственно, единица измерения меры дисперсии DM -- см-3 пк.
Формула задержки сигнала из-за дисперсионного запаздывания сигнала, приходящего после импульсного события на наблюдаемую нами частоту н, хорошо известна:
(2)
Тогда для верхней частоты нашей полосы наблюдений н=111,5 МГц для различных DM будем иметь следующие задержки: (см. таблица 1.1)
Таблица 1.1
DM (pc*cm-3) |
н |
?T |
|
10 |
111,5 |
3,338 |
|
100 |
33,381 |
||
500 |
166,905 |
||
1000 |
333,809 |
||
2000 |
667,618 |
||
10000 |
3338,092 |
Формула дисперсионных задержек для близких частот имеет вид:
(3)
Тогда для наших значений крайних частот наблюдений (для режима 32-х полосных наблюдений) разность прихода сигнала будет: (см. таблица 1.2)
Таблица 1.2
DM (pc*cm-3) |
н1, н2 |
?t |
|
10 |
н1 = 109,039 |
0,1214 |
|
50 |
н2 = 111,461 |
0,6070 |
|
500 |
6,0699 |
||
1000 |
12,1397 |
||
2000 |
24,2795 |
||
10000 |
121,3975 |
И, наконец, разность во времени прихода сигнала в два соседних частотных канала (Дн=0,078 МГц для режима 32-х полосных наблюдений, дискрет во времени 0,0125 сек) будет: (см. таблица 1.3)
Таблица 1.3
Дн |
||||
0,078 |
10 |
111 |
0,0047 |
|
100 |
0,0473 |
|||
500 |
0,2367 |
|||
1000 |
0,4734 |
|||
2000 |
0,9467 |
|||
2500 |
1,1834 |
|||
10000 |
4,7337 |
Пульсары послужили первой очевидной цель открытие десятков новых пульсаров при ежесуточном сканировании значительной части неба данной сверхвысокочувствительной антенной уже стало вполне посильной задачей (Тюльбашев и др., 2016; Родин и др, 2017; Samodurov et al, 2017; Тюльбашев и др., 2018).
Методы поиска пульсаров по сути распадаются на 2 направления:
1. Поиск пульсаров путем перебора данных по периодам и/или дисперсиям - наиболее известный и употребимый (Тюльбашев и др., 2016; Samodurov et al, 2017; Тюльбашев и др., 2018)
2. Поиск методом спектрального анализа данных на предмет поиска периодических компонент при помощи фурье-анализа данных (Родин и др, 2017).
Особый интерес сейчас состоит в поиске пульсаров уже в ближайших галактиках, таких как туманность Андромеды М31 и галактика в созвездии Треугольника M33, до которых расстояние всего около 2 млн. световых лет. Но, чтобы их обнаружить, требуется работа по фурье анализу всего неба и накопительному сложению данных за все годы наблюдений (с анализом качества данных и отбросом фурье-спектров плохого качества), причем в тонкой моде наблюдений. Это является одной из важнейших задач, настоятельно требующей высокопроизводительных вычислений.
ГЛАВА 2. ИСПОЛЬЗУЕМАЯ АППАРАТУРА, ФОРМАТ ДАННЫХ
§1 Радиотелескоп БСА ФИАН
Радиотелескоп БСА ФИАН (большая синфазная антенна ФИАН) - это антенная решетка, состоящая из 16384 вибраторов, расположенных на площади 384x187 м (геометрическая площадь более 70 тыс. кв. м, эффективная - около 30 тыс.). Рабочая диапазон частот - 109-112 МГц (с 1996 г., ранее - 101-104 Мгц), т.е. он работает на длине волны около 3 м. В этом диапазоне БСА является самым чувствительным телескопом в мире (и одним из наиболее чувствительных в мире на метровом диапазоне волн в целом).
БСА ФИАН - это незаменимый инструмент для решения целого ряда задач в области исследования пульсаров, изучения динамических процессов в околосолнечной и межпланетной плазме, анализа структуры компактных радиоисточников в метровом диапазоне волн. Важнейшей особенностью БСА является то, что он работает в режиме приема полной мощности. Это позволяет снимать на нем, помимо дискретных радиоисточников, фоновое излучение нашей Галактики и протяженные, порядка градусов радиоисточники, на что обычно неспособны другие радиотелескопы. Вторая особенность - БСА изначально проектировался с возможностью формирования на нем многолучевой диаграммы - одновременной регистрации сигнала из нескольких направлений. До 2007 г. диаграмма направленности БСА состояла из 16 лучей, затем была сформирована вторая, независимая 16-лучевая диаграмма. Наконец, в 2010-11 гг. была разработана и создана еще одна (уже третья) диаграммообразующая система.
Основные технические характеристики радиотелескопа БСА:
? полоса приема 109 - 112 МГц;
? размер D1=187 м, D2=384 м
? эффективная площадь антенны (максимум) - 47 000 кв. метров (примерно 0.65 от всей площади).
? Системная шумовая температура (минимум) - 560 K;
? Поляризация антенны - линейная (вдоль линии восток-запад);
? Общее число генерируемых лучей в многолучевой диаграмме - 128;
? Число лучей, оснащенных регистраторами - 96;
? Область наблюдений -8?<д<+42? (это 5.08 стерадиан или 0.40 всей небесной сферы). Многолучевая диаграмма покрывает около 40? (1/1000 всей небесной сферы);
? Ширина диаграммы в E-plane (восток-запад) - 54ґ ;
? Ширина диаграммы в H-plane (север-юг) - 24ґ (зенит)
Радиотелескоп БСА является инструментом меридианного типа: его лучи неподвижно располагаются на небе вдоль меридиана по линии Юг-Север. Соответственно, ввиду суточного вращения Земли с периодом через сутки повторяется наблюдение любой точки неба внутри склонений от -8?<д<+42?, т.е. любая точка на этих склонениях наблюдается не реже, чем раз в сутки. Поскольку наблюдения любого участка неба внутри указанной полосы склонений ежедневно повторяются, данные служат прекрасной основой для повседневного отслеживания изменений потоков тысяч радиоисточников различной природы на небе, попадающих в указанную полосу склонений.
Характеристики приемно-регистрирующей системы (чувствительность - для зенита, при минимальной температуре фона):
? Число каналов (лучей) регистрации - 96;
? Полоса частот регистрации - 2,5 МГц с центральной частотой 110,25 МГц;
? Число частотных каналов в одном канале регистрации от 6 до 32;
? Интервал выборки сигнала в канале ?t=12,5 -100 мс;
? Максимальная чувствительность (для всей полосы 2,5 МГц) радиотелескопа БСА при постоянной времени 100 мс равна 0,07 Ян, при 12,5 мс - 0,2 Ян;
? Чувствительность для одной спектральной полосы (415 или 78 кГц соответственно): 0,16 или 1,06 Ян для 100 и 12,5 мс соответственно.
Из показателей чувствительность для одной спектральной полосы по критерию S/N?5 можно определить, что для одной полосы мы способны выделить импульсные события на уровне около 1 и 5 Ян соответственно для широкополосной и узкополосной моды.
Приведенные величины касаются лишь моментальной чувствительности (которая важна для поиска сигналов импульсного характера на масштабах порядка секунды и менее). С учетом же того, что радиоисточник проходит через диаграмму около 5 минут, можно достигнуть чувствительности за время этой экспозиции ~0.002 Ян, то есть минимально обнаруживаемый источник при будет порядка 0.01 Ян для всей принимаемой полосы 2.5 МГц.
Но эта оценка верна для редко расположенных на небе импульсных, мерцающих, переменных источников. Для обычных же радиоисточников из-за широкой диаграммы БСА столь хорошая обнаруживаемость недоступна, поскольку ее уничтожает эффект путаницы - когда в створ диаграммы попадает множество источников, причем их число слегка меняется от точки к точки на небе, что порождает шум данных, т.н. «путаницу источников». Ее уровень 0.6 - 1.0 Ян, см. (Дагкесаманский и др, 2000).
Но для редко расположенных источников - мерцающих, транзиентных либо просто переменных источников (их на 1-2 порядке меньше, чем обычных) предел обнаружения на БСА в реализованных ранее наблюдениях может быть и действительно был не хуже, чем несколько сотых долей Ян (Tyul'bashev, 2001) - причем в 2001, до до модернизации эффективная площадь антенны была меньше (около 30 тыс. м2).
Поскольку время прохождения источника через диаграмму БСА около 5 минут (фактически оно и определяет продолжительность единичного сеанса наблюдений), то вероятность попадания в произвольный момент времени источника из наблюдаемой полосы склонений в один из главных лепестков многолучевой диаграммы ~ 1/300. Отметим также, что диаграмма БСА имеет многочисленные боковые лепестки (вплоть до ±40 градусов от главных лепестков), где происходит значимый для регистрации захват сигнала от мощных источников в момент наблюдений. В итоге в боковых лепестках на этом расстоянии от центрального направления регистрируется 1/10000ч1/1000 от мощности сигнала в главном лепестке. Как результат, БСА способна регистрировать на небе в любой момент времени в секторе около 1 стерадиана от линии Юг-Север радиоисточники порядка ~1 тыс. Ян (в том числе, что особенно важно - транзиентные источники).
Регистрируемый поток данных является ключевым для мониторинга состояния земной ионосферы, мониторинга вспышек на Солнце (космической погоды), наблюдений планет солнечной системы в радиодиапазоне, отслеживания тысяч мерцающих радиоисточников, мониторинга потоков сотен радиоисточников в нашей Галактике и за ее пределами, поиска новых радио объектов, других целей:
? отслеживание состояния ионосферы;
? космическая погода (определение индексов мерцаний сотен радиоисточников в динамике на масштабах дней и месяцев);
? составление каталога мерцающих источников из нашего обзора (порядка 10 тыс. источников);
? долговременный мониторинг изменений потоков сотен и тысяч источников;
? поиск пульсаров и их долговременный мониторинг;
? поиск радиотранзиентов с большими мерами дисперсиями (FRB и им подобные);
? другие задачи.
При обработке данных нужно также помнить, что меняется на только состояние радиотелескопа и аппаратуры (что может портить данные), но в данные попадают также помехи, порождаемые человеком и средой (например, грозы). Как показывает практика, для обработки пригодны около 80-85% данных (остальные испорчены помехами либо другими мешающими факторами).
§2 Формат данных, хранение, обработка, вывод
Существует две стойки аппаратуры с цифровыми приемниками Каждый файл с данными имеет расширение «.pnt» (грубая мода) либо «.pnthr» (тонкая мода) и называется датой, в которую производилась запись, и дополнительным идентификатором, так как файлов в один день записывается много. Он состоит из описания и массива значений в кодировке ASCII. Описание файла состоит из следующих параметров:
? numpar - количество параметров описания;
? source - название источника, заполняется наблюдателем (обычно пустое поле);
? alpha - координата источника по прямому восхождению, заполняется наблюдателем (обычно пустое поле);
? delta - координата источника по склонению, заполняется наблюдателем (обычно пустое поле);
? fcentral - седьмая частота (суммирующая);
? wb_total - общая ширина полосы наблюдений (обычно 2.5 МГц);
? date_begin - дата начала записи;
? time_begin - время начала записи;
? date_end - дата окончания записи;
? time_end - время окончания записи;
? modulus - список задействованных модулей приемника (от 1 до 8);
? tresolution - разрешение в точках (время в мс между снятием сигнала);
? npoints - количество точек в файле;
? nbands - частотный режим (количество - 6 полос или 32);
? wbands - список ширин наблюдаемых частот;
? fbands - список частот.
Каждый файл содержит в себе час наблюдений в 48 направлениях (лучах) и nbands+1 частотных диапазонах в виде вещественных 4-байтовых чисел (классический формат float). Размеры массива зависят от типа ноды:
1. В тонкой ноде запись ведется в 32 радиочастотах с разрешением ~ 12,5 мс. Разрешение - время между снятием сигнала.
2. В «грубой» ноде - 6 радиочастот с разрешением ~ 100 мс.
Оценим теперь количество поступающей информации в таблице 2.1.
Таблица 2.1. Расчет объема поступающих данных с БСА ФИАН за разное время, с разного количества лучей диаграммы, для разных режимов регистрации.
Формат регистрации данных >Объем данных за указанное время v |
ф= 100 ms , ?f=0.415 MHz(10 раз в секунду, 6 полос) |
ф=12.5 ms, ?f=0.078 MHz(80 раз в секунду, 32 полосы) |
|
1 секунда,96 лучей |
26880 бт |
1013760 бт ? 1 МбтПримечание:Равно ~8 Мбит в секунду - это предел канала интернета ПРАО АКЦ ФИАН.То есть возможная передачи данных вовне для распределенных вычислений полностью займет весь интернет-канал . |
|
5 минут :Это характерный размер диаграммы БСА по R.A.?время накопления одного источника),96 лучей |
8 Мбт(84 кбт - для 1 луча) |
304 Мбт(3.2 Мбт - для 1 луча) |
|
1 час, 96 лучей |
92 Мбт |
3482 Мбт |
|
1сутки, 96 лучей |
2,3 Гбт |
87,6 Гбт |
|
1месяц, 96 лучей |
70 Гбт |
2,6 Тбт |
|
1 год, 96 лучей |
848 Гбт |
32 Тбт |
Как видим, с учетом того, что наблюдения обычно ведутся одновременно в обеих модах, в год регистрируется около 33 ТБ данных.
Однако столь большой поток данных невозможно осмыслить и правильно обработать без аккумуляции и хранения обобщенной суммарной информации о данных в специально созданной реляционной базе данных (на основе СУБД Postgresql). Широкое использование специализированной базы данных, автоматически пополняемой метаинформацией (информацией о структуре и основных текущих свойствах данных) о наблюдениях - второй компонент нашей методики.
Все данные проходят автоматическую предварительную обработку и в сжатом виде фиксируются в специальную базу данных (Samodurov et al, 2015), графические данные из которой доступны для публичного просмотра (http://astro.prao.ru/ ). В базу данных сейчас заносятся данные со всех 96 лучей с усреднением различных параметров сигнала каждые 5 секунд (средние медианные, максимальные, минимальные значения, индексы мерцаний и т.п. - всего 27 параметров) пока только для стандартной моды наблюдений (постоянная времени 0.1 секунд, прием в 6 полосах); в результате выполнения данной дипломной работы механизм предварительной обработки и складирования в общую базу данных будет распространен и на данные в «быстрой» моде.
Наиболее полезным оказалось использование максимальных медианных значений. Действительно, в максимальных значениях на каждом отрезке времени аккумулируются не только помехи (техногенные помехи, грозовые разряды, аппаратурные сбои), но и отмечают себя реальные космические импульсы. Используя этот факт, удалось построить базу данных импульсов примерно за год наблюдений (Samodurov et al, 2016). Пример высокой эффективности фильтрации данных по среднему медианному во время мощнейшей грозы (4 мая 2013, 19:38 - 20:38 по московскому времени) показан ниже на рисунке 2.1.
Рис. 2.1. Слева: текущие максимумы данных каждые 5 секунд в 48 лучах диаграммы БСА. Данные сняты во время мощнейшей грозы (удары молний, длящиеся несколько десятых долей секунды - несколько раз в минуту). Справа: те же данные, но для текущих среднемедианных значений каждые 5 секунд. Даже в столь сложной ситуации данные выглядят почти удовлетворительно.
Поскольку раз в несколько часов на 15 секунд подаются калибровочные сигналы, то все данные в базе данных можно калибровать в антенных градусах (и при необходимости - и в шкале единиц Янски при помощи широкого набора калибровочных источников). И, поскольку база данных позволяет легко находить усредненные данные, то изо всех данных можно, в частности, вычесть средний шаблон данных, накопленных за все годы (или конкретный месяц) наблюдений, оставив для анализа только переменную часть наблюдательных данных.
Нетрудно увидеть, что тем самым мы можем реализовать на данных БСА для переменных и транзиентных источников теоретическую чувствительность нашего инструмента (порядка 0.002 Ян, соответственно уровень надежной обнаружимости источников - порядка 0.01 Ян во всей полосе 2.5 МГц за время одного наблюдения порядка 5 минут).
В результате база данных позволяет отслеживать любые изменения получаемых данных на масштабах от 5 секунд до лет, манипулировать данными (в том числе выделяя радиоисточники различных классов, при этом для переменных и транзиентных источников реализуется теоретическая чувствительность инструмента). На рисунке 2.2 ниже - пример наблюдения одного участка неба с разрывом в 3 месяца.
Рис. 2.2. Откалиброванный часовой образец данных (на основе одного файла данных) с многолучевой диаграммы БСА (на R.A.=4 h 40 m - калибровочные сигналы) для 15.04.2013 г. и для 15.07.2013 г. При прохождении точечных радиоисточников через диаграмму (они видны обычно не более чем 1-3 лучах диаграммы) хорошо видна форма одного луча диаграммы БСА (вместе с боковиками), явление мерцания у точечных источников, изменения потоков у некоторых источников и т.д.
Итак, основное преимущество размещения сжатых данных в форматах реляционных баз данных это полученная возможность использовать все доступные средства выделения, сортировки, сопоставления, фильтрации и последующей обработки данных при помощи механизма стандартных команд SQL. Это значительно упростило перекрестный и временной анализ данных, осреднение, выделение данных с нестандартным поведением, выделение и мониторинг радиоисточников различных классов и т.п.
В частности, в начале 2016 реализована методика анализа каждой 5-ти секундной точки данных на предмет наличия импульсных явлений на небе. Разработанная методика (основанная на основе анализа превышений S/N?5 стандартных отклонений для разницы максимального и медианного значения 5-секундной точки значений в каждой из полос регистрации данных на не более чем в 2-3 лучах диаграммы) позволила выделить 83096 индивидуальных импульсных событий (Samodurov et al, 2016). Они были выделены на отрезке июль 2012 - октябрь 2013 для стандартного режима наблюдений (постоянная времени 0.1 сек и 6 полос по 415 кГц внутри всей полосы 2.5 МГц) и соответствуют откликам от пульсаров, мерцающим источникам и другим быстрым радиотранзиентным события с избранной точки неба.
Наиболее интересны результаты выделения импульсов космического происхождения, которых оказалось около 40% в нашей выборке. В частности, из примерно 340 пульсаров каталога ATNF (Manchester, 2005), попадающий в полосу +3.5?<?<+42? (наиболее пригодной для обработки) и с периодами более 0.3 секунды в нашей выборке найдены импульсы для 41 из них (еще 3 пульсара найдено из имеющих период 0.2-0.3 секунды). При этом число найденных импульсов для указанных пульсаров колеблется от 1 (одного) до тысяч за все указанное время наблюдений (в среднем около года). На рисунке 2.3 ниже показан один из примеров обнаружения импульсов яркого пульсара.
...Подобные документы
Создание схем алгоритмов и составление программы на языке Pascal для вычисления значений заданных функций. Сущность и порядок нахождения значения определенного интеграла. Анализ работы подпрограмм. Разработка тестов для проверки правильности алгоритмов.
контрольная работа [831,0 K], добавлен 24.11.2013Разработка и анализ алгоритмов с использованием электронных таблиц и прикладных программ Smath Studio, Microsoft Excel. Проверка алгоритма ветвления или выбора. Реализация циклов на примере вычисления определённого интеграла с заданной точностью.
контрольная работа [1,0 M], добавлен 19.03.2016Общая характеристика и функциональные возможности системы "Компьютерное тестирование". Связи между информационными объектами. Проектирование алгоритмов обработки данных. Реализация алгоритмов обработки информации, разработка соответствующих макросов.
контрольная работа [542,8 K], добавлен 19.10.2010Переход от словесной неформальной постановки к математической формулировке данной задачи. Оценка различных вариантов с целью выбора наиболее эффективных структур данных и алгоритмов обработки. Реализация алгоритмов на одном из языков программирования.
курсовая работа [35,0 K], добавлен 25.06.2013Основные особенности эволюционных алгоритмов. Описание алгоритмов селекции, мутации, скрещивания, применяемых для реализации генетических алгоритмов. Вычисление функции приспособленности. Программная реализация. Тестирование и руководство пользователя.
курсовая работа [1,3 M], добавлен 11.03.2014История появления эволюционных алгоритмов. Нейрокомпьютерные исследования в России. Реализация генетических алгоритмов. Расчет эффективности процедур поиска конкурирующей процедуры. Schema и теорема шим. Примеры использования нейросетевых технологий.
курсовая работа [43,0 K], добавлен 20.10.2008Сущность построения, особенности применения и теоретическое обоснование алгоритмов приближенного решения математических задач. Основы численного метода, нахождение интерполяционного полинома методом Лагранжа. Руководство программиста и пользователя.
курсовая работа [527,6 K], добавлен 16.08.2012Целые числа в позиционных системах счисления. Недостатки двоичной системы. Разработка алгоритмов, структур данных. Программная реализация алгоритмов перевода в различные системы счисления на языке программирования С. Тестирование программного обеспечения.
курсовая работа [593,3 K], добавлен 03.01.2015Построение информационно-логической модели базы данных. Корректировка данных средствами запросов. Проектирование алгоритмов обработки данных. Реализация пользовательского интерфейса средствами форм. Разработка запросов для корректировки и выборки данных.
курсовая работа [680,9 K], добавлен 19.10.2010Разработка программы на языке Си++ и осуществление постановки и выбора алгоритмов решения задач обработки экономической информации, создание и редактирование базы данных, сортировка записей по определенному запросу, анализ эффективности обработки данных.
контрольная работа [316,8 K], добавлен 28.08.2012Описание особенностей программирования циклических алгоритмов на С/С++. Использование операторов цикла для организации повтора в программе определенных действий. Создание и реализация программы приближенного вычисления интеграла методом трапеций.
лабораторная работа [86,3 K], добавлен 25.03.2019Основные этапы создания алгоритмов, представление в виде программы. Рассмотрение методов решения задач. Метод поэтапных уточнений. Различие между численными и логическими алгоритмами. Реализация цикла со счетчиком. Процесс разработки сложного алгоритма.
презентация [1,3 M], добавлен 22.10.2013Разработка блок-схемы и программы обработки одномерного массива с доступом к элементам с помощью индексов и с помощью указателей. Словесное описание алгоритма и пользовательского интерфейса, листинг программы обработки матрицы и результат её выполнения.
курсовая работа [391,1 K], добавлен 30.09.2013Изучение применяемых в программировании и информатике структур данных, их спецификации и реализации, алгоритмов обработки данных и анализ этих алгоритмов. Программа определения среднего значения для увеличивающегося количества чисел заданного типа.
контрольная работа [16,0 K], добавлен 19.03.2015Обзор существующих подходов в генерации музыкальных произведений. Особенности создания стилизованных аудио произведений на основе современных нейросетевых алгоритмов. Выбор средств и библиотек разработки. Практические результаты работы алгоритма.
дипломная работа [4,0 M], добавлен 13.10.2017Исследование симметричных алгоритмов блочного шифрования. Минусы и плюсы алгоритма IDEA. Разработка программы аутентификации пользователя и сообщений на основе алгоритма IDEA. Выбор языка программирования. Тестирование и реализация программного средства.
курсовая работа [314,2 K], добавлен 27.01.2015Создание набора классов, реализующих функции генерации метаданых для заданного файла данных спутника MTSAT-1R. Существующие методы решения. Реализация алгоритма получения необходимых полей с нужными данными. Разработка структуры базы данных инвентаря.
курсовая работа [38,6 K], добавлен 17.07.2009Описание и особенности некоторых алгоритмов архивации. Построение кода Хаффмана. Динамический алгоритм построения кода Хаффмана. Обратное восстановление текста. Способы двухступенчатого кодирования информации. Практическая реализация алгоритма LZ77.
курсовая работа [51,7 K], добавлен 24.12.2012Критерии и основные стратегии планирования процессора. Разработка моделей алгоритмов SPT (Shortest-processing-task-first) и RR (Round-Robin). Сравнительный анализ выбранных алгоритмов при различных условиях и различном количестве обрабатываемых данных.
курсовая работа [179,3 K], добавлен 21.06.2013Решение задачи средствами прикладных программ. Разработка алгоритмов и структур данных. Реализация задачи определения статистических данных по успеваемости на факультете на языке программирования C#. Программа перевода чисел в различные системы счисления.
курсовая работа [519,9 K], добавлен 03.01.2015