Разработка математического обеспечения информационной системы проведения олимпиад по информатике

Информационные системы поддержки проведения олимпиад

Некоторая информация взята с сайта, посвященному системе проведения турниров по программированию "Ejudge" [2].

Произведя сравнительный анализ на основе найденных данных, можно сделать следующие выводы:

1 Большинство из представленных выше систем реализованы под конкретную операционную систему, что в свою очередь накладывает серьезные ограничения на использование продукта.

2 Некоторые системы перестали поддерживаться авторами и обновляться, либо больше не выкладываются в свободный доступ и распространяются не на свободной основе.

3 Такие системы как "Ejudge", "DOMjudge", "Dudge", "Sharif Judge", "BOCA", "DMOJ" и "Moe" имеют GPL (General Public License) лицензию, то есть их авторы передают программное обеспечение в общественную собственность. Проприетарная лицензия, которая есть у "Contester", "PC^2", "Olympiads.ru" говорит о том, что это программное обеспечение является частной собственностью авторов или правообладателей и не удовлетворяет критериям свободного программного обеспечения (наличия открытого программного кода не достаточно).

Некоторые проблемы при настройке многих систем объясняются тем, что у них либо отсутствует полная документация, либо она предоставляется только на английском языке. Таким образом, преподаватель, использующий одну из приведенных систем, должен обладать навыками администрирования и, зачастую, системного программирования, что явно ограничивает круг людей, способных проводить олимпиады с использованием специального программного обеспечения. Для школьников, которые являются целевой аудиторией тестирующих систем и изучают программирование только на начальном уровне, самостоятельное использование автоматизированных систем превращается в почти невыполнимую задачу.

По некоторым наблюдениям наиболее популярными системами для автоматического тестирования на данный момент в России выступают "Ejudge" и "Contester".

Ejudge

Система написана на языке C, состоит из нескольких модулей и утилит. Поддерживается почти любым современным дистрибутивов Linux.

Основной интерфейс системы реализован с помощью веб-технологий, имеет большое количество настраиваемых возможностей. Доступ к веб-интерфейсу обеспечивается веб-сервером Apache при специальных настройках. Утилиты командной строки и программы с текстовым интерфейсом позволяют реализовать дополнительные административные возможности.

Утилиты командной строки позволяют получить информацию в формате, удобном для дальнейшей обработки (XML- и CSV-форматы). Административный веб-интерфейс позволяет выполнить все операции по созданию и настройке нового турнира, не прибегая к редактированию конфигурационных файлов.

"Ejudge" поддерживает практически все популярные языки программирования: C, C++, Java, Pascal, Perl, Python и другие, также возможно добавление языков в уже работающую систему [4].

Резюмируя, "Ejudge" со своей поставленной задачей справляется. Стоит отметить, что данная система наиболее часто применятся при проведении олимпиад по программированию.

Главными недостатками данной системы являются: сложность установки, поддержки, интеграции, ориентированности только на операционную систему Linux, не совсем логичный и удобный интерфейс.

Система "Ejudge" спроектирована как гибкий и расширяемый продукт, который допускает как комплексное использование, так и заимствование отдельных компонентов. Однако, уже на данном этапе сложность этой системы достигла максимальных значений, обнаруживая все просчёты в проектировании.

Contester

"Contester" разработан на Delphi и FreePascal. В системе используется сервер баз данных Firebird, компоненты Indy.Sockets и библиотека ZLib. Работает на Windows и Linux. Поддерживает языки: C++, Object Pascal, Java и языки.NET: C#, J# и Visual Basic [5].

На данный момент в основу "Contester" заложены правила ACM-соревнований.

Турнирная система содержит HTTP-сервер, тестирующий модуль, и располагается в системном трее. Работа с системой, чтение текстов задач и отправка решений происходит через веб-браузер.

Интерфейс участника олимпиады позволяет выполнять ряд необходимых для него функций, таких как: самостоятельная регистрация, обращение к текстам задач, ознакомление с информационными справками в системе, обсуждение задач, сборников, турниров на встроенном форуме и других.

Интерфейс администратора турнирной системы позволяет: создавать, блокировать и удалять учетные записи участников системы, создавать и удалять задачи, турниры, сборники и разделы, вносить тестовые пары к задачам; компилировать решения, просматривать список решений участников, компилировать решения и просматривать журналы компиляции и проверки каждой попытки; добавлять в систему языки программирования; распределять проверку решений на несколько серверных компьютеров [5].

"Contester" обладает хорошим функционалом, за исключением того, что он ориентирован на поддержку олимпиад по программированию, в связи, с чем не предусматривает методы для проведения и проверки заданий в форме тестов.

Большим плюсом является то, что система имеет установщик и не требует никаких дополнительных знаний, необходимых для ее установки и настройки, чем существенно отличается от "Ejudge".

Недостатком системы является её проприетарность.

Кроме того использование при разработке языка Delphi усложняет поддержку продукта и ставит под сомнение дальнейшее существование системы.

Таблица 3, содержащая сравнительный обзор на описанные выше системы:

Таблица 2

Технологические платформы для систем поддержки олимпиад по программированию "Ejudge" и "Contester".

На таблице 3 представлены как плюсы, так и минусы рассмотренных систем с точки зрения особенностей, сформулированных в прошлом параграфе:

Таблица 3

На рисунке 2 отмечены организаторы каждого из этапов олимпиад, возрастные рамки и сроки проведения.

В первую очередь стоит отметить, что проведение школьного, муниципального и регионального этапов олимпиады регламентируется Положением о Всероссийской олимпиаде школьников, утвержденным Приказом Министерства образования и науки Российской Федерации (Минобрнауки России) от 18 ноября 2013 г. № 1252 г. Москва [1].

Первым туром Всероссийской олимпиады является школьный, принять участие в нем может любой учащийся 5-11 класса образовательных организаций, поэтому данный тур является очень массовым.

Основной функцией данного тура является отбор на последующие этапы олимпиады. Для проведения школьного этапа олимпиад создаются оргкомитет, жюри и предметно-методическая комиссия олимпиады. Организатором школьного этапа выступает образовательная организация, как правило, им является школа. За разработку заданий и критериев проверки отвечает школьная предметно-методическая комиссия или школьное жюри на основании методических рекомендаций центральных предметно-методических комиссий.

Вторым туром является муниципальный этап, в нем могут принять участие учащиеся в 7-11 классах образовательных учреждений, победители и призеры школьного тура текущего года либо прошлого учебного года, если продолжили своё обучение. Организатором тура служат органы местного самоуправления муниципальных районов и городских округов в сфере образования.

Муниципальный этап Всероссийской олимпиады играет важную роль в успешности проведения последующих этапов, так как именно по его итогам формируются списки регионального этапа.

Региональный этап проходит в два тура и является заключительным во всей цепочке. Оба тура компьютерные. За его проведение отвечают органы исполнительной власти субъектов Российской Федерации, осуществляющих управление в сфере образования. Разработкой заданий, критериев и методики проверки занимаются центрально-методические комиссии.

На усмотрение организаторов и жюри регионального этапа Олимпиады накануне первого тура для всех участников может быть организован пробный тур, основное назначение которого - знакомство участников с компьютерной техникой и установленным на рабочих местах программным обеспечением. Пробный тур из рекомендательного должен стать обязательным, если во время проведения основных туров участники должны использовать в процессе решения задач специализированную программную среду соревнований, позволяющую осуществлять проверку решений участников в автоматическом режиме.

Для обеспечения одинаковых условий участникам должны быть предоставлены одинаковые или близкие по техническим характеристикам компьютеры. Компьютеры должны быть объединены в локальную вычислительную сеть без доступа к сети Интернет. На компьютерах всех участников должно быть инсталлировано только то программное обеспечение, которое необходимо для решения задач олимпиады. А также на каждом из устройств организаторами олимпиады устанавливается программный продукт, обеспечивающий работу среды. Необходимо сказать, что такая среда не поставляется вместе с материалами центральной предметно-методической комиссии по информатике, и обеспечение регионального этапа такой системой находится в ведении организаторов регионального этапа, региональной предметно-методической комиссии по информатике и жюри [1].

Проанализировав положение о Всероссийской олимпиаде, можно обнаружить некоторые риски, которые могут возникнуть во время организации каждого из этапов олимпиады.

В связи с тем, что отсутствует реальный контроль со стороны оргкомитета школьного этапа, составители могут разработать такие задания, которые не будут удовлетворять методическим рекомендациям. Такое несоответствие заданий олимпиады методическим рекомендациям дает возможность исказить реальные результаты тура. Например, при слишком легком уровне заданий, призеров будет больше, а как следствие и количество участников, прошедших на муниципальный этап олимпиады. Так и наоборот, слишком сложные задания не дадут возможности некоторым участникам пройти в следующий тур.

Существенной проблемой может стать некачественная проверка работ. Это может быть связано с тем, что критерии проверки работ слабо формализованы или жюри недобросовестно и непрофессионально подходит к организации данного процесса. Вследствие чего в какой-то мере опять теряется одна из основных функций поэтапного прохождения олимпиады - функция отбора участников на её следующий тур.

Кроме всего прочего, отсутствует единая информационная система. Вся передаваемая информация из центров проведения олимпиады не систематизирована, отсутствует единый центр обработки информации. При проведении олимпиады каждая учебная организация владеет частью информации, что значительно затрудняет ее сбор и анализ. Данные поступают не единовременно, могут дублироваться. Все это является существенной проблемой при сжатых сроках подведения итогов олимпиад.

4 Требования к системе

4.1 Требования к системе в целом

4.1.1 Требования к структуре и функционированию системы

ИС "Инфотест" может быть централизованной, т.е. все данные должны располагаться в центральном хранилище, а может быть децентрализованной и работать на нескольких площадках с последующим сбором всей информации с них в единый центр.

Перечень подсистем, их назначение и основные характеристики

Система должна иметь трехуровневую архитектуру (клиентская часть - сервер приложений - сервер базы данных).

Система должна включать в себя следующие прикладные функциональные компоненты (функциональные подсистемы и/или АРМы):

- Подсистема управления справочниками и классификаторами;

- АРМ "Администратор";

- АРМ "Учитель";

- АРМ "Участник олимпиады";

- АРМ "Организатор олимпиады";

- АРМ "Методическая комиссия";

- АРМ "Жюри";

- АРМ "Дирекция по проведению Олимпиады";

- Подсистема поддержки сред программирования;

- Подсистема сбора и анализа отзывов участников олимпиады;

Работа основных функциональных подсистем должны обеспечиваться следующими технологическими подсистемами:

- Операционные системы и системы управления базами данных;

- Локальная вычислительная сеть, компьютерное и специализированное оборудование.

ИС "Инфотест" должна обеспечивать базовые системные сервисы (передача информации, управление пользователями, обеспечение защиты информации и т.п.) для функциональных подсистем.

4.1.1.1 Настоящее Техническое задание определяет также требования к системному программному обеспечению, оборудованию и используемым каналам связи.

4.1.1.2 Требования к способам и средствам связи для информационного обмена между компонентами системы.

Использовать протокол TCP/IP в качестве протокола взаимодействия между компонентами системы на транспортно-сетевом уровне. Использовать HTTP для организации доступа пользователей к системе. Использовать SOAP протокол поверх протокола HTTP.

4.1.1.3 Требования к режимам функционирования системы.

Для ИС "Инфотест" определяются режимы функционирования: основной режим, в котором все подсистемы исправно выполняют все свои функции; аварийный режим, в котором одна или все подсистемы не могут выполнить все или какую-либо одну из своих функций.

В основном режиме функционирования системы: клиентское и серверное программное обеспечение гарантирует возможность круглосуточного функционирования с перерывами на техническое обслуживание; системное, базовое и прикладное программное обеспечение функционирует в полной мере без неполадок.

Выполнение всех требований эксплуатации программного обеспечения и комплекса технических средств обеспечивает функционирование системы в основном режиме.

В аварийном режиме функционирования системы происходит отказ одного и/или нескольких компонент программного/технического обеспечения. Прежде, чем перейти в аварийный режим, система переходит в предаварийный режим, в котором необходимо совершить следующие действия: завершить работу всех открытых приложений с обязательным сохранением данных; выполнить резервное копирование базы данных; отключить все периферийные устройства, если таковые используются. После этого необходимо принять комплекс мер по устранению причины перехода в аварийный режим.

4.1.1.4 Требования по диагностированию системы.

Специальные требования не предъявляются.

4.1.2 Требования к численности и квалификации персонала системы и режиму его работы

4.1.2.1 Требования к численности персонала

Минимальное количество персонала, требуемого для нормального функционирования системы должно составлять не менее двух штатных единиц: ответственный за информационное обслуживание администратор БД и системный администратор.

4.1.2.2 Требования к квалификации персонала

Ответственный за информационное обслуживание Системы должен обладать практическими навыками работы с пользовательским интерфейсом операционной системы, знать общие принципы организации и функционирования информационных систем, быть компетентным в предметной области Системы. В перечень задач, выполняемых ответственным за информационное обслуживание Системы, должны входить ввод и редактирование информации БД.

Основными обязанностями системного администратора являются:

1 Установка, обновление и конфигурирование программного обеспечения технических средств;

2 Поддержание программного обеспечения серверов и клиентских станций в работоспособном состоянии;

3 Обеспечение своевременного копирования, архивирования и резервирования данных;

4 Восстановление нормального функционирования локальной сети при сбоях работы или выходе из строя сетевого оборудования.

5 Сопровождение программных средств;

6 Обеспечение безопасности сетевых ресурсов, включая контроль доступа в сеть Интернет.

Системный администратор должен иметь высшее профильное образование, опыт обслуживания технических средств и в области настройки и администрирования, применяемых в системе СУБД.

Пользователи системы должны иметь опыт работы в браузерах: Internet Explorer, и/или Opera, и/или Yandex, и/или Mozila FireFox, и/или Google Chrome.

4.1.2.3 Требования к режимам работы персонала

Предполагается, что система будет установлена на персональных компьютерах/ноутбуках. Требования к режимам работы персонала устанавливаются с учетом соответствующего типа техники, на котором инсталлируется система.

4.1.3 Показатели назначения

Система должна обеспечивать возможность исторического хранения данных по пользователям до 5 лет. Система должна обеспечивать возможность многопользовательской работы. Время формирования списка задач, пользователей и выполнения любых несложных запросов должно не превышать 15 секунд. Время сбора аналитической информации и формирования таблиц определяется их сложностью и может занимать продолжительной время.

4.1.4 Требования к надежности

Под надежностью системы понимается её возможность сохранять или восстанавливать работоспособность своего функционала после возникновения внештатных ситуаций: сбоях в системе электроснабжения, появления ошибок в работе аппаратных средств (за исключением носителей и дисков). Защита аппаратуры от больших скачков напряжения должна обеспечиваться сетевыми фильтрами.

4.1.5 Требования к эргономике и технической эстетике

Под эргономикой и технической эстетикой системы понимается удобство интерфейса и его ориентированность на пользователя. Система должна обеспечивать интерфейс, отвечающий следующим требованиям:

- Взаимодействие между пользователем и системой должно происходить на русском языке;

- Ориентированность на работу с клавиатурой и манипулятором графической информации "мышь";

- Отображение на экране только тех возможностей, которые доступны конкретному пользователю в соответствии с его ролью в системе;

- Отображаемые на информационные элементы должны быть типизированы;

- Во время диалога с пользователем, система должна отображать подсказки и выводить ошибки, в случае их появления, на экран.

4.1.6 Требования к эксплуатации, техническому обслуживанию, ремонту и хранению компонентов системы

Условия эксплуатации, а также виды и периодичность обслуживания технических средств Системы должны соответствовать требованиям по эксплуатации, техническому обслуживанию, ремонту и хранению, изложенным в документации завода-изготовителя (производителя) на них.

4.1.7 Требования к защите информации от несанкционированного доступа

4.1.7.1 Требования к информационной безопасности

Информационная безопасность Системы должна обеспечиваться комплексом программно-технических средств и организационных мер. В тоже время программно-технические средства не должны существенно влиять на функциональность системы. Защита системы должна поддерживаться на всех уровнях обработки информации и во всех режимах работы.

4.1.7.2 Требования к антивирусной защите

Средства антивирусной защиты должны обеспечивать защиту от вредоносных программ серверов и АРМ пользователей. Средства должны быть установлены на всех рабочих местах пользователей и администраторов Системы.

4.1.8 Требования по сохранности информации при авариях

В Системе должно быть обеспечено резервное копирование данных.

4.1.9 Требования к защите от влияния внешних воздействий

Применительно к программно-аппаратному окружению Системы предъявляются следующие требования к защите от влияния внешних воздействий: электромагнитное излучение радиодиапазона, возникающее при работе электробытовых приборов, электрических машин и установок, приёмопередающих устройств, эксплуатируемых на месте размещения Системы, не должны приводить к нарушениям работоспособности подсистем. Система должна иметь возможность функционирования при колебаниях напряжения электропитания в пределах от 155 до 265 В (220 ± 20 % - 30 %);

4.1.10 Требования по стандартизации и унификации

Для работы с базой данных должен использоваться язык запросов SQL в рамках стандарта ANSI SQL-92.

4.1.11 Дополнительные требования

Специальные требования не предъявляются.

4.1.12 Требования безопасности

Специальные требования не предъявляются.

4.2 Требования к функциям (задачам), выполняемым системой

Данная система предназначена для автоматизации процессов организации и проведения олимпиады по информатике.

Функции системы включают в себя функции, обеспечивающие работу с нормативно-справочной информацией, а также функции, обеспечивающие ведение, обработку и анализ текущей информации, относящейся к процессам организации и проведения олимпиады по информатике.

1 Ведение нормативно-справочной информации:

- Добавление НСИ

- Редактирование НСИ

- Удаление НСИ

2 Использование НСИ.

Эта функция предполагает использование нормативно-справочной информации для обеспечения работы других подсистем/АРМов (без права добавления, редактирования, удаления НСИ, но с возможностью просмотра).

Работа с основными функциями системы предполагает ввод, редактирование и удаление текущей информации, ее обработку, формирование первичных документов и аналитических отчетов.

4.2.1 Список функций по работе с НСИ

1 Ведение справочника "Регионы" (АРМ "Администратор");

2 Ведение справочника "Региональные площадки" (АРМ "Администратор");

3 Ведение справочника "Классы" (АРМ "Администратор");

4 Ведение справочника "Страны" (АРМ "Администратор");

5 Ведение справочника "Среды программирования" (АРМ "Администратор");

6 Ведение справочника "Типы заданий" (АРМ "Администратор");

7 Ведение справочника "Роли" (АРМ "Администратор");

8 Ведение справочника "Туры Олимпиады" (АРМ "Администратор");

Пользователи других подсистем/АРМов только используют перечисленные справочники и классификаторы.

4.2.2 Список функций, реализуемых системой

По завершению разработки система должна предоставлять хранение информации о ходе соревнования, базы участников и их рейтинга, вопросов, заданий, а так же:

Администратору системы:

- Возможность создания ограниченных по времени олимпиад и работы над ними;

- Добавление и редактирование (при необходимости) условий задач и ответов к ним (предполагается создание вопросов с любым контентом);

- Активация, деактивация или удаление олимпиады;

- Возможность одновременного проведения нескольких олимпиад;

- Возможность автоматической проверки введенных ответов на задачу и подсчета результатов;

- Возможность автоматического вычисления статистики по соревнованию (по его завершению соответственно);

- Возможность просмотра списка зарегистрированных пользователей в системе и информации о них (с возможностью записи участника на необходимый турнир, либо его удаления);

- Возможность изменения прав доступа любого пользователя в системе;

- Возможности, предоставляемые любому пользователю системы тестирования, описанные ниже;

Участнику олимпиады:

- Регистрация/авторизация участника (при регистрации участника в АРМе "Участник" на каждого участника заводится "электронная карточка" участника);

- Ознакомление со справкой, техническому руководству и правилам проведения олимпиады (после регистрации в системе, участников следует ознакомить с правилами проведения олимпиады, а также донести до их сведения всю необходимую информацию для успешного прохождения испытания);

- Просмотр заданий (каждый пользователь имеет возможность просмотреть доступные в системе задания и вопросы);

- Просмотр активных и возможных олимпиад;

- Просмотр личных результатов олимпиады для каждого участника (список проверенных решений участника);

- Просмотр конечных результатов (список участников, призеров и победителей);

- Просмотр архива прошедших турниров и их результатов (список участников, призеров и победителей);

- Возможность связи с администратором/учителем/жюри (отправка сообщения)

- Доступ к форуму, на котором в соответствующих разделах можно задавать вопросы и обсуждать конкретные задачи и олимпиады;

Для организаторов олимпиады:

- Публикация Положения об олимпиаде и внесение в него необходимых изменений;

- Формирование списка методической комиссии и жюри олимпиады;

- Публикация правил проведения олимпиады;

- Публикация регламента проведения олимпиады;

- Публикация результатов олимпиады, списка победителей и призеров;

- Рассмотрение апелляций участников;

- Формирование отчета о прошедшей олимпиаде.

Для методической комиссии:

- Предоставление требований для утверждения оргкомитетом спецификации заданий;

- Предоставление требований для проведения олимпиады;

- Рассмотрение апелляций участников;

Для жюри олимпиады:

- Возможность отмены результатов участников, нарушивших регламент проведения олимпиады;

- Проверка результатов олимпиады;

- Предоставление для утверждения результатов олимпиады Организаторам;

- Рассмотрение апелляций участников.

4.3 Требования к видам обеспечения

4.3.1 Требования к математическому обеспечению

Специальных требований не предъявляется.

4.3.2 Требования к информационному обеспечению

4.3.2.1 Требования к составу, структуре и способам организации данных в системе.

Модель данных Системы физически должна быть реализована в СУБД.

4.3.2.2 Требования к информационному обмену между компонентами системы

Специальных требований не предъявляется.

4.3.2.3 Требования к информационной совместимости со смежными системами

Специальных требований не предъявляется.

4.3.2.4 Требования по использованию классификаторов, унифицированных документов и классификаторов

Основные классификаторы и справочники в системе (пользователи, задачи, ответы) должны быть едиными.

4.3.2.5 Требования по применению систем управления базами данных

Специальных требований не предъявляется.

4.3.2.6 Требования к структуре процесса сбора, обработки, передачи данных в системе и представлению данных

Процесс сбора, обработки и передачи данных в системе определяются регламентом процессов сбора, преобразования и загрузки данных, разрабатываемом на этапе "Проектирование. Разработка эскизного проекта. Разработка технического проекта".

4.3.2.7 Требования к защите данных от разрушений при авариях и сбоях в электропитании системы

При аварийной ситуации, связанной со сбоем электропитания, информация в базе данных системы обязана сохраняться.

Желательно использование бесперебойного электропитания, обеспечивающего её нормальное функционирование в течение 15 минут в случае отсутствия внешнего энергоснабжения, и 5 минут дополнительно для корректного завершения всех процессов.

Резервное копирование данных должно осуществляться на регулярной основе, в объёмах, достаточных для восстановления информации в подсистеме хранения данных.

4.3.2.8 Требования к контролю, хранению, обновлению и восстановлению данных

К контролю данных предъявляются следующие требования: сохранение всех событий, связанных с изменением своего информационного наполнения с целью возможного восстановления своего предыдущего состояния в случае сбоя.

4.3.2.9 Требования к процедуре придания юридической силы документам, продуцируемым техническими средствами системы

Специальных требований не предъявляется.

4.3.3 Требования к лингвистическому обеспечению

При реализации системы могут применяться следующие языки высокого уровня: PHP, SQL, HTML. Для реализации алгоритмов манипулирования данными в системе необходимо использовать стандартный язык запроса к данным SQL и его процедурное расширение.

4.3.4 Требования к программному обеспечению

СУБД должна иметь возможность инсталляции на ОС Windows (XP и более поздние версии), Linux (Ubuntu, Solaris).

К обеспечению качества ПС предъявляются следующие требования: выполнение подсистемами их функций обеспечивает функциональность системы; предупреждение или недопущение ошибок обеспечивает надежность; принятие верных и подходящих решений на всех этапах разработки ПС обеспечивает эффективность; техническое руководство и технологическая инструкция должны обеспечивать сопровождение системы.

4.3.5 Требования к техническому обеспечению

Веб-приложение имеет трехзвенную архитектуру: серверная часть состоит из сервера базы данных и сервера приложений, клиентской частью является браузер пользователя.

Минимальные аппаратные требования:

Сервер баз данных:

- Процессор - 4 х 3 ГГц;

- Объем оперативной памяти - не менее 2 Гб;

- Объем жесткого диска - не менее 80 Гб;

- Сетевая карта - с поддержкой скорости не менее 1 Гбит/сек.

Сервер приложений.

- Процессор - 4 х 3 ГГц;

- Объем оперативной памяти - не менее 2 Гб;

- Объем жесткого диска - не менее 40 Гб.

Требования к рабочему месту пользователя: