Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Разработка автоматизируемых показателей качества выпускных работ студентов

Необходимость автоматизации проверки выпускных квалификационных работ (ВКР) обусловлена как ростом спроса на высшее образование, так и необходимостью в повышении его качества в условиях ограниченных ресурсов [1]. Автоматизация ряда рутинных процессов проверки позволит снизить влияние человеческого фактора, а также нагрузку на преподавательский состав. При сохранении текущих тенденций к сокращению финансирования, проблемы будут только усугубляться.

Конечной точкой развития данного направления должна стать автоматизированная система на основе методов анализа естественного языка, которая будет способна провести анализ выпускной работы, соотнося её с имеющимися стандартами и также прочими работами в некоторой научной области, и выдать заключение о ней в виде оценки.

Однако, необходимо признать существование такой проблемы, как отсутствие достаточно чётких критериев, а также методов автоматизированной оценки научно-исследовательских работ, в частности ВКР. Существующие стандарты содержат достаточно точные требования к оформлению ВКР, а также описание структуры работы, однако они не позволяют оценить однозначно суть работы [2,3,4].

Одна из самых сложных задач автоматизации процесса проверки ВКР - это извлечение нужной информации из работы, а в данном случае - извлечение максимально точной информации, которая представлена естественным языком.

Компьютерная обработка естественного языка занимает особое место в развитии интеллектуальных систем. Изначально предполагалось использование систем обработки естественного языка (ЕЯ) в качестве способа взаимодействия человека с компьютером, однако методы описания формальных языков не пригодны к описанию естественного языка [5].

В настоящий момент все разработки таких систем можно разделить на четыре категории. Первая категория - вопрос-ответные системы, которые разрабатывались для наиболее эффективного вывода информации в поисковых системах. Второй класс - системы общения с базами данных (БД), позволяющие обеспечить простой доступ к информации БД для неподготовленных пользователей. Третья категория - диалоговые системы, которые на основе собственной и сторонней информации решают задачи, обозначенные пользователем. В четвёртую категорию относят различные системы обработки связных текстов. Они предназначены для извлечения нужной информации в структурируемом виде из анализируемого текста. На данный момент, существующие системы позволяют обрабатывать текст на уровне слов и предложений, наибольшего успеха в развитии достигли системы проверки орфографии и автоматического перевода, в повседневную жизнь активно внедряются диалоговые системы, а в разработке на данный момент находятся системы семантического анализа технических заданий [6].

Имеющиеся программные средства могут быть использованы для оценки научно-исследовательской работы по критериям, которые не поддаются непосредственной формализации, такие как научная новизна и актуальность. Анализ работы на основе уже ранее проверенных работ позволяет оценить в полной мере степень заимствования, а также позиционировать её относительно других, то есть оценить вклад, произведённый автором в научную область, автоматически выделить решённые им проблемы или задачи.

Существующие на сегодняшний день системы анализа естественного языка обладают рядом общих особенностей. Они, как правило, относятся к системам вопрос-ответного типа: извлечение информации осуществляется на основе ответа на поставленные вопросы. Как следствие - такие системы являются узконаправленными: хоть они и используют схожие методики анализа, они заточены под поиск информации в текстах определённые предназначений.

Среди имеющихся систем можно выделить такие, которые могут быть использованы и для решения обозначенных задач. Все они имеют как определённые достоинства, так и недостатки.

Система TextAnalyst способна выстроить семантическую сеть понятий со ссылками на контекст. Она позволяет осуществлять поиск фрагментов с учётом скрытых смысловых связей с запросом. Основой для разработки методов анализа в этой системе послужили исследования процессов функционирования головного мозга человека при обработке и хранении информации. Для извлечения ключевых понятий текста и формирования семантической сети понятий используется парадигматический подход к представлению информации. Структура текста реконструируется на основе анализа статистики слов и их связей. После сбора статистической информации система вычисляет семантические параметры: выделяет семантические понятия, их веса и соотношения. Таким образом, результатом работы является карта текста, содержащая наиболее информативные области, а также семантические характеристики, позволяющие сравнивать данный текст с другими на схожесть и относительную значимость информации. Ещё одна потенциально полезная возможность - формирование древа понятий - также согласуется с обозначенными целями автоматизации [7].

При автоматизации проверки выпускных работ TextAnalyst может стать ядром системы проверки и использоваться для извлечения необходимой информации из проверяемых текстов, но для этого необходима адаптация алгоритмов с учётом особенностей текста: структуры, логики, особенности человеческого мышления при создании подобного рода текстов.

Тогда как основная роль системы TextAnalyst - анализ внутренней структуры текста, другая система - RCO Fact Extractor - может быть использована для выявления внешнего окружения. Количество и характер связей проверяемого текста с другими также может послужить одним из критериев её оценки. Предназначение данной системы - обработка большого количества самой разнообразной информации (СМИ, электронные библиотеки и прочее) [8]. Данная система осуществляет извлечение информации основываясь на заранее определённых базах понятий и связей между ними. Данная особенность не позволяет использовать систему для анализа самого текста, поскольку он предполагает некоторую степень новизны, что означает отсутствие в шаблонах связей понятий, заложенных автором текста, однако база шаблонов может быть пополняемой за счёт результатов анализа предыдущей системой. Таким образом, предполагаемая роль RCO Fact Extractor - выявление отношений между выпускными работами, пополнение базы знаний, определение места проверяемого текста среди других.

Поскольку на данном этапе не существует каких-либо чётких автоматизируемых критериев оценки, необходимо начать рассуждения о том, какими эти критерии должны быть. Первое, и главное требование - это максимальная информативность критериев: они должны быть выбраны так, чтобы дать полное представление о качестве информации и о компетенциях автора. Второе требование: система критериев должна быть гибкой и универсальной, то есть должна быть возможность её адаптации для выпускных работ любой научной области. Третье требование: все критерии должны характеризовать только тот аспект выпускной работы, для которого они предназначены.

Имеющиеся требования уже позволяют сформировать если и не сами критерии, но систему критериев. Показатели качества можно разбить на три категории по принципу значимости для итоговой оценки. К каждой категории применяются соответствующие ей правила учёта значений.

Общая последовательность автоматизированной проверки ВКР

Первая категория - критические показатели - только допустимые значения по каждому из них являются необходимым условием допуска работы к дальнейшей проверке. К данной группе можно отнести строгие требования к оформлению текста, иллюстраций, частей работы и т.п. Эти требования, как правило, чётко обозначены в нормативных документах. Реализация проверки по данному типу критериев не требует особых знаний обработки и анализа естественных языков.

Вторая категория - показатели качества. Оценки работы по каждому критерию из этой группы должны быть сведены в единую оценку. Данная группа критериев подбирается с учётом требований к составу и смысловому содержанию научной работы. Каждый показатель этой категории способен принимать три значения, которые подбираются на основе анализа нормативных документов: полное соблюдение стандарта по данному критерию, минимально допустимое соблюдение, несоблюдение стандарта.

Третья категория - дополнительные критерии - характеризующие показатели, выходящие за рамки рекомендуемых, обозначенных в прошлой категории. В случае, если показатели значимо превышают установленные стандартами - это тоже должно быть отражено в итоговой оценке.

Однако эта группа в совокупности должна оказывать меньшее влияние на итоговую оценку.

Косвенно оценить качество выпускной работы уже можно на основе автоматизированного получения информации о её составе. Для этого также не требуются знания об анализе естественного языка. Имеющиеся средства обработки текста позволяют составить так называемую карту работы, то есть консолидировать информацию о структуре работы, о количестве разделов и их содержании. Оценки делаются уже на основе количественной информации. Этого достаточно если не для полной автоматизации оценки, то для разработки системы поддержки принятия решения.

Полная автоматизация невозможна без использования методов анализа смыслового содержания. Методы анализа, как уже отмечалось ранее, применимы только в ограниченном масштабе - на уровне слов и предложений. Соответственно, необходимо рассмотреть составляющие части выпускной работы. Самая типичная выпускная работа - это введение, основная часть и заключение. Каждый из этих разделов несёт в себе определённую информацию, а также имеет связи с остальными разделами.

Введение может стать источником общей информации о работе. Отсюда может быть извлечена информация о научной области, характере и направлении исследований, в этом разделе чётко ставится задача всей работы и методы её решений. Именно эта информация может быть использована и для корректировки последующей проверки, а также для позиционирования данной работы среди других.

Основная часть содержит логическое преобразование, которое должно привести к заключению. В качестве предпосылок дальнейшего логического рассуждения выступают высказывания из других источников, и выводы, сделанные на основе их анализа человеком. Каждый из разделов в свою очередь также представляет собой эту модель - предпосылки, их логическое преобразование и заключения. Однако они представлены уже не в явном виде, а в качестве предпосылок уже могут выступать знания, полученные экспериментальным путём, либо высказывания, которые уже ранее были введены как результаты промежуточного анализа в ранних разделах.

Заключение же представляет собой результат обобщённого анализа всех промежуточных результатов и их соотнесение с предпосылками. Относительно других работ, из данного раздела возможно извлечение информации об общем вкладе текущей работы в научную область. Это, в свою очередь, также может стать одним из критериев оценки.

Так или иначе, единой методики такого рода анализа текста не существует, усложнение критериев, попытка более подробного автоматизированного анализа текста может привести к расхождению «понимания» системы смысла работы от её реальной сути и, соответственно, отразится на итоговой оценке.

На сегодняшний день отсутствуют системы, предназначенные для автоматизированной проверки работ. Более того, проанализировав существующие стандарты и предъявляемые к работам требования, было выявлено, что критериев, позволяющих чётко автоматизировать процесс проверки, не существует. Был обозначен целевой функционал такой системы и, с учётом этого, были рассмотрены возможности систем анализа естественного языка, в частности две из них, которые уже сейчас могут соответствовать задачам автоматизации.

Рассмотренная система анализа естественного языка TextAnalyst способна обеспечить необходимый функционал - автоматическое извлечение информации из текста, написанного на естественном языке, однако, вопрос направления поиска информации по-прежнему актуален. Особенность этой системы - моделирование процессов, протекающих в головном мозгу человека во время аналитической деятельности. В связи с этим, алгоритмы поиска информации в выпускной работе могут быть скорректированы с учётом её логического построения, предложенного в данной статье.

Также был предложен способ формирования критериев, которые позволят косвенно оценить выпускную работу без применения методов семантического анализа. Метод формирования карты текста не требует сохранения смысловой информации. Предполагается, что будет происходить лишь сбор количественной информации об элементах текста, таких как таблицы, иллюстрации, размеры разделов, а также относительное содержание этих ключевых элементов в разделах. Ключевая особенность такого подхода - минимизация расхождения между смыслом проверяемой работы и «пониманием» смысла системой. Тем не менее, семантический анализ может выступать в качестве дополнения к этим жёстким критериям.

В дополнение к системе TextAnalyst может быть использована система RCO Fact Extractor, способная выявлять внешние связи проверяемой работы, в том числе и на основе информации из предыдущей системы.

И так, рассмотренные возможности программного обеспечения позволяют создать автоматизированную систему поддержки принятия решения по проверке выпускных работ. Она способна упростить преподавателям процесс проверки. Будет также учтена возможность её гибкой настройки: должна быть учтена специфика каждой специальности. В дальнейшем, необходима адаптация методов анализа естественного языка, а также расширение области применимости для других классов научно-исследовательских работ.

Список литературы

автоматизация программный студент выпускной

1. Россия в цифрах / Гл. ред. А.Е. Суринов. - Москва. Федеральная служба государственной статистики - 2015 - 543 с.

2. Система разработки и постановки продукции на производство (СРПП). Порядок выполнения научно-исследовательских работ ГОСТ 15.101-98 - официальное издание. - Москва - Стандартинформ - 2010

3. Межгосударственный стандарт. Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской работе. Структура и правила оформления ГОСТ 7.32-2001 (введен Постановлением Госстандарта России от 04.09.2001 №367-ст) (ред. от 07.09.2005)

4. Приказ от 21 декабря 2009 г. №762 об утверждении и введении в действие федерального государственного образовательного стандарта высшего профессионального образования по направлению подготовки 230700 прикладная информатика (квалификация (степень) «магистр») 5. Жданова, Ю.С. Компьютерный анализ текста / Ю.С. Жданова - Екатеринбург - 2010. - 30 с.

6. Тарасенко, А.В. Разработка и исследование методов и моделей автоматической проверки текстов на соответствие требованиям технической документации / А.В. Тарасенко. - Таганрог - 2009. - 204 с.

7. Харламов, А.А. Технология автоматического смыслового анализа текстов TEXTANALYST / А.А. Харламов // Вестник МГЛУ -2014. №13. С. 234 - 244

8. Сайт компании RCO [Электронный ресурс] http://www.rco.ru (дата обращения 09.10.2008)