Анализ тестирующих моделей и систем

Testing systems and models used for evaluating students ' knowledge are studied in the article. The factors that affect the quality of testing models are highlighted, as well as general and specific requirements for the quality of the testing model. Methods for evaluating the quality of the testing model are considered. The stratification of testing models is investigated. The levels of stratification of testing models by functional characteristics are identified, and the analysis of structural elements and applied methods by stratification levels is carried out. Based on the selected levels, a system ofproperties of testing systems is proposed. The value of information relations between elements of the testing model as a system is revealed. The stability of the testing system is analyzed. Approaches to quality management of the testing system are investigated. The effect of self-organization of the testing system is consideredfor the first time. It is shown that this effect is associated with the free testing. Testing systems with an element of self-organization or, in a milder version, an element of subsidiarity are characterized by a long life cycle and greater efficiency in solving problems of assessing students ` knowledge.

Keywords: education, testing, testing model, testing system, quality, stability, self-organization

Введение

Тестирующие модели (ТМ) относятся к классу образовательных моделей [8; 11; 13] и к подклассу познавательных, то есть когнитивных моделей [15]. Тестирующие модели дополняют образовательные обучающие модели [10] и вместе входят в образовательную систему. Обучающие модели являются комплементарными [16] к тестирующим моделям. Между ними имеется существенное различие по структуре. Обучающие модели имеют линейную структуру или линейный алгоритм обучения, а тестирующие включают конструкции для обработки условий и выполнения циклов. Таким образом, можно говорить о линейном процессе передачи знаний и о ветвящемся процессе тестирования. Можно констатировать, что на качество тестирующих моделей влияют модели обучения. В процессе тестирования используются образная и знаковая составляющие, в процессе обучения и тестирования используют знаково-символические системы [1]. На качество тестирующих моделей влияют знаковосимволические системы, которые используются при тестировании. Репрезентацией при тестировании и обучении являются слова естественного языка и символы когнитивной графики. Поэтому фактором, влияющим на качество тестирования, являются методы репрезентации, включая когнитивную графику. Образовательные и тестирующие модели должны строго соблюдать логику подачи материала, обучения и тестирования. Поэтому широко применяют логико-лингвистические модели. Отсюда фактором, влияющим на качество тестирования, является логико-лингвистическое обеспечение. При образовании и тестировании применяют алгоритмы обучения и алгоритмы тестирования. К алгоритмическому аспекту тестирования относят структурную составляющую. Она отражает связи между понятиями и знаниями в образовательной системе. Поэтому фактором, влияющим на качество тестирования, является качество связей в виде логического следования [3; 17]. Особенностью обучающих моделей является когнитивная составляющая при передаче знаний преподавателем. Несмотря на одинаковую программу, как правило, каждый преподаватель по-своему излагает материал. В отличие от этого тестирующие модели и алгоритмы тестирования более формализованы. Важным фактором, влияющим на качество тестирующих моделей, является применение системного подхода и системного анализа при формировании моделей. Если тестирующая модель является нелинейной, то в ней большую роль играют информационные отношения [21] между элементами модели как системы. При анализе тестирующей модели необходимо рассматривать тестирующую систему как носитель, в которой эта модель реализована. С учетом изложенного актуальной задачей является анализ качества тестирования и способы его оценивания.

Стратификация тестирующей модели

Часто тестирующие модели имеют стратифицированную структуру. Такая структура удобна при отладке и при использовании. Это дает основание анализировать такую структуру. Стратифицированная модель актуальна в связи с усложнением функций современных алгоритмов и систем тестирования [2]. Она особенно востребована на этапе анализа сложных тестов. Автор предложил стратифицированную модель уровней тестирующих систем. Уровни получили следующие названия: перцептивный, логический, системный, ситуационный, конструктивный (рисунок 1). Ситуационный уровень принят за основной уровень тестирования. На основе этих уровней предложена система свойств тестирующих систем.

Начнем анализ предложенной стратифицированной модели с верхнего уровня. В процессе обучения и тестирования субъект осуществляет перцепцию и рецепцию информации [7].

К особенностям ТМ относится их субъективный характер восприятия при недостаточной формализации задания. Уровень интеллекта и подготовки в определенных пределах различается для каждого обучающегося. В силу этого при когнитивном моделировании возникают разные интерпретации одного тестового задания. Поэтому перцептивный уровень является входным и определяющим в стратифицированной модели.

Следующим уровнем выступает логический уровень, который отвечает за исключение противоречивости в тестирующих конструкциях. Системный уровень придает целостность и полноту тестирующим конструкциям. Основным уровнем тестирования является ситуационный уровень. На этом уровне основой теста является ситуационная модель, в которой субъект принимает решение. Информационную поддержку ситуационному уровню осуществляет конструктивный уровень. Он включает как элементы информационные единицы. С помощью информационных отношений и связей из информационных единиц формируются информационные конструкции [6] и информационные ситуации [22]. Информационные конструкции представляют собой концептуальные модели, из которых строятся реальные модели ситуаций для проведения тестирования.

Рисунок 1 - Уровни тестирующей системы

Информационные отношения в тестировании

Тестирование можно рассматривать как процесс информационного взаимодействия в информационном поле. Качество отношений между объектами, алгоритмами и системами тестирования оценивается по типу информационных отношений [4; 5]. Глобализация и информатизация ведут к возрастанию роли информационных технологий и моделей. Они ведут также к возрастанию значения информационных отношений, как средства и инструмента взаимодействия в информационном поле.

Информационные отношения имеют много форм представления, например, пространственные отношения [14] являются одним из видов репрезентации знаний в обучении и тестировании. Теоретико-множественные отношения являются видом информационных отношений, применяемых при оценке результатов тестирования в пространстве параметров. Теоретико-множественные и пространственные отношения являются схожими по форме, но разными по сущности.

Отношения между объектами информационного поля делятся на общие и предметные. К общим отношениям относят независящие от предметной ориентированности пары: род - вид, целое - часть, класс - элемент, причина - следствие.Родо-видовое отношение применяется в иерархической классификации объектов информационного поля. Примером может служить конкретизация места проживания: страна, регион, город, улица, дом, квартира. В моделях наряду с видовыми отношениями формируются межвидовые отношения, или синтагматические отношения. Если устойчивость отношений теста разделить на пассивную и активную устойчивость, то примером межвидовой устойчивости теста является пассивная устойчивость.

Обнаружение информационных отношений в процессе тестирования представляет собой форму извлечения информации, которая находит заданные отношения между парами сущностей в тексте. Для этого при тестировании используют подход обнаружения информационных отношений, который объединяет подсказки с разных уровней синтаксической обработки с использованием метода ядра [23].

Важными при тестировании являются импликативные отношения, которые можно рассматривать как информационное взаимодействие и как результат тестирования. Термин «импликативные информационные отношения» введен в работе [19]. Этот вид отношений играет важную роль, поскольку используется повсеместно в разных науках, от математики до экономики и медицины. Импликативные отношения чаще всего используют для обозначения следования, причинно-следственной связи или перехода из одного состояния в другое. Они в отдельных случаях могут констатировать наличие связи, но не описывают конкретно эту связь.

Импликативные информационные отношения - это отношения в информационном поле, которые обозначаются с помощью символа импликации (стрелка). Они являются обобщением отношений и могут описывать качественно разные отношения. Импликативные информационные отношения выражают расширение внутри категории или категориальный переход. Импликативные информационные отношения выражают также причинно-следственные связи. Например, категория «знание» по отношению к категории «данные» характеризуется новым качеством и ступенчатым переходом. Истинное знание по отношению к правдоподобному знанию характеризуется синергетическим скачком, то есть новым качеством. Интерес многочисленных исследований представляет система отношений «данные - знания», которая отражает процесс получения знаний.

Существуют простые модели отношений и сложные модели отношений. Отметим, что как отражение реальных отношений информационные отношения бывают двух типов. Одни отражают реально существующие отношения и являются их трансформацией в информационном поле. Другие информационные отношения создаются человеком при описании создаваемых им информационных конструкций. В [20] воспроизведена трехэтапная схема отношений «данные - информация - знания» или модель (DIK).

Устойчивость тестирующей системы

В теории тестирования управляемость и устойчивость теста или тестирующей системы рассматриваются как взаимосвязанные свойства. Управляемость теста обозначает его способность воспринимать информационные конструктивные воздействия для внутренней адаптации. Устойчивость теста означает свойство теста сохранять заданные параметры функционирования при деструктивных внутренних или внешних воздействиях. Можно определить устойчивость как способность тестирующей системы реализовывать свои целевые функции в условиях воздействия внутренней и внешней среды. Тестирующая система устойчива до тех пор, пока способна реализовать свои целевые функции. В саморазвивающихся системах устойчивость реализуется с помощью гомеостаза системы. Это свойство в технических системах реализуется средствами автоматического регулирования.

В условиях непредсказуемых изменений внутренней и внешней среды устойчивость конкретизируется во внешнюю адаптивность. Адаптация тестирующей системы осуществляется, прежде всего, за счет накопления соответствующего опыта и усложнения системы. На основе адаптивности принимается решение об изменении параметров или структуры объекта, адекватном происходящим изменениям среды.

Высший уровень устойчивости обеспечивается за счет выбора оптимального алгоритма тестирования. Тестирующая система устойчива, если имеет возможность оценки правильности ответа на тест в условиях вариабельности ответов и исключения действия на нее различных внешних факторов. Это осуществимо, если система обладает достаточным ресурсом для компенсации воздействий и помех. Различают следующие виды устойчивости тестирующих систем: устойчивость к физическим воздействиям; устойчивость к заданным видам отказов; устойчивость к заданным видам помех. Все виды устойчивости создают надежность - устойчивость функционирования в течение некоторого срока, например, гарантийного срока.

Оценивание качества тестирующей модели

Под оцениванием понимают процесс получения количественной или качественной оценки на основе формальных методов обработки информации. Применительно к любой обучающей или тестирующей модели ее интегральная оценка [9] качества определяется как характеристика, позволяющая оценить степень ее пригодности для решения задачи передачи знаний или тестирования. Такая оценка имеет качественную и количественную составляющие. При обучении и тестировании качественные оценки часто носят дихотомический или оппозиционный характер. Примером качественных оценок являются значения: пригодна или не пригодна модель для решения задачи обучения или тестирования. В реальной практике не всегда эффективно применение двоичной логики, которая не учитывает неопределенность. Поэтому полная качественная оценка будет иметь три значения: «пригодна», «не пригодна», «не определено». Качественная оценка может иметь количественный эквивалент в ранговой шкале, но не быть числом. Например, «отлично» - 5, «хорошо» - 4. Количественная оценка может дополнять качественную оценку или характеризовать степень качественной модели. Например, высокая успеваемость - 90 или 94 %. Низкая посещаемость занятий - 60 %.

Тестирующие модели являются нелинейными, более сложными, чем обучающие линейные модели и ближе к сложным системам по сравнению с обучающей линейной моделью. Можно рассматривать тестирующие системы как сложные технологические системы. Отсюда методы оценки качества тестирующих моделей могут быть аналогичными методам оценки качества технологических систем.

Общим требованием, предъявляемым к качеству тестирующей модели, является информационное соответствие изучаемому предмету. Частными требованиями к качеству тестирующей модели являются: выполняемость, системность, полнота, непротиворечивость модели, комплементарность модели, адаптивность модели. Выполняемость - реализуемость ответа на тест в конечное время, допустимое учебными нормативами. Непротиворечивость модели - исключение неоднозначности и полисемии при оценке тестирующего задания. Комплементарность модели означает согласованность отдельных тестирующих моделей и создание эффекта эмерджентности от общего комплекса. Адаптивность тестирующей модели означает возможность изменений уровня сложности тестового задания или адаптации к новым научным методам и технологиям.

Оценка качества тестирующей модели находится в отношении цель - средство. В зависимости от вида применяемых тестирующих функций обеспечивается соответствующий им уровень тестирования. Таким образом, упорядочивая системы с управлением по уровням тестирования, мы тем самым упорядочиваем и соответствующие им средства обучения.

Управление качеством тестирующей системы

Управление качеством при тестировании можно рассматривать как информационное воздействие на тестирующую систему, а через тестирующую систему на субъект тестирования. Общий принцип управления качеством основан на наличии обратной связи между объектом управления и системой управления.

Словосочетание «поддержание устойчивости» в определении управления качеством характеризует отношение пары понятий устойчивость - управление как цель - средство. Действительно, активная устойчивость немыслима без подсистемы управления, а динамика внутренней и внешней среды диктует необходимость постоянного развития подсистемы управления.

По возрастанию уровня активной устойчивости тестирующих систем с управлением упорядочиваются следующим образом: равновесность, адаптивность, субсидиарность, самоорганизация. Каждое последующее свойство расширяет возможности применения предыдущих свойств. Следует подчеркнуть, что резкой границы между рассмотренными уровнями активной устойчивости объектов не существует. Каждое из свойств может постепенно переходить в следующее свойство. Иными словами, следует иметь в виду промежуточные уровни активной устойчивости. Они обуславливаются общностью таких вспомогательных свойств, как самообучение, влекущее накопление опыта, прогнозирование будущего состояния среды и объекта на основе накопленного опыта и способность к выбору. Вспомогательные свойства могут быть привлечены для формулирования промежуточных градаций уровней устойчивости систем с управлением и соответствующих им управленческих функций.

Самоорганизация тестирующей модели

Термин «самоорганизующаяся система» ввел У. Эшби в 1947 году [18]. Он определил ее как сложную динамическую систему, способную при изменении внешних или внутренних условий ее функционирования и развития сохранять и совершенствовать свою организацию с учетом прошлого опыта.

В настоящее время широкое использование сложных моделей с большим количеством связей делает актуальной задачу определения меры самоорганизации систем, имеющих искусственное происхождение. В этом аспекте сравнение определений управления и самоорганизации позволяет выделить в них общие существенные признаки. К ним относятся: поддержание устойчивости и развития в определении управления, сохранение и совершенствование своей организации в определении самоорганизации. Существует сходство понятий устойчивости и сохранения внутренней организации системы. Совершенствование организации системы является залогом ее развития. Сопоставление понятий тестирования и самоорганизации позволяет судить о качестве тестирования. Поскольку понятие «самоорганизация» имеет смысл «самотестирование», то его реализацией можно рассматривать метод свободного тестирования [12].

Самоорганизация в соответствии с ее определением предполагает совершенствование функционирования объекта с учетом прошлого опыта. Совершенствование является результатом развития, а развитие связано с выбором наиболее благоприятного варианта функционирования объекта. Таким образом, существенной особенностью самоорганизующейся системы является ее способность к выбору пути развития. Здесь важно отметить, что цель функционирования объекта задается извне, а его самостоятельность проявляется только в способах достижения цели. В этом смысле субсидиарность теста или тестирующей системы представляет собой наибольшую свободу от внешнего управления. Она характеризуется способностью формулировать реактивно собственную цель для наиболее благоприятного функционирования в изменяющейся среде. Таким свойством могут обладать организационные и социальные системы.

Предлагаемое упорядочение объектов по уровням обеспечения активной устойчивости позволяет обосновать выбор способа управления объектом в зависимости от условий его функционирования. Поскольку обеспечение каждого последующего уровня дороже предыдущего, для простых условий функционирования оказывается приемлемым объект, обладающий минимальным уровнем устойчивости. Качество систем с управлением должно оцениваться в рамках каждого уровня устойчивости на основе одинаковой совокупности показателей и предъявляемых к ним требований.

Лингвистическое обеспечение тестирующей системы

Тестирование включает в себя сценарий тестирования, информационно-лингвистическое и методическое обеспечение. Основой тестирования является сценарий. В нем излагаются в относительно свободной форме модели знаний и критерии оценки обучения. Для реализации тестирования необходимо информационно-лингвистическое обеспечение, которое представляет собой совокупность форм (макетов) и заданий; условий - анкет и тестов; отчетных материалов; словарей и классификаторов, нормативно-справочной информации. Лингвистическое обеспечение сценария тестирования может оформляться в форме приложений к сценарию как на бумажном, так и на электронном носителе данных.

Исходя из интерпретации тестирующей структурно-функциональной модели, ее качество определяется отношениями понятий и связями между ними. Новое понятие следует рассматривать как информационную единицу. Качество определения понятия оценивается качеством его дефиниции и видом дефиниции.

Исходная информация, используемая для формирования ТМ, содержится в определении применяемых в ней понятий. От качества определений зависит качество ТМ. Это означает, что существенные признаки, содержащиеся в их определениях, должны сводиться к признакам, содержащимся в узкодисциплинарных определениях понятий или, по крайней мере, не противоречить им, поскольку все обобщения проверяются на частных примерах. Показательным примером междисциплинарной ТМ является самоорганизующаяся система, изучаемая различными дисциплинами. Даже в рамках только технического подхода к созданию самоорганизующейся тестирующей системы могут быть допущены ошибки, проистекающие из узкодисциплинарных трактовок понятий и усугубленные неправильным выбором отношений между ними. Некорректно составленная тестирующая модель не только противоречит конкретным фактам, но и влечет ошибки при ее практическом применении.

Заключение

При тестировании результатов обучения возникают проблемы, которые невозможно решить традиционным инструментарием, и появляется потребность в применении виртуальных динамических моделей для решения проблем следующего характера: проблема формирования компетенций обучаемых для ситуаций, которые возникают в реальной действительности, но недостаточно отражены в тестовых материалах; проблема приобретения опыта принятия решений в ситуации, приближенной к реальной; проблема адаптации обучающегося к изменяющимся условиям. Как показывает практика, технологии обучения и тестирования, основанные на использовании виртуальных динамических моделей, служат инструментом для решения этих проблем. Важным фактором при организации моделей тестирования являются информационные отношения. При создании тестирующей системы необходимо выполнять анализ устойчивости на стадии проектирования. В тестирующую систему может быть заложен элемент самоорганизации или в более мягком варианте элемент субсидиарности. Такие тестирующие системы обладают длительным жизненным циклом и большей эффективностью решения задач оценки знаний.

Список литературы

1. Болбаков Р.Г. Знаково-символические системы // Славянский форум. - 2019. - № 3 (25). - С. 108-117.

2. Буравцев А.В. Стратифицированный метод построения сложной системы // Образовательные ресурсы и технологии. - 2017. - № 3 (20). - С. 23-32.

3. Господинов С.Г. Логическое обоснование в научных исследованиях // ИТНОУ: Информационные технологии в науке, образовании и управлении. - 2018. - № 6 (10). - С. 41-48.

4. Дешко И.П., Трифонов Н.И. Отношения в информационном поле // Российский технологический журнал. - 2014. - № 4 (5). - С. 63-75.

5. Елсуков П.Ю. Анализ отношения и взаимодействия в информационном поле // Славянский форум. - 2019. - № 1 (23). - С. 110-115.

6. Лотоцкий В.Л. Информационные тестирующие конструкции // Перспективы науки и образования. - 2016. - № 3. - С. 32-37.

7. Номоконова О.Ю. Рецепция информации при медицинской диагностике // Славянский форум. - 2015. - № 4 (10). - С. 238-243.

8. Ожерельева Т.А. Особенности тестирования студентов в области наук о Земле // Международный журнал прикладных и фундаментальных исследований. - 2013. - № 5. - С. 109-110.

9. Пушкарева К.А. Комплексное оценивание результатов обучения // Дистанционное и виртуальное обучение. - 2013. - № 1. - С. 99-103.

10. Розенберг И.Н. Особенности информационного обучения специалистов // Управление образованием: теория и практика. - 2013. - № 3. - С. 167-172.

11. Сафиулин Р.З. Развитие технологий тестирования в образовании // Управление образованием: теория и практика. - 2015. - № 1 (17). - С. 139- 149.

12. Тымченко Е.В. Обработка информации при свободном тестировании // Дистанционное и виртуальное обучение. - 2017. - № 6 (120). - С. 153-159.

13. Тымченко Е.В. Электронное обучение специалистов // Славянский форум. - 2015. - № 1 (7). - С. 280-285.

14. Цветков В.Я. Виды пространственных отношений // Успехи современного естествознания. - 2013. - № 5. - С. 138-140.

15. Цветков В.Я. Когнитивные аспекты построения виртуальных образовательных моделей // Перспективы науки и образования. - 2013. - № 3. - С. 38-46.

16. Цветков В.Я. Комплементарность информационных ресурсов // Международный журнал прикладных и фундаментальных исследований. - 2016. - № 2. - С. 182-185.

17. Цветков В.Я. Логическое следование // Славянский форум. - 2018. - № 3 (21). - С. 126-130.

18. Ashby W.R. Principles of self-organizing dynamic system // J. Gen. Psychology. - 1947. - Vol. 37. - P. 125-128.

19. Douglas C. Engelbart.Augmenting Human Intellect: A Conceptual Framework. dougengelbart.org (October 1962).

20. Moore Gordon E. Cramming more components onto integrated circuits // Electronics Magazine. - 1965. - P. 4.

21. Tsvetkov VYa. Information Relations // Modeling of Artificial Intelligence. - 2015. - N° 4 (8). - P. 252-260.

22. Tsvetkov V.Ya. Information Situation and Information Position as a Management Tool // European researcher. - 2012. - No. 12-1 (36). - P. 2166-2170.

23. Zhao S., Grishman R. Extracting relations with integrated information using kernel methods // Proceedings of the 43rd annual meeting on association for computational linguistics. - Association for Computational Linguistics, 2005. - С. 419-426.

Размещено на Allbest.ru