Педагогическое прогнозирование с применением визуального анализа (на примере технологической готовности будущих инженеров-строителей)

Abstract

Visual mining pedagogical forecasting (on the example of technological readiness of future engineers-builders)

Tashkinov Yuriy Andreevich, Post-graduate Student of the Department of Engineering and Computer Education, Donetsk National University; Assistant of the Department of Applied Chemistry, Donbass National Academy of Civil Engineering and Architecture, Makeevka, DPR

Demyanenko Irina Valerievna, Post-graduate Student of the Department of Engineering and Computer Education, Donetsk National University; Assistant of the Department of Applied Chemistry, Donbass National Academy of Civil Engineering and Architecture, Makeevka, DPR

The development of technological readiness is one of the key conditions for the training of future civil engineers. Effective modernization of the education system, capable of preparing competitive specialists, involves the search for the effective mean to predict students' knowledge gaps.

The goal of the study is to create the model of the “average” student of civil engineering educational institution by EDM tools. Previously, the modeling of the “average” construction student by means of EDM has not yet been carried out. First of all, in order to achieve this goal, there was an attempt to determine the average level of the “average student” of the construction training institute without resorting to statistical processing of empirical data.

The paper provides an example of modeling the “average student” studying in the construction educational institution using the Data Mining and Visual Mining tools. The grades of the students from 5 academic groups of the Civil Engineering Faculty at the State Educational Institution of Higher Professional Education “Donbas National Academy of Civil Engineering and Architecture” were taken as initial data.

The results of visualization of students' rating points are presented. It is more effective means of assessing students' average results than statistical processing. It is proved that the productivity of the educational results of the future civil engineers depends on the students' achievements in the “most difficult” subject in the discipline in which most students experience difficulties.

The subjects have the strongest influence on the average mark of the certificate: “Resistance of materials” and “Theoretical framework of heat engineering” are determined. Using the graphical capabilities of the Statistica program, it was visualized the surface characterizing the probability of the students getting a high average mark with the successful passing of “complex” disciplines. It will help develop recommendations for increasing the number of successful students.

Keywords: training of future civil engineers; computational pedagogy; Data Mining.

Постановка проблемы

Многие исследователи, а также рядовые педагоги отмечают падение общего уровня подготовки выпускников, по сравнению, например, с советской системой, несмотря на ряд инноваций. В том числе эта проблема касается и подготовки будущих инженеров- строителей. Сфера строительства требует модернизации в нашем регионе, т. к. необходимо восстановление жилых объектов, пострадавших вследствие ведения боевых действий на территориях городов.

Необходимо эффективное средство, позволяющее прогнозировать пробелы в знаниях технологической готовности будущего инженера- строителя еще в ходе образовательного процесса. Прогноз должен учитывать успехи как можно большего числа студентов.

Обзор литературы. Различными аспектами моделирования процесса обучения занимались такие известные ученые, как В.Р. Аткинсон, Дж. М. Винг, Ю. А. Гастев, С.Уззо и др. Модели с позиции подготовки будущего специалиста рассматриваются в работах Г. А. Атанова, В. В. Серикова, Н. Ф. Талызиной и др. Созданием моделей инженера- строителя занимались В. Иванов, Е. Корчагин, В. Сучков [6]и др.

Процесс формирования профессиональной готовности рассмотрен В. В. Жебелем, А. В. Комаровым, А. Муруганом, Дж. Т. Бун Сай, А. Л. Вэй Лин [14]. Было выделено 9 категорий компетенций для бакалавров инженерных специальностей: фундаментальная подготовка; применение специализированных знаний; информационные технологии; инновационность и др. [8]. При этом специалистами подчеркивается, что базовой компетенцией будущего инженера-строителя является технологическая [13]. В частности, работы А. К. Афанасьева, Ю. С. Дорохина, А. Н. Сергеева, Л. А. Угаровой, Г. А. Хаматгалеевой, О. Е. Емельяновой [2] посвящены формированию технологических компетенций у студентов различных профессиональных направлений: будущих технологов, инженеров нефтегазовых производств, специалистов сервиса и т. д. Их формирование реализуется в три этапа: инженерный профнавигационный (среднее специальное образование), инновационно-технологический (бакалавриат) и интеллектуально-инициативный этап (магистратура) [2].

В зарубежной практике для решения задач обработки огромного количества эмпирических данных (Big Data, «большие данные») часто применяется интеллектуальная аналитика данных, Data Mining. Мы будем далее использовать этот термин без перевода, в формате, принятом мировым научным сообществом, а также в виде аббревиатуры DM. Data Mining предназначен для автоматизированного выявления закономерностей из эмпирических данных и результатов систем искусственного интеллекта [3, c. 228]. В образовательной среде используют термин Educational Data Mining (EDM). Р. С. Бейкер под EDM понимает не столько область исследований, сколько научное сообщество, занимающееся вопросами DM в педагогике [10]. А. А. Веряев да т следующий перевод термина “Educational Data Mining” на русский язык: «интеллектуальный анализ данных в образовании», есть другой вариант: «анализ образовательных данных», однако нет общепринятой версии, поэтому мы будем применять данный термин без перевода на русский язык.

Ряд работ ученых посвящен применению технологии Educational Data Mining при моделировании образовательного процесса: О. М. Бакунова, К. Бичер, Д. Берри, С.Вентура, А. Датт, Т. И. Бугаева и М. Г. Коляда [3], Е. Е. Котова и Д. Х. Имаев [4], Р. В. Майер [5], Ц. Ромеро, В. В. Руанет, О. Ясар и др. Однако моделирование «среднего» студента-строителя средствами EDM еще не проводилось.

В популярнейших зарубежных вузах уделяется много внимания индивидуальному обучению. Студент еженедельно посещает консультации своего научного руководителя, где зачитывает написанное по теме исследования эссе. Однако в рамках отечественной образовательной системы на данный момент невозможно реализовать такой подход, вследствие исторически сложившейся модели высшего образования, даже после перехода к Болонской системе. Чаще всего подготовка специалистов проводится в рамках лекционных и семинарских занятий, часть образовательной программы отводится на самостоятельную работу, а вот на консультацию студентов отводится не более 10% учебной нагрузки. Применение дифференцированного обучения является одним из методов решения данной проблемы и рассмотрено нами в предыдущей научной работе.

Другими подходами являются статистические методы, например, регрессионный анализ [8] и создание визуальных динамических систем [7]. Но мы должны, по возможности начиная с первого курса обучения, определять уровень развития предполагаемыми государственными образовательными стандартами компетенций, предполагающие ФГОС ВПО по направлению подготовки 08.03.01 Строительство (уровень бакалавриата): утвержден

Приказом Минобрнауки России № 481 от 31.05.2017 г., что все выпускники образовательного учреждения будут иметь хотя бы минимальный уровень развития компетенции. Если студент не достигает хотя бы среднего балла даже по одной дисциплине, то его отчисляют. Поэтому под минимальным допустимым уровнем развития компетенции мы будем понимать оценку «удовлетворительно».

Существует множество подходов к оценке образовательных результатов и технологической готовности: производственный, социально-педагогический, этический, антропологический, конструктивно психологический, дескриптивный, диагностико-обучающий, интегративный, информационно-констатирующий, квалиметрический, рефлексивный, социометрический, но мы в качестве основы взяли подход, основанный на построении математических моделей. Среди рассмотренных нами в литературе подходов в качестве индикатора технологической готовности будущего инженера-строителя выберем баллы по самым сложным для многих студентов дисциплин, а в качестве критерия модели для анализа образовательных результатов выделим концепцию «среднего студента» (Д. Х. Има- ев, Е. Е. Котова [4, с. 47]). «Средний студент» характеризуется скоростью усвоения информации = 3 у.е. (по условной шкале от 1 до 5 у.е.). Авторы работы мотивируют необходимость такого моделирования тем, что требуемого уровня знаний разные категории студентов строительного образовательного учреждения достигают при условии больших или меньших дидактических усилий. При этом студенческая группа условно делится на подгруппы: «сильных», «средних» и «непродуктивных» студентов. Государственные образовательные стандарты должны ориентироваться именно на «среднего» студента.

Цель исследования: разработка технологии визуального экспресс-анализа (Educational Visual Data Mining) образовательных результатов студентов инженерностроительного вуза для поиска дисциплин, которые даются большинству студентов сложнее всего, как индикаторов технологической готовности.

Материалы и методы

Для оценки технологической готовности рекомендуется применять шкалу TRL (Technology Readiness Level, дословный перевод - «уровень технологической готовности») - система измерения, позволяющая оценить развитость технологии, а также сравнить ее с другими.

Шкала состоит из 9 уровней, но они не содержат количественные характеристики [3].

Под технологической готовностью мы будем понимать интегральную характеристику личности, которая включает совокупность профессиональных знаний, умений и ценностных отношений, определяющих результативность профессиональной деятельности в освоении технологических процессов в ходе подготовки строительства и производства строительных материалов, которую мы будем оценивать, основываясь на образовательных результатах студента [2].

Индекс готовности к технологиям был подтвержден в качестве прогностического фактора внедрения инновационных технологий, и результаты, которые он дает в определенном контексте, соответствуют различным стратегиям, применимым к передовым продуктам или услугам [14; 16, с. 25-32].

Тем не менее, применение индекса технологической готовности в ходе образовательного процесса не всегда может быть реализовано. Поэтому необходимо эффективное средство, позволяющее прогнозировать пробелы в знаниях будущего инженера-строителя. Прогноз должен учитывать успехи как можно большего числа студентов.

Лучше всего человек усваивает информацию, которую он воспринимает органами зрения.

Одним из направлений анализа «больших данных» является их визуальный анализ (Visual Mining), основной идеей которого А. А. Барсегян считает представление данных в некоторой визуальной форме, позволяющей человеку погрузиться в данные, работать с их визуальным представлением, понять их суть, сделать выводы и напрямую взаимодействовать с данными [1, с. 193]. Мы считаем, что для усвоения огромного объема числовой информации необходимо ее визуальное представление.

Для решения поставленной цели, в первую очередь, попытаемся определить средний уровень «среднего студента» строительного учебного института, не прибегая к статистической обработке эмпирических данных.

В качестве исходных данных мы взяли оценки студентов из 5 академических групп ГОУ ВПО «Донбасская академия строительства и архитектуры», обучающихся в двух самых крупных в академии потоках.

Всего собрано по 52 оценки 102 студентов бакалавриата, в том числе рейтинговые баллы по экзаменам, по результатам прохождения ознакомительной, технологической, производственной и преддипломной практик, оценки по дипломной работе и курсовым проектам.

Одним из способов визуализации данных в программе Statistica 6 являются гистограммы - графические представления распределения частот выбранных переменных [9, с. 60].

Гистограмма наглядно показывает, какие значения или диапазоны исследуемой переменной встречаются чаще других, насколько сильно они различаются, как сконцентрировано большинство наблюдений вокруг среднего, является распределение симметричным или нет, имеет ли оно моду (величину признака, которая чаще всего встречается в данной совокупности) или несколько мод. Большинство педагогических явлений подчиняются нормальному распределению Гаусса [3], поэтому при построении гистограммы выбраны тип распределения «Нормальное». Составные гистограммы [9, с. 60] изображают распределение частот для нескольких переменных на одном графике.

Результаты и обсуждение

Результаты визуализации рейтинговых баллов студентов представлены на рисунке 1.

Рис. 1. Составная гистограмма, отражающая количество полученных студентами строительного вуза баллов в различных диапазонах

Большинство студентов строительного вуза получают рейтинговые баллы в диапазоне от 70 до 75. Построенная гистограмма является более эффективным средством оценки средних результатов студентов, чем статистическая обработка как по затраченному на получение результата времени, так и по наглядности. М. Г. Коляда в [3, с. 61-63] иллюстрирует с помощью «бочки Либиха» закон толерантности В. Шелфорда.

Продуктивность образовательных результатов будущих инженеров-строителей зависит от достижений студентов по «самому трудному» предмету - по дисциплине, при освоении которой большинство студентов испытывают трудности: он может достигать отличных образовательных результатов по многим дисциплинам, но, получив «неудовлетворительно» по одному экзамену, лишится стипендии либо будет отчислен, если не сможет отработать задолженности по данному предмету. Важный фактор в оценивании - требовательность экзаменатора, не учтен, т. к. создана модель студента. Рассчитаны максимальный, минимальный и средний результаты для всех учебных дисциплин. Для построения «бочки Либиха» воспользуемся построением диаграммы диапазонов в Statistica 6, результаты представлены на рисунке 2.

Рис. 2. Диаграмма диапазонов по результатам сдачи экзаменов студентами СНП по ряду предметов

На рисунке пунктирной линией изображены средние баллы дипломов выпускников бакалавриата и размах образовательных результатов (разность между наибольшим и наименьшим значениями). Точками внутри диапазона обозначены средние баллы по всем дисциплинам. Большинство слушателей испытывают трудности при изучении «Сопротивления материалов» и «Теоретических основ теплотехники» (баллы по этим дисциплинам выделены прямоугольником). Такая технология имеет ряд преимуществ, по сравнению со стандартными подходами: она представляет собой экспресс- анализ и позволяет наглядно увидеть образовательные результаты, не затрачивая много времени на обработку исходных данных: несмотря на огромный объем базы данных, на анализ потратили менее пяти минут, хотя классические подходы потребовали бы многократного увеличения времени и ресурсов. Большинство же математических моделей, которые позволяют быстро анализировать информацию, требуют от эксперта углубленных знаний программирования. Проверена эффективность проведенного анализа. Для этого воспользуемся методом построения многомерных кубов на основании дихотомий. компетенция студент экзамен трехмерный визуальный

Дихотомия кодирует нулем и единицей ответы типа «нет» и «да». В качестве переменных возьмем баллы по сопротивлению материалов и основам теплотехники, а также средний балл диплома бакалавра. В качестве критерия дихотомии выберем результат «хорошо», т. е. если студент имеет балл 75 или выше, то кодируем результат как «1», если ниже 75 - «0». Закодированную таким образом информацию нанесли на куб.

Рис. 3. Нижняя грань куба, который является визуализацией трехмерной дихотомии, для оценки эффективности выбора самого сложного предмета для «среднего студента» строительного учебного заведения

В качестве грани куба, лежащей на плоскости, образованной осями х и у, взяты проекции, отображающие результаты по сопромату и основам теплотехники. Точка (0;0) обозначает баллы ниже 75 по обеим сложным дисциплинам; (1;1) - баллы выше 75 как по сопромату, так и по теплотехнике; (1;о) - «хорошо» по сопромату, «удовлетворительно» по теплотехнике; (0;1) - «3» по сопромату, «4» или выше по теплотехнике (рис. 3). Чем выше точка по отношению к нижней грани куба, тем выше вероятность получения среднего балла диплома бакалавра не ниже 75 баллов.

Для визуализации подсчитали долю студентов, которые, получив определенные баллы по сопромату и теплотехнике, получают средний балл диплома выше 75. Используя графические возможности программы Statistica, визуализируем поверхность, характеризующую вероятность получения студентами высокого и среднего балла при успешной сдаче «сложных» дисциплин (рис. 4).

Рис. 4. Визуализация трехмерной поверхности оценки эффективности выбора самого сложного предмета для «среднего студента-строителя»

Разработанная визуальная технология проверки эффективности с помощью дихотомии позволяет ускорить данную процедуру. Средний балл диплома бакалавра-строителя в значительной мере зависит от баллов по сопромату и теплотехнике, при этом балл по второй дисциплине оказывает большее влияние. При составлении учебных планов рекомендовано увеличить количество часов на изучение студентами дисциплины «Теоретические основы теплотехники», чтобы увеличить число студентов, которые достигают высоких образовательных результатов и уровня технологической готовности.

Заключение

Средства Visual Mining являются эффективными экспресс-методами по диагностике образовательных результатов будущих инженеров-строителей, но главное - не требуют специальных знаний компьютерных технологий. В дальнейших исследованиях планируется применение других средств Visual Mining. Рекомендуем применять эту технологию как экспресс тест при проведении педагогического анализа информации, однако, для получения более точных результатов лучше применять классические методы компьютационной (вычислительной) педагогики: кластеризацию, регрессию, классификацию, факторный и SWOT-анализ и применение нейронных сетей.

Выделены дисциплины, которые даются большинству студентов-строителей сложнее всего: сопромат и основы теплотехники - путем построения «бочки Либиха», которая показывает, что образовательные результаты в большей мере зависят от успехов в освоении именно «сложных» дисциплин». Технология проверки эффективности педагогического прогноза с помощью дихотомий применена впервые и также позволяет быстро и наглядно увидеть результаты созданного прогноза.

Литература

1. Барсегян, А. А. Анализ данных и процессов : учеб. пособие / А. А. Барсегян, М. С. Куприянов, И. И. Холод [и др.]. - 3-е изд., перераб. и доп. - СПб. : БХВ-Петербург, 2009. - 512 с. : ил.

2. Емельянова, О. П. О готовности будущего инженера к международному технологическому партнерству нефтегазовых производств и некоторых условиях ее формирования / О. П. Емельянова, М. В. Журавлева // Известия Волгоградского государственного педагогического университета. - 2019. - № 4. - С. 82-86.

3. Жебель, В. В. Программное средство для комплексной оценки технологической готовности инновационных научно-технологических проектов / В. В. Жебель, А. В. Комаров, К. А. Комаров [и др.] // Экономика науки. - 2018. - Т. 4, № 1. - С. 58-68.

4. Коляда, М. Г. Реализация элементов дифференцированного обучения в математике с использованием пиктограмм «Лица Чернова» / М. Г. Коляда, Ю. А. Ташкинов // Дидактика математики: проблемы и исследования : международный сборник научных работ. - Донецк : Донецкий нац. ун-т, 2019. - С. 73-92.

5. Коляда, М. Г. Педагогическое прогнозирование: теоретико-методологический аспект : монография / М. Г. Коляда, Т. И. Бугаева. - Донецк : Ноулидж, 2014. - 268 с.

6. Котова, Е. Е. Моделирование и имитация процессов обучения с разделением дидактических ресурсов. Динамический подход / Е. Е. Котова, Д. Х. Имаев. - СПб. : Изд-во СПбГЭТУ «ЛЭТИ», 2014. - 111 с.

7. Майер, Р. В. Исследование математических моделей дидактических систем на компьютере : монография / Р. В. Майер. - Глазов : Глазовкий гос. пед. ин-т, 2018. - 160 с.

8. Рудской, А. И. Общепрофессиональные компетенции современного российского инженера / А. И. Рудской, А. И. Боровков, П. И. Романов [и др.] // Высшее образование в России. - 2018. - № 2. - С. 5-18.

9. Сучков, B. Модель инженера-строителя: компетентностный подход / В. Сучков, В. Иванов, Е. Корчагин // Высшее образование в России. - 2006. - № 12. - С. 111-115.

10. Ташкинов, Ю. А. Педагогическое прогнозирование образовательных результатов будущих инже- неров-строителей в реальном времени / Ю. А. Ташкинов. - Текст : электронный // Личность в меняющемся мире: здоровье, адаптация, развитие. - 2020. - Т. 8, № 1 (28). - URL: http://humjournal.rzgmu.ru/ art&id=416%2odoi:10.23888/humJ2020135-45 (дата обращения: 08.05.2020).

11. Ташкинов, Ю. А. Прогнозирование среднего балла диплома будущего инженера-строителя методом множественной регрессии / Ю. А. Ташкинов / / Вестник Академии гражданской защиты. - 2019. - № 4 (20). - С. 79-84.

12. Халафян, А. А. STATISTICА 6. Статистический анализ данных / А. А. Халафян. - М. : ООО «Бином- Пресс», 2007. - 512 с.

13. Хохлова, М. В. Технологическая компетентность в структуре профессиональной подготовки будущего инженера / М. В. Хохлова, О. Ю. Плескачева. - Брянск : БГИТА, 2013. - 164 с.

14. Murugan, А. Technological Readiness of UiTM students in Using Mobile Phones in The English Language Classroom / А. Murugan, G. Sai, A. Lin // Malaysian Online Journal of Educat. Technology. - 2017. - № 5 (2). - P. 34-50.

15. Baker, R. S. Educational Data Mining and Learning Analytics / R. S. Baker, P. S. Inventado // Learning Analytics. - 2014. - P. 61-75.

16. Roland, R. Electronic Service: New Trends in Theory and Practice / R. Roland, P. K. Kannan. - 2002. -320 p.

17. Smith, I. Performance Assessment and Prognosis for Civil Infrastructure Based on Model Falsification Reasoning / I. Smith. - Lausanne : EPFL, 2015.

References

1. Barsegyan, A. A., Kupriyanov, M. S., Kholod, I. I., et al. (2009). Analiz dannykh i protsessov [Data and process analysis]. 3^rd edition. Saint Petersburg, BKhV-Peterburg. 512 p.

2. Emel'yanova, O. P., Zhuravleva, M. V. (2019). O gotovnosti budushchego inzhenera k mezhdunarodnomu tekhnologicheskomu partnerstvu neftegazovykh proizvodstv i nekotorykh usloviyakh ee formirovaniya [About the readiness of the future engineer for the international technological partnership of oil and gas industries and some conditions for its formation]. In Izvestiya Volgogradskogo gosudarstvennogo pedagogicheskogo universiteta. No. 4, pp. 82-86.

3. Zhebel', V. V., Komarov, A. V., Komarov, K. A., et al. (2018). Programmnoe sredstvo dlya kompleksnoy otsenki tekhnologicheskoy gotovnosti innovatsionnykh nauchno-tekhnologicheskikh proektov [Software tool for a comprehensive assessment of technological readiness of innovative scientific and technological projects]. In Ekonomika nauki. Vol. 4. No. 1, pp. 58-68.

4. Kolyada, M. G., Tashkinov, Yu. A. (2019). Realizatsiya elementov differentsirovannogo obucheniya v matematike s ispol'zovaniem piktogramm «Litsa Chernova» [The implementation of the elements of differentiated learning in mathematics using the pictograms “Faces of Chernov”]. In Didaktika matematiki: problemy i issledovaniya: mezhdunarodnyy sbornik nauchnykh rabot. Donetsk, Donetskiy nats. un-t, pp. 73-92.

5. Kolyada, M. G., Bugaeva, T. I. (2014). Pedagogicheskoe prognozirovanie: teoretiko-metodologicheskiy aspekt [Pedagogical forecasting: theoretical and methodological aspect]. Donetsk, Noulidzh. 268 p.

6. Kotova, E. E., Imaev, D. Kh. (2014). Modelirovanie i imitatsiya protsessov obucheniya s razdeleniem didakticheskikh resursov. Dinamicheskiy podkhod [Modeling and imitation of learning processes with the division of didactic resources. Dynamic approach]. Saint Petersburg, Izd-vo SPbGETU «LETT». 111 p.

7. Mayer, R. V. (2018). Issledovanie matematicheskikh modeley didakticheskikh sistem na komp'yutere [The study of mathematical models of didactic systems on a computer]. Glazov, Glazovkiy gos. ped. in-t. 160 p.

8. Rudskoy, A. I., Borovkov, A. I., Romanov, P. I., et al. (2018). Obshcheprofessional'nye kompetentsii sovremennogo rossiyskogo inzhenera [General professional competencies of a modern Russian engineer]. In Vysshee obrazovanie v Rossii. No. 2, pp. 5-18.

9. Suchkov, B., Ivanov, V., Korchagin, E. (2006). Model' inzhenera-stroitelya: kompetentnostnyy podkhod [Model of a civil engineer: competency-based approach]. In Vysshee obrazovanie v Rossii. No. 12, pp. 111-115.

10. Tashkinov, Yu. A. (2020). Pedagogicheskoe prognozirovanie obrazovatel'nykh rezul'tatov budushchikh inzhenerov-stroiteley v real'nom vremeni [Pedagogical forecasting of educational results of future civil engineers in real time]. In Lichnost' v menyayushchemsya mire: zdorov'e, adaptatsiya, razvitie. Vol. 8. No. 1 (28). URL: http://humjournal.rzgmu.ru/art&id=416%20doi:10.23888/humJ2020135-45 (mode of access: 08.05.2020).

11. Tashkinov, Yu. A. (2019). Prognozirovanie srednego balla diploma budushchego inzhenera-stroitelya metodom mnozhestvennoy regressii [Prediction of the average diploma of a future civil engineer by multiple regression]. In Vestnik Akademii grazhdanskoy zashchity. No. 4 (20), pp. 79-84.

12. Khalafyan, A. A. (2007). STATISTICA 6. Statisticheskiy analiz dannykh [STATISTICA 6. Statistical data analysis]. Moscow, OOO «Binom-Press». 512 p.

13. Khokhlova, M. V., Pleskacheva, O. Yu. (2013). Tekhnologicheskaya kompetentnost' v strukture professional'noy podgotovki budushchego inzhenera [Technological competence in the structure of professional training of the future engineer]. Bryansk, BGITA. 164 p.

14. Murugan, A., Sai, G., Lin, A. (2017). Technological Readiness of UiTM students in Using Mobile Phones in The English Language Classroom. In Malaysian Online Journal of Educational Technology. No. 5 (2), pp. 34-50.

15. Baker, R. S., Inventado, P. S. (2014). Educational Data Mining and Learning Analytics. In Learning Analytics, pp. 61-75.

16. Roland, R., Kannan, P. K. (2002). Electronic Service: New Trends in Theory and Practice. 320 p.

17. Smith, I. (2015). Performance Assessment and Prognosis for Civil Infrastructure Based on Model Falsification Reasoning. Lausanne, EPFL

Размещено на Allbest.ru