Визуализация
объектов в программных тренажерах – многошаговых
решателях в формате SCORM 2004
А. Гусева, В. Киреев, И. Кожин, А. Лебедева, Е. Шеина, А. Цыплаков
Национальный исследовательский ядерный университет «МИФИ», Москва, Россия
aiguseva@mephi.ru, V.Kireev@inbox.ru, gottergeben@yandex.ru, avlebedeva@mephi.ru, easheina@mephi.ru, SaperQ2@mail.ru
Оглавление
2. Возможности методологии SCORM 2004
3. Построение визуальных решений в программных тренажерах-многошаговых решателях
4. Результаты использования программных тренажеров в учебном процессе
Аннотация
Данная статья представляет результаты многолетних исследований в области создания и использования интерактивных многошаговых решателей – программных тренажеров для подготовки студентов младших курсов в области Computer Science. Основой таких решателей служит алгоритмизация обучения, визуализация сложных абстрактных объектов и установление семантических связей между визуальными образами и математическим описанием свойств этих объектов, многовариантность способов получения правильного решения. Такая визуализация является относительно понятной начинающему студенту, ускоряет у него развитие абстрактного и логического мышления, побуждает к созданию многочисленных интерпретаций, вырабатывает навыки визуального анализа данных.
Разработка программных тренажеров– визуализаторов проводилась на основе методологии SCORM 2004, которая дает возможность собрать в один SCORM-пакет большое количество разнородных учебных материалов и с помощью файла-манифеста задать траекторию их прохождения учащимся. Образовательный контент в SCORM представляется набором небольших образовательных объектов, собранных в курсы, главы, модули, задания и т.п. Эти единицы содержания (Content Objetcs), состоящие из более мелких образовательных объектов, разработаны таким образом, что могут быть использованы многократно в разных SCORM-пакетах и различных системах управления обучением LMS. Единицы содержания могут быть двух видов – ресурсы (assets) и разделяемые объекты содержимого (SCO). Ресурсы пользователь только просматривает и изучает, они не взаимодействуют с LMS. Разделяемый объект содержимого (SCO) взаимодействует с системой управления обучением: сообщает о ходе и результатах обучения, получает и передаёт дополнительные данные ит.д. Интерактивность SCORM-пакета обеспечивается наличием CSO, реализованных на Flash либо на Java-script.
Стандарт SCORM для создания электронных учебных курсов хорошо зарекомендовал себя в западных ВУЗах, и постепенно начинает применяться на учебных порталах в российских университетах, например, в МЭСИ, МИРЭА, МФТИ и т.д. Отличительной особенностью разработок НИЯУ МИФИ в этой области является то, что помимо учебных курсов и электронных учебников, в учебном процессе активно используются программные тренажеры – визуализаторы в формате SCORM 2004, выполненные как интерактивные многошаговые решатели типовых задач по широкому спектру естественно-научных дисциплин.
В течения ряда лет программные тренажеры использовались для обучения студентов младших курсов по дисциплине «Дискретная математика» и «Информатика» в НИЯУ МИФИ. В общей сложности, для статистической обработки информации собраны результаты освоения учебного материала за шесть последних лет примерно у тысячи учащихся первого курса.
Полученные результаты свидетельствуют, что использование интерактивных многошаговых решателей с визуализацией образов и свойств объектов в высшей степени благотворно влияет на уровень усвоения учебного материала. По курсу «Информатика», где интерактивные решатели-визуализаторы используются только в одном разделе курса, уровень освоения учебного материала увеличивается в среднем на 30%. Для дисциплины «Дискретная математика», где в большинстве разделов используются решатели, уровень освоения материала у средних студентов повышается в 4 раза.
Ключевые слова: визуальный анализ данных, визуализация объектов, методология SCORM 2004, программные тренажеры, многошаговые решатели, результативность обучения.
В данной статье рассматриваются результаты многолетних исследований в области создания и использования интерактивных многошаговых решателей – программных тренажеров для подготовки студентов младших курсов в области Computer Science. Для развития абстрактного мышления и навыков визуального анализа данных, в таких интерактивных решателях учащийся на каждом шаге построения решения оперирует визуальными образами сложных абстрактных объектов и математическим описанием свойств этих объектов, устанавливая между ними семантические связи. Кажущаяся «простота» таких решателей способствует повышению мотивации учащегося и степень усвояемости учебного материала возрастает примерно на 30%.
2. Возможности методологии SCORM 2004
Систематизация рекомендаций международных стандартов в области электронного обучения позволяет утверждать, что наиболее универсальной из них является методология SCORM[1]. SCORM (Shareable Content Object Reference Model) представляет собой промышленный стандарт для обмена учебными материалами на базе адаптированных спецификаций ADL, IEEE, IMS, Dublin Core и vCard. Цели создания SCORM провозглашаются, как обеспечение многократного использования учебных модулей, интероперабельности учебных курсов (их использования в средах разных систем управления обучением LMS), легкое сопровождение и адаптации курсов, ассемблирование контента отдельных модулей в учебные пособия в соответствии с индивидуальными запросами пользователей. Формат SCORM обеспечивает независимость образовательного контента от систем управления обучением.
Первая версия объектной модели разделяемых образовательных ресурсов SCORM была представлена организацией ADL Initiative в начале 2000 г. Модель SCORM стала результатом обобщения многих проводившихся работ в области стандартизации обучающих средств дляинтернет. Версия 1.2 появилась в октябре 2001 г., версия 1.3 опубликована в июле 2004 г. и получила название SCORM 2004, позднее в 2006 в него были внесены некоторые изменения, а в 2009 появился четвертая редакция.
В основе стандарта SCORM стоит модульность, что позволяет каждый отдельный элемент SCORM-пакета многократно использовать в составе какого-либо другого курса, также созданного на основе стандарта. Помимо многократной используемости, информационно-образовательные ресурсы в формате SCORM обладают свойствами доступности, адаптируемости, эффективности, долговечности и интероперабельности.
SCORM-пакет представляет собой архив в формате zip, содержащий элементы учебного курса, а также файл структуры курса (imsmanifest.xml) и файл с метаданными (sco.xml). Структура SCORM-пакетов разделяется на логическую и физическую. Логическая структура SCORM-пакета представляет собой набор элементов Asset и SCO, которые содержат обучающий материал, тесты, интерактивные задания и порядок их использования. Главной особенностью является выделение SCO-объектов с разделяемым контентом. Такой подход позволяет использовать одни те же объекты в разных SCORM-пакетах. Сам пакет собирает воедино любое количество электронных учебных ресурсов Asset, которые пользователь только просматривает и изучает, и элементы SCO, которые предполагают активную деятельность обучающегося и предназначены для оценки этой деятельности. На рис. 1 представлена типичная структура файла-манифеста.
Траектория движения по учебному материалу задается с помощью файла-манифеста курса (imsmanifest.xml). Манифест представляет собой XML-документ, включающий в себя полный список учебного материала пакета. Если пакет предназначен для доставки конечному пользователю, манифест также включает информацию о схеме организации учебного материала, последовательности предоставления учебного материала пакета в процессе обучения.
Рис. 1. Структура файла – манифеста
Организация учебного материала — это своеобразная карта, представляющая заданный порядок использования с помощью структурированных наборов инструкций (разделов, или «activities»). Эта карта отражает взаимодействие и отношение разделов и модулей между собой. Разделы, представленные в карте организации учебного материала, могут состоять из других разделов. Стандарт не накладывает никаких ограничений на глубину вложенности разделов. Последовательность прохождения обучения обычно связана с иерархической структурой разделов (например, глава-тема - модуль), однако это не является обязательным правилом. Схема организации учебного материала также имеет свои метаданные, которые обеспечивают возможность повторного использования. Как и в случае с SCO, для связывания метаданных и схемы организации используется сборка учебного материала. Для того, чтобы эти материалы могли быть использованы, их необходимо собрать в Пакет Учебного Материала (Content Package). Цель Пакетов Учебного Материала заключается в предоставлении стандартного способа обмена учебным материалом между различными системами управления обучением и утилитами. Пакет Учебного Материала также предоставляет место для описания структуры и предполагаемой последовательности материала обучения.
Сам SCORM-пакет хранится на сервере в системе управления обучением LMS. При обращении учащегося через браузер к системе управления обучением, LMS анализирует файл-манифест соответствующего SCORM– пакета и запускает весь контент в веб-браузере. Assets и SCO передаются на сторону пользователя для проигрывания в специальной среде (среде Flash либо на виртуальной Java-машине, в зависимости от реализации). По мере необходимости, SCO взаимодействует с LMS через API-интерфейсы, принимая и передавая данные. Результаты обучения при выходе из SCO передаются в систему управления обучением. На рис. 2 в нотации UML представлен алгоритм работы SCORM-пакета.
Рис. 2. Алгоритм работы SCORM-пакета
Стандарт SCORM хорошо зарекомендовал себя в западных ВУЗах, и постепенно начинает применяться на учебных порталах в российских университетах, например, в МВТУ, МИРЭА, НИЯУ МИФИ и т.д. [2-6].
К одной из ранних работ в нашей высшей школе относится опыт МЭСИ по использованию методологии SCORM [7]. В данном случае в структуру пакета, в раздел метаданных, зашиваются права обучающегося на доступ к имеющимся учебным материалам. Сами материалы в основном представлены в формате *.pdf. В качестве SCO выступают тесты с закрытыми ответами. Такой подход дает возможность довольно быстро сформировать необходимое количество традиционных учебных курсов фактически из подручных материалов. Однако, вопросы, связанные с алгоритмизацией обучения, выработкой навыков визуального анализа данных и т.д. остаются нераскрытыми.
Одной из самых интересных реализаций методологии SCORM для выработки навыков визуального анализа данных является включение 3D взаимодействий в учебные курсы, которое может быть выполнено на основе использования Ascendia Астрономии, разработки Ascendia R&D [8, 9]. Ascendia Астрономия - это программное приложение, полностью основанное на новых мультимедийных стандартах, включающих в себя разрешение высокой четкости, возможность создания Flash 3D анимации и т.д. Программный продукт был разработан, чтобы быть полностью совместимым со спецификацией SCORM 2004.
3. Построение визуальных решений в программных тренажерах-многошаговых решателях
Как правило, в формате SCORM разрабатывают целые учебные курсы или разделы дисциплин, где основой служат набор ресурсов и тестов. Разработки НИЯУ МИФИ отличаются тем, что помимо учебных курсов и электронных учебников, мы специализируемся на создании программных тренажерах – многошаговых решателях для выработки практических навыков при обучении [10-11]. Основой таких решателей служит алгоритмизация обучения, визуализация сложных абстрактных объектов и установление семантических связей между визуальными образами и математическим описанием свойств этих объектов, многовариантность способов получения правильного решения. Такая визуализация является относительно понятной начинающему студенту, ускоряет у него развитие абстрактного и логического мышления, побуждает к созданию многочисленных интерпретаций, вырабатывает навыки визуального анализа данных.
Щелкнуть для просмотра демо-ролика
Рис.3. Интерактивное построение
конструированного ответа на вопрос
в курсе «Арифметические основы информатики»
При подготовке студентов, особенно бакалавров, в области Computer Science умения проводить визуальный анализ данных необходимы для развития инструментальных компетенций в области объектно-ориентированного проектирования и объектно-ориентированного программирования. В настоящее время в учебном процессе НИЯУ МИФИ по дисциплинам «Дискретная математика» и «Информатика» используется двенадцать интерактивных многошаговых решателей в формате SCORM 2004 [12]. Все они в установленном порядке зарегистрированы в РОСПАТЕНТ как программы для ЭВМ.
Данные многошаговые решатели входят в состав программных тренажеров в формате SCORM-пакетов, элементами которых также являются лекции и тесты. В качестве среды реализации многошаговых решателей был выбран Adobe Flash Professional CS5, поддерживающий собственный язык Flash- Action Script 2.0.
Многошаговый решатель «Арифметические основы информатики» предусматривает задания на перевод числа из десятичной системы счисления в двоичную, восьмеричную и шестнадцатеричную. В этом случае пользователю необходимо перевести случайно сгенерированное десятичное число в интервале (15-255) в другие системы счисления (двоичную, восьмеричную и шестнадцатеричную). Многошаговый решатель «Логические основы информатики» состоит из четырех заданий по таким темам, как закон дистрибутивности, закон Блейка-Порецкого, закон склеивания, закон поглощения. Многошаговые решатели функционируют в двух режимах: самообучения и контроля знаний. В режиме самообучения пользователю предлагается выбрать тему задания. При неверном ответе переход к следующему шагу не происходит, система выдает ошибку. Оценка за выполнения задания не проставляется. В режиме контроля знаний учащийся проходит все этапы решателя для получения оценки. При правильном ответе ему начисляются баллы, в случае неверного ответа, он получает 0 баллов.
Щелкнуть для просмотра демо-ролика
Рис.
4.
Интерактивное построение
конструированного ответа на вопрос
в курсе «Логические основы информатики»
На рис. 3 и 4 представлены фрагменты многошаговых решателей «Арифметические основы информатики» и «Логические основы информатики соответственно, предназначенные для визуального построения правильного ответа. Для решателя «Арифметические основы информатики» на рис. 3 показана реализация «перетаскивания» элементов. Пользователю необходимо записать данное число, представленное в двоичной системе счисления, в восьмеричной системе счисления. Для этого необходимо «перетащить» соответствующие символы так, чтобы получилось заданное число. На рисунке 4 для решателя «Логические основы информатики» показана реализация «перетаскивания» элементов. Пользователю необходимо упростить данное выражение, используя закон дистрибутивности. Для ответа на задание предусмотрены специальные пустые ячейки, в которые необходимо ввести верный ответ, «перетаскивая» элементы из панели, расположенной слева.
В обоих фрагментах визуальное построение ответа реализуется с помощью следующих функций:
· hitTest() - позволяет определить входит ли точка с определенными координатами в необходимую область. Если принадлежность точки к области подтверждается, то метод hitTest() возвращает значение true. Иначе результат — false.
· startDrag() - вызывает перемещение объекта за курсором мыши по экрану. Перемещение объекта можно ограничить областью, координаты которой передаются в качестве аргументов функции startDrag().
· stopDrag() - прекращает перемещение объекта.
4. Результаты использования программных тренажеров в учебном процессе
Рассмотрим результативность применения интерактивных многошаговых решателей-визуализаторов в виде SCORM-пакетов в учебном процессе на примере двух учебных дисциплин. В общей сложности, для статистического анализа были собраны результаты обучения примерно одной тысячи студентов НИЯУ МИФИ.
В рамках учебной дисциплины «Дискретная математика» на факультете кибернетики в течение ряда лет, с 2008 г. по 2011, была использована система электронного обучения МИФИСТ, предоставляющая студентам первого курса доступ к кратким и опорным конспектам лекций, тестам и набору многошаговых решателей. Экзамен проводился письменно. Поток состоял из 9 групп, общей численностью 160-180 человек ежегодно.
. Чтобы определить, имеется ли влияние применения SCORM на усвоение учебного материала, была использована выборка оценок студентов по нескольким учебным темам, часть из которых подкреплена работой в SCORM пакетах. По выборке была построены ящичковые диаграммы, позволяющие визуально представлять данные с произвольным типом распределения (рис.5). На диаграммах видно, что медиана для оценок по темам с применением SCORM совпадает с максимальным значением – единицей, и сами значения ассиметрично сгруппированы в верхней половине графика [13].
Данные графики показывают, что оценки за темы при использовании SCORM в большей степени смещены к максимальной положительной оценке (один балл), чем оценки за другие темы. Это следует из расположения медиан и смещения прямоугольника, ограниченного 25% и 75% квартилями, к верхней границе оценки. Таким образом, данное статистическое исследование показало, что одни и те же студенты, лучше сдают темы, которым обучались с использованием программных тренажёров. Оценки по остальным темам распределены более равномерно, значение медианы близко к значению арифметического среднего. На основе сказанного можно выдвинуть гипотезу, что в целом, применение SCORM оказывает значимое положительное влияние на процесс обучения.
Рис.5. Графики для результатов экзамена
в баллах по темам, изучаемым как с
применением SCORM, так и без, для двух разных потоков студентов
Вопрос вычисления количественного вклада SCORM в эффективность обучения был рассмотрен с точки зрения установления наличия корреляционной связи. Рассчитаны значения показателя ранговой корреляции Спирмена, более устойчивого к качеству исходных данных, чем коэффициент Пирсона (табл. 1-3), которые показывают наличие значимой связи между результатами сдачи теста, использования тренажера в виде SCORM-пакета и результатом сдачи экзаменационной темы. Направление связи в изученных случаях – положительное.
Табл. 1. Расчёт корреляции между результатами сдачи темы №1 и тестом
|
Корреляционный коэффициент Спирмена |
Тема № 1 |
тест |
||
|
|
тема |
Коэф-т |
1,000 |
,472 |
|
Sig. (2-tailed) |
. |
,000 |
||
|
N |
62 |
62 |
||
|
тест |
Коэф-т |
,472 |
1,000 |
|
|
Sig. (2-tailed) |
,000 |
. |
||
|
N |
62 |
62 |
||
Табл. 2. Расчёт корреляции между результатами сдачи темы№3 и тестом
|
Корреляционный коэффициент Спирмена |
Тема № 4 |
тест |
||
|
|
тема |
Коэф-т |
1,000 |
,306 |
|
Sig. (2-tailed) |
. |
,074 |
||
|
N |
62 |
35 |
||
|
тест |
Коэф-т |
,306 |
1,000 |
|
|
Sig. (2-tailed) |
,074 |
. |
||
|
N |
35 |
35 |
||
Табл. 3. Расчёт корреляции между результатами сдачи темы № 5 и тестом
|
Корреляционный коэффициент Спирмена |
Тема № 5 |
тест |
||
|
|
тема |
Коэф-т |
1,000 |
,316 |
|
Sig. (2-tailed) |
. |
,068 |
||
|
N |
78 |
34 |
||
|
тест |
Коэф-т |
,316 |
1,000 |
|
|
Sig. (2-tailed) |
,068 |
. |
||
|
N |
34 |
34 |
||
Чтобы определить влияние использования SCORM более точно, необходимо разделить исходную выборку на сегменты, т.к. очевидно на результат влияет множество факторов – в том числе, мотивация и подготовка студентов. На процесс учёбы как сильных, так и неуспевающих студентов, в равной степени электронные материалы.
Исходные 8 переменных (результаты сдачи экзамена по темам) с помощью линейного преобразования для удобства анализа были отображены в две новых переменных – Scorm и Noscorm. Каждая переменная определяется суммой четырёх исходных и имеет диапазон значений от 0 до 4 баллов. Scorm обобщает темы, изучаемые при поддержке электронными методическими материалами, а Noscorm – темы без такой поддержки. Преобразованные таким образом данные были подвергнуты иерархической кластеризации с помощью метода средней связи. По результатам данной процедуры были получены три возможных разбиения: 2-х, 3-х и 4-х кластерные решения. С точки зрения наилучшей интерпретируемости было выбрано решение из 4-х кластеров (табл. 4).
Табл. 4. Профиль4-хкластерного решения
|
Кластер |
scorm |
noscorm |
|
|
1 |
Среднее |
0,62 |
1,11 |
|
N |
13,00 |
13,00 |
|
|
Стд. отклонение |
0,39 |
0,86 |
|
|
2 |
Среднее |
2,79 |
1,70 |
|
N |
39,00 |
39,00 |
|
|
Стд. отклонение |
0,76 |
0,54 |
|
|
3 |
Среднее |
3,01 |
3,31 |
|
N |
44,00 |
44,00 |
|
|
Стд. отклонение |
0,91 |
0,43 |
|
|
4 |
Среднее |
4,00 |
0,20 |
|
N |
1,00 |
1,00 |
|
|
Стд. отклонение |
. |
. |
|
|
Итого |
Среднее |
2,61 |
2,33 |
|
N |
97,00 |
97,00 |
|
|
Стд. отклонение |
1,12 |
1,07 |
|
Исходя из данных его профиля (средних значений переменных scorm и noscorm) можно сделать вывод, что первый кластер содержит студентов с низким уровнем подготовки -«неуспевающих», на которых не влияет наличие электронных материалов, второй кластер содержит «хорошистов», которые в среднем лучше сдают темы с поддержкой Scorm, третий кластер состоит из «отличников», которые одинаково хорошо сдают все темы. Наконец 4 кластер состоит из единственного студента, который сдал все темы со Scorm наилучшим образом и провалился по остальным заданиям. Соотношения между объемами кластеров представлены на рис. 6.
Рис. 6. Кластеры студентов
Рассмотрим полученные кластеры более подробно. В первом кластере («неуспевающие») гистограммы по обоим переменным указывают на наличие нескольких частотных пиков и асимметрию данных выборочных распределений, из чего можно сделать вывод о неприменимости анализа с использованием среднего.
Выборки переменных Scorm и Noscorm относятся к баллам за экзаменационные задания одних и тех же студентов и являются зависимыми. Таким образом, для сравнения результатов необходимо использовать непараметрические тесты для сравнения зависимых (парных) выборок. Выдвинутая гипотеза о закономерности влияния электронных учебных материалов на результат сдачи экзамена была проверена с помощью критерия Уилкоксона, знакового критерия, критерия маргинальной однородности.
Все перечисленные критерии показали отсутствие статистически значимой разницы между сдачей экзамена «неуспевающими» по темам, имеющих поддержку в виде электронных материалов от остальных тем (табл. 5). Отсюда можно сделать вывод о верности исходной интерпретации данного кластера, т.к. в реальности «неуспевающие» не обладают достаточной мотивацией к учёбе, и использование современных технологий не может на это повлиять (рис. 7).
Рис. 7. Результаты по кластеру «неуспевающие»
Табл. 5. Критерий Уилкоксона для кластера «неуспевающие»
|
Критерий Уилкоксона |
||||||
|
|
|
N |
Средний ранг |
Сумма рангов |
||
|
noscorm - scorm |
Отрицательные ранги |
3a |
5,67 |
17,00 |
||
|
Положительные ранги |
9b |
6,78 |
61,00 |
|||
|
Связи |
1c |
|
|
|||
|
Всего |
13 |
|
|
|||
|
Критерий знаков |
||||||
|
|
|
N |
||||
|
noscorm - scorm |
Отрицательные разницы |
3 |
||||
|
Положительные разницы |
9 |
|||||
|
Связи |
1 |
|||||
|
Итого |
13 |
|||||
|
Критерий маргинальной однородности |
||||||
|
|
scorm & noscorm |
|||||
|
Отличающиеся значения |
15 |
|||||
|
Недиагональные элементы |
12 |
|||||
|
Наблюдаемая статистика |
8,100 |
|||||
|
Средняя статистика |
11,250 |
|||||
|
Стандартное отклонение статистики |
1,803 |
|||||
|
Стандартизованное значение статистики |
-1,747 |
|||||
|
P |
,081 |
|||||
|
Статистика теста (основана на отрицательных рангах) |
|
|
|
noscorm - scorm |
|
Z |
-1,727a |
|
P |
,084 |
|
Статистика теста (использовано биномиальное распределение) |
|
|
|
noscorm - scorm |
|
P |
,146a |
В третьем кластере («отличники») из частотных гистограмм видно, что результаты по темам, связанным с использованием SCORM, смещены в сторону большей оценки (ближе к 4 баллам), чем по остальным темам (главный пик около 3 баллов) (рис. 8).
Рис. 8. Результаты по кластеру «отличники»
Использованные тесты, тем не менее, недостаточно чётко показывают наличие значимой разницы между этими результатами, в частности результат по критерию Уилкоксона (табл. 6).
Табл. 6. Критерий Уилкоксона для кластера «отличники»
|
Критерий Уилкоксона |
||||||
|
|
|
N |
Средний ранг |
Сумма рангов |
||
|
noscorm - scorm |
Отрицательные ранги |
13a |
13,04 |
169,50 |
||
|
Положительные ранги |
20b |
19,58 |
391,50 |
|||
|
Связи |
11c |
|
|
|||
|
Всего |
44 |
|
|
|||
|
Критерий знаков |
||||||
|
|
|
N |
||||
|
noscorm - scorm |
Отрицательные разницы |
13 |
||||
|
Положительные разницы |
20 |
|||||
|
Связи |
11 |
|||||
|
Итого |
44 |
|||||
|
Статистика теста (использовано биномиальное распределение) |
|
|||||
|
|
noscorm - scorm |
|
||||
|
P |
-1,044 ,296 |
|
||||
|
Критерий маргинальной однородности |
||||||
|
|
scorm & noscorm |
|||||
|
Отличающиеся значения |
19 |
|||||
|
Недиагональнве элементы |
33 |
|||||
|
Наблюдаемая статистика |
94,000 |
|||||
|
Средняя статистика |
100,575 |
|||||
|
Стандартное отклонение статистики |
2,926 |
|||||
|
Стандартизованное значение статистики |
-2,247 |
|||||
|
P |
,025 |
|||||
|
Статистика теста (основана на отрицательных рангах) |
|
|
|
noscorm - scorm |
|
Z |
-1,988a |
|
P |
,047 |
Во втором кластере («хорошисты») гистограммы по обоим переменным указывают на наличие двух основных пиков для переменной Scorm, один из которых ближе к максимальному возможному баллу – 4. Распределение по переменной Noscorm, в основном, сосредоточено около низкой оценки (2 баллов). Оба распределения не являются гауссовыми, поэтому необходимо применять непараметрические тесты, как и в предыдущем случае (рис.9).
Рис. 9. Результаты по кластеру «хорошисты»
Все использованные критерии указывают на наличие статистически значимой разницы между результатами по обеим выборкам, при этом результаты знакового теста и теста Уилкоксона означают, что результаты «хорошистов» по темам с электронной поддержкой выше, чем без неё (табл.7). Таким образом, можно заключить, что для среднего студента использование SCORM-материалов является значимым положительным фактором в процессе обучения.
Табл. 7. Критерий Уилкоксона для кластера «хорошисты»
|
Критерий Уилкоксона |
||||||
|
|
|
N |
Средний ранг |
Сумма рангов |
||
|
noscorm - scorm |
Отрицательные ранги |
35a |
21,66 |
758,00 |
||
|
Положительные ранги |
4b |
5,50 |
22,00 |
|||
|
Связи |
0c |
|
|
|||
|
Всего |
39 |
|
|
|||
|
Критерий знаков |
||||||
|
|
|
N |
||||
|
noscorm - scorm |
Отрицательные разницы |
35 |
||||
|
Положительные разницы |
4 |
|||||
|
Связи |
0 |
|||||
|
Итого |
39 |
|||||
|
Статистика теста (использовано биномиальное распределение) |
|
|
|
noscorm - scorm |
|
P |
,-4,804 ,000 |
|
Критерий маргинальной однородности |
|
|
|
scorm & noscorm |
|
Отличающиеся значения |
29 |
|
Недиагональнве элементы |
39 |
|
Наблюдаемая статистика |
108,850 |
|
Средняя статистика |
87,525 |
|
Стандартное отклонение статистики |
4,182 |
|
Стандартизованное значение статистики |
5,099 |
|
P |
,000 |
|
Статистика теста (основана на отрицательных рангах) |
|
|
|
noscorm - scorm |
|
Z |
-5,142a |
|
P |
,000 |
Выборки переменных Scorm и Noscorm относятся к баллам за экзаменационные задания одних и тех же студентов и являются зависимыми. Таким образом, для проверки гипотезы о значимости этого влияния был использован непараметрический тест Уилкоксона (табл. 8). Тест основан на построении ранговой последовательности абсолютных разностей пар значений. Результаты расчёта дают 271 положительную разность, и только 113 отрицательных разностей, что свидетельствует о значимом преобладании высоких оценок именно для SCORM – тем. Это подтверждается значением статистики критерия Z = -8,716, которому соответствует значение ошибки p< 0,001.
|
Табл. 8. Результаты теста Уилкоксона |
||||
|
|
|
N |
Средний ранг |
Сумма рангов |
|
Оценка за курс без применения scorm - Оценка за курс с применением scorm |
Отрицательные ранги |
271 |
205,81 |
55774,00 |
|
Положительные ранги |
113 |
160,58 |
18146,00 |
|
|
Связки |
153 |
|
|
|
|
Всего |
537 |
|
|
|
|
|
Оценка за курс без применения SCORM - Оценка за курс с применением SCORM |
|||
|
Z |
-8,716 |
|||
|
Статистическая значимость (двухсторонняя) |
0,000 |
|||
Чтобы отделить влияние SCORM от влияния прочих факторов, была проведена кластеризация исходной выборки методом k-средних.
На рис.10 представлены обобщающие результаты в виде трех кластеров одинакового размера, которые проинтерпретированы как «хорошисты» (кластер 1), «неуспевающие» (кластер 2) и «отличники» (кластер 3). Данная интерпретация иллюстрируется кластерным профилем, который показывает, что к «хорошистам» относятся студенты, лучше сдающие темы с применением SCORM, «неуспевающие» практически нечувствительны к исследуемому влиянию и одинаково плохо сдают все темы, и наконец «отличники» имеют высокий средний балл по обоим видам тем.
Рис. 10. Выделенные кластеры студентов и их оценки за учебную дисциплину
Обобщенные данные по распределению оценок внутри кластеров представлены на частотных гистограммах рис. 11. В частности, можно отметить, что в первом кластере («хорошисты») пиковые значения оценок для тем с и без SCORM являются противоположными.
Рис. 11. Распределение оценок внутри кластеров
Рассмотрим полученные кластеры более подробно. Критерий Уилкоксона показал отсутствие статистически значимой разницы между сдачей экзамена «неуспевающими» по темам, имеющих поддержку в виде электронных материалов от остальных тем. Отсюда можно сделать вывод о верности исходной интерпретации данного кластера, т.к. в реальности «неуспевающие» не обладают достаточной мотивацией к учёбе, и использование современных технологий не может на это повлиять. Исследование показывает, что результаты «хорошистов» по темам с электронной поддержкой в 4 раза выше, чем без неё. Таким образом, можно заключить, что для среднего студента использование интерактивных многошаговых решателей является значимым положительным фактором в процессе обучения.
Статистические методы исследования выявили, что наибольшее положительное влияние интерактивные электронные учебные элементы в формате SCORM оказывают на учащихся, относящихся к кластеру «хорошисты», доля которых в общей выборке составляет 40%. Степень усвояемости учебного материала у таких студентов возрастает более, чем в четыре раза. В среднем, рассматривая учебный поток целиком, степень усвояемости учебного материала по темам, которые поддерживаются многошаговыми решателями, возрастает на 25%-30%.
Результаты, полученные по дисциплине «Информатика», позволяют провести сравнительный анализ усвояемости учебного материала с помощью многошаговых решателей по отношению к традиционным видам заданий. К учебным дисциплинам, обучение по которым ведется с использованием системы электронного обучения МИФИСТ, относится «Информатика» для бакалавров факультета управления и экономики высоких технологий НИЯУ МИФИ. Поток первого курса включает в себя студентов по направлениям подготовки бакалавров экономика, менеджмент, бизнес-информатика и прикладная информатика. Цель данного курса – формирование прочной теоретической и практической основы, необходимой для дальнейшего использования информационных технологий в профессиональной деятельности. Поток содержит семь учебных групп, общей численностью 120-130 человек.
В 2011 г, при информационной поддержке учебной дисциплины в виде электронных опорных конспектов лекций и методических материалов для решения задач, для ряда учебных групп самостоятельная работа была спланирована в виде электронных домашних заданий, сдача которых была организована с помощью системы МИФИСТ. В двух домашних заданиях необходимо было решить несколько типовых задач на арифметические и логические основы информатики. Трудоемкость проверки двух заданий, направленных на развитие логического мышления и алгоритмизацию, для преподавательского коллектива составила более 200 учебных часов, так как более 80% учащихся смогли сдать задания только со второго или третьего раза. При этом, согласно норме в НИЯУ МИФИ, на проверку каждого задания отводится не более 0,4 учебных часа.
Ввиду большой трудоемкости процесса проверки двух заданий, в 2012г. были разработаны в формате SCORM 2004 и внедрены в учебный процесс два программных тренажера: «Арифметические основы информатики» и «Логические основы информатики».
На рис. 12 и в табл. 9 приведены результаты освоения учебных тем с использованием заданий и программных тренажеров для первого курса по дисциплине «Информатика» в 2012 г. Статистические данные свидетельствуют, что использование тренажеров почти также эффективно, как и заданий. Для кластера «отличники» усвояемость материала при использовании многошаговых решателей составляет 62,6% , что на 4% ниже, чем при использовании заданий. Для кластеров «хорошисты» и «троечники» различие составляет менее одного процента и статистически незначимо. При этом трудоемкость проверки результатов выполнения каждого тренажера не превышает минуты.
Рассмотрим динамику изменения объема кластеров при использовании различных видов информационно-образовательных ресурсов. Анализ показывает, что при использовании многошаговых решателей объем кластера «отличников» вырос на 1,6 раза, объем кластера «хорошисты» уменьшился на 20% при использовании заданий, и на 10% при использовании тренажеров. За счет них объемы кластеров «троечники» и «двоечники» уменьшились в 2,5 и 6 раз соответственно.
Рис. 12. Результаты использования заданий и SCORM-пакетов
Табл. 9. Результаты освоения учебных тем по дисциплине «Информатика»
|
Кластеры |
«отлично» |
«хорошо» |
«удовлетворительно» |
«неудовлетворительно» |
||||
|
2011 |
2012 |
2011 |
2012 |
2011 |
2012 |
2011 |
2012 |
|
|
Доля (%) |
25,00% |
22,73% |
36,36% |
34,09% |
29,55% |
29,55% |
9,09% |
13,64% |
|
Минимум |
86 |
91 |
69 |
78 |
51 |
67 |
30 |
46 |
|
Максимум |
100 |
100 |
83 |
88 |
67 |
77 |
44 |
64 |
|
Среднее |
93,00 |
95,50 |
76,00 |
83,00 |
59,00 |
72,00 |
37,00 |
55,00 |
Произошли и структурные изменения внутри кластеров. На рис. 13 представлены результаты сравнительного анализа для 4-х кластерного решения. Границы кластеров сдвигаются вверх по шкале, в сторону увеличения оценочных баллов, для всех кластеров при использовании многошаговых решателей наблюдается меньший разброс относительно центра кластера, при этом изменения объема кластеров составляет 2% -4%.
Рис. 13. Изменение границ кластеров
Полученные результаты свидетельствуют, что использование интерактивных многошаговых решателей с визуализацией образов и свойств объектов в высшей степени благотворно влияют на уровень усвоения учебного материала. По курсу «Информатика», где интерактивные решатели-визуализаторы используются только в одном разделе курса, уровень освоения учебного материала увеличивается в среднем на 30%. Для дисциплины «Дискретная математика», где в большинстве разделов используются решатели, уровень освоения материала у средних студентов повышается в 4 раза.
В дальнейшем планируется расширение не только спектра учебных дисциплин, по которым используются многошаговые решатели [14], но и методов визуального анализа данных и построения правильных решений.
1. Advanced
Distributed Learning (ADL), Sharable Content Object Reference Model (SCORM®)
2004 2nd Edition Overview, 2004.
2.
Соловов А.В. Моделирование структуры
электронных образовательных ресурсов // href="Информационные технологии. 2007.
№ 3. С. 43-48.
3.
Соловов А.В.Моделирование навигации в электронных
образовательных ресурсах // Информационные технологии. 2007. № 4. С. 72-79. //
4.
Келеберда И.Н., Негурица
Д.С., Сокол В.В. Перспектива реализации индивидуальной траектории обучения для
хранилищ с SCORM-курсами // Образовательные технологии и общество (EducationalTechnology&Society). 2008. Т. 11.№ 3. С. 394-406.
5.
Стафеев С.К., Сухорукова М.В., Пашковский М.А., Клепинина Н.В. Внедрение открытого образовательного
стандарта SCORM в учебный процесс // Научно-технический вестник
информационных технологий, механики и оптики. 2007. № 44. С. 10-15.
6.
Рогозин О.В.Модель представления знаний в обучающей
системе на основе SCORM-технологий //
Качество. Инновации. Образование. 2006. № 6. С. 54-62.
7.
Тельнов Ю.Ф., Рогозин О.В. Разработка инновационных образовательных технологий
на основе модели с использованием SCORM-спецификаций//Открытое
образование: Науч.-практич.
журнал. -2009. -№ 4. -С. 37-46
8. Oprea, A
; Malureanu, C ; Jurcoane, A ; Hazi, M ; Sandulache, C . IMPROVING USER EXPERIENCE WITH "web
2.5": INTERACTIVE 3D AND HIGH DEFINITION// ADVANCED DISTRIBUTED LEARNING
IN EDUCATION AND TRAINING TRANSFORMATION,
2010/ Pages: 91-96
9. Oprea, A
; Malureanu, C ; Jurcoane, A ; Hazi, M ; Sandulache, C . PLAYING AROUND SCORM // ANYWHERE, ANYTIME -
EDUCATION ON DEMAND, VOL II
Book Series: eLearning and Software for Education Pages: 18-23 Published: 2011
10.
Гусева А.И., Киреев В.С., Шеина Е.А. Опыт внедрения результатов научных
исследований в учебный процесс исследовательского университета// Программные
продукты и системы, 2010, № 4, с. 202-207.
11.
Гусева А.И., Иванов А.В., Киреев В.С., Кожин И.М., Цыплаков А.С. Развитие
методологии SCORM для создания информационно-образовательных ресурсов
// Информационно-измерительные и управляющие системы, 2012. - № 8, т.10, с.
44-48
12.
Гусева А.И., Лебедева А.В., Шеина Е.А. Результаты использования программных
тренажеров в формате SCORM 2004 по
дисциплине «Информатика» в национальном исследовательском университете //
Фундаментальные исследования, 2013. - №
4 (часть 5) 1059-1064.
13.
Гусева А.И., Киреев В.С. Модели и методы определения результативности
использования интерактивных электронных учебных элементов в учебном процессе //
Вестник Российского университета дружбы народов. Серия: Информатизация образования,
2012. №1. С. 94-104
14. Солопай А.Ю., Тихомирова А.Н. Проектирование и реализация электронного тренингового практикума по теме «Принятие решений на основе метода анализа иерархий» // Современные проблемы науки и образования. – 2012. – № 3; URL: http://www.science-education.ru/103-6363 (дата обращения: 04.06.2012)
Visualization
of objects in software simulators - multi-step
solvers of SCORM 2004
A. Guseva, V. Kireev, I. Kozhin, A. Lebedeva, E.
Sheina, A. Tsyplakov
National research nuclear university "MEPhI", Moscow, Russian Federation
aiguseva@mephi.ru, V.Kireev@inbox.ru, gottergeben@yandex.ru, avlebedeva@mephi.ru, easheina@mephi.ru, SaperQ2@mail.ru
Abstract
This article
presents the results of multiyear research in the field of development and use
of interactive multi-step solver - software simulators for training
undergraduate students in the field of Computer Science. The basis of such
multi-step solvers is algorithmic learning, visualization of complex abstract
objects and the establishment of semantic connections between the visual images
and the properties of these objects as well as abstract mathematical
description, multiplicity of ways to get a correct solution. Such visualization
is relatively clear for beginning students. It accelerates the development of
abstract and logical thinking and leads to the creation of numerous
interpretations.
The development
of software simulators - visualizers was based on the methodology of SCORM
2004, which gives the opportunity to gather in one SCORM package a large number
of diverse educational materials. Due to presence of file
manifest a developer can planned
trajectory of passing educational materials by students. Educational content in
SCORM is a set of small educational objects, collected into the courses,
chapters, modules, tasks etc. These content objects, consisting of smaller
educational objects, are developed in such way that they can be used many times
in different SCORM packages. Content objects can be two types: assets and
sharable content object (SCO). The user can browse and study the
assets only because assets don’t interact with the learning management system
LMS. Sharable content object (SCO) interacts with learning management system:
reports about the progress and results of studying, receiving and transmitting
additional data, etc. Interactivity of SCORM package is ensured by CSO
implemented by Flash or Java-script.
SCORM standard
has worked well in Western universities and begins to be applied gradually on
educational portals in Russian universities, such as MESI, MIREA, MIPT etc. A distinctive feature of the development in this
area is that in MEPhI the learning process actively
uses software simulators visualizers in SCORM 2004 made as interactive
multistage solvers common tasks on a wide range of science disciplines.
For several
years software simulators were used to train the undergraduate students in the
course "Discrete Mathematics" and "Computer Science" in
NRNU MEPhI. In total, for the statistical analysis
were collected the results of the mastering of educational material for the last six years, 1000 first-year students.
The results show
that the use of interactive multi-step solvers with visualization of images and
object properties are highly beneficial effect on the level of learning. For « Computer Science », where interactive
solvers-visualizers are used only in one section of the course, the level of
mastering of educational material increases on the average by 30%. For
«Discrete mathematics», where in the majority of sections solvers are used, the
level of mastering the material of the secondary students increased in 4 times.
Key words: visual mining, visualization of objects, SCORM 2004 methodology, software simulators, multistage solvers, the effectiveness of learning.
References
1. Advanced Distributed Learning (ADL), Sharable Content Object
Reference Model (SCORM®) 2004 2nd Edition Overview, 2004.
2. Solovov A. V. Modeling of Structure of Electronic Educational
Resources. Information technologies, 2007. no 3, pp, 43-48
3. Solovov A. V.
Mathematical modeling of navigation in
electronic educational resources. Information technologies, 2007. no
4, pp, 72-79
4. Keleberda I.N., Neguritza
D.S., Sokol V.V. Prospects for the implementation of
individual learning paths for the storage of SCORM courses. Educational
Technology & Society, 2008. no 3,v.11,
pp. 394-406
5. Stafeev S.K., Sukhorukova
M.V., Pashkovskiy M.A., Klepinina
N.V. Implementation of open educational standard scorm
in the educational process. Science-technical bulletin of
Information Technologies, Mechanics and Optics, 2007. No 44,
pp.10-15.
6. Rogozin O.V. Model of knowledge representation in the teaching system on the
basis of the SCORM-technologies. Quality.Innovations.Education, 2006. no 6, pp. 54-62
7. Telnov U.F., Rogozin
O.V. Development of innovative educational technologies on the basis of the
model using the SCORM specification. Open education, 2009. No. 4,
pp.37-46
8. Oprea, A ; Malureanu, C ; Jurcoane, A ; Hazi, M ; Sandulache, C . IMPROVING USER EXPERIENCE WITH "web 2.5":
INTERACTIVE 3D AND HIGH DEFINITION. ADVANCED
DISTRIBUTED LEARNING IN EDUCATION AND TRAINING TRANSFORMATION,
2010. Pages: 91-96
9. Oprea, A ; Malureanu, C ; Jurcoane, A ; Hazi, M ; Sandulache, C . PLAYING
AROUND SCORM. ANYWHERE, ANYTIME - EDUCATION ON DEMAND,
VOL II Book Series: eLearning and Software
for Education Pages: 18-23 Published: 2011
10. Guseva A.I., Kireev
V.S., Sheina E.A. Introduction experience of results
of scientific researches in educational process of research university1. Software and systems, 2010, № 4. Pages 202-207
11. Guseva A.I., Ivanov
A.V., Kozgin I.M., Kireev
V.S., Tziplakov A.S. Development of SCORM methodology
in creating off information-educational resources. Information-measuring and
control systems, 2012. no. 8, т. 10. pp. 44–48.
12. Guseva A.I., Lebedeva
A.V., Sheina E.A. Application in the educational
process of software training simulators for the course «Computer» in the format
SCORM 2004. The fundamental researches, 2013. no 4 (part 5) pp. 1059-1064
13. Guseva A.I., Kireev V.S. Models and methods of definition of productivity of use of interactive
electronic educational elements in educational process. Bulletin of Peoples' Friendship University of Russia. Series, Informatization
of education, 2012. No 1, pp. 94-104
14. Tikhomirova A.N., Solopay
A.Yu. «Design and realization of an
electronic treningovy workshop on a subject
«Decision-making on the basis of a method of the analysis of hierarchy»».
Modern problems of science and education. –
2012 – No. 3. Available at:
http://www.science-education.ru/103-6363 (04.06.2013)