Введение

В настоящее время организация и измерение качества образовательного процесса часто связано с использованием тестовых технологий. При этом тесты, используемые в образовании, в большей степени носят контролирующий характер, однако изучается и обучающая специфика тестовых технологий (В.М. Кадневский, О.А. Каплун, Д.А. Михайлова, Н.А. Сеногноева, В.А. Углев, Е.Б. Федоров и др.).

Под обучающим тестом будем понимать последовательное предъявление учащемуся набора альтернатив выполняемых учебных действий, выбирая которые пошагово обучающийся выстраивает решение задачи и формирует для себя определенный уровень усвоения учебного материала. Разработка обучающего теста – многоэтапный процесс, который сопровождается неоднократной обработкой большого числа значений параметров теста, которые отвечают за его качество и пригодность к использованию в образовательном процессе. Привлечение методов многопараметрической оптимизации стало необходимым в связи с тем, что улучшение по одному из параметров качества обучающего теста нередко ведет к понижению значения по-другому. При этом, как процесс составления обучающего теста, так и алгоритм оценки его качества по нескольким параметрам оказываются абсолютно не наглядными и сложными для понимания, в результате чего до сих пор не нашли широкого применения. В этой связи обратимся к способам визуализации оценки качества обучающих тестов, опираясь на структуру управления процессом учебной деятельности, внутреннюю логику процесса усвоения знаний, теорию разработки обучающих тестов и соответствующего ей алгоритма оценки качества такого теста.

Внешняя структура учебной деятельности состоит из следующих основных компонентов: 1) мотив и мотивация; 2) учебные задачи в определенной форме заданий; 3) реализация учебных задач в учебных действиях; 4) контроль (переходящий в самоконтроль) и оценка (переходящая в самооценку).

Согласно теории П.Я. Гальперина и Н.Ф. Талызиной [2, с.56], внутреннюю логику процесса усвоения знаний и умений образуют следующие шесть этапов.

1. Формирование мотивационной основы действия.

2. Становление первичной схемы ориентировочной основы действия.

3. Формирование действий в материализованной (материальной) форме.

4. Этап внешне речевых действий.

5. Этап выполнения во «внешней речи про себя».

6. Этап умственных действий.

На первом этапе формируется мотивационная основа действия, закладывается отношение субъекта к целям и задачам предстоящего действия, а также к содержанию материала, намеченного для усвоения.

На втором этапе происходит становление первичной схемы ориентировочной основы действия, т. е. системы ориентиров и указаний, учет которых необходим для выполнения осваиваемого действия с требуемым качеством и в заданном диапазоне. Здесь формируется первичное умение, образующееся на основе действия в идеальной форме и минимально детализировано. Затем оно используется в качестве предмета деятельности учения на этапе материального (материализованного действия).

Третий этап – формирование действия в материальной (материализованной) форме. На этом этапе субъект осуществляет ориентировку и исполнение осваиваемого действия с опорой на внешне представленные компоненты схемы ориентировочной основы действия. Здесь действие выполняется не только в другой форме, но и обогащается новыми деталями содержания; субъект впервые получает значимый «деловой» продукт. Сформированное умение выполнять более сложное действие в материальной форме служит адекватным предметом для следующего, внешнеречевого этапа усвоения и т. д.

На протяжении трех последних этапов объем операционного состава действия существенно не меняется. На четвертом этапе – «громкой социализированной речи» – опора на внешне представленные средства постепенно замещается опорой на представленные во внешней речи значения этих средств и действий с их помощью.

Необходимость вещественного пользования схемой ориентировочной основы действия отпадает; ее содержание полностью и психологически полноценно отражается в речи, которая и начинает выступать в качестве основной опоры для становящегося действия.

На пятом этапе – формирования действия во «внешней речи про себя» – происходит постепенное исключение внешней, звуковой стороны речи; становящееся действие остается внешним лишь в незначительном количестве ключевых ориентировочных и исполнительских моментов, по которым осуществляется контроль (как внешний, так и внутренний, самоконтроль). Основное же содержание переносится во внутренний, умственный план. На последнем, шестом этапе в сознании остается только конечный результат – предметное содержание действия. Действие, прошедшее вышеперечисленные преобразования, приобретает вид непосредственного одномоментного усмотрения решения проблемной ситуации.

Таким образом, умственное действие, которое так непохоже на породившее его внешнее, материальное, есть продукт поэтапного преобразования последнего и управление этим процессом будет более эффективным при визуализации решения задачи учащимся, которое легче всего делается в обучающем тесте, когда умственная деятельность целенаправленно направляется по определенному пути.

Рассмотрим пример обучающего теста с минимальной степенью разветвленности – 2, и сложностью пути не превышающей 4. В этих целях разобьем решение задачи на отдельные действия, определим типовые ошибки для каждого из них и в соответствие с этим выстроим возможные пути построения теста.  Действия, ведущие к получению правильного ответа будем обозначать зеленым цветом, а неверные красным.

Задача. Упростить выражение: –sin²2x – соs4x, выполнив решение задачи последовательно, начиная с первого пункта и выбирая в каждом из них один из предлагаемых ответов (см. табл. 1).

 

Таблица 1

 

Представленный ход решения не дает полного представления о путях решения задачи учащимся, что важно для педагога при управлении процессом формирования умственных действий. Поэтому следующим шагом визуализации будет сопоставление этапов умственных действий и выполняемых учащимся операций, определяющих путь решения задачи (см. табл. 2).

 

Таблица 2

Соответствие этапов и путей для обучающего теста

 

В свернутом виде соответствие можно наглядно представить следующим образом, такое преобразование наиболее удобно для реализации на компьютере (см. таб.3)

 

Таблица 3

 

Кроме того, последовательность этапов формирования умственных действий на каждом пути прохождения обучающего теста можно показать с помощью построения концентров изображенных на рисунке 1, по схеме, предложенной Т.В. Габай [1, с.96].

 

Рис. 1. Визуальная интерпретация сложности каждого из вариантов прохождения обучающего теста

 

Приведенная выше визуальная интерпретация отражает разные варианты прохождения одного и того же теста (первый путь по продолжительности дольше, но каждое из выполняемых поэтапных умственных действий проще; второй путь занимает меньше времени, однако требует больше усилий для выполнения операций см. рис.1). При этом в обоих случаях осваивается один и тот же объем знаний и умений, поэтому площадь визуализирующих процесс концентров одинакова(S1=S2)  см. рис. 2.

 

Рис. 2. Объем выполняемых действий для каждого из вариантов прохождения обучающего теста

 

При оценке качества данного теста необходимо учитывать его нормативные показатели (степень разветвленности, длину, ширину, уровень свернутости действий в тесте); валидность и надежность. Покажем принципы расчета и оценки этих показателей для понимания методов их дальнейшей визуализации.

Первичным показателем, влияющим на качество обучающего теста, является уровень свернутости действия, под которым будем понимать количество этапов необходимых для формирования этого действия. Для удобства определения уровня свернутости действия была выведена зависимость между этим уровнем и количеством этапов в концентре (табл. 4.). В соответствие с этим (рис. 1) для нашего теста минимальный уровень свернутости 1 (5 этапов в концентре), а максимальный 4 (2 этапа в концентре).

 

Таблица 4

 

Степень разветвленности теста – это количество путей решения  в нем. В данном тесте число путей решения  и степень разветвленности равна двум. Длина теста – это число, равное сумме уровней свернутости всех шагов теста. В нашем случае длина будет равна 5. Ширина теста – это максимальный шаг действия равен 4 (переход между первым и пятым пунктом).

Валидность обучающего теста, определяющая его соотвествие поставленным целям, будет зависеть, прежде всего, от степени направленности теста на обучение и уровня его сложности.  Для измерения степени направленности теста на обучение целесообразно тестовые задания разделить на два типа (задания, направленные на развитие умений анализировать задачу, применять знания, то есть на развитие аналитико-синтетических операций и задания, направленные на выявление и устранение пробелов в знаниях). Задания второго типа в большей мере реализуют стандартную контролирующую функцию. Соответственно без заданий первого типа тест перестает быть обучающим и становится традиционным контрольным тестом. Однако и без заданий второго типа обучающий тест также существовать не может. Ведь любой тест в качестве основы должен содержать решение некоторой задачи, имеющей определенный ответ, и, следовательно, от учащегося требуется выполнение действий, представляющих собой применение знаний в конкретной ситуации [6, с. 107].

В качестве количественного параметра оценки обучающей направленности теста возьмем отношение числа заданий первого типа к общему числу заданий в тесте. При оценке сложности теста будем различать максимальную сложность, то есть длину самого короткого пути в этом тесте и минимальную сложность, то есть размер самого длинного пути в этом же тесте.

Надежность обучающего теста зависит от степени его равномерности и уровня альтернативности теста. Степень равномерности обучающего теста – это показатель, характеризующий разность между максимальным и минимальным уровнями свернутости в тех действиях, которые выполняются учащимся при прохождении теста. Уровень альтернативности теста – это отношение числа верных альтернатив действия к их общему числу в этом действии. В тесте представленном в примере (табл.1) минимальное число верных альтернатив одна к трем возможным, а максимальное число – две к трем возможным.

Процедура оценки качества обучающих тестов и возможности ее интерпретации более подробно представлена в работе Е.А. Кокшаровой [3, с.36-38]. Остановимся на конечных показателях  оценки теста представленного в табл. 1 (см. табл. 5).

 

Таблица 5

Оценка качества обучающего теста

 

Опираясь на данные, приведенные в табл. 5 под качеством обучающего теста будем понимать величину, описывающую совокупность взаимосвязанных параметров обучающего теста, характеризующих его свойства: нормативность, валидность и надежность.

Сводная таблица оценки качества обучающего теста показывает, что используемая шкала измерений является многомерной и неравномерной, поэтому для визуализации результатов ее использования потребуются специальные методы, которые проще всего реализуются с использованием современных информационных технологий.

Структура информационного пространства

Относительно обучающих тестов использование автоматизированной экспертизы качества достаточно очевидно, однако, большинство частных показателей качества связаны между собой так, что повышение качества обучающего теста по одному показателю ведет к понижению качества по другому, и наличие неоднородных связей между отдельными параметрами тестов приводит к проблеме корректности критерия качества. Для решения этой проблемы нами были привлечены методы количественной оценки, а именно, методы инженерии знаний. Используемый нами метод ситуационного управления основан на получении знаний у эксперта-человека или из других источников и последующее наглядное представление полученной и обработанной информации в автоматизированной системе [7, с.13].

 В таких системах предпочтение формализуется в виде набора логических правил и советов, по которым может быть осуществлен выбор альтернатив. Это позволяет ликвидировать недостаток специалистов за счет использования автоматизированной системы, а обработку результатов экспертного оценивания и принятие решения относительно качества обучающих тестов осуществлять по результатам использования статистического, алгебраического, комплексного походов и метода многомерного шкалирования для обработки экспертных данных [7, с. 14].

Статистический подход к обработке результатов экспертного оценивания основан на том, что по каждому параметру качества оцениваемого обучающего теста выводится числовое значение, полученное на основе правил и суждений специалистов, представленных в системе в формализованном виде (эксперты определяют оптимальное значение для каждого параметра). Более подробно формализованные мнения экспертов по каждому параметру качества оценки обучающего теста представлены в работе Е.А. Кокшаровой [3].

В основе многомерного шкалирования лежит процедура упорядочения критериев оценки обучающих тестов в порядке предпочтения, руководствуясь предположением о том, что при вынесении суждений о сходствах или различиях между обучающими тестами эксперты руководствуются небольшим количеством факторов. Задача состоит в выявлении этих факторов и в описании процедуры оценки каждого из них (составления шкалы минимального количества независимых показателей).

Алгебраический подход к обработке результатов экспертного оценивания начинается с установления расстояния (или меры близости) между возможными точками зрения (усреднение). После этого выделяется суждение, наиболее близкое ко всей совокупности экспертных мнений.

Комплексный метод основан на выявлении интегративного показателя качества и представляет собой совокупность следующих операций:

-      выбор показателей качества оцениваемых обучающих тестов (метод многомерного шкалирования);

-      выявление допустимых  и оптимальных значений этих показателей (статистический метод экспертных оценок);

-      при необходимости определение коэффициентов весомости показателей качества (статистический метод экспертных оценок);

-      определение вида зависимости и границ итогового показателя [4, с.16].

При определении конечных показателей качества обучающего теста будем опираться на следующие положения:

-      показатели свернутости, альтернативности и сложности с использованием алгебраического подхода усредним при условии, что найденные крайние значения (максимальное и минимальное) не выходят за предлагаемые в шкале параметры;

-      исключим показатели длины  и ширины теста, в связи с их линейной зависимостью от уровня свернутости теста (длина теста будет отражаться в сложности теста, а ширина в уровне равномерности).

Таким образом, комплексный метод оценки будет применим к следующим независимым показателям (см. таб. 6).

 

Таблица 6

 

Правило принятия решения в комплексном методе оценки уровня качества обучающих тестов имеет вид [5, с. 163]:

-      уровень качества оцениваемого обучающего теста сопоставим с уровнем качества базового обучающего теста, если значение интегративного показателя уровня качества Q не меньше Qmin (Qmin<Q<Qmax);

-      уровень качества оцениваемого обучающего теста ниже уровня качества базового обучающего теста, если значение интегративного показателя уровня качества Q не превосходит Qmin (), или превышает  

В связи с тем, что в настоящее время нет единого подхода к выводу формулы конечного показателя качества обучающего теста, будем его рассматривать на основе теории «черного ящика», как некий закрытый объект, отдельные параметры которого не должны выходить за установленные границы. В этой связи визуализация конечного показателя обучающего теста становится обязательной процедурой, которую проще всего реализовать с использованием лепестковой диаграммы, на которой можно использовать необходимое количество осей-параметров.

Для того чтобы привести параметры в одно измерительное пространство воспользуемся формулой линейной нормализации:

, где х текущее значение параметра в интервале допустимых для него значений [a; b]. В нашем случае будем пересчитывать все значения в границах отрезка [0; 1]. Результатом визуализации рассчитанных нами шкал и выведенных экспертами оптимальных значений получится область качества обучающего теста или шаблон так называемого базового теста (рис. 3).

 

Рис. 3 Область качества обучающего теста

 

Желтым цветом в области качества обучающего теста обозначается множество допустимых значений параметров (при правильных расчетах, значения показателей за нее выходить не могут). Красным цветом выделена область недопустимых минимальных значений, при которых тест перестает быть обучающим, теряет свою надежность и валидность. Зеленым цветом обозначена кривая «идеального теста» по мнению экспертов, сравнивая с ней педагог может видеть какие именно параметры разработанного им теста следует изменить, чтобы повысить его качество, не прибегая к многократной апробации.

В результате на область качества обучающего теста (рис. 3) накладываются вычисленные параметры для разработанного пользователем теста и строится его диаграмма качества (см. рис. 4).

Так судя по полученному бордовому графику обучающего теста на рис. 4 можно увидеть, что все его параметры укладываются в установленные границы. Однако при сравнении с базовым (оптимальным вариантом), понятно, что требуется доработка по первому, второму и третьему параметру, которые в свою очередь отвечают за уровень свернутости теста, степень разветвленности и уровень равномерности соответственно. Причем уровни свернутости и равномерности теста больше оптимального состояния, их снижение может привести к снижению уровня сложности теста, который в текущий момент оптимален. Степень разветвленности составленного обучающего теста допустима, но минимальна. Ее увеличение приведет к повышению уровня сложности теста, что скажется положительно на общей оценки качества.

 

Рис. 4. Визуальная интерпретация качества обучающего теста

 

Таким образом, наглядное представление основных параметров качества обучающего теста и возможность их сравнения с базовым (эталонным) вариантом позволяют сразу увидеть недостатки разрабатываемого теста и спрогнозировать результаты их исправления, что приведет к повышению качества обучающего теста, а соответственно, достижению более высоких результатов обучения.

Соответственно достижение заданного уровня качества обучающих тестов базируется на многопараметрической оптимизации расчетных параметров теста (процесс обработки значений формализованных параметров качества обучающих тестов с использованием информационных технологий для установления наилучшего сочетания значений предлагаемых показателей). Создание визуальной интерпретации многопараметрической оптимизации качества обучающего теста позволяет педагогу наглядно увидеть недостатки обучающего теста, определить какие параметры требуют увеличения, а какие снижения еще на этапе его разработки без долгосрочной апробации.

Структура системы визуализации оценки качества обучающих тестов

На основании проведенного анализа научно-методических разработок в области оценки качества тестовых материалов, мы сформулировали требования к структуре и функционированию компонентов автоматизированной системы визуализации оценки качества обучающих тестов. На основании выявленных требований мы пришли к следующей структуре автоматизированной системы (см. рис. 5).

 

 

Рис.5. Структурная схема системы многопараметрической оптимизации качества обучающих тестов

 

Ключевым модулем системы является автоматизация визуальной многопараметрической оптимизации оценки качества обучающих тестов, которая поэтапно обеспечивает наглядное представление результата анализа и оценки качества тестов.

Этап № 1: Ввод исходных тестовых данных (рис. 6)

 

Рис.6 Форма ввода начальных параметров теста

 

После заполнения формы начальных параметров, открывается следующая форма ввода текстовых данных самого обучающего теста (см. рис.7).

 

Рис. 7. Форма наполнения теста

 

При сохранении происходит проверка нормативных характеристик введенного теста с установленными границами. Такие проверки происходят при каждом нажатии кнопки «Сохранить тест».

Этап № 2: Расчет всех параметрических характеристик обучающего теста

На этом этапе по каждому сконструированному обучающему тесту на экран выводятся сведения в виде паспорта (см. рис. 8), который включает в себя весь перечень параметров, которые характеризуют тест как педагогический инструмент. Зеленым цветом выделяются ключевые параметры обучающего теста, полученные на основе многопараметрической оптимизации.

 

Рис.8 Паспорт теста

 

Таким образом, педагог, ориентируясь по визуализированным показателям, более детально видит какие этапы формирования умственных действий проверяет данный тест и в результате может выстраивать индивидуальную стратегию обучения для каждого учащегося.

Этап №3: Сравнение расчетных параметров с установленными границами.

На форме зеленым цветом выделяются характеристики теста удовлетворяющие условиям эталонных значений, красным соответственно отмечаются значения неудовлетворяющие условиям (см. рис. 9). При наведении курсора на название критерия курсор меняет свою форму, после чего следует сделать один щелчок левой кнопкой мыши и система выдаст дополнительные сведения о нем (в зависимости от значения критерия дополнительная информация может менять свое содержание).

После прохождения повторного анализа отредактированных данных обучающего теста и получения соответствия параметров обучающего теста установленным критериям качества, выводится на экран расширенные данные теста со всеми промежуточными вычислениями и результатами в виде итоговой формы. Одно из удобств системы – это возможность прохождения теста не покидая среды его разработки (разработчик может выявлять неточности допущенные при разработке теста и своевременно их устранить).

Этап № 4: Вывод графической интерпретации параметрических характеристик теста

На данном этапе осуществляется вторичная стандартизация теста на основе вывода общего показателя качества обучающего теста в виде итоговой балльной оценки качества. По каждому из неудовлетворительных параметров предлагаются рекомендации по их улучшению в соответствии с представленным выше паспортом теста (см. рис. 8).

 

Рис. 9. Вывод рекомендаций по улучшению параметров теста

 

Этап №5: Детализированный отчет параметрических характеристик и вывод рекомендаций по их улучшению.

На данном этапе по запросу пользователя (Кнопка «Печать») будет выведен документ с описанием теста, его основными параметрами и рекомендациями по их улучшению.

Программная реализация автоматизированной системы оценке качества обучающих тестов на основе модульной структуры осуществлена с помощью среды объектно-ориентированного программирования [8, с.127], в данном случае использовали Delphi 7.

Помимо стандартного набора компонент самого Delphi, были использованы несколько сторонних:

- NiceGrid, отличающийся более широким функционалом, чем StringGrid;

- DBGridEh, который позволяет отображать данные, а также обладает более расширенными возможностями, чем стандартный DBGrid);

- KrHint позволяет совершенствовать и расширять стандартные возможности свойства Hint у имеющихся в автоматизированной системе визуальных компонент;

 - Business Skin Form дает возможность на этапе разработки задавать нестандартные типы оформления форм системы и компонент.

База данных проекта создана с использованием СУБД MS Access. Для связи проекта с базой используются компоненты Delphi ADO (чтобы облегчить работу с OLE DB, был создан дополнительный прикладной уровень, который получил название ADO (ActiveX Data Objects). Работать с ADO существенно проще, чем с OLE DB.

В проекте также есть возможность вводить и редактировать не только текст, но и формулы. Используется COM объект Microsoft Equation, который вызывается через универсальный компонент Ole Container. Этот компонент Delphi предназначен для того, чтобы вызывать и работать с установленными в системе приложениями, которые имеют COM интерфейсы.

Заключение

В результате проведенной работы была разработана система визуализации оценки качества обучающих тестов, которая позволяет еще до апробации тестовых материалов выявить их валидность и надежность, а также вывести графическую интерпретацию данных, на основе которых можно судить о пригодности тестов к дальнейшему использованию. Результатом многопараметрической оптимизации всех параметров теста является соответствие границам комплексного показателя нормативного качества обучающих тестов, определенных экспертами в рамках соответствующего исследования [3].

Положительным моментом использования разработанной системы при конструировании обучающих тестов является ее возможность определения рекомендаций по его дальнейшему использованию, а именно для какой категории учащихся он подходит. Для разработчика система выдает экспертные сведения по устранению имеющихся недостатков в разработке теста.

Список литературы

1.  Габай Т. В. Учебная деятельность и ее средства. – М.: Изд-во Моск. ун-та,1989. – 255 с.

2.  Гальперин П. Я., Талызина Н. Ф. Современное состояние теории поэтапного формирования умственных действий // Вестник МГУ. Серия 14, Психология. – М., 1979. – № 4. – С. 54–63.

3.  Кокшарова Е.А. Научно-методические подходы к автоматизации оценки качества обучающих тестов (на примере обучения учителей математики): Дис. ... кaнд. пед. нaук: 13.00.02 – М., 2010. – 120 с.

4.  Окладникова С.В. Модели оценки качества тестовых материалов на этапе разработки: автореферат дис. ... кандидата технических наук : 05.13.10 Москва, 2008, 27 с.

5.  Пермяков О.Е., Максимова О.А. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода.// Вестник педагогических инноваций. № 3 (7). – Новосибирск, 2006. – 157 – 178 с.

6.  Сеногноева Н.А. Технология конструирования тестов учебной деятельности как средства оценивания результатов обучения: Дис… д-ра пед. наук. – Киров: ВГГУ, 2006. – 403 с.

7.  Сивицкий П.А. «Методы оценки качества контролирующих материалов и повышение эффективности применения в адаптивных обучающих системах»: Автореферат на соискание ученой степени канд.тех.наук: 05.13.01 – системный анализ управление и обработка информации / П.А. Сивицкий. – Тула, 2006, 19 с.

8.  Kuznetsov, R.A., Ushakova, M.A., Maschenko, M.V.,Volkova, E.A. The technology of «computer vision» in the question of visual identification of a person // Scientific VisualizationVolume 9, Issue 1, 2017, Pages 124-136

---

Technology optimization in the question of assessing the quality of learning tests

Authors: E.A. Volkova¹, M.V. Maschenko²

Nizhny Tagil socio-pedagogical Institute (branch) of Federal state Autonomous educational institution "Russian state vocational pedagogical University", Nizhny Tagil, Russia

¹ ORCID: 0000-0003-4956-5291, koksharova_elena@list.ru

² ORCID: 0000-0002-7071-6376, maya_mach@rambler.ru

 

Abstract

This article describes the results of the work in the area of visualization of quality assessment of training tests. The detailed description of the algorithm of operation, interface and components of the automated system that visualizes the structure and pedagogical characteristics of the training test is given.

The presented system is based on the technology of multiparameter assessment, which is currently one of the most effective methods of identifying the final judgment about the feasibility of using the test material in the educational process.

The result was a software application in the programming language Delphi, which creates a collection of high-quality educational tests with the output of the visual component, which reflects all the properties and educational capabilities of the test material.

Experimental testing of visualization technology in assessing the quality of training tests in their design, as well as in trial use confirmed its high efficiency.

 

Keywords: training test, visualization properties, an application program, centers of learning, multiparametric optimization.

 

References

               

1.  Gabay T.V. Learning activities and tools. – M.: Izd-vo Mosk. UN-TA, 1989. - 255 p.

2.  Galperin P. Ya., Talyzina N. F. The Current state of the theory of step-by-step formation of mental actions. Episode 14, Psychology. ‑ M., 1979. ‑ № 4. ‑ p. 54-63.

3.  Koksharova E. A. scientific and methodological approaches to the automation of educational tests (on the example of teaching teachers of mathematics): Dis. ... kand. PED. Sciences: 13.00.02-M. 2010. ‑ 120 p.

4.  Okladnikova S.V. Models of evaluation of the quality of the test materials at the stage of development: abstract of Cand. ... candidate of technical Sciences: 05.13.10 Moscow, 2008, 27 p.

5.  Permyakov O.E., Maksimova O.A. Formalization of expert evaluation of the quality of test materials from the standpoint of a systematic approach.// Journal of pedagogical innovations.  No. 3 (7). ‑ Novosibirsk 2006. ‑ 157-178 p.

6.  Senognoeva N.A. Technology design tests of learning activities as a means of assessment of learning outcomes: Dis... Dr. PED. sciences'. ‑ Kirov: VSU, 2006. - 403 p.

7.  Sivitsky P.A. «Methods for assessing the quality of control materials and improving the effectiveness of adaptive training systems»: the abstract for the degree of kand.technical Sciences: 05.13.01-system analysis management and information processing / P. sivitsky. ‑ Tula, 2006, p. 19.

8.  Kuznetsov R.A., Ushakova M.A., Maschenko M.V.,Volkova E.A. The technology of «computer vision» in the question of visual identification of a person // Scientific Visualization. – Volume 9, Issue 1, 2017, p. 124-136.