НАУКА и ОБРАЗОВАНИЕ

УДК 378:53+004.04:004.822

Россия, Муромский институт (филиал) ФГБОУ ВПО
«Владимирский государственный университет им. А.Г. и Н.Г. Столетовых»

over.ph@gmail.com

a.v.samokhin@gmail.com

k-distance@rambler.ru

Введение

В настоящее время автоматизация диагностики уровня усвоения учебного материала позволила значительно снизить нагрузку на преподавателей и составителей педагогических тестов в рамках традиционного образовательного процесса, а в случае информационно-образовательных систем способствовала развитию адаптивных методов диагностики и в целом повышению эффективности тестовых методов контроля уровня подготовленности учащихся. Под педагогическим тестом в общем случае понимается репрезентативная система параллельных заданий равномерно возрастающей трудности, специфической формы, определённого содержания, позволяющая качественно оценить структуру и эффективно измерить уровень подготовленности испытуемых [1]. Процедуру диагностики уровня усвоения учебного материала можно условно разделить на три составляющие:

– формирование контрольно-измерительного материала;

– непосредственно процедура контроля, состоящая в фиксации действий испытуемых;

– анализ исходных результатов тестирования.

Среди круга задач, относящихся к области диагностики уровня усвоения учебного материала, выделим задачу, состоящую в определении уровня подготовленности учащегося перед изучением учебного материала, иными словами задачу входного контроля, решение которой позволяет оценить в какой мере учащийся готов к изучению выбранного учебного элемента. Значимость результатов входной диагностики в рамках информационно-образовательных систем объясняется тем, что они лежат в основе управления индивидуальной траекторией обучения.

На сегодняшний день наиболее рутинным и одновременно ответственным этапом в рассматриваемой задаче, который требует как можно более полного вовлечения педагога-эксперта, является этап формирования содержания контрольно-измерительного материала, представляющего собой основу педагогического теста. Сложность разработки методов и алгоритмов автоматизированного формирования контрольно-измерительного материала объясняется, в первую очередь, необходимостью повышения уровня автоматизации совместно с соблюдением ряда требований, предъявляемых к контрольно-измерительному материалу со стороны теории педагогических измерений. Актуальность рассматриваемой задачи, а в ней именно этапа формирования контрольно-измерительного, обусловлена ростом востребованности информационно-образовательным систем вместе с недостаточностью проработанности настоящего вопроса.

Таким образом, целью настоящей работы является разработка метода автоматизированного формирования содержания контрольно-измерительного материала, результаты диагностики в соответствии с которым будут наиболее полно отвечать требованиям, предъявляемым к ним со стороны теории педагогических измерений.

Для достижения поставленной цели необходимо рассмотреть теорию педагогических измерений и проанализировать существующие методы автоматизированного формирования контрольно-измерительного материала, а именно:

– определить базовые принципы отбора содержания контрольно-измерительного материала;

– выделить критерии оценки результатов диагностики уровня усвоения учебного материала;

– выполнить обзор и анализ существующих методов автоматизированного формирования контрольно-измерительного материала и оценить степень соответствия их требованиям, предъявляемым со стороны теории педагогических измерений;

– обосновать необходимость и выполнить разработку метода автоматизированного формирования контрольно-измерительного материала.

1. Принципы отбора содержания и критерии оценки результатов педагогического теста

В теории педагогических измерений вопрос отбора содержания контрольно-измерительного материала является одним из самых важных, решение по которому напрямую влияет на качество контроля, его эффективность и результативность [2].

Определение формальных правил отбора контрольных заданий опирается на необходимость соответствия результатов отбора следующим требованиям, предъявляемым в целом к педагогическому тесту и его результатам.

– Валидность. Под валидностью теста понимают характеристику, отражающую его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений [3]. При этом выделяют три вида валидности педагогического теста: содержательная, критериальная и конструктная [4].

– Надежность. Под надежностью результатов диагностики часто понимается мера корреляции ее результатов по параллельным вариантам контрольно-измерительного материала. Однако следует рассматривать характеристику надежности как величину не абсолютную для выбранного педагогического теста, но как сильно зависящую от условий проведения диагностики подготовленности учащихся, а именно: гомогенность групп испытуемых, их уровень предметной подготовленности, а также многие другие факторы [5].

– Эффективность. Процедура диагностики уровня усвоения учебного материала тем эффективней, чем больше информации об уровне предметной подготовленности учащегося она позволяет получить при меньшем числе контрольных заданий. Эффективность процедуры диагностики можно оценить с точки зрения свойства дискриминативности контрольно-измерительного материала или его дифференцирующей способности. В качестве одного из возможных показателей дискриминативности теста может выступать дисперсия результатов диагностики. Иными словами, тот тест, результаты диагностики в соответствии с которым имеют большую дисперсию, считается более эффективным в сравнении с другим вариантом теста при прочих равных условиях [3].

В работах [6, 7], посвященных вопросам формирования контрольно-измерительного материала, выделяются основные принципы отбора содержания педагогического тестирования, среди которых в рамках настоящего исследования отметим следующие.

– Значимость. Принцип значимости указывает на приоритетность включения в содержание контрольно-измерительного материала тех заданий, которые направлены на диагностику наиболее важных, ключевых элементов учебного материала.

– Репрезентативность. Помимо приоритетного включения в содержание контрольно-измерительного материала элементов, отвечающих требованиям принципа значимости, важно, чтобы эти элементы позволяли наиболее полно оценить уровень предметной подготовки испытуемого. Иными словами диагностируемый учебный материал должен быть наиболее полно отражен в содержании теста.

– Возрастающая трудность заданий. Кумулятивность знания, основанность трудных учебных элементов на более простых, в особенности в технических дисциплинах, требует проверки целостности знания испытуемых.  Принцип равномерно возрастающей трудности заданий проистекает из зависимости тестового балла испытуемого от количества контрольных заданий и распределения тестовых баллов по трудностям заданий [1, 3].

– Вариативность. Изменение содержания обучения, равно как и изменение характеристик испытуемых, влечет за собой необходимость соответствующего обновления содержания контрольно-измерительного материала.

– Системность. Подбор содержания контрольно-измерительного материала должен отвечать требованиям системности элементов содержания обучения. Помимо подбора элементов теста с точки зрения системности их содержания, необходимо иметь среди них задания, связанные между собой общей смысловой структурой.

На основе анализа требований к содержанию педагогического тестирования и принципам его отбора выделим следующие наиболее общие критерии оценки методов автоматизированного формирования контрольно-измерительного материала.

– Надежность. Оценивается величиной корреляции результатов по параллельным вариантам контрольно-измерительного материала, а также на основе результатов расчетов по формуле Спирмена-Брауна [3] и значения коэффициента Кронбаха [3].

– Дискриминативность. В общем случае вариация тестовых баллов по каждому из контрольных заданий, входящих в состав контрольно-измерительного материала, оценивается величиной дисперсии результатов диагностики , стандартным отклонением  и точечно-бисериальным коэффициентом корреляции .

– Валидность. Сложность определения степени валидности контрольно-измерительного материала, является основной причиной того, что в подавляющем числе случаев эта аналитическая задача выполняется экспертом. В рамках настоящей работы акцент  при определении валидности будет смещен в сторону оценки соотношения содержания контрольно-измерительного материала к семантико-логической структуре диагностируемых учебных элементов.

2. Обзор современных методов автоматизированного формирования контрольно-измерительного материала

Современные методы диагностики, включающие в себя этапы формирования содержания контрольно-измерительных материалов, можно условно разделить на методы, относящиеся к классической теории педагогических измерений, и адаптивные методы, включая теорию «ItemResponseTheory» и метрическую систему «Rasch Measurement». Ключевым различием этих дух подходов, с точки зрения настоящей работы, является то, что в отличие от традиционной педагогической теории конкретное содержание контрольно-измерительного материала в случае теории адаптивного тестирования не известно в начале процедуры диагностики и варьируется в ее процессе в зависимости от ответов испытуемого. Популярность адаптивных методов объясняется возможностью оптимизации задачи диагностики посредством использования заданий, соответствующих по сложности уровню подготовленности испытуемого, что позволит повысить точность измерений и снизить время контроля. В силу удобства реализации адаптивных методов на основе современных информационных технологий, в настоящее время методы адаптивной диагностики уровня усвоения учебного материала все чаще используются в рамках информационно-образовательных систем, обеспечивающих управление процессом дистанционного обучения.

Однако, несмотря на высокую популярность сегодня адаптивных методов, не вполне верным является распространенное мнение о тотальном преимуществе адаптивных методов над методами, разработанными в соответствии с классической теорией педагогических измерений [2, 8]. Фиксированность содержания контрольно-измерительного материала, сформированного в соответствии с классической теорией педагогических измерений, позволяет использовать его в целях установления целевого уровня усвоения учебного материала. В этом случае контрольно-измерительный материал может выступать в роли некоего ориентира, позволяющего учащемуся самому оценить соотношение его уровня владения учебными элементами с максимально возможным уровнем. Соответственно, имея фиксированный контрольно-измерительный материал, возможно проводить анализ результатов диагностики всех учащихся, получая информацию об уровне достаточности или недостаточности изученности учебных элементов применительно к отдельно взятым индивидуальным траекториям обучения.

Обзор и анализ существующих методов формирования контрольно-измерительного материла с точки зрения эффективности их применения в решении задачи диагностики уровня усвоения отдельного учебного элемента, позволяют сделать выводы о неполном соответствии рассматриваемых методов требованиям, выдвигаемым со стороны теории педагогических измерений. По характеру несоответствия проанализированных методов указанным выше требованиям и принципам отбора содержания контрольно-измерительного материала можно говорить о недостаточном использовании возможностей анализа содержания и результатов обучения. Также следует отметить недостаточную гибкость методов автоматизированного формирования контрольно-измерительного материала, построенных в соответствии с классическими подходами теории педагогических измерений. В случае автоматизированных методов формирования содержания тестирования, относящихся к классу адаптивных, также необходимо заметить контекстную отстраненность параметров, на основе значений которых производится выбор последующего контрольного задания, от семантико-логической структуры содержания и результатов обучения.

Исходя из результатов проведенных обзора и анализа существующих методов автоматизированного формирования контрольно-измерительного материала, обоснованной является необходимость разработки метода автоматизированного формирования контрольно-измерительного материала, позволяющего преодолеть указанные недостатки существующих методов.

3. Разработка метода автоматизированного формирования контрольно-измерительного материала

По результатам анализа характера несоответствия существующих методов автоматизированного формирования контрольно-измерительного материала предъявляемым к ним требованиям выдвинем следующую гипотезу: использование результатов семантико-логического анализа учебно-образовательной информации, а именно численной оценки уровня взаимозначимости учебных элементов, в методах автоматизированного формирования содержания контрольно-измерительного материала, позволит повысить показатели валидности, надежности и эффективности результатов диагностики, выполняемой на их основе.

В соответствии с выдвинутой гипотезой рассмотрим семантико-логическую структуру учебно-образовательной информации, представляемой посредством интегративной модели, описанной в работе [9]. На рисунке 1 приведен пример произвольного фрагмента структуры содержания обучения, где  — учебные элементы,  — взаимосвязи учебных элементов, семантика которых — «необходим для изучения».

Рисунок 1 — Произвольный фрагмент структуры содержания обучения

Тогда согласно разработанному методу автоматизированное формирование контрольно-измерительного материала для проведения процедуры входной диагностики целевого учебного элемента включает в себя следующие шаги.

1) Выбор целевого учебного элемента , для которого определяется степень готовности учащегося к его изучению на основе анализа уровня предметной подготовленности учащегося.

2) Определение глубины , типа  и веса  семантико-логических взаимосвязей как параметров ограничения, на основе которых выполняется включение учебных элементов, смежных целевому, в массив учебных элементов , подлежащих диагностике.

3) Анализ семантико-логической структуры учебного материала относительно целевого учебного элемента на основе определенных ранее параметров; формирование конечного массива учебных элементов  ( — число смежных учебных элементов), диагностика которых необходима для определения степени готовности учащегося к началу изучения целевого учебного элемента.

4) На основе предлагаемого автором в работе [10] метода, определение числовой оценки степени взаимозависимости учебных элементов — величин .

5) Кластеризация контрольных заданий на основе анализа результатов диагностики уровня усвоения учебных элементов . Каждому учебному элементу из массива  соответствует массив , состоящий из отдельных контрольных заданий, для каждого из которых возможно получить величины  — число неверных решений задания,  — число верных решений задания и  — число попыток решения, в которых не был дан ответ. Для каждого -го задания на основе зависимости  производится расчет параметра  — сложность (трудность) решения задания. Пусть матрица  имеет размерность . Тогда каждая строка матрицы имеет вид , где  — идентификатор контрольного задания, а  — искомый номер кластера (группы сложности задания). Пусть  функция итерационной кластеризации случайной величины, определяющая для каждого задания номер кластера (группы сложности).

6) Установление функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями на основе предлагаемой модели

,                                       (1)

где  —  — вектор весов учебных элементов , смежных целевому учебному элементу;

 —  — вектор искомых весов групп контрольных заданий  в соответствии с их сложностями;

 — число групп сложностей контрольных заданий;

 — вектор функций, устанавливающих зависимости между величинами весов учебных элементов  и соответствующими им группами контрольных заданий , разделенных в соответствии с их сложностями.

Настройка функциональных зависимостей настоящей модели, наряду со значениями взаимозависимостями учебных элементов , является определяющей в формировании контрольно-измерительного материала.

Рисунок 2 — Модель функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями. Приведен пример для .

7) На основе полученных числовых значений степени взаимозависимости учебных элементов  и установленных на предыдущем шаге функциональных зависимостей формирование матрицы  размерностью  такой что

                                              (2)

  — порядковый номер (элемент массива идентификаторов) учебных элементов ;

 — порядковый номер группы контрольных заданий ;

 — искомое нормализованное значение веса группы контрольных заданий соответствующего учебного элемента по каждой из групп сложностей контрольных заданий.

Матрица весов групп контрольных заданий для  имеет вид

.

8) Формирование контрольно-измерительного материала с фиксированным содержанием. Определение числа контрольных заданий .  Расчет матрицы  числа контрольных заданий, соответствующим учебным элементам  по каждой из групп сложностей:

Для примера, приведенного в предыдущем шаге, матрица  имеет вид

.

9) На основе информации, содержащейся в строке матрице , о числе контрольных заданий, разделенных по принципу учебный элемент / группа сложности заданий, выборка из массива  заданий и формирование конечного контрольно-измерительного материала. Распределение заданий по сложности и учебным элементам для рассматриваемого примера имеет вид, представленный на рисунке 3.

Рисунок 3 — Диаграмма распределения заданий в контрольно-измерительном материале

Создание и использование в учебном процессе программных средств, разработанных в соответствии с предлагаемым методом, позволит решать такие задачи, как формирование конечного содержания контрольно-измерительного материала, кластеризация контрольных заданий на основе анализа результатов обучения. Применение рассматриваемого метода позволит при формировании контрольно-измерительного материала автоматически определять  соотношение таких параметров контрольных заданий, как тема, число и сложность.

 Выводы

Научная новизна предлагаемого в настоящей статье метода заключается в следующем.

Формирование контрольно-измерительного объективированного на основе параметра, автоматически определяемого в ходе совместного анализа результатов обучения и семантико-логической структуры учебного материала — числовой оценки уровня взаимозначимости учебных элементов, входящих в состав контрольно-измерительного материала.

Использование автоматизированной кластеризации массива контрольных заданий на основе анализа результатов обучения.

Применение модели настраиваемых функциональных зависимостей взаимозначимости учебных элементов и весов групп контрольных заданий в соответствии с их сложностями.

Подобный подход позволил повысить степень автоматизации процедуры формирования контрольно-измерительного материала. При этом, опираясь на объективированные показатели, автоматически получаемые в ходе анализа содержания и результатов обучения, педагог-эксперт имеет возможность настраивать правила выборки контрольных заданий.

Экспериментальные исследования программных решений, реализованных в соответствии с разработанным методом, позволили определить следующие значения показатели надежности и дискриминативности:

– среднее значение точечно-бисериальной корреляции результатов по каждому отдельному заданию и результатов по контрольно-измерительному материала ;

– значения коэффициентов Кронбаха, Спирмена-Брауна, а также значения, получаемые по формуле KR-20 (F. Kuderи M. Richardson) в ходе экспериментов не опускались ниже значения .

Полученные результаты экспериментальных исследований разработанного приложения на базе предлагаемого метода автоматизированного формирования контрольно-измерительного материала на основе числовой оценки степени взаимозависимости учебных элементов позволяют судить о достоверности выдвинутой авторами гипотезы. Значения показателей надежности и дискриминативности контрольно-измерительных материалов, сформированных в соответствии с разработанным методом, позволяют сделать вывод о повышении степени автоматизации процедур диагностики совместно с соответствием их результатов требованиям теории педагогических измерений. Разработанный метод, равно как и его отдельные составляющие, могут быть использованы при решении задач формирования контрольно-измерительного материала в рамках классической и адаптивной теорий педагогических измерений.

Список литературы

1. Аванесов В.С. Тест как педагогическая система // Педагогические измерения. 2007. № 1. С. 33-55.

2. Аванесов В.С. Содержание теста и тестовых заданий. Статья вторая // Педагогические измерения. 2007. № 3. С. 3-36.

3. Ким В.С. Тестирование учебных достижений. Монография. Уссурийск: Издательство УГПИ, 2007. 214 с.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. М.: «Интеллект-центр», 2001. 296 с.

5. Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Центр тестирования, 2002. 240 с.

6. Прокофьева Н.О. Вопросы организации компьютерного контроля знаний // EducationalTechnology & Society (Международный электронный журнал). 2006. № 9 (1). С. 433-440. Режим доступа: http://ifets.ieee.org/russian/depository/v9_i1/pdf/6.pdf  (дата обращения: 01.12.2012).

7. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2011. № 4. Режим доступа: http://technomag.edu.ru/doc/184741.html  (дата обращения: 01.12.2012).

8. Wright B.D., Stone M.H. Best Test Design. Chicago: MesaPress, 1979. 219 p.

9. Макаров А.В., Ан А.Ф. Концептуальные основы проектирования информационно-образовательной среды непрерывного физического образования // Современные проблемы науки и образования. 2011. № 6. Режим доступа:  www.science-education.ru/100-5211  (дата обращения: 05.06.2012).

10. Макаров А.В., Макаров К.В. Подходы к проектированию метода числовой оценки степени взаимозависимости учебных элементов на основе модели персептрона // Алгоритмы, методы и системы обработки данных. 2012. № 21. Режим доступа: http://amisod.ru/index.php?option=com_content&view=article&id=150:amisod-2012-3-21-makarov-makarov&catid=21:amisod-2012-3-21 (дата обращения: 01.12.2012).