НАУКА и ОБРАЗОВАНИЕ

Файл статьи: SE-BMSTU...o442.pdf (1410.91Кб)

УДК 004.42, 378.14

1 МГТУ им. Н.Э. Баумана, Москва, Россия 2 МФТИ, Долгопрудный, Россия

Введение. Актуальность проблемы. Возможность автоматической проверки решения практических задач является важной функциональностью любой  системы управления обучением (СУО). Особый интерес представляют сложные типы вопросов, подразумевающие творческий подход к решению задачи. Существует множество исследований, представляющих методы автоматизации оценки ответов студентов  по таким сложным типам ввода, как математические выражения, графики функций, эссе и др. Однако в открытых СУО, которые активно внедряются в российских и зарубежных учебных заведениях (Moodle, Sakai, Ilias и др.), наиболее распространенными типами задач по-прежнему остаются простые типы вопросов; такие, как, например, выбор из одного из несколько вариантов ответа.
Предмет и цель исследования. Цель исследования – создание метода, который позволит интегрировать произвольные алгоритмы автоматизированной проверки ответов в любые из существующих СУО, а также его практическая реализация в виде независимого программного модуля, который возьмет на себя работу с задачами в произвольной СУО.
Метод. Предложена модель объектов типа «алгоритмическая задача». Разработан унифицированный формат для хранения объектов этого типа, позволяющий сохранять их состояние. Алгоритм  задачи представляет собой набор переменных, которые задают зависимость ответов от входных данных (или наоборот). Базисные переменные (входные данные) выбираются псевдо-случайным образом из заданного диапазона, и на их основе находятся значения вычисляемых переменных (ответов). Такой подход позволяет синтезировать различные варианты одной задачи. Состояние задачи сохраняется с помощью «зерна» алгоритма генерации псевдослучайных чисел. На множестве алгоритмических задач построены функции управления жизненным циклом: инициализация create(), отображение render(), и оценка answer(). Эти функции реализуют интерфейс программного взаимодействия (API) модуля с СУО, и позволяют управлять программным модулем, отвечающим за работу с задачами.
Практические результаты. Выполнена реализация метода в виде программного модуля, отвечающего за отображение, взаимодействие со студентом и автоматическую оценку ответов студентов в задачах. Реализована работа модуля как в автономном режиме с помощью тестовых страниц,  так и  в режиме интеграции с произвольной СУО. Уделено особое внимание отказоустойчивости модуля благодаря возможности непрерывного сохранению состояния алгоритмических задач в базе данных. Разработанная архитектура позволяет интегрировать произвольные типы ввода и алгоритмы оценки в СУО. Преимуществом предложенного подхода является возможность генерации различных вариантов задач благодаря синтезу ее алгоритма, что необходимо для формирования уникальных домашних заданий или контрольных работ группам студентов.
Область применения. Результаты работы могут быть применены для расширения функциональности систем электронного обучения с целью включения в них сложных типов вопросов, поддерживающих автоматическую оценку ответов, вводимых студентами.
Дальнейшие исследования. Дальнейшие исследования на базе разработанного метода могут включать интеграцию сложных типов ввода ответов и алгоритмов их оценки, а так же создание других алгоритмов формирования обратной связи системы, осуществляемой функцией answer(). Например, актуальной является проблема генерации автоматической подсказки студенту на базе анализа неправильного ответа.

1. E-Learning Market Trends & Forecast 2014 – 2016 Report. A report by Docebo. Docebo, 2014. 48 p .
2. Кривичев А.И., Сидоренко В.Н. Использование открытых систем управления обучением в вузах // Всероссийская научно-практическая конференция «Развивающие информационные технологии в образовании: использование учебных материалов нового поколения в образовательном процессе» (ИТО-Томск-2010): матер. Томск, 2010. С. 270-273. Режим доступа: http://ito.edu.ru/2010/Tomsk/III/III-0-14.html (дата обращения 01.10.2014).
3. Question types // Moodle 2.9 documentation: website.
   Режим доступа:https://docs.moodle.org/29/en/Question_types (дата обращения 23.05.2015).
4. SAMigo Features // Sakai Wiki: website. Режим доступа: https://confluence.sakaiproject.org/display/SAM/SAMigo+Features (дата обращения 23.05.2015).
5. Livne N.L., Livne O.E., Wight C.A. Automated Error Analysis through Parsing Mathematical Expressions in Adaptive Online Learning // Proc. of the E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education. Chesapeake, VA: Publ. of Association for the Advancement of Computing in Education (AACE), 2006. P. 1321-1325.
6. Fife J.H. Automated scoring of mathematics tasks in the common core era: enhancements to m-rater in support of CBAL^TM mathematics and the common core assessments // ETS Research Report Series. 2013. Vol. 2013, iss. 2. P. 1-35. DOI: 10.1002/j.2333-8504.2013.tb02333.x
7. Bennett R.E., Morley M., Quardt D. Three Response Types for Broadening the Conception of Mathematical Problem Solving in Computerized Tests // Applied Psychological Measurement. 2000. Vol. 24, no. 4. P. 294-309. DOI: 10.1177/01466210022031769
8. Masters J. Automated Scoring of an Interactive Geometry Item: A Proof-of-Concept // The Journal of Technology, Learning and Assessment. 2010. Vol. 8, no. 7.
9. Shermis M.D., Burstein J. Handbook of automated essay evaluation: Current applications and new directions. Routledge, 2013.
10. Williamson D.M., Bejar I.I., Mislevy R.J. Automated scoring of complex tasks in computer-based testing. Manwah, New Jersey: Laurence Erlbaum Associates, Inc., 2006.
11. Бараш Л. Алгоритм АКS проверки чисел на простоту и поиск констант генераторов псевдослучайных чисел // Безопасность информационных технологий. 2005. № 2. С. 27 - 38.
12. Norvell T. Parsing Expressions by Recursive Descent. 2001 // Faculty of Engineering and Applied Science at Memorial University: website. Режим доступа:http://www.engr.mun.ca/~theo/Misc/exp_parsing.htm (дата обращения 23.05.2015).
13. Pirtle M. MongoDB for Web Development. Addison-Wesley Professional, 2011. 360 p.
14. Richardson L., Ruby S. RESTful Web Services. O'Reilly Media, 2007. 545 p.
15. Hunter J., Crawford W. Java Servlet Programming. 2^nd ed. O’Reilly Media, 2001. 782 p.
16. Перри Б.У. Развертывание одиночной страницы JSP под Tomcat // Java сервлеты и JSP. Сборник рецептов: пер. с англ. 2-е изд. М.: КУДИЦ-Образ, 2006. С. 41-43.
17. JSON // Википедия: сайт. Режим доступа: https://ru.wikipedia.org/wiki/JSON (дата обращения 28.05.2015).
18. Katz J., Lindel Y. Collision-Resistant Hash Functions // In book: Introduction to Modern Cryptography. CRC Press, 2014. P. 121 - 131.
19. Mironov A.A., Tsurkov V.I. Open transportation models with a minimax criterion // Doklady Mathematics. 2001. Vol . 64, no . 3. P . 374-377.
20. Мокряков А.В., Цурков В.И. Восстановление 2-комплексов по целочисленному неотрицательному вектору // Автоматика и телемеханика. 2011. № 12. С. 130-143.