Другие журналы

научное издание МГТУ им. Н.Э. Баумана

НАУКА и ОБРАЗОВАНИЕ

Издатель ФГБОУ ВПО "МГТУ им. Н.Э. Баумана". Эл № ФС 77 - 48211.  ISSN 1994-0408

Адаптивные среды создания образовательных ресурсов

# 03, март 2009
авторы: Норенков И. П., Соколов Н. К., Уваров М. Ю.

 

МГТУ им. Н.Э. Баумана

norenkov@wwwcdl.bmstu.ru
 sokolov@bmstu.ru,
bigor@bmstu.ru

 

 

Введение.

Информатизация и компьютеризация  оказывают революционизирующее влияние на различные области человеческой деятельности. Но  наиболее существенно их воздействие   на интеллектуальные сферы жизнедеятельности людей, на технологии  накопления, использования и распространения знаний, включая образовательные технологии. Одной из основных проблем образования, решению которой должны помочь информационные технологии, является проблема обеспечения должного уровня качества обучения. В свою очередь, качество обучения в значительной мере определяется качеством образовательных ресурсов и, прежде всего, качеством используемых учебников и учебных пособий.

Качество образовательных ресурсов характеризуется большим числом показателей, отражающих актуальность материала, его структуру, соответствие  требованиям государственных стандартов высшего профессионального образования, полноту охвата видов учебных занятий, оптимальность  объема материала, предъявляемого обучаемому [1]. Традиционные дидактические требования  характеризуют такие свойства   информационных образовательных ресурсов, как  научность, доступность, проблемность, наглядность,   активизация деятельности, адаптивность, интерактивность [2]. При этом научность заключается в обеспечении достаточной глубины, корректности и научной достоверности изложения содержания учебного материала.  Доступность означает    недопустимость чрезмерной усложненности и перегруженности учебного материала, при которых овладение  материалом становится непосильным для обучающихся.    Проблемность подразумевает постановку  актуальных  учебных проблем, требующих  решения.  Наглядность  и полисенсорность имеют место при использовании  чувственного восприятия изучаемых объектов. Адаптивность характеризует приспособляемость образовательного ресурса к индивидуальным особенностям обучающегося. Интерактивность  отражает возможности взаимодействия обучающегося с образовательным ресурсом.    Очевидно, что свойства полисенсорности, адаптивности и интерактивности   достигаются  только при использовании компьютерных технологий.   

К числу показателей относят также ряд  технологических, психологических,   эргономических характеристик, примерами которых  могут служить цветовая палитра при визуализации материала,  выделение и подчеркивание важных фрагментов,  дружественность интерфейса (подсказки, надписи, справки), размер шрифта и т.п.

Среди названных показателей качества ЭОР важнейшими являются доступность, научная строгость, полнота. Это в определенной мере конфликтные показатели. Для поиска удачных компромиссных решений необходимо приспосабливать процесс  обучения к уровню знаний и умений, к психологическим особенностям обучаемых. Другими словами, необходимо применять адаптивные среды формирования образовательных ресурсов.

 В таких средах должны формироваться учебные пособия, соответствующие индивидуальным характеристикам обучаемых и индивидуальным условиям обучения. Оптимальные уровни строгости, подробности, стиля изложения будут различными для выпускников физико-математических и рядовых школ, для  людей с нормальными и ограниченными возможностями здоровья,  для впервые изучающих предмет и повторяющих материал, для очного и заочного образования.  Другими словами, нужна адаптация   как к уровню предварительной подготовки обучаемого, так и  к его конкретным запросам.  Кроме этих видов адаптации, необходимо предусматривать адаптацию учебного материала к достигнутому уровню развития соответствующей предметной области, что особенно важно для быстроразвивающихся приложений.

Для реализации рассмотренных видов  адаптации  необходима разработка  соответствующих технологии и реализующих ее программных средств .    В данной статье представлены результаты разработки одной из адаптивных образовательных информационных технологий - технологии разделяемых единиц контента (ТРЕК) и инструментальной системы синтеза электронных образовательных ресурсов БиГОР.

 

Основные определения.

Среда создания образовательных ресурсов является компонентом информационно-образовательной среды (ИОС).

По определению, данному в [3], информационно-образовательная среда  в широком смысле слова  – это  педагогическая система и ее обеспечение, т.е. подсистемы материально-техническая, финансово-экономическая, нормативно-правовая, управленческая и маркетинговая.  В ИОС реализуются функции электронной библиотеки, электронного деканата, контроля знаний, документирования, кадрового учета. Более частное толкование понятия ИОС связывает его с совокупностью учебно-методических материалов, прежде всего электронных образовательных ресурсов, средств их разработки, сопровождения, доставки, представления.

Электронный образовательный ресурс (ЭОР) – документальное и/или программное средство, используемое в учебном процессе для получения знаний обучаемыми, развития  умений и навыков их полезной деятельности и представленное в электронном виде. Практически синонимом ЭОР является компьютерное средство обучения (КСО), которое в [4] определяется как программное средство или комплекс, предназначенный для решения определенных педагогических задач, имеющий предметное содержание и ориентированный на взаимодействие с обучаемым. В [5] понятие образовательного ресурса  расширяется за счет включения в него таких составляющих, как администрирование учебного процесса, консультационная поддержка, сопровождение баз учебных материалов и т.п.  Отметим, что в  [5] наряду с вышеприведенным имеется также определение информационного образовательного ресурса, как структурированной совокупности электронных изданий, применяемых в обучении.

Частный и наиболее важный случай ЭОР - электронный учебник или электронное учебное пособие, для которых будем использовать совокупное обозначение ЭУИ – электронное учебное издание. В [6] для ЭУИ дается следующее определение: программно-информационная система, предназначенная для самостоятельной, прежде всего теоретической подготовки с помощью компьютера и содержащая структурированную учебную мультимедиа информацию, упражнения для ее усвоения, тесты для самоконтроля и интерактивные компьютерные программы, реализующие сценарии учебной деятельности по восприятию, осмыслению и закреплению знаний.  

Определение компьютерного учебника через указание его составных частей используют многие авторы. Так, в [5] компьютерный учебник – это носитель учебной информации для подготовки по определенной дисциплине, содержание которого должно быть достаточным для изучения ее в полном объеме, и содержащий также модуль проверки усвоения информации. В [7] основными компонентами электронного учебника названы теоретическая часть в виде гипертекста с возможными вставками аудио- и видеофрагментов, список вопросов и упражнений для самоконтроля с рекомендациями и примерами выполнения заданий, толковый словарь, часто задаваемые вопросы и ответы, описания лабораторных работ.

 Электронные  учебные издания классифицируются по нескольким признакам. В список таких признаков в соответствии с [4] входят:  характер  образования (гуманитарное, естественнонаучное, техническое);  решаемые педагогические задачи;   широта охвата материала; уровень образования;  используемые телекоммуникационные технологии;  форма представления материала;  характер используемых моделей;  вид  пользовательского интерфейса;  степень интеллектуальности.

Аналогичный список в [5] содержит признаки: место расположения ЭУИ (локальные, сетевые);  способ  доставки обучаемому;  метод  создания (медийный, игровой, издательский);  организация разработки (профессиональные команды или преподаватели);  степень открытости;  степень виртуальности (объекты или их модели).   Там же приведена и другая классификация ЭУИ: информационное, для практических занятий, компьютерная модель, тестирующее средство, комплексное средство.

А.В. Соловов [6] различает декларативные (артикулируемые) и процедурные (неартикулируемые) знания и соответственно определяет электронные учебники и тренажеры   в разные  группы.   

Находят применение последовательная, иерархическая, сетевая структуры ЭУИ.

Последовательная (иначе линейная) структура (рис. 1а, где М - модуль) характеризуется фиксированной последовательностью предоставления единиц учебного материала обучаемому, хотя возможно  гипертекстовое оглавление  – допустимы переходы по ссылкам из оглавления в любой раздел ЭУИ и возвраты в оглавление.

В иерархической структуре (рис. 1б) уровни иерархии обычно выделяются по степени подробности изложения. Переходы вниз с одного уровня на другой при пользовании ЭУИ выполняются, если  информации на верхнем уровне недостаточно  для понимания материала [5]. Как   последовательная, так и иерархическая структуры  разрабатываются автором ЭУИ и не изменяются в процессе эксплуатации пособия.  

 

Рис. 1. Структуры ЭУИ: а) последовательная;

б)  двухуровневая иерархическая

 

Моделью содержания ЭУИ сетевой структуры обычно является дерево. Вершины соответствуют единицам учебного материала, называемым разделяемыми единицами контента  или Shareable Content Object  (SCO). Дуги отражают отношение последовательности использования SCOв процессе изучения материала. Сетевая структура была предложена в работах [8,9] и реализована в стандарте SCORM [10]. Отношения между SCOне фиксированы, их устанавливает не разработчик базы учебных материалов, а разработчик каждого конкретного пособия.  

Автоматизированная обучающая система  (АОС) - согласованная совокупность учебных материалов, средств их разработки, хранения, передачи и доступа к ним, предназначенная для целей обучения и основанная на использовании современных информационных технологий [7].  В структуре АОС имеются подсистемы: поисковая; работы с учебным материалом; генерации задач; управления учебным процессом; регистрационная; модели обучаемых; преподавательский интерфейс. Упоминается о пользе тезауруса, но его наличие не связывается с процедурами построения ЭУИ и   поисковых подсистем [4]. Состав подсистем АОС в соответствии с [5]: подсистема представления учебной информации; инструментальная; управления обучением (LearningManagementSystem - LMS); тестирующая;  настройки (адаптации); доставки материалов обучаемым. Структуру АОС, предлагаемую в [7], иллюстрирует рис. 2. В [11] функциями ИОС названы планирование и администрирование, поддержка создания ЭУИ, тестирование и оценка знаний обучаемых, коммуникации участников учебного процесса, поиск информации и некоторые другие.

Неоднозначная терминология используется в отношении структурных единиц учебных материалов.

В одной из распространенных иерархических структур  изданий как традиционных, так и электронных принято выделять уровни глав, разделов, подразделов. Элементарный (неделимый) фрагмент  структуры в случае ЭУИ называют кадром или  статьей. Совокупность кадров, выделенная с той или иной целью, носит название  модуль [5]. В то же время авторы работы [7] термин модуль используют для именования элементарного фрагмента  ЭУИ. В [12] используется следующая иерархия структурных частей базы учебных материалов и ЭУИ: Curriculum,  CourseChapterSubchapterModuleLessonTopicSequenceFrameObject. Она может быть сокращена за счет исключения некоторых из уровней.

В дальнейшем в данной статье термин модуль используется для именования элементарного неделимого фрагмента учебного материала, т.е. как синоним понятия разделяемой единицы контента.

 

Рис. 2. Структура АОС

 

 

Технологии создания ЭУИ

Создание ЭУИ производится с помощью инструментальных систем (ИС). В зависимости от типа структуры формируемых ЭУИ различают несколько технологий и соответствующих им  типов  ИС.

Технологии создания ЭУИ последовательной и иерархической структур описаны многими авторами. Так, в [5] создание электронного учебника предполагается в пять этапов: 1) Разработка сценария. 2) Детализация сценария, определение содержания разделов, формулировка предложений по представлению учебного материала. 3) Реализация. 4) Инсталляция, тиражирование. 5) Сопровождение.

 Аналогичный взгляд на процесс проектирования электронных учебников представлен в [13], где в последовательность этапов разработки ЭУИ входят:   1) Определение целей и задач разработки.  2) Разработка содержания по разделам и темам ЭУИ.  3) Подготовка сценариев отдельных программ ЭУИ. 4) Программирование.  5) Апробация. 6) Корректировка по результатам апробации.  7) Подготовка методического пособия для пользователя.

В случае иерархической структуры разделение изучаемого материала производится  на два или более уровней по сложности либо подробности изложения. В случае дифференциации по сложности изложения  проектирование ЭУИ начинается с прогнозирования профиля (уровня подготовленности) контингента обучаемых. Первый уровень изложения рассчитан на наименее  подготовленную часть контингента и потому   является в той или иной мере упрощенным. Для продвинутых обучаемых предусмотрен материал второго уровня, позволяющий освоить предмет более глубоко. В случае дифференциации по степени подробности материал на первом уровне изложен весьма сжато, на последующих уровнях степень подробности возрастает (например, за счет большего числа привлекаемых аналогий, поясняющих примеров и т.п.) и обучаемый в зависимости  от своих индивидуальных потребностей (или в зависимости от результатов промежуточного тестирования знаний) может выбирать соответствующую траекторию изучения предмета.

Электронное учебное издание последовательной или иерархической структуры создается автором (или коллективом авторов), а практикующие локальные преподаватели непосредственного участия в создании ЭУИ не принимают. При выполнении этапов разработки пособия авторы ориентируются на некоторого  усредненного по своей подготовленности и запросам обучаемого. Содержание и структура формируемого пособия последовательной структуры не рассчитаны на учет индивидуальных особенностей и запросов обучаемых. В случае иерархической структуры имеется определенная степень вариативности, а, следовательно, и адаптивности в маршрутах обучения. Однако число вариантов маршрутов обычно существенно ограничено.

Таким образом, недостатками ЭУИ последовательной или иерархической структуры, с точки зрения адаптивности,  являются: 1) Ограниченные возможности отражения  множества вариантов адаптации (индивидуальных траекторий обучения). 2) Все модули вновь разрабатываемого ЭУИ также разрабатываются заново, предыдущие разработки могут рассматриваться только как некоторые прототипы для новой разработки. 3) В иерархических структурах обычно не конкретизируется принцип выделения уровней (по сложности или подробности изложения).

В связи с этим, несмотря на наличие определенных  черт адаптивности в ЭУИ иерархической структуры, будем называть  рассмотренные технологии  неадаптивными.

Признаком адаптивности  технологий создания ЭУИ и соответствующих им инструментальных сред является высокая степень вариативности обеспечиваемых маршрутов обучения при возможности настройки маршрутов автоматической или ручной локальным преподавателем (тьютором) или самим обучаемым.

Возможности адаптации существенно зависят от способа структурирования материала ЭУИ, а именно от размера учебных модулей и от системы межмодульных связей.

При крупномодульной структуре  число модулей невелико, разработка ЭУИ упрощается, однако адаптационные возможности технологии оказываются весьма ограниченными. С уменьшением размера модулей вариативность траекторий изучения материала и степень адаптивности возрастают.

В адаптивных технологиях создаются ЭУИ с настраиваемыми межмодульными связями.   Настройка может осуществляться  локальными преподавателями и самими обучаемыми (например, при самостоятельном повышении квалификации). Модули, как правило, имеют сравнительно небольшой размер и  перестают быть привязанными к одному электронному учебнику, могут быть использованы многократно в разных ЭУИ, т.е. становятся разделяемыми единицами контента (РЕК).  

В зависимости от характера отношений между элементами базы ЭОР  целесообразно различать два типа  адаптивных технологий создания ЭУИ. 

Первый тип технологий реализован в модели SCORM и потому далее будет называться технологией SCORM.

Преимущества технологии SCORM перед неадаптивными технологиями заключаются, во-первых, в легкости адаптации ЭУИ к изменениям в состоянии соответствующих предметных областей, поскольку для отражения  в учебном процессе новых научно-технических результатов не нужно заново разрабатывать весь ЭУИ, достаточно написать новый модуль. Во-вторых, из одного и того же набора модулей можно создавать не один, а много разных ЭУИ, ориентированных на различные группы обучаемых.

 Однако в технологии SCORM для того, чтобы модули  можно было включать в ЭУИ в произвольных комбинациях,  РЕК должны быть достаточно автономными.  Обращения из одного модуля к  внутреннему содержимому другого модуля с помощью межмодульных гипертекстовых ссылок недопустимы. При формировании ЭУИ создаются лишь межмодульные отношения вида «предыдущий-последующий». Эти особенности ограничивают возможности адаптации ЭУИ, снижают связность изложения, логическая последовательность изучения понятийного аппарата предметной области остается вне формального контроля.

Названные недостатки в значительной мере устраняются при применении адаптивных технологий второго типа, основой которых является создание общего понятийного каркаса рассматриваемых предметных областей в виде семантической сети [15]. Семантические сети выражают онтологии предметных областей и потому этот тип технологий создания ЭУИ целесообразно называть адаптивными технологиями на базе онтологического подхода или более кратко технологией  ТРЕК (технологией разделяемых единиц контента), как это сделано при ее описании  в работе [15].

 

Адаптивная технология разделяемых единиц контента

При применении ТРЕК информационно-образовательная среда имеет иерархическую структуру.   Верхний уровень ИОС относится к областям знаний (или  направлениям подготовки специалистов в вузах). Каждая область знаний поддерживается базами ЭОР, называемыми пакетами, относящимися к отдельным дисциплинам или крупным разделам дисциплин и составляющими второй уровень иерархии.  В каждом пакете  имеются   три основные составляющие (рис. 3):

·           онтология дисциплины;

·           множество РЕК, среди которых различают основные, тестовые и справочные модули;

·           ЭУИ, созданные в рамках дисциплины.

Рис. 3. Структура ИОС при использовании ТРЕК

 

Существует несколько определений онтологии. Одно из них гласит, что онтология – это формальное описание понятий (классов), называемых также концептами, в рассматриваемой предметной области, свойств  (атрибутов, слотов, ролей) каждого понятия, включает также декларативные и процедурные интерпретации понятий и их отношений и ограничения (фасеты), наложенные на слоты. В центре большинства онтологий находятся классы. Слоты могут иметь различные фасеты, которые описывают тип значения, разрешенные значения, число значений (мощность) и др. Другое определение, не противоречащее предыдущему: онтология предметной области -  система понятий, их свойств, значений свойств и отношений между понятиями, представленная формальными средствами.

Один из способов представления онтологий -  семантические сети, вершины в которых соответствуют концептам, а дуги характеризуют отношения между концептами. Другой способ – описание онтологии в виде тезауруса, т.е. в виде   упорядоченного перечня используемых терминов, обозначающих концепты, с отражением семантики и связей между концептами, например, с помощью гиперссылок. Разработаны  специальные языки онтологий, примерами которых могут служить язык Express, созданный для целей информационной поддержки промышленных изделий на различных этапах их жизненного цикла и изложенный в группе стандартов STEP, и языки OWL, DAML, OIL, применяемые преимущественно для целей информационного поиска в семантическом Web.

Методики формирования онтологий описаны во многих работах, например в  [14] представлена следующая последовательность этапов:

- извлечение знаний; 

- структурирование (концептуализация) знаний -  разработка неформального описания знаний о данной предметной области в виде графа, таблицы, диаграммы и т.п. 

- формализация -   разработка базы знаний на языке представления знаний,  

- реализация (программирование ) -   разработка программного комплекса; 

- тестирование.

В онтологиях (семантических сетях) применяют  отношения (связи) нескольких типов:

       - связи типа "часть - целое", иначе называемые  связями И;

       - родовидовые связи, иначе называемые  связями ИЛИ;

- атрибутивные связи «объект – свойство объекта»;  

- временные («предыдущий – последующий», в течение, позже);

- пространственные связи (далеко от, близко от, под, над :);

- каузальные связи («причина - следствие») и др..

Применительно к технологиям создания ЭУИ целесообразно представлять онтологии в виде тезаурусов.

Обозначим:

W - множество слов и словосочетаний используемого естественного языка и других элементов (рисунков, фрагментов мультимедиа и т.п.), встречающихся в учебном материале;

T - множество терминов, соответствующих концептам (понятиям), включаемым в онтологию приложения, и  представленных в виде  слов или словосочетаний, T W. Множество Kконцептов отличается от множества T тем, что одному концепту может соответствовать не один термин, а синсет  (множество синонимов).

Тезаурус представляет собой частично упорядоченное множество элементов вида:

 Zi = (RiT, XiW,  EiT), i = 1…n,                             (1)

где  Ri–термин  i-го концепта,  Xi – множество слов, составляющих краткое определение (текст) концепта,   Ei – подмножество терминов, используемых в кратком определении для пояснения i-го концепта, n – число элементов тезауруса, равное числу учитываемых концептов.

Упорядочение определяется соблюдением  условия, означающего, что  в тезаурусе i-му термину должны предшествовать (должны быть определены ранее) все термины, входящие в Ei 

  eikEi Ri                                                             

Пояснение понятий, их свойств и характеристик содержится в модулях.  В одном модуле может содержаться описание одного или нескольких тематически связанных понятий. Типичные размеры модулей составляют от одного абзаца до нескольких страниц текста с возможными вставками рисунков, фотографий, видеофрагментов и т.п.

Каждый модуль состоит из тела и метаданных. Метаданные  представляют собой спецификацию, включающую регистрационные и интерфейсные атрибуты. К   регистрационным атрибутам относятся имена авторов модуля, даты написания модуля и внесения изменений, уровень сложности, данные о сертификации модуля и т.п.  Интерфейсные атрибуты служат для согласования данного модуля с другими модулями в составе создаваемых ЭУИ и включают списки терминов, обозначающих используемые в модуле понятия.  Термины и соответствующие им концепты, определяемые в модуле, называются выходными или просто выходами модуля. Термины и понятия, используемые  в модуле для определения выходов, называются входными или входами модуля.

Таким образом, модуль может быть определен аналогично (1) 

Mj = (BjT, AjT, CjW),

где Bj  - подмножество входов j-го модуля,   Aj - подмножество выходов j-го модуля,   Cj – метаданные и содержимое модуля.

Любой bjlBj должен предшествовать любому ajkAj. Соблюдение  этого условия при наличии предварительно разработанного тезауруса обеспечивается следующей процедурой формирования Bj и Aj. Сначала система автоматически формирует и предъявляет разработчику модуля исходный вариант этих подмножеств путем поиска в Cj всех тех слов и словосочетаний, которые входят в T. Далее автор модуля отмечает только те из них, которые являются существенными для понимания содержимого модуля.

Любой отмеченный автором ajk порождает  запись термина ajk и адреса модуля Mj в список адресов S. Любой отмеченный автором bpq порождает  ссылку на строку в S, соответствующую термину bpq, и затем гиперссылку на модуль Mp. Тем самым происходит полуавтоматическое преобразование текста модуля в гипертекст, задача разработчика модуля заключается лишь в том, чтобы отметить нужные термины в предъявленных системой списках Bj и Aj. Аналогичным образом преобразуются в   гипертекст краткие определения Xiтезауруса.

При использовании онтологий в структурах базы ЭОР и ЭУИ следует различать связи межмодульные, межпонятийные и смешанные. Межмодульные связи являются отношениями последовательности изучения модулей, т.е. отношениями «предыдущий-последующий». Межпонятийные связи являются отношениями онтологий предметных областей. Смешанные связи являются связями между концептами и модулями, они   характеризуются вхождением  в модули   входных или выходных концептов.

  Важным отличием структуры ЭУИ при применении ТРЕК от структур учебников, разрабатываемых в соответствии с другими технологиями, является наличие в них, кроме межмодульных, также смешанных связей, показанных на рис. 4.  Из ЭУИ  можно перейти в тезаурус для получения краткой информации по любому используемому в ЭУИ понятию с помощью связи 1  и, если нужна более полная информация, получить ее, благодаря связям 2 или 4. Взаимные переходы между множествами модулей и тезаурусом при работе пользователя с ЭУИ могут быть многошаговыми (например, последовательным активированием связей 1 – 2 – 1 - 4 – 3 – 4 и т.д.).   Это отличие означает, что  сформированные по технологии ТРЕК учебные пособия обладают расширенными возможностями адаптации, благодаря  исполнению ЭУИ  в среде полной базы ЭОР,    вне этой среды   возможности навигации по всему информационно-образовательному пространству будут потеряны.

Рис. 4. Сетевая структура ЭУИ

Таким образом, для технологии ТРЕК характерны следующие особенности:

1.      Формирование  ЭУИ, адаптированных к особенностям конкретных обучаемых, на основе предварительно разработанной онтологии соответствующей предметной области.

2.      Реализация в ЭУИ как межмодульных, так и межпонятийных и смешанных связей.

3.      Разработка учебно-методических материалов при участии двух категорий авторов.  Конкретные версии ЭУИ создают преподаватели, непосредственно работающие с определенным контингентом обучаемых. При этом исходным материалом для создания ЭУИ служат  онтологии и множество учебных модулей, разработка которых – функция авторов базы ЭОР.

4.      Полуавтоматическое преобразование текста в гипертекст.

5.      Развитые поисковые возможности, благодаря использованию онтологий.

 

Интеграция баз ЭОР.

К настоящему времени создано большое число АОС и инструментальных сред. Разработкой  баз ЭОР занимаются многие преподавательские коллективы в университетах многих стран. В России находят применение отечественные (Competentum.МАГИСТР 2008, СДТ REDCLASS, HyperMethod, Прометей,  КАДИС  и др.) и зарубежные (WebCT, LearningSpace 5.0, MicrosoftClassServer 3.0, Raptivity и др.) системы. С их помощью разработано большое число ЭУИ.

Развитие баз ЭОР происходит путем их пополнения из различных источников, поскольку  только некоторые крупные организации, располагающие большими средствами, могут без привлечения сторонних источников создавать базы ЭОР, полностью обеспечивающие реализуемые образовательные программы. Как правило, в информационно-образовательных средах  используются ЭОР, разработанные   разными  коллективами. Причем включение некоторого ресурса в базу ЭОР необязательно подразумевает физическое размещение ресурса на сервере организации, владеющей базой ЭОР, достаточно ссылки на ресурс, если база является распределенной. Однако пользователь не обязан осваивать особенности и интерфейсы каких-либо новых АОС при переходе к пользованию новыми ресурсами.  Поэтому возникает проблема объединения ЭОР в составе одной АОС.     

Чем проще структуры ЭУИ, тем легче их интегрировать. Так, для использования ЭУИ последовательной структуры рис. 1а в форматах Word или html достаточно иметь соответствующий редактор или браузер.  Переход к  более совершенным структурам  влечет усложнение  интеграции  ЭУИ.  

Основной путь решения проблемы интеграции     – унификация и стандартизация характеристик ЭОР, определяющих такие процедуры, как    представление учебных материалов пользователю, поиск ЭОР в образовательном пространстве, управление учебным процессом.   

Стандартизацией в области информатизации образования занимается ряд международных и национальных организаций. К их числу относятся:

·           Образовательный консорциум по проблемам   систем  управления обучением IMS GLC (Instructional Management Systems Global Learning Consortium);

·           Комитет стандартизации в области технологий обучения LTSC, созданный в Институте электротехники и электроники  IEEE   (Learning Technology Standards Committee in Institute of Electrical and Electronic Engineers); 

·           Комитет по компьютерному обучению в авиации AICC  (Airline Industry Computer Based Training Committee);

·           организация «Продвинутое распределенное обучение» ADL (AdvancedDistributedLearningInitiative),   основанная департаментом политики в области науки и технологий в администрации президента США   и министерством обороны США.

В качестве базового языка представления материалов  в АОС общепризнанным является язык разметки XML, на его основе создаются специализированные подмножества, ориентированные  на  математические тексты, на некоторые приложения, например, химию, на описание самих стандартов, метаданных и репозиториев ресурсов и др.  Оговорен список форматов, допустимых для представления графической информации, видео- и аудиофайлов.

Для каталогизации документальных ресурсов и их поиска разработаны   международные стандарты  DublinCore («Дублинское ядро»),  развиваемый с 1995 г. организацией DublinCoreMetadataInitiative [17], и в сфере образования - стандарт IEEELearningObjectMetadata(LOM) [18].

Требования к структурам ЭУИ, обеспечивающие интероперабельность ресурсов в Интернет и их совместимость с системами управления обучением  LMS (learningmanagementsystems), представлены в стандартах  IMSContentPackagingInformationModel [19] и SCORM [10]. Стандартизованная структура ЭУИ состоит из манифеста, содержащего общие сведения о ЭУИ, и контента - собственно учебного материала (рис. 5).

 

Рис. 5. Стандартная структура ЭУИ

  

С использованием этих стандартов реализуются крупные проекты создания баз ЭОР и систем открытого доступа к ним. Прежде всего следует назвать проект консорциума OCW - Open Coursе Ware [20], инициируемый ЮНЕСКО и поддержанный десятками университетов разных стран. В создаваемой информационно-образовательной среде  обеспечиваются автоматическое взаимодействие между базами ЭОР  на основе XML-подобного  формата представления данных RSS, сбор  информации, отслеживание происходящих в базах изменений,  доступ  пользователей к распределенным ресурсам.   Технология RSS позволяет компьютерам автоматически распознавать и отбирать информацию, нужную пользователям, составлять списки тем и предметов, интересующих конкретного пользователя, и следить за изменением соответствующих ресурсов. 

  Другой пример интегрированной среды -  система доступа  к образовательным ресурсам OER (OpenEducationalResourcesCommons),  уже насчитывающая несколько тысяч образовательных ресурсов [21].

  В России создана система образовательных порталов [22], примерами которых являются   «Российское образование», естественно-научный портал, «Экономика, социология, менеджмент», «Инженерное образование  и др.

Быстрое развитие Интернет и Web-технологий приводит к появлению новых возможностей в реализации электронного обучения  и к естественному отставанию  стандартов в отражении этих возможностей. В частности. в имеющихся стандартах не отражены вопросы интеграции ЭОР, созданных в соответствии с  адаптивной технологией разделяемых единиц контента  и полученных с помощью других технологий. Особенностью ЭУИ, созданных по технологии онтологической ТРЕК, является их исполнение в одной среде с тезаурусом и пакетами множества других дисциплин, как это проиллюстрировано рис. 4. Для поддержки адаптационных возможностей ТРЕК необходима соответствующая АОС, реализующая онтологии предметных областей. При ее отсутствии в ЭУИ, переданном в другую среду, теряются межпонятийные связи и, следовательно, теряются преимущества адаптивной ТРЕК перед моделью SCORM.  

Другая особенность интеграции баз ЭОР при применении адаптивной ТРЕК заключается в необходимости интеграции онтологий одних и тех же или смежных предметных областей, получаемых из разных источников.  Проблема семантической интеграции возникает, если в объединяемых онтологиях имеются общие концепты.

Объединение семантических сетей возможно путем слияния вершин одинаковых концептов и дуг одинаковых отношений между одними и теми же концептами. Однако при   разнонаправленной интерпретации одного и того же отношения в объединяемых сетях  появляются замкнутые контуры, что в итоге приводит к нарушению принципа «понятие А, используемое для определения понятия В, должно быть определено в формируемом ЭУИ раньше понятия В». Под направленным  отношением здесь понимается антисимметричное отношение, т.е. упорядоченное двухэлементное множество {A,B}, а под разнонаправленной интерпретацией отношения  подразумевается его представление в одной семантической сети, как {A,B}, а в другой как {B,A }, например в первом случае имеем отношение «род-вид», а в другом оно представляется как  «вид-род». Разнонаправленными могут быть не только родовидовые отношения, но и многие другие, например, «часть-целое»,  «причина-следствие», «предыдущий-последующий».

Автоматическая семантическая интеграция становится возможной, если использовать следующие ограничивающие правила при формировании онтологий:

1)        учитываются только направленные связи (другими словами, семантическая сеть представляется в виде  орграфа);

2)        допустима только заранее оговоренная интерпретация разнонаправленных отношений, например только «род-вид» с запретом связей «вид-род».

Другими словами, из двух стилей изложения материала - дедуктивный  (нисходящий) или индуктивный (восходящий) - должен быть выбран какой-либо один и использоваться во всех онтологиях, претендующих на объединение.

Для исследования вопроса, насколько жесткими являются  ограничения на построение онтологий, диктуемые сформулированными правилами, целесообразно оценить, во-первых,  долю направленных отношений в  реальных онтологиях и, во-вторых, степень разнонаправленности этих отношений. Исследование проводилось на случайно выбранных фрагментах онтологий дисциплин  «Сети и телекоммуникационные технологии», «Генетические алгоритмы» и «Программная инженерия», разработанных и используемых в системе БиГОР [23]. Результаты исследования приведены в табл. 1, где N – число экземпляров отношений конкретного типа, q – коэффициент разнонаправленности, равный отношению числа превалирующих отношений к общему числу отношений данного типа.

Табл. 1

Вид отношения А/В

N

N, %

q

Часть/целое

9

4,0

-

Целое/часть

43

19,0

0,83

Вид/род

0

0

-

Род/вид

79

35,0

1

Объект/воздействие

29

12,8

0,91

Воздействие/объект

3

1,3

-

Свойство/объект

0

0

-

Объект/свойство

5

2,2

1

Местоположение / объект

4

1,8

0,8

Объект/местоположение

1

0,4

-

Прочие

53

23,5

 

   Итого

226

100

 

 

Из данных таблицы, во-первых,  следует, что ради обеспечения интегрируемости онтологий допустимо ненаправленными отношениями пренебречь, поскольку в онтологиях преобладают направленные отношения (76,5 %), Во-вторых, в направленных онтологиях в качестве отношений «определяющее понятие/определяемое понятие» преимущественно используются отношения одного направления, это целое/часть, род /вид, объект/воздействие и местоположение/объект, именно эти отношения и следует использовать в онтологиях, отказавшись от применения отношений противоположной упорядоченности.   

 

Синтез траекторий обучения

В развитых базах ЭОР обычно имеется более чем по одному модулю, поясняющему одно и то же понятие, Такие модули могут различаться своим объемом, характером изложения материала, значениями своих метаданных. В этих условиях для одних и тех же исходных данных можно предложить большое число различных маршрутов обучения и, выбрав среди них маршрут, наиболее подходящий для конкретного обучаемого, создать соответствующий индивидуализированный ЭУИ. 

Одна из  задач построения  маршрутов обучения рассмотрена в работе [16], в которой предлагается оптимальное размещение точек контроля знаний  в последовательности учебных модулей. Ниже рассмотрен метод построения оптимальных маршрутов, адаптированных к индивидуальным потребностям обучаемых. Возможными критериями оптимальности маршрутов могут служить длина маршрута, измеряемая числом модулей или их объемом, или функции параметров, входящих в метаданные модулей, отобранных для ЭУИ,  например, сложность  изложения материала.  

 В качестве исходных данных в задаче синтеза оптимальных маршрутов обучения обычно используется множество  целевых концептов, т.е. концептов, которые  должны быть изучены с помощью создаваемого ЭУИ. Предполагается известным также множество  освоенных концептов, т.е. концептов, уже изученных пользователем. Необходимо определить маршрут, состоящий из модулей и ведущий от освоенных концептов к целевым с минимизацией выбранного критерия.

В качестве модели поискового пространства, содержащей все возможные маршруты обучения, используется сетевая структура базы ЭОР, подобная структуре рис. 4, но с детализацией отмеченных на рисунке множеств модулей и концептов и введением смешанных связей между ними. Полученный граф (в частном случае   дерево) по своей семантике является И-ИЛИ графом. В нем дуги, входящие в вершину концепта, соответствуют возможным альтернативам в выборе модулей, поясняющих этот концепт, следовательно, вершины концептов являются ИЛИ-вершинами. Дуги, входящие в вершину модуля, соответствуют входам этого модуля, для активизации (понимания) этого модуля все входные понятия предварительно должны быть изучены, следовательно, вершины модулей являются И-вершинами.  

На рис. 6 в качестве примера представлен фрагмент базы ЭОР в виде И-ИЛИ графа,     где  вершины концептов ki, изображенные овалами, и вершины модулей mj, изображенные прямоугольниками, обозначены соответственно ki и mj. Освоенных концепты на рисунке не показаны.

Задача синтеза маршрута обучения формулируется как задача минимизации выбранного критерия при соблюдении условий попадания целевых концептов и поддерживающих их входных концептов в синтезируемый маршрут. Эти условия формулируются в виде (1) и (2):

Ki=1,                                                                                          (1)

гдеKi - булева переменная целевого концепта ki.  Переменная Ki может быть выражена через булевы переменные  Mij модулей, в которых ki является выходным концептом, и через переменные Kjr входных для этих модулей концептов:

 

Ki = ΣMijП  Kjr,                                                                  (2)

         jÎJi  rÎRj

где Σ и П – знаки логических сложения и умножения, Ji - множество номеров модулей, в которых определен концепт ki; Rj – множество номеров концептов, входных для модуля mj. Отметим, что  Mij=1 и Kjr=1 означает, что соответствующие модуль и концепт входят в создаваемый маршрут.    

Рис. 6. Фрагмент семантической сети базы ЭОР

 

Синтез маршрута начинается с записи условий (1) для целевых концептов. Если в примере рис. 6 к целевым относятся концепты k1,k2,k3, то

K1*K2*K3= 1.

Далее последовательно применяется выражение (2) для замены переменных Ki с учетом очевидных правил K*K=K  и a*M+M=M. Замены прекращаются, когда в подставляемых выражениях останутся только освоенные концепты. В примере получаем (освоенные концепты опущены):

 M1* M2* M3* M4* M7* M10* M11* M12* M14* M15* M16 * M17* K19* K20 +

 M1* M2* M3* M6* M8* M11* M12* M14* M15 * M16 +

 M1* M2* M3* M6* M10* M11* M12* M14* M15* M16 * M17* K 19* K20  +

 M1* M2* M3* M8* M10* M11* M12* M14* M15* M16 * M17* K 19* K20 = 1.

Это итоговое выражение из четырех дизъюнктивных членов интерпретируется, как наличие четырех альтернативных маршрутов обучения, каждый из которых  покрыт последовательностью модулей. Если задачей является построение ЭУИ с минимальным числом модулей, то из числа альтернативных последовательностей будет выбран маршрут, состоящий из цепочки модулей

M1*M2*M3*M6* M8* M11*M12*M14*M15 *M16.

  

Система «База и генератор образовательных ресурсов» (БиГОР)

Система БиГОР предназначена для создания и сопровождения баз учебных материалов, синтеза новых учебных пособий (ЭУ) в соответствии с технологией разделяемых единиц контента и для использования созданных пособий обучаемыми. Другими словами, система реализует функции инструментальной среды создания ЭУИ и ряд функций АОС.

   В состав системы входят следующие подсистемы:

·        информационная - база учебных материалов (БУМ);

·        авторская (инструментальная) - среда создания и сопровождения БУМ;

·        компилирующая – подсистема синтеза новых учебных пособий;

·        обучающая  - подсистема конечных пользователей; 

·        поисковая;

·        диагностическая.

 База учебных материалов состоит из пакетов, каждый из которых относится к определенной дисциплине (предметной области). Пакет, в свою очередь, включает тезаурус  и набор модулей, в котором имеются подмножества основных (учебных) и тестовых модулей.

Тезаурус имеет иерархическую структуру, например, могут быть выделены уровни дисциплин, разделов дисциплин, их подразделов и элементов. Элемент тезауруса – это запись, включающая термин и его краткое определение. 

В тезаурусе  используются отношения «определяемое понятие – определяющее понятие», например, в нижеследующем элементе тезауруса определяемый термин «Таблица маршрутизации» выражен через термины «Маршрутизатор», «IP-адрес» и «Порт»:

Концепт: Таблица маршрутизации

краткое определение:   Таблица в памяти маршрутизатора, устанавливающая соответствие между IP-адресом адресата и портом маршрутизатора

Представление отношений возможно не только путем выделения терминов в тексте краткого определения, но записью в элементе тезауруса списка ключевых слов.

Пояснение понятий, их свойств и характеристик содержится в статьях, называемых основными модулями  (или основными разделяемыми единицами контента).   В одном модуле может содержаться описание одного или нескольких тематически связанных понятий. Типичные размеры модулей составляют от одного абзаца до нескольких страниц текста с возможными вставками рисунков, фотографий, видеофрагментов и т.п.

Каждый основной модуль состоит из тела и метаданных. Метаданные  представляют собой спецификацию, включающую регистрационные и интерфейсные атрибуты. К   регистрационным атрибутам относятся имена авторов модуля, даты написания модуля и внесения изменений, уровень сложности, данные о сертификации модуля и т.п.  Интерфейсные атрибуты служат для согласования данного модуля с другими модулями в составе компилируемых версий учебных пособий и включают списки терминов, используемых в модуле и соответствующих входным и выходным понятиям.   

Любое понятие может оказаться в списках выходов нескольких модулей.  Такие модули могут различаться методическими особенностями, подробностью и стилем изложения материала, ссылками на те или иные примеры, использованием того или иного подмножества входных терминов и т.д. Подобная неоднозначность обеспечивает возможность индивидуализации создаваемых версий ЭУИ.   

В разных АОС назначением тестирования могут быть оценка знаний для аттестации обучаемого или самоконтроль для проверки степени усвоения материала. В БиГОР тестовые модули используются только для самоконтроля обучаемых. Каждый из тестовых модулей соответствует одному заданию или упражнению, выполнение которых позволяет  обучаемому проверить свои знания или умение их применения для решения практических задач.    Тестовые задания могут быть различных типов, например, требующие выбора правильного варианта ответа из приведенного списка, решения задачи с получением фиксированного ответа, синтеза принципиальной или логической схемы, составления граф-схемы алгоритма или фрагмента программы и т.п.  Сопоставление  ответа с правильным результатом наряду с наличием комментариев и рекомендаций по изучению тех или иных разделов или модулей позволяет обучаемому осуществлять самоконтроль успешности освоения учебной программы и целенаправленное устранение пробелов в полученных знаниях.

В любом из модулей  системы БиГОР возможны ссылки на документы, созданные  и открываемые в других приложениях. Примерами внешних  по отношению к  БиГОР  документов могут служить  HTML-файлы,   презентации MicrosoftOffice,   анимационные, звуковые и видеофрагменты различных форматов и т.д.

Авторская подсистема используется авторами учебных материалов и служит для разработки новых основных и тестовых модулей, внесения дополнений и изменений в БУМ.  Основой авторской подсистемы БиГОР является оригинальный  редактор для написания и редактирования   модулей.   Используется  подмножество языка XML  с расширенными средствами представления документов с математической нотацией, что обусловливает удобство  применения редактора для   научно-технических приложений.

Текстовый редактор системы БиГОР наделен рядом специфических функций, облегчающих работу авторов учебных и тестовых модулей. Примерами таких функций могут служить автоматическое выделение в тексте  понятий, имеющихся в тезаурусе; включение в число разрешенных символов новых изображений, определенных в международном стандарте Unicode (в том числе и тех, которые отсутствуют в шрифтах операционной системы компьютера);   внедрение в файлы модулей графических изображений и т.п.

Несмотря на то, что модули могут создаваться различными авторами, не связанными между собой никакими предварительными договоренностями, на основе реализованного XML-подмножества достаточно легко обеспечивается общее единство внешнего стиля оформления и формальной структуры представления всех документов БУМ.

К функциям  инструментальной подсистемы относятся также формирование метаданных модулей и получение гипертекста.

При формировании гипертекста важную роль играет наличие тезауруса. Пусть T – множество терминов, обозначающих понятия, присутствующие в тезаурусе. Тогда  любой термин ViT  становится потенциальной гиперссылкой. В БиГОР при редактировании модуля реализована подсветка всех имеющихся в модуле терминов ViT, поэтому автор модуля должен лишь указать, к какому из трех возможных подмножеств относятся подсвеченные  Vi - к подмножеству выходных, входных или простых ссылочных терминов.  При указании выходного термина  система формирует строку таблицы М, в которой устанавливается соответствие между указанным термином  и адресом редактируемого модуля. При указании входного или ссылочного термина Vi формируются гиперссылки к соответствующему элементу тезауруса  и через посредство таблицы М – к модулям, в которых Vi  определен. Любые изменения в БУМ никак не отражаются на правильности функционирования гиперссылок, поскольку все взаимосвязи модулей и понятий внутри БУМ формируются динамически. Отдельные подсвеченные, как и повторно упоминаемые в модуле  термины Vi  автор модуля вправе не превращать в гиперссылки.

Термины в тезаурусе, как правило, задаются  в именительном падеже единственного числа, в тексте модуля они могут встречаться в других грамматических формах. Для идентификации терминов в других формах в системе предусмотрена специальная программа морфологического анализа.

Компилирующая подсистема служит для формирования новых версий учебных пособий из модулей БУМ. Рабочая область БУМ, используемая при формировании конкретного учебного пособия, обычно ограничивается совокупностью заранее выделенных пакетов, называемой  кластером.  Конечным результатом работы компилирующей подсистемы является XML-файл оглавления учебного курса, содержащий ссылки на все отобранные учебные и тестовые модули, а также все дополнения, сделанные составителем пособия на предыдущих стадиях. 

Обучающая подсистема предназначена для  доступа обучаемых к библиотеке скомпилированных гипертекстовых учебных пособий, изучения материалов  модулей пособия в представленной последовательности с возможностями навигации по заявленной части БУМ с помощью гиперссылок и выполнения упражнений и заданий, содержащихся в тестовых модулях, в том числе с переходом во внешние среды.

 Поисковая подсистема предназначена для представления пользователю  элементов тезауруса и ссылок на модули БУМ, связанных с заданным вопросом. Вопросы могут быть  словами и словосочетаниями или их частями, фигурирующими в терминах тезауруса. Поисковая  подсистема используется также для реализации режима «Энциклопедия», в котором пользователю доступны списки понятий и  модулей в алфавитном порядке и, следовательно, предоставляется возможность выбора сведений о любом  понятии или модуле.

Административная подсистема служит для проверки корректности БУМ. Пользователи системы могут быть оповещены, например, об отсутствии некоторого термина тезауруса в выходах модулей, о неправильности заполнения полей метаданных, возможно получение справки о количестве модулей и элементов тезауруса в некотором пакете и т.п.

Система БиГОР может использоваться автономно с установкой ее на клиентской машине или в сетевом варианте с использованием Web-технологий.  

Доступ к базе  учебных материалов, относящихся к области информационных технологий, с помощью обучающей и поисковой подсистем БиГОРа открыт в Интернет по адресу  http://bigor.bmstu.ru/

 

Литература

1.          Федоров И.Б., Норенков И.П.  Критерии качества дистанционного обучения и структура электронных учебников. - http://portal.ntf.ru/BolonskProcess/NFPK-MONI/ko-ob_r_stat_sbor.doc

2.          Баврин П.А.. Методические рекомендации по комплексной оценке качества информационных образовательных ресурсов.   // Федеральный портал «Социально-гуманитарное и политологическое образование, 2004. http://humanities.edu.ru/db/msg/74844

3.          Педагогика в современных информационно-образовательных средах. - http://www.prosv-ipk.ru/Catalog/show.aspx?OID=EncElem:559808

4.          А.И.Башмаков, И.А.Башмаков. Разработка компьютерных учебников и обучающих систем. - М.: Филинъ, 2003.

5.          Информатизация образования: направления, средства, технологии / Под ред С.И. Маслова. – М.: Изд-во МЭИ, 2004.

6.         Соловов А.В. Электронное обучение: проблематика, дидактика, технология. – Самара: «Новая техника», 2006.

7.          Норенков И.П., Зимин А.М. Информационные технологии в образовании. – М.: Изд-во МГТУ им. Н.Э.Баумана, 2004.

8.          Норенков Ю.И., Усков В.Л. Консультационно-обучающие системы // Вестник МГТУ им. Н.Э.Баумана, сер. Приборостроение, 1993, вып. 3.

9.          Норенков И.П. Концепция модульного учебника // Информационные технологии, 1996, ╧ 2

10.      SCORM. Shareable Content Object Reference Model. 2d Edition. - Advanced Distributed Learning, 2004.

11.      Шереметов Л.Б., Усков В.Л. Виртуальные образовательные среды. // Информационные технологии (приложение), 2002, ╧ 5.

12.      CMI Guidelines for Interoperability AICC. Revision 3.4, 2000. - AICC CMI Subcommittee (http://dcs.isa.ru/www/vladimirv/scorm1_2/resources/cmi001v3-4.pdf) 

13.      Электронный учебник - современное средство обучения. - http://www.gmk-abakan.ru/informobr/gorodskie-seminary/elektronnyj-uchebnik-sovremennoe-sredstvo-obucheniya/

14.      Тришина С.В.  Теоретические аспекты проектирования баз знаний электронного учебника // Интернет-журнал "Эйдос". - 2004.  (http://www.eidos.ru/journal/2004/0419.htm)

15.      Норенков И.П. Технологии разделяемых единиц контента для создания и сопровождения  информационно-образовательных сред //  Информационные технологии,   ╧ 8, 2003.

16.       Доррер Г. А., Попов А. А., Рудакова Г. М., Сысенко К. В.Оптимальная группировка разделяемых единиц контента в учебные модули на базе системы БиГОР// Информационные технологии, 2008, ╧ 8.

17.      IEEE 1484.12.1-2002. Learning Object Metadata standard. – New York: IEEE, 2002.

18.      Dublin Core Metadata Initiative. -  http://dublincore.org/

19.      IMS Content Packaging Information Model. Version 1.1.4 Final Specification. - http://www.imsglobal.org/content/packaging/cpv1p1p4/imscp_infov1p1p4.html

20.      Open Coursе Ware  - http://www.ocwconsortium.org/

21.      Open Educational Resources Commons. - http://www.oercommons.org/.

22.      Российское образование. Федеральный портал -  http://www.edu.ru/db/portal/sites/portal_page.htm

23.      Норенков И.П., Уваров М.Ю. База и генератор образовательных ресурсов //    Информационные технологии, 2005, ╧ 9.

 

 

 

 

 

Поделиться:
 
ПОИСК
 
elibrary crossref ulrichsweb neicon rusycon
 
ЮБИЛЕИ
ФОТОРЕПОРТАЖИ
 
СОБЫТИЯ
 
НОВОСТНАЯ ЛЕНТА



Авторы
Пресс-релизы
Библиотека
Конференции
Выставки
О проекте
Rambler's Top100
Телефон: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)
  RSS
© 2003-2020 «Наука и образование»
Перепечатка материалов журнала без согласования с редакцией запрещена
 Тел.: +7 (915) 336-07-65 (строго: среда; пятница c 11-00 до 17-00)