Модели оценки результатов обучения

Размещено на http://www.allbest.ru/

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1. ОБЗОР ЛИТЕРАТУРЫ

1.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

1.2 Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

1.2.1 Оценивание результатов обучения по образовательной программе в рамках идеи конструктивного выравнивания

1.2.2 Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе

1.3 Выводы по обзору литературы

2. МЕТОДОЛОГИЯ РАБОТЫ

2.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

2.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

2.2.1 Технология проектирования образовательных программ ТПУ

2.2.2 7-ми шаговая методика оценивания результатов обучения по образовательной программе (UTEP)

2.2.3 4-х стадийный цикл оценивания результатов обучения по образовательной программе (HEQCO)

2.2.4 Подход All-in-One

2.3 Обоснование критериев выбора модели оценивания результатов обучения по образовательной программе

3. РЕЗУЛЬТАТЫ

3.1 Характеристики действующей модели оценивания результатов обучения по магистерской программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера (ГМУСЭРСТС)»

3.2 Сравнительный анализ предлагаемых вариантов моделей оценивания результатов обучения по образовательной программе и выбор модели для магистерской программы «ГМУСЭРСТС»

3.3 Проект модели оценивания результатов обучения по образовательной программе «ГМУСЭРСТС», разработанный с применением адаптированного подхода All-in-One

4. ВЫВОДЫ И ОБСУЖДЕНИЯ

БИБЛИОГРАФИЯ

ПРИЛОЖЕНИЯ



ВВЕДЕНИЕ

Как показала практика, разработки образовательной программы в компетентностном формате недостаточно для того, чтобы переориентировать процесс обучения на формирование компетенций. Необходима перестройка и систем оценивания, которые должны быть информативными, объективными, простыми и удобными, и при этом мотивировать студентов и отражать их достижения, в первую очередь, в части освоения компетенций. Особенно остро эта проблема стоит для узконаправленных программ магистратуры, которые, как правило, имеют короткий срок освоения и ограниченные ресурсы (временные, кадровые, финансовые) для разработки оценочных средств.

Для определения и оценивания результатов обучения за рубежом и в России предлагаются разные методы. Однако, учитывая то, что в нашей стране компетентностный подход внедряется относительно недавно (с 2011 года), исследователи продолжают отмечать, что «важнейшей задачей профессионального преподавательского и методического сообщества в ближайшее время станет выработка критериев и процедур оценивания результатов обучения и создание фондов оценочных средств» [8, С.19].

Несмотря на многообразие подходов к оцениванию результатов обучения, не все из них можно применить для магистерских программ. Некоторые подходы либо очень трудоемки, либо требуют значительных инвестиций, либо не учитывают узкую направленность образовательной программы, либо все еще находятся на стадиях обсуждения или апробации.

В связи с этим в рамках данной работы предпринята попытка выбора метода разработки модели оценивания результатов обучения по образовательной программе, который позволил бы перестроить уже действующую модель оценивания, сделать её целенаправленной, информативной, отражающей достижения обучающихся, и при этом не создать «двойную бухгалтерию» по образовательной программе.

Целью работы является выбор метода разработки модели оценивания результатов обучения по образовательной программе на примере магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее «ГМУСЭРСТС»).

Задачи:

1) Изучить современные подходы к определению и оцениванию результатов обучения по образовательной программе (РО по ОП).

2) Определить и описать подходы к определению и оцениванию результатов обучения по образовательной программе, соответствующие современным требованиям к организации оценивания результатов обучения по образовательной программе, и модели оценивания РО по ОП, которые можно получить при их применении.

3) Обосновать критерии выбора модели оценивания результатов обучения по образовательной программе, соответствующей современным требованиям к организации оценивания результатов обучения по образовательной программе и учитывающей особенности образовательной программы, для которой ведется проектирование.

4) Выявить модель оценивания результатов обучения по образовательной программе в соответствии с критериями выбора и определить необходимость её адаптации с учетом особенностей методики разработки и образовательной программы, для которой ведется проектирование.

5) Разработать модель оценивания результатов обучения по образовательной программе для магистерской программы «ГМУСЭРСТС» с применением выбранного метода, определить возможности и ограничения разработанной модели, сформулировать выводы и рекомендации.

Критерии выбора методического подхода к разработке модели оценивания результатов обучения по образовательной программе:

1) наличие унифицированной формы для сбора данных результатов оценивания;

2) возможность проведения нескольких циклов оценивания в ходе освоения ОП одновременно по всем РО по ОП;

3) возможность «встраивания» процесса оценивания РО по ОП в процесс оценивания по всем элементам учебного плана.

Общие требования к модели: актуальность (учет особенностей учебного плана и срока освоения образовательной программы), результативность (переориентация содержания и логики процесса оценивания на достижение планируемых результатов обучения), достоверность (документирование процессов оценивания), экономичность (учет действующей системы учебно-методической документации образовательной программы).

В рамках настоящего проекта предполагается осуществить поиск и выбор подхода к разработке модели оценивания результатов обучения по образовательной программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» по направлению подготовки 38.04.04 Государственное и муниципальное управление, а также описание разработанной модели. Апробация разработанной модели не предусмотрена.

Диссертация включает аннотацию, введение, обзор литературы, описание методологии работы, результаты, выводы и обсуждение, библиографию и приложения.



1. ОБЗОР ЛИТЕРАТУРЫ

В настоящее время образовательные стандарты высшего образования не устанавливают жёстких требований к окончательному набору компетенций. Определение набора формируемых компетенций конкретной образовательной программы, как и её направленности, находится в ведении разработчика. При этом направленность конкретной образовательной программы можно отразить в её наименовании, описании, заявленном наборе компетенций, учебном плане и рабочих программах дисциплин и практик. Но зачастую заявленные в образовательных программах наборы компетенций малоинформативны для потенциальных студентов и работодателей, поскольку содержат стандартизированные формулировки компетенций, установленных ФГОС ВО. На практике образовательные организации редко устанавливают дополнительные компетенции, поскольку всё это автоматически приводит к увеличению объемов разрабатываемой методической документации.

Помимо набора компетенций, разработчик может конкретизировать направленность образовательной программы посредством определения её миссии, цели и задач, а также ключевых результатов обучения. Эти дополнительные инструменты позволяют позиционировать образовательную программу на рынке образовательных услуг, привлечь внимание потенциальных работодателей и студентов. Но особо важное значение среди этих инструментов имеют результаты обучения, поскольку именно они позволяют активизировать механизмы взаимодействия всех участников образовательного процесса, «оживляют» целевой набор компетенций (помещая его в определенный контекст), заставляют «работать» все элементы образовательной программы и виды учебной деятельности на достижение студентами планируемых результатов обучения. Установление результатов обучения по образовательной программе требует перестройки и систем оценивания, которые должны быть информативными, объективными, простыми и удобными, мотивировать студентов, отражать их достижения, в том числе и в части освоения компетенций.

Особенно остро эта проблема стоит для узконаправленных программ магистратуры, которые, как правило, имеют короткий срок освоения и ограниченные ресурсы (временные, кадровые, финансовые) для разработки оценочных средств и проведения оценивания. С учетом данных проблемных вопросов приступим к обзору литературы.

1.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

оценивание обучение образовательный магистерский

В литературе встречаются разные подходы к определению понятия «результаты обучения». Однако, Д. Кеннеди (2007), проанализировав существующие подходы к определению термина «результаты обучения» в мировой и европейской образовательной практике, в качестве рабочего определения использовал следующее: «Результаты обучения это определение того, что обучающийся должен знать, понимать и (или) быть способным продемонстрировать после завершения процесса обучения» [44, с.21]. При этом под процессом обучения могут рассматриваться как отдельные занятия, дисциплины (модули), курсы, так и программа в целом.

Исследователи также обращают внимание на необходимость различения целей и задач обучения и результатов обучения. Так, цели и задачи отражают «видение» процесса обучения с позиции преподавателя, а результаты обучения - с позиции обучающегося. Сложность применения понятия «задачи обучения» заключается в том, что задачи могут описываться как с точки зрения преподавания, так и обучения. Как отмечает Дж. Мун (2002) «такая запутанность является хорошей причиной для отказа от использования термина «задача» в описании модулей и программ» [46, с.13]. Именно благодаря точности и простоте формулировок результаты обучения в последнее время используются активнее, чем задачи обучения.

Значительный вклад в решение задачи описания результатов обучения внес Бенджамин Блум, разработавший подход к классификации уровней мышления в процессе обучения. Таксономия Б. Блума [5, с.45] до сих пор остается одной из самых цитируемых в литературе. Ценность его разработки заключается в том, что она позволяет связать процессы обучения и оценивания с учетом иерархии мыслительных процессов обучающегося, а также предлагает перечни глаголов, которые можно использовать при написании результатов обучения.

В таксономии Б. Блума выделены три сферы: когнитивная, аффективная (эмоциональная) и поведенческая (психомоторная).

Таблица 1. Таксономия Б. Блума

Когнитивная сфера	Аффективная (эмоциональная) сфера	Поведенческая (психомоторная) сфера
6. Оценка 5. Синтез 4. Анализ 3. Применение 2. Понимание 1. Знание	5. Распространение 4. Организация 3. Ценностные ориентации 2. Реагирование 1. Восприятие	5. Натурализация 4. Сочленение 3. Точность 2. Управление 1. Имитация

В многочисленных рекомендациях по описанию результатов обучения обращается внимание на необходимость использования активных глаголов (для этого рекомендуется применение таксономии Б. Блума), а также избегать таких неоднозначных глаголов как, например, «знать», «понимать», «быть в курсе», «оценивать» и др. Так, Д. Кеннеди [44], резюмируя обзор руководств по написанию результатов обучения, предлагает придерживаться следующих основных рекомендаций: начинать каждый результат обучения с активного глагола (глагола-действия), дополняя его объектом, на который направлено действие, и фразой, определяющей контекст; использовать только один глагол для каждого результата обучения; избегать сложных предложений; соотносить результаты обучения по модулю (дисциплине) с результатами обучения по программе. Важными характеристиками результатов обучения также являются их измеримость, реальность достижения, оцениваемость и понятность всем заинтересованным сторонам.

В США также применяется ABCD-метод описания результатов обучения. В качестве автора данного метода в практических руководствах [37, 55] указывается психолог Р. Мейгер (R.F. Mager). В соответствии с данным методом хорошо сформулированный результат обучения включает 4 элемента: указание аудитории (Audience) - кто обучается; описание ожидаемого поведения (Behavior) - что обучающийся будет способен сделать; уточнение условий (Condition) - как, при каких обстоятельствах или в каком контексте обучающийся это сделает; установление степени или уровня (Degree) - насколько хорошо и на каком уровне будет продемонстрировано ожидаемое поведение или действие.

Пример описания результатов обучения приведен в табл.2 (по материалам практических руководств Университета Коннектикут [43]).

Таблица 2. Пример формулирования результатов обучения

Недостаточно полное определение результата обучения	Более подходящее определение результата обучения	Полное определение результата обучения
Студенты будут способны написать исследовательскую статью.	Студенты будут способны написать исследовательскую статью в соответствующем научном стиле.	В завершении своего полевого исследования, студенты будут способны написать исследовательскую статью в соответствующем научном стиле.

В российской литературе по вопросам оценивания результатов обучения продолжаются дискуссии о соотношении понятий «результаты обучения» и «компетенции». Так, Ефремова Н.Ф. (2012) отмечает необходимость различения понятий «результаты обучения», которые определяются преподавателями, и «компетенции», которые приобретаются студентами. Особенностями компетенций, по мнению В.И. Звонникова, А.А. Малыгина и М.Б. Челышковой (2012), являются их полидисциплинарность, отсроченный характер проявления, причинный характер связи с эффективностью последующей деятельности и мета-латентная природа. При этом компетенции рекомендуется описывать в форме наблюдаемых признаков проявления, на основе которых затем и формулируются измеряемые результаты обучения. Ребрин О.И. и Шолина И.И. (2012) обращают внимание, что «результаты обучения не являются антитезой термина «компетенции» - это проекции единого деятельностного подхода к определению назначения образовательного процесса» [26, с.107]. Вместе с тем, в подзаконных нормативных актах 2013 года выделяются результаты обучения по дисциплине (модулю) или практике, а также результаты освоения образовательной программы (компетенции, устанавливаемые ФГОС ВО) [35].

На уровне практических руководств, раскрывающих вопросы оценивания результатов обучения на уровне образовательной программы, чаще всего используется термин «результаты обучения по образовательной программе» (program learning outcomes, learning outcomes for program, program-level learning outcomes). В целом, исследователи не проводят существенных различий в подходах к формулированию результатов обучения для отдельных дисциплин, модулей и по программе в целом. Но при этом авторы обращают внимание на необходимость согласования результатов обучения по образовательной программе с миссией образовательной программы и университета (Program Learning…, 2009), а также на учет таких факторов, как предыдущий опыт студентов, полученный до прихода на программу; учебный план; типы применяемых техник преподавания и обучения; возможные методы оценивания; ожидания внешних сторон, включая государственные структуры и профессиональные ассоциации (Learning Outcomes…, 2015). Интерес к результатам обучения на уровне программы проявляется также при рассмотрении вопросов обеспечения и оценки качества образования на уровне конкретной образовательной программы или всей образовательной организации (Rockwell, Bennett (1996, 2004)).

В рамках подхода, основанного на результатах обучения (outcomes-based approach), выделяются два уровня для определения результатов обучения: по дисциплинам (курсам) и по образовательной программе в целом. При этом на уровне дисциплины, которая прошла процедуру конструктивного выравнивания [45, с.9], выделяются три элемента: результаты обучения, опыт обучения, оценивание обучения. В свою очередь, конструктивно выравненная образовательная программа обеспечивает устойчивое развитие результатов обучения от минимального до высокого уровня. Идея конструктивного выравнивания (Биггс, Танг, 2007, 2011) строится на таксономии SOLO (the Structure of Observed Learning Outcomes taxonomy) [5], разработанной Дж. Биггсом и К. Коллис (1982).

Рис. 1 - Таксономия SOLO (Б. Биггс) [38]

Данный подход хорошо известен в университетской среде [27, 39, 42, 49]. «SOLO … обеспечивает систематический способ описания того, как в совокупности прогрессирует обучающийся, осваивая многие задачи, особенно те из них, которые решаются в школе. Постулируется общая последовательность возрастания структурной сложности многих понятий и умений, и эта последовательность может использоваться как руководство при формулирования специфических целей или оценке специфических результатов» [5, с.45]. Таксономия SOLO представляет обучение в виде пяти уровней (рис. 1). При этом оценивание результатов обучения по образовательной программе производится на связанном уровне и уровне расширенной абстракции.

Таким образом, результаты обучения по дисциплине и по образовательной программе в рамках идеи конструктивного выравнивания являются неотъемлемой частью логической связки «результаты обучения - опыт обучения - оценивание обучения». Однако, именно результаты обучения по образовательной программе являются тем интегрирующим элементом, в направлении которого происходит конструктивное выравнивание всей образовательной программы.

1.2 Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

1.2.1 Оценивание результатов обучения по образовательной программе в рамках идеи конструктивного выравнивания

Проблема оценивания результатов обучения до сих пор остается одной из самых актуальных, что подтверждают многочисленные публикации зарубежных и отечественных исследователей. Так, Вильям и Блэк (2001) определяют оценивание следующим образом: «Оценивание относится ко всем видам деятельности, предпринимаемым преподавателями и их студентами для самооценки, которые обеспечивают информацию, подлежащую использованию в качестве обратной связи для последующей модификации их деятельности по преподаванию и обучению» [40, с.2].

Как было отмечено ранее, идея конструктивного выравнивания, предполагает формирование логической связки «результаты обучения - опыт обучения - оценивание обучения», которая выстраивается в процессе проектирования образовательной программы.

На сегодняшний день при проектировании образовательных программ, по мнению Челышковой М.Б. (2015), преимущественно применяется декомпозиция, предполагающая разложение каждой компетенции на дескрипторы (признаки проявления), которые затем связываются с результатами реализации учебных программ и курсов (знаниями и умениями). Основным недостатком декомпозиции является формирование у студента набора дискретных компетенций, когда он не способен выполнить задачу на высоком уровне профессионального мастерства, хотя отдельные признаки компетенции у него сформированы. Интегральный подход, предполагающий «построение компетентностной модели выпускника - комплексной интегральной структуры конечного результата образования в вузе, в основе которого лежит связанная и иерархически упорядоченная совокупность компетенций» [32, с.6-7], ввиду своей сложности практически пока нигде не реализован.

Так, на декомпозиции основываются следующие подходы, например: проектирование образовательных программ на основе методологии TUNING (Караваева, Телешова, Ульянова, Эченикэ, 2013) и картирования компетенций (Караваева (2014), Елина, Ковтун, Родионова (2015)), технология проектирования инженерных образовательных программ на основе модернизированной двухконтурной модели АВЕТ (ABET - the Accreditation Board for Engineering and Technology [36]) (Чучалин, Муратова, Епихин, 2012), методология проектирования образовательных программ на основе результатов обучения (Ребрин, Шолина, 2014). Отметим, что два последних подхода предполагают формулирование результатов обучения по образовательной программе с учетом требований ФГОС ВО и международных стандартов инженерного образования. Данные подходы к определению и оцениванию результатов обучения основываются на опыте зарубежных университетов. Необходимо обратить внимание на то, что в зарубежных методиках вопросы проектирования образовательных программ на основе результатов обучения рассматриваются в единой связке с вопросами их оценивания. Из аналогичных российских разработок можно, например, выделить опыт Томского политехнического университета (Чучалин, Муратова, Епихин, 2013).

Обзор ряда практических руководств зарубежных университетов [45, 49, 50, 53] показал, что в основе оценивания результатов обучения по образовательной программе лежит следующий алгоритм: оценка ожиданий - определение результатов обучения по образовательной программе - картирование и выравнивание учебного плана - определение плана оценивания - подбор методов оценивания - сбор и анализ данных оценивания - совершенствование образовательной программы (рис. 2).

Рис. 2. - Типовой алгоритм оценивания результатов обучения по образовательной программе

Алгоритм выстроен на принципах конструктивного выравнивания и эффективно работает, как отмечают авторы руководств, только на циклической основе.

Для проведения самооценки уровня развития системы оценивания образовательной организации в практических руководствах [45, 53], как правило, предлагаются оценочные рубрики с разной степенью детализации. Пример одной из таких рубрик приведен в табл.3.

Таблица 3. Оценочная рубрика для самооценки систем оценивания образовательных программ [45, с.27]

Развитие системы оценивания и практики	НАЧАЛЬНАЯ СТАДИЯ: Начата одна итерация процесса оценивания; может быть на пилотной стадии; может пока не иметь данных или данные не могут пока быть обобщены или обсуждены.	СТАДИЯ РАЗВИТИЯ: Активное регулирование основного процесса или инструментов после итерации или апробации; некоторые данные обобщены и обсуждены; развивается система участия.	СТАДИЯ УЛУЧШЕНИЯ: Данные регулярно обобщаются и обсуждаются каждый цикл оценивания; результаты используются для улучшения и проверки обучения студентов; использование результатов регулярно документируется.	СТАДИЯ ПРИЗНАНИЯ: Несколько итераций цикла оценивания; процесс структурно управляется с широким участием; процесс и инструменты отрегулированы, а также направлены на совершенствование программы; система является циклической и используется для развития и проверки студентов.

В приведенном примере необходимо обратить внимание на важный, на наш взгляд, момент: уровень развития системы оценивания определяется не столько качеством применяемых оценочных средств, а сколько развитием организационного механизма, обеспечивающего непрерывность возобновления циклов оценивания, документирования и анализа данных. Именно развитие данного механизма в последующем приводит к повышению качества оценочных средств и профессионализма участников оценочного процесса, а также накоплению необходимого объема данных для последующего анализа и принятия решений.



1.2.2 Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе

Вопрос о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе предлагаем рассмотреть сквозь призму их влияния на выбор конкретной модели оценивания результатов обучения по образовательной программе.

В литературе понятие «модель оценивания результатов обучения по образовательной программе» не имеет четкого определения и описания составных элементов.

Авторы его используют в разной интерпретации, и единого подхода, к сожалению, выявить не удалось. Так, например, в качестве модели оценивания РО по ОП позиционируются либо циклы оценивания (по аналогии с описанным алгоритмом, но с разной степенью детализации), либо кейсы университетов с описанием конкретных наборов оценочных мероприятий и применяемых оценочных средств. Если в основе современных подходов к оцениванию результатов обучения лежит типовой алгоритм оценивания, основанный на принципах конструктивного выравнивания, то что тогда определяет различия в моделях оценивания РО по ОП и наш выбор той или иной модели?

Можно выделить три основные дискуссии по вопросам оценивания результатов обучения по образовательной программе:

1) о формирующем и итоговом оценивании;

2) о качестве оценочных средств и их развитии;

3) о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок.

Рассмотрим данные вопросы подробнее. Так, дискуссия о формирующем и итоговом оценивании интересует нас с точки зрения того, насколько процессы оценивания РО по ОП своевременны, информативны и полезны в части влияния на прогресс достижений обучающихся. В настоящее время выделяют два вида оценивания: формирующее (formative assessment) и итоговое (summative assessment) (табл.4).

Таблица 4. Виды оценивания в образовательном процессе

Вид	Определение
Формирующее оценивание	Оценивание в ходе обучения, направленное на мотивацию обучающегося к достижению планируемых целей.
Итоговое оценивание	Оценивание, подытоживающее обучение в определенный момент времени (обычно в конце модуля или программы), направленное на определение соответствия достигнутых результатов обучения установленным требованиям.

Бойцова Е.Г. (2014) отмечает, что ключевым отличием формирующего оценивания от итогового являются не применяемые методы или оценочные средства, а цель его проведения. При этом результаты формирующего оценивания должны немедленно использоваться для корректировки процесса обучения, в этом случае данный вид оценивания приобретает непрерывный характер. Землянская Е.Н. (2015) определяет следующие характеристики формирующего оценивания: студентоцентрированность; личностную ориентированность формирование образовательного процесса; расширение круга участников образовательной программы; формирование у студентов проектировочных, коммуникативных, рефлексивных умений; объективизация и дифференциация оценки компетенций студентов; организация самостоятельной работы студентов; учет динамики учебных достижений студентов; возможность логичного вплетения в структуру учебного процесса. Возрастающий интерес к формирующему оцениванию объясняется тем, что на практике преобладает применение итогового оценивания как на уровне отдельных дисциплин, так и на уровне образовательной программы.

Кроме того, в целях непрерывного совершенствования образовательных программ и повышения качества обучения необходимо развивать связи между итоговым и формирующим оцениванием. В частности, авторы практического руководства (Learning Outcomes…, 2015) обращают внимание на работы Харлен и Джеймс (1997) и Тарас (2009), в которых обсуждаются вопросы о возможности взаимного использования данных формирующего и итогового оценивания. Данные, получаемые в рамках этих двух видов оценивания, при перекрестном использовании надо тщательно отбирать. Так, например, не все данные формирующего оценивания, по мнению Харлен и Джеймс, могут быть использованы при итоговом оценивании. Выравнивание критериев оценивания позволит быстрее выстраивать необходимые связи между формирующим и итоговым оцениванием.

Таким образом, оценивание результатов обучения по образовательной программе может строиться на сочетании данных и возможностей формирующего и итогового оценивания. Для оценивания результатов обучения по образовательной программе данный вывод является важным, поскольку в некоторых предлагаемых моделях оценивание результатов обучения по образовательной программе предусмотрено практически на стадии завершения процесса обучения, что, на наш взгляд, сокращает количество полезных циклов оценивания и снижает их информативность для студентов.

Вторая дискуссия о развитии и качестве оценочных средств поможет нам прояснить вопрос влияния оценочных средств на выбор подходящей модели оценивания. В соответствии с типологией оценочных средств (Звонников, Малыгин, Челышкова, 2012) выделяют две основные группы оценочных средств для количественного и качественного уровней измерений. К первой группе относят стандартизированные тесты с заданиями на выбор ответов и стандартизированные анкеты. Ко второй группе - традиционные средства оценивания, тесты практических умений, кейс-измерители и портфолио. Авторы также выделяют третью группу оценочных средств - это тесты, сочетающие количественные и качественные уровни измерений (например, компетентностные тесты).

Исследования в этом направлении базируются на основе теории педагогических измерений (классической теории тестов (CTT), современной теории конструирования и применения тестов (IRT), теории генерализации (G-Theory)), в рамках которой реализуются нормативно-ориентированный и критериально-ориентированный подходы [9,10,11,12,22,23]. Наиболее перспективным подходом к оцениванию результатов обучения авторы (Звонников, Малыгин, Челышкова, 2012) считают многоступенчатые адаптивные критериально-ориентированные измерения, предполагающие применение различных измерителей в рамках трехступенчатой модели оценивания уровня сформированности профессиональных компетенций.

При выборе типа и разработке оценочных средств важно помнить о том, что оценка уровня сформированности компетенций должна проводиться «в условиях максимального приближения содержания и методов оценивания к будущей профессиональной деятельности выпускников» [10, с.119]. Поэтому вопрос правильного подбора и разработки качественных измерителей стоит очень остро. Для апробации и совершенствования самостоятельно разработанных оценочных средств большое значение также имеет достаточное количество циклов оценивания, предлагаемых в рамках той или иной модели.

Кроме того, для каждого результата обучения рекомендуют использовать определенные виды оценочных заданий. Пример представлен в табл.5 (таблица подготовлена по материалам практического руководства Совета по качеству высшего образования Онтарио [45]).



Таблица 5. Рекомендуемые виды оценочных заданий для результатов обучения

Результаты обучения	Виды оценочных заданий
Критическое мышление, решение проблем, вынесение суждений и понимание	Проблемно-ориентированное обучение. Кейс-стади. Открытые проблемы. Экзамен с написанием ответов-эссе на вопросы по кейсу, которые выдаются вместе с дополнительной информацией по кейсу после ответа на каждый предыдущий вопрос (MEQs). Наборы проблем. Дебаты, симуляция судебных заседаний, устное аргументирование и другие симуляции решения проблем. Анализ.
Исследование и готовность к обучению	Обзор исследования. Аннотированные библиографии. Долгосрочные исследовательские проекты. Обучение, основанное на исследовании.
Коммуникация	Эссе. Визуальное эссе. Доклады, короткие рассказы, поэмы, заметки, предложения, записки и онлайн журналы.
Креативность и дизайн	Создание диаграмм концепций или событий. Проектирование симуляций. Ролевые игры. Создание новой визуальной модели.
Саморегулирование и профессиональная компетентность	Рефлективное письмо. Практикум. Микропрактика и моделирование. Портфолио.

При принятии решения о выборе модели оценивания результатов обучения по образовательной программе, вопрос о подборе оценочных средств невозможно рассматривать без обсуждения трудоемкости и ресурсоемкости разработки оценочных средств. Так, в большинстве рассмотренных практических руководств рекомендуется учитывать наличие времени и ресурсов (кадровых, административных, финансовых и др.) при определении планов оценивания и подборе оценочных средств.

Дискуссия о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок интересует нас с точки зрения экономичности, информативности и полезности процесса оценивания. Обратим внимание на последний элемент алгоритма оценивания результатов обучения по образовательной программе - это «совершенствование образовательной программы», которое является одной из конечных целей цикла оценивания наряду с определением путей повышения качества обучения студентов.

Так, Г. Роджер (2003) [38] отмечает, что оценивание результатов обучения по образовательной программе направлено на представление доказательств того, что студенты могут продемонстрировать знания или навыки, напрямую связанные с конкретными результатами обучения по программе. Но что в итоге дает нам это оценивание - только информацию о том, как совершенствовать образовательную программу? Если оценивание результатов обучения по образовательной программе привязано к ее конкретным элементам, таким как, например, практики, НИР или ВКР, то в принципе результаты их оценивания в виде оценок будут включены в диплом студента. Не возникнет ли при этом противоречия с оценками по промежуточной аттестации? Как отмечает Г. Роджер, оценки по дисциплинам отражают, как правило, то, что студент выполнил требования преподавателя по данной дисциплине. Поэтому они являются неинформативными в части отражения успехов студентов по достижению результатов обучения на уровне программы.

Следствием такого подхода является то, что образовательные организации попадают в своеобразную ловушку невзаимосвязанных и ресурсоемких процессов оценивания на уровне отдельных дисциплин и программы в целом, в итоге получая «разрыв» между оценками в дипломе и реальным уровнем сформированности компетенций выпускников [17, 50].

Таким образом, рассмотренные дискуссии свидетельствуют об активном поиске способов решения проблем и задач по оптимизации процессов оценивания результатов обучения по образовательной программе. Основной тенденцией в развитии подходов к оцениванию РО по ОП становится смещение фокуса дискуссий с вопросов о том, что и как оценивать, к обсуждению вопросов о том, как оптимизировать эти процессы, при этом повышая их качество и информативность. Это важный вывод, который может повлиять на определение критериев выбора модели оценивания результатов обучения по образовательной программе.

1.3 Выводы по обзору литературы

Обзор литературы позволяет сделать следующие выводы:

1. Подходы к формулированию результатов обучения в целом едины. Однако, в отношении результатов обучения по образовательной программе единая картина не складывается. Так, в зарубежной практике определение результатов обучения по образовательной программе рассматривается больше как практический инструмент для позиционирования программы, мотивации студентов, вовлечения всего преподавательского состава в процессы проектирования, реализации, оценивания результатов, совершенствования образовательной программы и повышения качества обучения. В российской практике существует два подхода: первый - в качестве результатов освоения образовательной программы рассматривает набор компетенций, установленный ФГОС ВО; второй - учитывая зарубежный опыт, предполагает самостоятельное установление результатов обучения по образовательной программе на основе требований ФГОС ВО и профессиональных стандартов. Оба подхода направлены на формирование компетенций, установленных ФГОС ВО.

2. В основе зарубежных и отечественных подходов к проектированию образовательных программ с применением результатов обучения лежит идея конструктивного выравнивания. В российской практике проектирования образовательных программ применяется декомпозиция компетенций, при этом зачастую вопрос выстраивания процесса оценивания рассматривается отдельно.

3. Обзор практических руководств зарубежных университетов позволил выявить типовой алгоритм оценивания РО по ОП, имеющий цикловой характер. Выявить в публикациях описание типовой модели оценивания результатов обучения по образовательной программе или какую-либо классификацию моделей не удалось. В каждом случае упоминания модели оценивания РО по ОП приводится пример конкретного кейса или применяемого алгоритма оценивания. Поэтому в качестве основы был использован вышеуказанный типовой алгоритм. Учитывая то, что в основе современных подходов к оцениванию результатов обучения по образовательной программе лежит типовой алгоритм, на наш взгляд, при подборе альтернативных методик разработки модели оценивания результатов обучения по образовательной программе необходимо рассматривать те из них, которые построены на данном типовом алгоритме.

4. В литературе активно обсуждаются проблемы повышения качества оценивания, оптимизации количества процессов оценивания и их логического встраивания в учебный процесс, взаимного использования результатов формирующего и итогового оценивания, отражения в оценках достижений обучающихся в освоении компетенций. В целом, можно сделать вывод по публикациям последних лет, что центр дискуссий постепенно смещается от вопроса «что и как оценивать?» к вопросам «как оптимизировать процесс оценивания?».



2. МЕТОДОЛОГИЯ РАБОТЫ

2.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

Исходя из полученных по итогам обзора литературы выводов о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе, необходимо осуществить подбор альтернативных методов и выбор одного из них для последующей разработки модели оценивания результатов обучения по образовательной программе для конкретной магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее - «ГМУСЭРСТС»).

В ходе изучения литературных источников был проведен обзор подходов к проектированию образовательных программ на основе методологии результатов обучения и принципов конструктивного выравнивания, а также ряда практических руководств по оцениванию результатов обучения по образовательной программе. Напомним, что итогом проведенной работы стал вывод о том, что в основе любого подхода к оцениванию результатов обучения по образовательной программе, разработанной на принципах конструктивного выравнивания, лежит типовой алгоритм оценивания результатов обучения по образовательной программе, состоящий из 7 последовательных шагов, повторяющихся на непрерывной циклической основе.

На основе данного вывода был осуществлен подбор подходов к разработке модели оценивания результатов обучения по образовательной программе. В ходе подбора были исключены подходы и методы, в которых рассматриваются либо только подходы к проектированию образовательной программы, либо только подходы к оцениванию результатов обучения.

Таким образом, в окончательную выборку попали 4 подхода:

- технология проектирования образовательных программ ТПУ (Чучалин, Муратова, Епихин, 2012) (далее - подход ТПУ);

- 7-шаговая методика оценивания результатов обучения по образовательной программе Университета Техаса в Эль Пасо (2009); 2012) (далее - подход UTEP);

- 4-х стадийный цикл оценивания результатов обучения по образовательной программе (Совет по качеству высшего образования Онтарио, HEQCO) (2015) (далее - подход HEQCO);

- подход All-in-One (Richman, Ariovich, 2013) (далее - подход All-in-One).

Каждый из данных подходов, несмотря на разную степень детализации, действительно построен на типовом алгоритме оценивания результатов обучения по образовательной программе (табл.6). По приведенной таблице можно еще раз убедиться в том, что применение данных подходов возможно при проектировании образовательных программ на основе принципов конструктивного выравнивания всех элементов учебного плана с планируемыми результатами обучения по образовательной программе. Но сведения об этапах применения каждого из подходов, представленные в данной сводной таблице, не дают информации о том, какую модель оценивания результатов обучения по образовательной программе можно получить в результате применения данного подхода.

Следующим шагом видится описание и анализ каждого подхода с точки зрения возможности построения описания модели оценивания результатов обучения по образовательной методике, что позволит до этапа проектирования модели осуществить выбор в пользу применения одного из подходов. Описание каждого подхода представлено в отдельных разделах и будет включать: сведения о разработчиках и опыте применения подхода; описание алгоритма работ; образец модели; выводы. После описания всех подходов, с учетом полученных в результате анализа каждого подхода выводов, необходимо определить примерные критерии для выбора модели оценивания результатов обучения по образовательной программе, которые будут уточнены на этапе анализа действующей модели оценивания по магистерской программе «ГМУСЭРСТС».

Таблица 6. Сравнение подходов с типовым алгоритмом оценивания результатов обучения по образовательной программе

Шаги типового алгоритма	Подход ТПУ	Подход UTEP	Подход HEQCO	Подход All-in-One
1. Оценка ожиданий	Шаг 1. Определение исходных данных для планируемых РО ООП. Шаг 2. Выбор основы для группирования требований к РО.	Шаг 1. Уточнение миссии и целей программы	Стадия 1. Идентификация ожиданий от результатов обучения по образовательной программе.	1. Установление результатов обучения по дисциплине (курсу), образовательной программе и для уровня образования
2. Определение РО по ОП	Шаг 3. Формулирование РО по ОП. Шаг 4. Анализ РО по ОП на предмет дублирования и соответствия заявленным требованиям.	Шаг 2. Определение 4-6 результатов обучения по ОП
3. Картирование и выравнивание учебного плана	Шаг 5. Декомпозиция РО по ОП на составляющие (ЛР - локальные результаты). Шаг 6. Анализ ЛР на предмет дублирования и соответствия заявленным требованиям. Шаг 7. Повторный анализ РО и ЛР на на предмет дублирования и соответствия заявленным требованиям.	Шаг 3. Определение того, где в учебном плане результаты и цели обучения охватываются: анализ учебного плана и программы	Стадия 2. Карта оценочных заданий по образовательной программе.	2. Выравнивание учебного плана и выстраивание взаимосвязей между курсами разных уровней
4. Определение плана оценивания	Шаг 8. Разработка индикаторов оценивания (от 3 до 6). Шаг 9. Разработка критериев оценивания.	Шаг 4. Определение методов и техник оценивания		3. Создание оценочных рубрик по каждому элементу учебного плана
5. Подбор методов оценивания	Шаг 10. Составление матрицы РО, индикаторов и методов оценивания.
6. Сбор и анализ данных оценивания	Предусмотрено в рамках применения двухконтурной модели АВЕТ (шаг 8 «Оценка достижения результатов и целей»)	Шаг 5. Сбор, создание таблиц, анализ данных и отчет по результатам	Стадия 3. Сбор и анализ результатов оценивания.	4. Сбор и анализ результатов оценивания
7. Совер-шенствование ОП		Шаг 6. Использование результатов оценивания Шаг 7. Определите, кто будет предпринимать действия по улучшению	Стадия 4. Совершенствование программы.	5. Непрерывное совершенствование образовательной программы на основе результатов оценивания

2.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

2.2.1 Технология проектирования образовательных программ ТПУ

Данный подход разработан и применяется в Национальном исследовательском Томском политехническом университете. В литературе подход описан как технология проектирования инженерных образовательных программ (Чучалин, Муратова, Епихин, 2012). Основой для разработки данного подхода послужили международные стандарты инженерного образования и ФГОС ВПО. Также подход основывается на двухконтурной модели АВЕТ [29, с.26-28], включающей 2 процесса: процесс установления целей ООП и процесс определения, достижения и оценивания результатов обучения по ООП. Технология предполагает выполнение 10 последовательных шагов, представленных в табл.7.

Таблица 7. Сопоставление технологии проектирования ОП ТПУ с элементами типового алгоритма

Элементы типового алгоритма	Технология проектирования ОП ТПУ
1. Оценка ожиданий	Шаг 1. Определение исходных данных для планируемых РО ООП. Шаг 2. Выбор основы для группирования требований к РО.
2. Определение РО по ОП	Шаг 3. Формулирование РО по ОП. Шаг 4. Анализ РО по ОП на предмет дублирования и соответствия заявленным требованиям.
3. Картирование и выравнивание учебного плана	Шаг 5. Декомпозиция РО по ОП на составляющие (ЛР - локальные результаты). Шаг 6. Анализ ЛР на предмет дублирования и соответствия заявленным требованиям. Шаг 7. Повторный анализ РО и ЛР на на предмет дублирования и соответствия заявленным требованиям.
4. Определение плана оценивания	Шаг 8. Разработка индикаторов оценивания (от 3 до 6). Шаг 9. Разработка критериев оценивания.
5. Подбор методов оценивания	Шаг 10. Составление матрицы РО, индикаторов и методов оценивания.
6. Сбор и анализ данных оценивания	Предусмотрено в рамках применения двухконтурной модели АВЕТ (шаг 8 «Оценка достижения результатов и целей»)
7. Совершенствование ОП

При применении данной технологии разработчику образовательной программы на первом шаге необходимо изучить требования ФГОС, профессиональных стандартов и заинтересованных сторон, а также ситуацию на рынках труда. Далее формулируются результаты обучения. По итогам 2 и 3 шагов заполняется табл.8.



Таблица 8. Планируемые результаты обучения

Код РО	Результат обучения (выпускник должен быть готов)	Требования ФГОС, критериев и/или заинтересованных сторон
Р1	…	…
Р2	…	…

Затем устанавливается соответствие целей ООП и РО (табл.9).

Таблица 9. Взаимное соответствие целей ООП и результатов обучения

Результаты обучения	Цели ООП
	Ц1	Ц2	Ц3	Ц4	Ц5
Р1	+	+
Р2		+	+
…

На этапе декомпозиции необходимо определить составляющие результатов обучения - знания (З), умения (У), владение (В) (табл.10).

Таблица 10. Декомпозиция результатов обучения

Результаты обучения	Составляющие результатов обучения
	Код	Знания	Код	Умения	Код	Владение
Р1	З1.1 З1.2 …	… … …	У1.1 У1.2 …	… … …	В1.1 В1.2 …	… … …
Р2	З2.1 З2.2 …	… … …	У2.1 У2.2 …	… … …	В2.1 В2.2 …	… … …
…

На следующем этапе разработчик должен распределить результаты обучения по циклам ООП (табл.11), затем аналогично - по модулям ООП.



Таблица 11. Распределение результатов обучения по циклам ООП

Циклы	Составляющие результатов обучения
Общенаучный (гуманитарный, социальный, экономический) цикл	Знания: З.3.1; З.4.1; … Умения: У.1.1.; У.4.1.; … Владение: В.1.3.; В.3.2.; …
Общенаучный (математический и естественно научный) цикл	Знания: … Умения: … Владение: …
Профессиональный цикл	Знания: … Умения: … Владение: …
Практика и/или НИР	Знания: … Умения: … Владение: …
Выпускная квалификационная работа	Знания: … Умения: … Владение: …

Далее технология предполагает установление соответствия модулей ООП результатам обучения (табл.12).

Таблица 12. Соответствие модулей ООП результатам обучения

РО	Модули
	1	2	3	4	5	6	7
РО1			+	+	+
РО2		+			+	+	+
…

Полученные матрицы становятся основой для разработки рабочих программ отдельных дисциплин или модулей.

Оценивание достижения результатов обучения производится на уровне каждой дисциплины или модуля, а также, для некоторых РО, на уровне программы в целом, например, в рамках выполнения курсовых проектов, проектных работ, практик, НИР или подготовки выпускной квалификационной работы. Авторы обращают внимание на то, «что на основании оценки достижения составляющих результатов обучения в большинстве случаев не представляется возможным достоверно судить о целостных результатах освоения ООП - приобретении компетенций» [33, с.15]. Вслед за Ефремовой Н.Ф., отмечавшей значимость квазипрофессиональных ситуаций при проведении оценивания сформированности компетенций, разработчики подхода предлагают активизировать междисциплинарную деятельность студентов в рамках курсового проектирования, НИР, практик и ВКР и создавать условия, «максимально приближенные к реальной инженерной деятельности» [33, с.15]. При этом важно обеспечить проведение экспертной оценки компетенций по заранее установленным индикаторам и критериям. Таким образом, оценивание уровня сформированности компетенций предлагается проводить в рамках междисциплинарных элементов учебного плана, а оценку достижения локальных результатов обучения - в рамках проведения промежуточной аттестации по модулям (рис.3).

Рис. 3 - Модель оценивания результатов обучения по образовательной программе с применением технологии проектирования ОП ТПУ

Выводы по результатам анализа модели оценивания результатов обучения по образовательной программе с применением подхода ТПУ:

1) Модель включает 2 процесса оценивания: локальных результатов - на уровне отдельных модулей (дисциплин); результатов обучения по образовательной программе - на уровне междисциплинарных элементов учебного плана (практик, курсовых проектов, НИР и ВКР).

2) Оценивание результатов обучения по образовательной программе проводится в каждом семестре при оценивании выполнения студентами работ в рамках междисциплинарных элементов учебного плана, за которыми закреплены конкретные наборы РО по ОП.

3) Результаты оценивания учитываются при выставлении оценок по указанным элементам учебного плана.

4) Результаты учитываются при корректировке целей и результатов обучения ОП по завершении периода обучения по программе.

5) В модели, на наш взгляд, остается непонятным, как фиксируется и анализируется прогресс достижений обучающихся, сопоставимы ли закрепленные за междисциплинарными элементами наборы РО по ОП, и как определяется возрастание сложности оценочных заданий.

2.2.2 7-ми шаговая методика оценивания результатов обучения по образовательной программе (UTEP)

Данная методика разработана Университетом Техаса в Эль Пасо (Program Learning…, 2009) на основе работ ряда авторов и с применением практических руководств таких университетов, как California Polytechnic State University, Texas A&M University, University of Central Florida, University of Delaware, University of Texas at Dallas, University of Virginia [49, с.38]. Практическое руководство не потеряло своей актуальности, продолжает использоваться и дополняться (Student Learning…, 2013).

Согласно практическому руководству необходимо выполнить 7 последовательных шагов (табл.13)

Таблица 13. Сопоставление 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP с элементами типового алгоритма