Модель формирующего оценивания ключевых компетенций обучающихся на образовательной программе уровня "магистратура" (на примере магистерской программы УВО Института образования НИУ ВШЭ)

Размещено на http://www.allbest.ru/

Оглавление

Введение

1. Методология системы оценивания ключевых компетенций

1.1 Основные понятия

1.2 Метод оценки компетенций -Assessment Center

1.3 Методология проектирования Модели компетенций

1.4 Построение Модели формирующего оценивания ключевых компетенций

2. Апробация Модели формирующего оценивания ключевых компетенций

2.1 Анализ результатов первого года обучения на программе УВО

2.2 Анализ результатов индивидуальных решений кейсов

Заключение

Список литературы

Приложения



Введение

В настоящее время специалисты в различных областях и сферах деятельности поднимают вопрос о роли компетентностного подхода при разработке трудовых отношений, в основе которых становится обучение. Все это связано с ускорением инновационного развития общества, оказывающего непосредственное воздействие на изменения в производственной сфере. Международная комиссия по образованию «Образование: сокрытое сокровище» в 1997 году в своем докладе представила определение компетентности «как своего рода коктейля навыков,… в котором сочетаются квалификация в строгом смысле этого слова… социальное поведение, способность работать в группе, инициативность и любовь к риску» [6].

Актуальность использования компетентностного подхода в данной сфере связана с тем, что в современной системе высшего профессионального образования нет единой системы оценки развития и уровня сформированности компетенций. Так, в России компетентностный подход внедряется с 2011 г, однако и в настоящее время главной задачей большинство практиков и исследователей в этой области называют разработку «критериев и процедур оценивания результатов обучения и создание фондов оценочных средств»[9, c. 10-20]. Кроме того, компетенции предусмотрены федеральными государственными образовательными стандартами высшего профессионального образования третьего поколения (Байденко, 2006). В самой концепции федерального проекта развития образования на 2016-2020 гг., в ряде других была поставлена задача формирования системы оценки качества образования и образовательных результатов. Для ее реализации было запланировано создание системы независимого мониторинга и оценки качества образования на всех уровнях, а также создание новых инструментов и оценочных процедур самих образовательных программ университетов.

В качестве пилота выступила магистерская диссертация Шульги Камиллы Николаевны, студентки 2 курса образовательной программы «Доказательная образовательная политика» Института образования на тему: «Проектирование методов оценки сформированности ключевых компетенций учащихся магистратуры по направлению «Менеджмент»» (Шульга, 2017). В работе представлены результаты проектирования на период 2015-2017 гг. Следует отметить, что из четырех заявленных результатов проектирования успешно удалось представить два: «матрица разложения ключевых компетенций», которые были включенны в магистерскую программу «Управление в высшем образовании» (УВО) и «матрица соотнесения результатов обучения… с дисциплинами, заданиями и курсами учебной программы». Представленная в пилотном проекте «матрица методов и средств оценки ключевых компетенций», в которой были прописаны критерии оказалась недостаточно проработанной; также оказались недостаточно представленными «унифицированные оценочные рубрики». В ходе анализа данных пилотажного исследования была выявлена проблема, которая содержала ряд фактов. Была выстроена методология и инструментарий, который, с одной стороны, базировался на логике «цели - образовательные результаты - компетенции - дескрипторы - критерии», а с другой, на предположении в необходимости доработать систему оценки, чтобы добиться приемлемой согласованности оценивания экспертов разного уровня подготовки. По первым результатам пилотажа были получены мало согласованные оценки (таблицы 5-8, 10; рис. 5), в результате была поставлена задача выяснить причины данного факта (например, связано ли это с самой системой или с разными уровнями подготовки экспертов или др.).

В содержании диссертации сделан акцент на доработку методологии и оценочных шкал, создания матрицы методов, сведения отдельных результатов для создания общего «профиля» обучающегося. Так, автором получены результаты и проведен их анализ по всем оценочным листам, что позволило получить сводный лист, наглядно демонстрирующий успешность выполнения заданий и итоговых проектов обучающимися (на 1 курсе). В ходе апробации

Модели формирующего оценивания ключевых компетенций на примере анализа результатов индивидуальных решений кейсов, полученных в течение двух учебных лет (период 2016-2017 гг), автору работы удалось проследить динамику развития компетенций в процессе учебной деятельности. В работе представены критерии валидности и надежности проектируемой Модели.

В диссертации представлен принцип оценивания уровня развития компетенций у обучающихся по примеру оценивания компетенций профессионалов (менеджеров), применяемый в HR (при оценке сотрудников организации). Данный принцип оценки компетенций содержательно связан с выявлением и оценкой ряда поведенческих индикаторов, которые сотрудник использует в рамках своей должности для реализации поставленных задач наряду со своими знаниями, умениями, навыками. При этом комплексная оценка реальных качеств сотрудников в организациях, их психологических и профессиональных особенностей/компетенций производится методом «ассесмент-центр» (Assessment Center). Именно метод ассесмента позволил получить необходимые результаты при оценке проявлений участников в моделировании ключевых аспектов деятельности (специально подобранные/разработанные для разных проектов учебные задания и кейсы). Стоит отметить, что логика проведения ассесмента (сбор данных на входе, промежуточные срезы и выходе) легла в основу проектирования Модели формирующего оценивания ключевых компетенции учащихся УВО.

Представленная в работе методология проектирования Модели позволяет проследить формирование образовательных достижений обучающихся, что фиксируется в виде степени выраженности компетенций. Отметим, что содержание образовательной программы направлено на формирование определенного набора компетенций, так как обучающимися в основном являются проректора и деканы, руководители кафедр и образовательных программ и т.д. (специалисты, имеющие определенный набор компетенций), что повлияло на набор развиваемых программой ключевых компетенций.

В качестве конечного продукта проектирования (в рамках магистерской диссертации) в работе представлена Модель формирующей оценки компетенций, включающая в себя перечень инструментов и средств оценки, позволяющая производить «настройку» по определенной методологии на спектр образовательных программ, также формирующих управленческие компетенции (как общекультурные, так и профессиональные).

Итак, цель проекта состоит в построении и апробации Модели формирующего оценивания ключевых компетенций обучающихся на образовательной программе уровня «магистратура» (на примере магистерской программы УВО Института образования НИУ ВШЭ).

Для достижения заявленной цели можно выделить несколько основных этапов нашей работы (задачи), демонстрирующих алгоритм и содержание проекта.

I. При проектировании Модели формирующего оценивания ключевых компетенций обучающихся по направлению «Менеджмент», прежде всего, мы учитывали информацию, полученную:

1) в ходе аналитического обзора отечественных и зарубежных современных подходов для определения/разработки перечня основных компетенций и их дескрипторов (Шульга, 2017);

2) в ходе аналитического обзора литературы по оцениванию результатов (принципов оценивания) обучающихся по образовательной программе;

3) на сайте магистерской программы «Управление в высшем образовании» перечень заявленных компетенций, которыми должен овладеть обучающийся в результате ее прохождения, а также содержание учебных модулей (по дисциплинам) [20];

4) на сайте Министерства образования и науки РФ Федеральный государственный образовательный стандарт высшего образования (ФГОС ВО), уровень высшего образования «Магистратура», направление подготовки 38.04.02 «Менеджмент»http://xn--80abucjiibhv9a.xn--p1ai/%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/5561.

II. Основная работа заключалась в разработке методологии проектирования Модели формирующего оценивания ключевых компетенций, в результате был проведен обзор современных моделей и систем оценивания образовательных результатов учащихся, которые соответствуют критериям стандарта проведения оценочной процедуры. По итогам обзора [25; 34; 35] был осуществлен выбор модели (модель All-in-Оne) [30, c. 29-30], алгоритм реализации которой наряду с методом ассесмента легли в основу проектирования Модели формирующего оценивания ключевых компетенций учащихся магистратуры по направлению «Менеджмент». В результате была получена Модель компетенций программы УВО с пятью ключевыми компетенциями: «Исследовать проблемы высшего образования», «Создавать стратегии развития (вуза, факультета, института и т.п.)», «Разрабатывать и предлагать программы и проекты», «Проявлять лидерскую позицию и добиваться результата в профессиональной кооперации», «Принимать обоснованные управленческие решения» [30, c. 36-37].

На данном этапе также был спроектирован мини assessment-центр, в первостепенные задачи которого входила декомпозиция разработанной Модели компетенций: прописать дескрипторы оцениваемых компетенций, ориентируясь на содержание и цели итоговых проектов, заявленных в магистерской программе «Управление в высшем образовании» Института образования НИУ ВШЭ (Шульга, 2017).

III. На следующем этапе одной из главных задач стояло утверждение разработанной модели оценивания руководителем магистерской программы «Управление в высшем образовании» с последующей ее апробацией на примере программы УВО.

Для решения поставленной задачи мы расширили задачи assessment-центра, которые сводились к:

1) разработке схемы взаимосвязи между дисциплинами магистерской программы УВО, учебными заданиями/проектами и компетенциями модели, [30, c. 38-39];

2) выделению на дисциплинах программы УВО основных инструментов и параметров оценивания результатов прохождения дисциплин (разработка Матрицы методов и средств оценивания, системы оценивания);

4) разработке определенных критериев и оценочных листов (чек-листов) по индивидуальным или групповым проектам/заданиям дисциплин (Шульга, 2017).

Кроме того, были определены требования к квалификации/компетенциям экспертов-оценщиков, которые непосредственно участвовали в процедуре оценивания представляемых обучающимися итоговых проектов.

IV. Затем проводилось построение Модели формирующего оценивания и исследование с целью ее апробации на примере магистерской программы УВО. Отметим, что по ходу работы (пилотаж) были внесены доработки в содержание формулировок дескрипторов некоторых компетенций (также в результате было уменьшено их количество) (Koryagina N.A., Shulga K.N., 2017). Далее апробация производилось на основе обновленной Модели компетенций. Были получены результаты по пяти оценочным листам.

V. На последнем этапе проводился анализ системы оценивания, в ходе которого был выявлен ряд недостатков, в частности, в применении

оценочных шкал, также были разработаны практические рекомендации использования Модели на других обучающих программах для оценки компетенций в сфере управления.

Итак, результаты проектирования I-III этапов представлены в работе Шульги К.Н (Шульга, 2017), содержание данной диссертации, главным образом, представляет IV и V этапы работы над проектом по разработке Модели формирующей оценки ключевых компетенций учащихся магистратуры по направлению «Менеджмент».

К отличительным особенностям проекта мы относим заявленные критерии выбора решений (в том числе и содержание дескрипторов, основанное на конкретных заявленных результатах программы УВО), которые способны показать отличие разрабатываемой нами системы от системы на основе стандартных инструментов оценки общекультурных компетенций:

1. Формирующий характер оценивания, основанного на предложенном решении (т.е. его должны использовать и студенты для формирования/развития компетенций и руководители программы для ее развития).

2. Возможность использования для оценивания не только отчуждаемых результатов (текстов, тестов, решений), но и процесса демонстрации результата (публичная презентация и обсуждение, взаимодействие в группе и т.п.).

3. Максимально возможная устойчивость оценок, которая позволит использовать систему как формирующую.

4. Основное использование для программы УВО, но также возможность «настройки» под другие программы, формирующие управленческие компетенции.

5. Работа в электронной системе ( формат для ИТ решения).

Практическая значимость данного проекта заключается в приведенных автором практических рекомендациях, разработанных в процессе проектирования, по использованию/внедрению алгоритма построения модели для формирующего оценивания управленческих компетенций обучающихся на программах уровня «Магистратура».

Диссертация содержит аннотацию, введение, две главы, заключение, список литературы из 35 источников (5 на иностранном языке), четыре приложения.



1. Методология системы оценивания ключевых компетенций

1.1 Основные понятия

Обзор отечественных и зарубежных источников (Байденко, 2006; Делор, 2007; Демьянченко,2012; Зимняя, 2006; Маркова, 1996; Мартыненко, 2008; Равен, 2002; Хуторской, 2002; Чуланова, 2016; Hutmacher, 1997; White, 1959 и др.), проведенный в пилотажном исследовании и представленный в работе Шульги К.Н. (2017) позволил выявить роль компетентностного подхода в сфере образования и сформулировать определение компетенции, используемое в работе. Итак, можно сказать, что европейские университеты, участники Болонского процесса, представляют компетентностный подход в качестве инструмента, который способен наладить социальный диалог высшей школы с работодателями. При этом компетенция предполагает не действие по аналогии с образом (как в случае знаний, умений и навыков), а наличие определенного опыта профессиональной (или другой ежедневной) деятельности, основанной на имеющихся у человека знаниях (Чуланова, 2016). Кроме того, при проектировании модели компетенций мы ссылались на определение компетенции, данное в проекте TUNING Европейского союза (Байденко, 2006).

Прежде, чем перечислить основные функции компетенций в высшем образовании, следует подчеркнуть, что данный подход расширяет академические свободы вузов, усиливает гибкость и адаптивность стандартов, что в целом повышает направленность результатов образования к требованиям рынка труда. Итак, среди основных функций компетенций специалисты отмечают (ФГОС ВО, 2010): отражать профессиональную и социальную востребованность выпускников вузов; соединять теоретические знания с возможностями их практического использования для решения профессиональных задач и пр.

В работах современных исследователей (Базаров, 2007, 2011; Чуланова, 2014, 2016) приводятся факты, подтверждающие предположение о том, что оценка компетенций учебных программ (особенно на уровне магистратуры и ДПО), возможна при помощи инструментария оценки компетенций в области оценки сотрудников (в частности, руководителей).

Прежде всего, обратимся к практике оценки персонала (Киселева, 2015), где используется термин Assessment при оценке некоторых характеристик сотрудников, также их знаний, навыков, умений и способностей. Competencies Assessment - оценка компетенций, как раз содержательно связана с выявлением и оценкой ряда поведенческих индикаторов, которые сотрудник использует в рамках своей должности для реализации поставленных задач наряду со своими знаниями, умениями, навыками. При этом комплексной процедурой оценки компетенций сотрудников, состоящей из различных методов, принято называть центр оценки или Assessment Center. Основными целями организации, для которых необходима оценка компетенций сотрудников выступают: «обоснованное, системное обучение сотрудников;… отбор кандидатов при приеме на работу; планирование карьеры сотрудников» [13, с. 11-12, 62]. Кроме того, Модель компетенций является основой для сравнения показателей по типу «как было и как стало» (Киселева, 2015, с. 71-72) (через сравнение замеров уровня развития компетенций в определенные промежутки времени).

В данной работе акцент сделан именно на «ключевые компетенции», которые включают значительный опыт (профессионализм) и способность решать инновационные для данного типа деятельности задачи. В целом обеспечивают существенное конкурентное преимущество (Базаров, 2007). В нашем случае формирование именно ключевых компетенций обеспечивается, помимо осуществления самой учебной деятельности, составом/профилем (профессионализмом) обучающихся на магистерской программе «Управление в высшем образовании».

Итак, Модель компетенций требует постоянной доработки и коррекции. При этом причины могут быть как внутренние, например, показатели обратной связи (результаты оценки), так и внешние, - изменившиеся цели и приоритеты программы обучения (в том числе переход на другую образовательную программу) и пр. Именно причины коррекции Модели для нас выступают в качестве инструментов/способов возможной ее «настройки» на другие программы.

1.2 Метод оценки компетенций - Assessment Center

Метод «ассесмент-центр» (Assessment Center) применяют для комплексной оценки реальных качеств сотрудников в организациях, их психологических и профессиональных особенностей/компетенций. Внешне метод похож на бизнес-тренинг, где предлагаются кейсы и другие задания для группового или индивидуального решения. Ассесмент направлен на проявление имеющихся компетенций в моделируемых/разрабатываемых деловых ситуациях и учебных заданиях (важно, что все участники изначально находятся в равных условиях). При этом за каждым участником наблюдает эксперт/группа экспертов, фиксируя их поведение. Именно в моделировании ключевых аспектов деятельности (специально подобранной для разных участников и целей) и проявлении при этом участников заключается суть метода ассесмента. Важным моментом выступает процедура сведения оценок экспертов, полученных в отдельных упражнениях, в интегральные оценки по компетенциям. При этом происходит обсуждение экспертами результатов всех участников, выведение итоговой оценки. Именно работа группы экспертов позволяет повысить объективность оценивания и добиться высокого качества прогнозов (Киселева, 2015).

Перед процедурой ассесмента необходимо провести подготовку наблюдателей-экспертов и подготовку методических материалов (Киселева, 2015). Подготовка наблюдателей-экспертов предполагает ознакомление их с моделью компетенций участников (что будет оцениваться), непосредственно с самими листами наблюдений и инструктажем о поведении во время ассесмента. Например, в исследовании Т.Ю. Базарова для экспертов-оценщиков были подготовлены спецификационные таблицы с поведенческими индикаторами, описывающими как именно в различных заданиях могли проявиться искомые компетентности. При этом в исследовании также использовалась модель компетенций. Подготовка методических материалов включает: составление листов наблюдений для экспертов-оценщиков (на каждого участника/подгруппу и каждое упражнение/задание); план-сценарий процедуры, включающий время, название процедуры, задействованных участников и название оцениваемых компетенций; инструкции к упражнениям (иногда их краткое содержание) и шкалам оценок (Базаров, 2007).

Среди методов, применяемых в ассесмент-центре, называют кейсы (о них мы чуть подробнее расскажем), дискуссии, деловые и ролевые игры, тесты, интервью по компетенциям и пр. В зависимости от программы ассесмент-центра, оцениваемых компетенций и специфики деятельности участников методы и сами задания могут меняться.

В нашем исследовании особое внимание уделено методу кейсов, так как данный метод лежит в основе обучения по программе УВО. В целом «кейс - искусственно смоделированная ситуация, которая требует принятия решений или действий как в профессиональной деятельности человека, так и в личностной и ценностно-мотивационной сферах» [13, c. 135-136]. При помощи кейсов оценивают различные навыки и компетенции. Сам кейс содержит описание ситуации для анализа и решения, может выполняться как индивидуально, так и в группе, проводиться в разные отрезки времени (в зависимости от цели обучения). При этом некоторые решения кейсов возможно оценить без присутствия оценщиков, так как по письменным работам обучающихся (чаще всего индивидуальные кейсы) оценивается процедура и уровень их решения (Киселева, 2015).

1.3 Методология проектирования Модели компетенций

В данном разделе будет представлена лишь та часть методологии, которая требовала доработки.

При проектировании Модели формирующего оценивания ключевых компетенций обучающихся по направлению «Менеджмент» мы учитывали информацию, полученную на сайте магистерской программы «Управление в высшем образовании» [20]. В частности, перечень заявленных компетенций, которыми должен овладеть обучающийся в результате ее прохождения, а также содержание учебных модулей (по дисциплинам). Рассматриваемая образовательная программа на период октябрь 2015 года имела следующий дизайн: три блока компетенций (Лидерские, Управленческие и Аналитические), включающие определенное количество показателей/ дескрипторов (сайт программы УВО).

По мнению специалистов, индикаторы уникальны для каждой организации, именно в них проявляется ее специфика. Поэтому оправдывает себя метод описания индикаторов/дескрипторов, начиная с описания деятельности (Киселева, 2015).

Все представленное выше, говорит об уникальности Модели компетенций каждой организации, которая отражает специфику ее деятельности. Однако перед нами стоит иная задача, можно сказать обратная: нам необходимо построить такую Модель оценки учебной программы УВО по специальности «Менеджмент», которая могла бы «настраиваться» на ряд образовательных программ по данному направлению. Как тут поступить? Ответ может быть найден в ряде требований, которыми руководствуются менеджеры по персоналу [13, c. 70-71]:

- модель должна описываться простым, понятным для пользователя языком, индикаторы описываться в терминах необходимого поведения;

- модель должна учитывать стратегию развития компании, планировать изменения «на вырост», в разработке модели принимает участие руководитель;

- одни и те же индикаторы не должны дублироваться для разных компетенций В самом начале нашего пилотажного исследования было зафиксировано пересечение ряда дескрипторов (индикаторов): одни и те же дескрипторы описывали разные компетенции;

- компетенции охватывают все основные виды деятельности данной компании;

- для каждой должности составляется определенный набор компетенций, определяющих успешность сотрудника на данной должности.

Особенно важным нам представляется последний пункт требований, так как именно через механизм «включения» и «исключения» определенных компетенций в Модели мы и сможем ее «настраивать» на ряд определенных образовательных программ.

Итак, дескрипторы по ключевым пяти компетенциям Модели выделялись в процессе анализа целей и задач учебных дисциплин магистерской программы «Управление в высшем образовании», а также итоговых заданий по ряду проектов [30, c. 38-39].

Стоит указать, что третье требование (к разработке дескрипторов) в самом начале проектирования модели не явилось для нас критическим, в результате были обнаружены пересечения некоторых дескрипторов: одни и те же дескрипторы описывали разные компетенции [33, c. 210-213]. Например, дескрипторы для второй компетенции «Создавать стратегии развития (вуза, факультета, института и т.п.)» можно было найти среди дескрипторов для четвертой компетенции «Проявлять лидерскую позицию и добиваться результата в профессиональной кооперации» и т.д. Этим мы подтверждали наше предположение о том, что компетенции связаны друг с другом и представляют собой интегрированный результат. Данный факт наличия взаимосвязи между компетенциями отмечал в своей работе Д. Кеннеди. Кроме того, описание дескрипторов проводилось в соответствии с рекомендацией Д. Кеннеди придерживаться следующего правила: «начинать каждый результат обучения с глаголов, дополненных объектом, на который направлено действие, и фразой, определяющей контекст» [32].

Однако в процессе работы по данной Модели было обнаружено, что невозможно разработать оценочные листы (чек-листы). В результате было принято решение доработать Модель [30, c. 36-37]. Таким образом, выше указанное третье требование «одни и те же индикаторы не должны дублироваться для разных компетенций», действительно, оказалось важным. Полученная Модель (на рис. 1 ее графическое изображение) в дальнейшем и легла в основу разработки оценочных листов (пример см. в Приложении 1).

Рис. 1. Модель компетенций магистерской программы «Управление в высшем образовании»

Также в рамках работы подготовительного этапа был проведен сравнительный анализ разработанной Модели с компетентностным набором, отраженным в образовательном стандарте по направлению «Менеджмент» на основе ФГОС ВО Сайт Министерства образования и науки РФ Федеральный государственный образовательный стандарт высшего образования (ФГОС ВО), уровень высшего образования «Магистратура», направление подготовки 38.04.02 «Менеджмент» http://xn--80abucjiibhv9a.xn--p1ai/%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B/5561 (см. табл. 1).



Таблица 1 Содержание компетенций Федерального государственного образовательного стандарта высшего образования (ФГОС ВО) уровень высшего образования «Магистратура», направление подготовки 38.04.02 «Менеджмент», имеющих содержательное сходство (по дескрипторам компетенций) разработанной Модели компетенций

Компетенция	Содержание компетенции
ОК-1	Способность к абстрактному мышлению, анализу, синтезу
ОК-2	Готовность действовать в нестандартных ситуациях, нести социальную и этическую ответственность за принятые решения
ОК-3	Готовность к саморазвитию, самореализации, использованию творческого потенциала
ОПК-2	Готовность руководить коллективом в сфере своей профессиональной деятельности, толерантно воспринимая социальные, этнические, конфессиональные и культурные различия
ОПК-3	Способность проводить самостоятельные исследования, обосновывать актуальность и практическую значимость избранной темы научного исследования
ПК-1	Способность управлять организацией, подразделениями, группами (командами) сотрудников, проектами и сетями
ПК-2	Способность разрабатывать корпоративную стратегию, программы организационного развития и изменений и обеспечивать их реализацию
ПК-4	Способность использовать количественные и качественные методы для проведения прикладных исследований и управления бизнес-процессами, готовить аналитические материалы по результатам их применения
ПК-7	Способность обобщать и критически оценивать результаты исследований актуальных проблем управления, полученные отечественными и зарубежными исследователями
ПК-8	Способность представлять результаты проведенного исследования в виде научного отчета, статьи или доклада
ПК-9	Способность обосновывать актуальность, теоретическую и практическую значимость избранной темы научного исследования
ПК-10	Способность проводить самостоятельные исследования в соответствии с разработанной программой
ПК-11	Способность разрабатывать учебные программы и методическое обеспечение управленческих дисциплин, а также применять современные методы и методики в процессе их преподавания



В результате были получены графические данные сравнения (рис. 2), позволяющие говорить о содержательном соответствии компетенций проектируемой Модели с ФГОС ВО.

Рис. 2. Сравнительный анализ компетенций Модели и ФГОС ВО

Важно отметить, что при разработке программы магистратуры УВО руководители программы, согласно ФГОС ВО, вправе дополнить набор компетенций выпускников с учетом направленности программы. В нашем случае это вуз и управленческая/проектная деятельность в сфере высшего образования. Именно данным фактом возможно объяснить, что в содержание дескрипторов компетенции 2 «Создавать стратегии развития (вуза, факультета, института и т.п.)» не вошла ни одна компетенция ОПК из предложенных в ФГОС ВО.

По обнаруженному факту было сделано предположение, что компетенция 2 Модели имеет наибольшую содержательную привязку к данной магистерской программе УВО, следовательно, может заменяться альтернативной содержательной компетенцией при «настраивании» Модели формирующего оценивания на другие образовательные программы.

1.4 Построение Модели формирующего оценивания ключевых компетенций

В параграфе представлена разработка Матрицы методов и средств для оценки ключевых компетенций на программе УВО и построение Модели оценивания. Как уже отмечалось, на предыдущем этапе проектирования Матрица не была получена. В результате было принято решение продолжить работу над проектом в рамках данной диссертации. Итак, автору работы, используя логику «цели - образовательные результаты - компетенции», удалось получить данный продукт. Но, прежде обратимся к разработанной схеме оценивания.

Согласно разработанной схемы оценивания, процедура начинается с индивидуальных или групповых оценочных листов (чек-листов), на основе которых в дальнейшем и формируется общая база данных с результатами обучающихся (Шульга, 2017). Кроме того, эти данные фиксируются по срокам обучения (модули и год), что позволяет отслеживать динамику формирования и развития компетенций.

Рассмотрим подробнее внедрение алгоритма оценивания. Как уже отмечали, всего было разработано по одному оценочному листу для каждого учебного задания/итогового проекта на первом году обучения (Приложение 1). Анализ чек-листов показал успехи обучающихся. Таким образом, возможно получить результаты обучения по дисциплине и по программе в целом (за определенный период времени) в виде степени выраженности ключевых компетенций по модели оценивания. Информация по оценочным листам может быть использована при составлении «портфолио».

Такой подход помогает обучающемуся получить информицию о том, какие навыки/компетенции у него сформированы (степень их выраженности) и своевременно предпринимать меры по корректировке своей образовательной траектории в рамках учебной программы.

Далее результаты по отдельным индивидуальным или групповым чек-листам (за определенный промежуток времени) объединяют в сводный лист. Лист наглядно демонстрирует учебные результаты по выполнению заданий и проектов (Приложение 2 таблица «Пример сводного листа…»), возможно получить индивидуальный «профиль» обучающегося на программе УВО за год (рис. 3) или «портфолио» студента за весь период обучения, а также обобщенный «профиль» группы (используя определенную методологию по сведению результатов всех учеников). Данные результаты позволяют произвести сравнение обучающегося с самим собой как по отдельным проектам, так и в целом (сравнение результатов за 1 и 2 годы обучения), также сравнить себя с групповыми результатами и посмотреть свое место в рейтинге группы (например, по сумме всех набранных баллов, см. Приложение 2). Кроме того, полученный анализ распределения достижений учащихся позволит увеличить мотивацию и скорректировать индивидуальный вектор развития каждого обучающегося.

Рассмотрим процедуру построения Матрицы методов и средств оценки ключевых компетенций. Данная Матрица должна применяться непосредственно перед системой оценивания, так как на ее основе создаются оценочные листы по учебным заданиям и итоговым проектам дисциплин. На основе анализа дисциплин, целей и учебных заданий программы УВО для обучающихся, используя логику «цели - образовательные результаты - компетенции», был разработан алгоритм построения Матрицы методов и средств (рис. 4). Данный алгоритм позволил разработать Матрицу методов и средств оценки ключевых компетенций программы УВО на определенном промежутке времени (табл. 2). Полученная Матрица демонстрирует качественную картину того, что оценивается (название учебных дисциплин/курсов), при помощи каких методов (оценочные задания).



Рис. 3. «Профиль» по ключевым компетенциям программы УВО студента 1 курса

Все это позволяет разработать определенные листы оценивания (чек-листы) для получения результатов, отражающих степень выраженности той или иной компетенции (дескрипторов).

Рис. 4. Алгоритм построения Матрицы методов и средств

Таблица 2 Матрица методов и средств оценки ключевых компетенций первого года обучения студента/группы студентов (1 курс)

Дисциплины	Учебные задания/ итоговые проекты, тесты и пр.	Компетенции
Основы и современные проблемы высшего образования	Групповой проект «Изучение проблем ВО»	1. Исследовать проблемы высшего образования
НИС: Методология научных исследований в менеджменте
Стратегии интернационализации вузов	Групповой проект «Разработка видения и стратегии развития вуза/образования будущего»	2. Создавать стратегии развития (вуза,факультета, институтаи т.п.)
Проектное управление в вузе	Решение кейсов (индивидуальное, в группах)	3. Разрабатывать и предлагать программы и проекты
Стратегии в менеджменте: стратегическое управление в вузе	Групповой проект «Разработка кейсов»	4. Проявлять лидерскую позицию и добиваться результата в профессиональной кооперации
Технологии разработки и принятия управленческих решений	Решение кейсов (индивидуальное, в группах)	3. Разрабатывать и предлагать программы и проекты 5. Принимать обоснованные управленческие решения.

Итак, в ходе проделанной работы была получена качественная картина компетенций (и дескрипторов), которые формируются/развиваются на магистерской программе «Управление в высшем образовании» на 1 году обучения. Аналогичным образом, используя приведеный выше алгоритм, возможно получить Матрицу методов и средств оценки клюевых компетенций студентов второго года обучения.

В результате, созданная Матрица является достаточно динамичной: за счет постоянного анализа содержания учебных дисциплин программы мы получаем возможность внести необходимые изменения, например, в форме замены итоговых проектов и заданий по дисциплине или добавления новой учебной дисциплины в программу и пр. с целью получения результатов по определенным компетенциям (их дескрипторам).

Итак, в результате проектирования в общем были получены три продукта: Модель компетенций, Матрица методов и средств, Система оценивания. Данные продукты и составляют Модель формирующего оценивания ключевых компетенций студентов магистратуры по направлению «Менеджмент». Наглядно Модель представлена на рисунке 5.



Рис. 5. Модель формирующего оценивания ключевых компетенций программы обучения «Управление в высшем образовании»

В заключение отметим, что анализ достижений обучающихся на программе также поможет определить, какие дисциплины и задания вызывают наибольшие затруднения среди учащихся. Полученная подобного рода информация предполагает дальнейшую работу по доработке нашей Модели формирующего оценивания с целью достиженния большей точности и объективности при оценке результатов обучения. Это позволит скорректировать образовательную программу в целом. Важно отметить, что совместное обсуждение результатов (ученик, эксперт, преподаватель) позволит выработать общий подход к решению каких-либо проблем, возникающих при проектировании и оценивании различных учебных заданий, а также способствует информированию всех участников образовательного процесса и совершенствованию программы.



2. Апробация Модели формирующего оценивания ключевых компетенций

2.1 Анализ результатов первого года обучения на программе УВО

В результате работы, как отмечалось, было создано пять чек-листов (для пяти различных дисциплин), в оценку которых были включены преподаватели, эксперты и сами учащиеся. Так, во время зимней сессии (2 модуль) на 1 курсе были получены данные по двум дисциплинам: «Оценка компетенций (по проекту ОСПВО: Политика в ВО от 25.01.17)» и «Оценка компетенций (по проекту «Стратегии в менеджменте» от 30.01.17)». В весеннюю учебную сессию (3 модуль) на 1 курсе мы получили результаты по дисциплинам: задание по «Управлению проектами», проект «Разработка стратегии университета» и «Кейс-поединки». Также в весенней сессии предлагалось индивидуальное задание по методологии исследования (Исследование проблем высшего образования). В Приложении 3 представлен пример результатов по анализу данных оцениваемых учащихся (малых групп) первого курса по проекту «Основы и современные проблемы высшего образования». В Приложении 4 приведен пример сравнения результатов экспертного оценивания по ряду проектов, в том числе по индивидуальной работе с кейсами.

Однако, как впоследствии показали результаты оценивания, были получены достаточно разнородные оценки (различия оценок между самими участниками двух курсов, преподавателями и экспертами), особенно была заметна разница между самооценкой и оценкой экспертов.

Разберем пример зимней сессии, когда команды (всего 7 команд) первого курса выполняли задание по дисциплине «Основы и современные проблемы высшего образования», где ключевыми компетенциями были: «Создавать стратегии развития (вуза, факультета, института)» и «Презентовать результаты работы» Данная компетенция, впоследствии, вошла в Модель компетенций как дескриптор «Предлагать, представлять проекты/программы» компетенции «Разрабатывать и предлагать программы и проекты»., которые были представлены девятью дескрипторами (таблица 3).

В таблицах 4 и 5 показан анализ результатов в показателях стандартного отклонения (экспертные оценки и оценки групп отдельно). Стандартное отклонение или сигму (от названия греческой буквы), также в статистике его называют среднеквадратичным отклонением, мы применили для установления степени точности между оценками экспертов, групп и самооценкой команд. Формула расчета стандартного отклонения имеет вид:

В ряде случаев для получения стандартного отклонения по выборке применяют формулу:

Таблица 3 Пример индивидуального листа группы по дисциплине «Основы и современные проблемы высшего образования»

	Группа
Компетенции	Создавать стратегии развития (вуза, факультета, института и т.п.)	Презентовать результаты работы
Критерии	Представлен и убедительно обоснован контекст ..	Ярко и убедительно представлено свое видение….	Объяснено, что и как создает университет…	Сформулированы стратегические задачи…	Последовательная, ясная, краткая, хорошо организованная презентация	Продемонстрировано отличное владение содержанием..	Визуальные средства хорошо координируются..	Делает краткие, ясные выводы ...	Уверенно выступает, удерживает внимание
Шифр дескриптора	1	2	3	4	5	6	7	8	9
Оцените, пожалуйста, степень Вашего согласия с критерием от 1 до 6, где 1 - не согласен, 6 - согласен
Самооценка	6	6	6	5	5	6	6	5	6
Эксперт 1	4	5	4	5	5	5	4	4	5
Эксперт 2	4	4	3	3	5	6	5	6	6
Эксперт 3	5	5	4	4	5	5	4	4	5
сумма	13	14	11	12	15	16	13	14	16
ср. ар.	4,3	4,7	3,7	4,0	5,0	5,3	4,3	4,7	5,3
стандарт отклонен	0,6	0,6	0,6	1,0	0,0	0,6	0,6	1,2	0,6
№1	4	4	3	3	5	5	4	3	5
№3	4	6	4	6	6	6	5	5	6
№4	4	4	5	5	5	5	6	5	6
№5	5	5	5	5	5	5	4	4	5
№6	5	5	5	5	5	6	5	6	6
№7	5	4	4	4	6	5	6	4	6
сумма	27	28	26	28	32	32	30	27	34
ср. ар.	4,5	4,7	4,3	4,7	5,3	5,3	5,0	4,5	5,7
стандарт отклонен	0,5	0,8	0,8	1,0	0,5	0,5	0,9	1,0	0,5

Таблица 4

	Стандартное отклонение (эксперты)
Компетенции	Создавать стратегии развития (вуза, факультета, института и т.п.)	Презентовать результаты работы
шифр дескрипторов	1	2	3	4	5	6	7	8	9
№1	1,4	1,4	2,1	0	0	0,7	0,7	0	0
№2	0,6	0,6	0,6	1	0	0,6	0,6	1,2	0,6
№3	1	1	0,6	0,6	0,6	0,7	0,6	0,6	1
№4	0,6	0	1	0,6	0,6	0,6	0,6	0,6	0,6
№5	0,6	0,6	0,6	0,6	0,6	0	0,6	0,6	0,6
№6	0,6	1	0,6	0,6	1,2	1,2	1,5	0,6	0,6
№7	0,6	0,6	0,6	0,6	1,5	0	0,6	1	0,6

Таблица 5

	Стандартное отклонение (группы)
Компетенции	Создавать стратегии развития (вуза, факультета, института и т.п.)	Презентовать результаты работы
шифр дескрипторов	1	2	3	4	5	6	7	8	9
№1	1	1	1,5	1,3	0,8	0,6	0,8	0,8	0,9
№2	0,5	0,8	0,8	1	0,5	0,5	0,9	1	0,5
№3	1,4	1,3	1,6	1,5	1,4	1	1,2	1,8	1,5
№4	0,8	1,5	1,2	1	1	1	1,2	1,1	1,2
№5	1,6	1,8	1,3	1,3	0,9	1,2	0,8	1,1	1,2
№6	1,1	1	0,8	0,9	1,4	0,8	1,2	1,3	1,2
№7	0,8	1	0,9	0,8	1,2	1	1,5	1	1,5

По оценкам видно, что существует в них некая разница по определенным дескрипторам (таблица 3), при этом никакой закономерности мы не наблюдаем. Так, стандартное отклонение 1,2 мы фиксируем при расхождении мнений экспертов (соответственно: 4, 6, 4) по дескриптору «Делает краткие, ясные выводы и заключение. Дает ясные рекомендации». Аналогичная картина повторяется и в остальных группах (Приложение 3). В таблицах 4 и 5 представлено сравнение показателей стандартных отклонений экспертов и других групп. Наглядная картина данных результатов представлена на рисунках 1 и 2 Приложения 3. Мы также сравнили средние показатели оценок по всем дескрипторам с 1 по 9 (самооценка /ср.ар. групп/ ср.ар. эксперты)). В таблицах 6 и 7 представлены по одной компетенции, так в таблице 6 показаны результаты анализа по дескрипторам 1-4, в таблице 7 - по дескрипторам 5-9. Наглядные графики даны также в Приложении 3, рисунки 3 и 4, на которых видно, что в подавляющем большинстве показатели не имеют согласованности (нет «прямых линий»). Конечно, как у исследователей, у нас возникает вопрос, а почему так происходит с оценкой? И что вообще с ней происходит? И первое, что можем предположить - усомниться в объективности выделенных дескрипторов/критериев и проработанности оценочных шкал.

Для наглядности наших предположений разберем пример кейс-поединков (кейс-батлов) первого курса программы УВО с зимней сессии. Ниже приведем данные одной группы 1 курса, когда в задание входило решить и представить презентацию трех учебных кейсов: ЧГУ КФ, КемГУ и АГУ. Важно отметить, что один кейс решался двумя командами.

Таблица 6

	Самооценка групп /ср. ар. Групп /ср. ар. Эксперты
Компетенции	Создавать стратегии развития (вуза, факультета, института и т.п.)
шифр дескрипторов компетенций	1	2	3	4
№1	6	3,7	4	6	3,7	4	5	3,3	3,5	5	3,8	4
№2	6	4,5	4,3	6	4,7	4,7	6	4,3	3,7	5	4,7	4
№3	5	4,3	4	5	3,8	4	5	3,8	3,3	4	3,7	3,7
№4	5	3,8	4,3	5	4,2	5	4	3,7	4	5	4,2	4,7
№5	5	4,3	5,3	5	4,5	5,3	5	4,2	4,3	5	4,8	5,3
№6	5	4	4,3	5	4,2	4	4	3,7	3,3	5	4	3,7
№7	4	4,2	4,7	4	4,2	4,7	4	4	3,7	4	4,7	4,3

Таблица 7

	Самооценка групп /ср. ар. групп /ср. ар. эксперты
Компетенции	Презентовать результаты работы
шифр дескрипторов компетенций	5	6	7	8	9
№1	4	4,8	4	4	5	4,5	6	4,8	4,5	5	4,5	4	5	5	4
№2	5	5,3	5	6	5,3	5,3	6	5	4,3	5	4,5	4,7	6	5,7	5,3
№3	4	4,7	3,7	4	4,5	3	5	4,2	3,7	5	4,3	3,7	5	4,7	4
№4	5	4,2	4,7	5	4,7	4,3	5	4,2	4,7	5	4	4,3	5	4,8	4,7
№5	5	5	4,7	5	5,2	5	5	5,2	5,3	4	5	4,7	5	5,2	4,7
№6	6	4,5	4,3	5	4,7	4,3	6	4,7	4,7	5	4,2	4,3	5	4,7	4,7
№7	4	4,7	4,7	4	5,2	5	4	4,2	5,3	4	4,5	4	4	4,7	4,3

В таблице 8 представлена сравнительная оценка выполнения трех указанных кейсов одной группой. На рисунке 5 наглядно представлено сравнение средних арифметических показателей оценки экспертов и других групп. По оценкам видно, что в них есть существенная разница. Так, по первому критерию кейса ЧГУ КФ «Группа выделила проблему/вызов…» только у студентов второго курса разница в оценке составила от 3 до 6 баллов, первого - от 3 до 5 баллов, оценка экспертов была более единодушной - от 4 до 5 баллов. В результате мы получили стандартное отклонение по данному критерию: второй курс - 1,3, первый курс - 1, эксперты - 0,6. Наибольшее отклонение получили по четвертому критерию кейса ЧГУ КФ «Группа организовала информацию в презентацию», причем даже мнения экспертов разделились. Так, стандартное отклонение по второму курсу составило 1,4, по первому - 1,2, эксперты - 1,2.

По второму кейсу КемГУ третий критерий «Группа предложила альтернативные варианты…» оказался самым «проблемным»: отклонение по второму курсу- 1, по второму - 1,7, эксперт оценивал один - 3 балла (невысокий результат). обучающийся компетенция магистерский

В третьем кейсе АГУ обозначились два «проблемных» критерия: третий «Группа предложила альтернативные варианты…» и пятый «Группа умеет выступать перед аудиторией…». Так, стандартное отклонение по третьему критерию по второму курсу составило 1,1, по первому - 2,2, эксперт один оценил в 2 балла (низкий показатель). По пятому критерию отклонение по второму и первому курсам - 1,3, эксперт оценил невысоко в 3 балла.

Полученные данные отражают существенную несогласованность в оценках, что, предположительно, может свидетельствовать о том, что были: 1) недостаточно четко прописаны критерии, не раскрыты содержание каждого из критериев представленной по типу Лайкертовой шкалы оценивания Психометрическая шкала Лайкерта главным образом используется в опросниках и анкетах. При работе со шкалой испытуемый оценивает степень своего согласия или несогласия с каждым суждением, от «полностью согласен» до «полностью не согласен». Итоговая сумма оценок каждого суждения отдельно показывает установку испытуемого по какому-либо вопросу.;

Таблица 8 Сравнительная оценка выполнения кейсов одной группы (1 курс)

Группа
Критерий	Группа выделила проблему/…	Группа кратко описала ситуацию, …	Группа предложила альтернативные …	Группа организовала информацию ..	Группа умеет выступать ..
Оцените, пожалуйста, степень Вашего согласия с утверждением от 1 до 6, где 1 - не согласен, 6 - согласен
Кейс ЧГУ КФ
гр.№ 1 (2 курс)	3	4	4	5	6
гр. № 2 (2 курс)	4	4	2	2	3
гр. № 3 (2 курс)	6	5	5	5	6
гр. № 4 (2 курс)	5	5	4	4	5
Средняя оценка 2 курса	4,5	4,5	3,8	4,0	5,0
Стандартное отклонение	1,3	0,6	1,3	1,4	1,4
№2	4	2	2	5	3
№5	3	3	4	3	4
№7	5	6	2	5	5
Средняя оценка 1 курса	4,0	3,7	2,7	4,3	4,0
Стандартное отклонение	1,0	2,1	1,2	1,2	1,0
Эксперт 1	4	4	2	2	3
Эксперт 2	5	4	3	4	5
Эксперт 3	5	5	4	4	4
Средняя оценка экспертов	4,7	4,3	3,0	3,3	4,0
Стандартное отклонение	0,6	0,6	1,0	1,2	1,0
Кейс КемГУ
гр.№ 1(2 курс)	6	4	6	5	4
гр. № 2 (2 курс)	5	5	5	6	6
гр. № 3 (2 курс)	5	5	4	5	5
гр. № 4 (2 курс)	5	5	4	5	4
Средняя оценка 2 курса	5,3	4,8	4,8	5,3	4,8
Стандартное отклонение	0,5	0,5	1,0	0,5	1,0
№3	5	6	5	5	6
№4	6	5	5	6	6
№7	6	5	2	6	6
Средняя оценка 1 курса	5,7	5,3	4,0	5,7	6,0
Стандартное отклонение	0,6	0,6	1,7	0,6	0,0
Оценка эксперта	5	2	3	3	3
Кейс АГУ
гр. № 1 (2 курс)	4	3	3	4	5
гр.№ 2 (2 курс)	4	5	5	4	6
гр. № 3 (2 курс)	4	4	3	3	3
гр. № 4 (2 курс)	4	3	3	4	3
гр. № 5 (2 курс)	4	5	5	5	5
Средняя оценка 2 курса	4,0	4,0	3,8	4,0	4,4
Стандартное отклонение	0,0	1,0	1,1	0,7	1,3
№3	5	5	2	5	5
№4	6	6	6	6	6
№5	4	4	2	3	3
№7	5	4	1	5	4
Средняя оценка 1 курса	5,0	4,8	2,8	4,8	4,5
Стандартное отклонение	0,8	1,0	2,2	1,3	1,3
Оценка эксперта	4	4	2	3	3

Рис. 6. Сравнительная оценка выполнения кейсов одной группы (1 курс)

2) достаточно разная степень подготовки/компетентность оценщиков (обучающиеся и эксперты).

Стоит также отметить, что чаще всего «проблемными», имеющими большие расхождения в оценках (средние арифметические показатели оценок курсов и экспертов сильно расходятся), были критерии, имеющие невысокие (2-4 балла) показатели, по мнению экспертов. Это наводит на рассуждения о влиянии субъективного мнения команд при выставлении оценок сокурсникам.

В качестве предложения относительно выявленного факта мы фиксируем необходимость учитывать степень подготовки (компетентность) экспертов в процедуре оценивания. Также здесь имеет место вопрос о «качестве» самих оценщиков: насколько оправданным может быть оценка групп 1 и 2 курса самих обучающихся, не имеющих соответственной компетентности.

Таким образом, в качестве рекомендации при дальнейшей доработке шкал оценивания (данное исследование не входит в задачи нашей работы), мы фиксируем необходимость в описании содержания каждого из критериев (от 1 до 6) представленной в оценочном листе шкалы по типу Лайкертовой или, отказавшись от данных оценочных шкал, разработать новые чек-листы с раскрытием содержания каждого критерия оценки (например, что студент должен продемонстрировать эксперту на «1», «2» … «6»). Мы предполагаем, что данные доработки шкал оценивания приведут к большей объективности результатов оценивания экспертами обучающихся, что повысит надежность полученных данных.

2.2 Анализ результатов индивидуальных решений кейсов

В данном параграфе будет представлена апробация Модели формирующего оценивания на примере процедуры анализа результатов индивидуальных решений кейсов, полученных в течение двух учебных лет (период 2016-2017 гг). Всего было два оценочных листа по решению кейсов: содержательный и формальный. Содержательный предназначается для экспертов, формальный - также для экспертов-оценщиков (чтобы не возникало вопросов по различиям оценщиков). Смысл подобного разделения процедуры оценивания состоит в том, чтобы получить результаты по шкалам типа Лайкертовой и чек-листам. В предыдущем разделе мы говорили о необходимости разработать новые чек-листы с раскрытием содержания каждого критерия оценки для повышения надежности данных.

Как известно, при использовании метода ассесмента, для достижения определенной объективности достаточно оценок нескольких экспертов. Цель применения формального оценивания в данном проекте также заключается в создании объективного инструмента оценивания, который сводит к наименьшему разногласию в мнениях экспертов. В Приложении 4 приведен пример результатов при оценивании индивидуальных решений кейса «Сказ про то, как декан за правдой ходил» (формальный аспект). Отметим, что в качестве критериев, принятых при оценивании мы ввели: «да», «частично», «нет». Подобная шкала оценивания применяется в вузах обычно при составлении «отчета» о степени готовности дипломных работ по ряду критериев.