На основе этой таблицы были отобран, подготоовлен образовательный контент, сформулированы конкретные задания. Пример таких заданий представлен в Приложении 5.

Технические параметры реализации программы повышения ИКТ-компетентности педагогов

С учётом того, что весь процесс обучения направлен на включение новых технологий в профессиональную деятельность, то каждое задание ориентировано на подготовку к определённому уроку, выполнение должностных функций, организация общего проекта, а рефлексия проводится на собственном профессиональном опыте.

Прохождение программы занимает 6 недель. Для прохождения каждого модуля требуется 4-6 часов (без учёта выполнения коллективного задания), но в это время входят задания по подготовке к урокам. Итоговое количество времени на выполнение каждого модуля - ориентировочно 6 часов.

В связи с ключевым требованием для апробации программы: гибкость платформы, позволяющей, при необходимости менять структуру, задания, контент «на лету», которые предоставляет google для совместной работы, внутреннюю среду обучения было принято построить работу на основе google sites. Это не исключает использования инструментов для коллективной работы других кампаний.

Основой обучения является дистанционное обучение. Несмотря на то, что первый семинар проходит в очной форме, он является скорее мотивационным, нежели образовательным.

В процессе прохождения программы учителя проходят 2 тестирования.

В процессе обучения курс сопровождает 1 куратор и 1 эксперт. Роль куратора курса ограничивается регламентными процедурами, роль эксперта - дать качественную обратную связь и предоставить качественную оценку работы.

Куратор курса обеспечивает:

• своевременную обратную связь. Т.е. быстрое реагирование на комментарии в документах и на площадке, комментирование замечаний и предложений участников;

• контроль прохождения модулей курса. Включает в себя закрытие документов для редактирования участниками, открытие нового модуля, а так же оценивание работы каждого участника в рамках модуля;

• рефлексию участников. Организация рефлексии участников по итогам модуля.

• проведение входного и итогового оценивания. Подготовка аналитики по итогам тестирования. Формирование индивидуальных рекомендаций для каждого участника на основе аналитики и персональных запросов. Информирование об итогах тестирование.

Эксперт курса обеспечивает:

• формирующее оценивание. Во время работы на площадке участники формируют несколько содержательных заданий. Здесь оценивание работы не может сводиться только к оценке, но необходима подробная рефлексия как работы группы. Суть рефлексии - привести участников к стратегиям метапознания: не только ответить на вопрос «Что они узнали», но и «Как ошибались», «Как узнали»;

• даёт обратную связь на наиболее сложные комментарии, запросы по запросу куратора.

Оценка текущего уровня ИКТ-компетентности педагогов

На данный момент существует значительное количество тестов оценки ИКТ-компетентности педагогов. «Во-первых, инструменты для оценки ИКТ-компетентности часто оценивают некоторую её часть, чаще всего знакомство с техническими возможностями, описание кейсов профессиональной деятельности» [24, стр.2]. Во-вторых, они не чувствительны к прохождению с «дополнительными смыслами», т.е. любой желающий может получить максимальный балл при тестировании. На основе анализа заданий тестовых методик. Эксперимент по качественной оценке прохождения педагогами существующих тестовых методик определения ИКТ-компетентности учителей не проводился.

Таблица Сравнение существующих методик оценки ИКТ-компетентности педагогов

Оценка индекса лояльности NPS (Net Promoter Score)

Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

Learning Аnalytics

В условиях использования бесплатной площадки Google Sites собирать специальную, подробную аналитику довольно сложно: на данный момент специальные среды, собирающие аналитику по работе программы как правило, платные и довольно сложные. Тем не менее, не имея таких ресурсов, я поставила задачу собрать хотя бы минимальные сведения о процессе обучения теми средствами, которые имеются.

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.

Ресурсы, необходимые для организации проведения программы

Таблица 5. Минимальный список необходимых ресурсов

*в рамках обучения по программе «Управление образованием»

**на основе временных затрат при проведении первой программы

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.

1. Проанализировав возможности и ограничения различных форматов повышения квалификации в качестве наиболее эффективного был определён формат «Внутрикорпоративная программа повышения квалификации».

2. Основываясь на работах по андрогогике были сформулированы основные принципы программы:

· без отрыва от профессиональной деятельности;

· модульная структура, с возможностью реализации индивидуальных траекторий;

· в основе программы лежат технологии, владение которыми требуется от педагогов;

· на основе рефлексии собственного опыта;

· в основе модуля - работа с несколькими ИКТ-компетенциями;

· поддержка в формате дистанционного курса;

· включенность в профессиональное сообщество педагогов;

· взаимообучение, взаимопосещение уроков.

3. Для построения программы был выбран подход «от результата», что позволило точно определить не только структуру программы, но и содержательные компоненты.

4. Конструирование образовательного результата, определение оценочных методик, формирование образовательного контента, форм и методов работы с педагогами. На основе запроса заказчика была сконструирована программа и образовательная среда программы, включающая часть заказа в качестве образовательного контента, а часть в качестве заданий для развития компетенций.

5. Оценка эффективности работы программы построена по модели Д.Кирпатрика, а так же использует еще 2 инструмента: индекс NPS для определения лояльности участников программы, Google Analytics для подтверждения технических параметров программы.

6. Произведён анализ существующих систем оценки ИКТ-компетентности педагогов, базирующихся на основе модели UNESCO ICT-CFT. При этом существует несколько проблем в системе оценивания ИКТ-компетентности педагогов. Практически все системы оценивания имеют в своей основе тест с довольно общими закрытыми вопросами. Это приводит к вопросам достоверности оценки, особенно в ситуациях оценки с дополнительными смыслами (например, наличие оценки ИКТ-компетенций позволит легче пройти аттестацию). Большинство систем оценивания не предполагают возможности задать вектор развития, что для педагогов, проходящих оценивание является одним из важнейших результатов.

7. На данный момент инструменты оценки работают с индивидуальными результатами и не дают обобщенной информации для данной группы интересантов. Хотя, наиболее общие результаты - по уровню компетенций (общему набранному баллу) могут дать представление не только о наиболее квалифицированных в использовании ИКТ учителях, но и дать информацию об учителях, готовых повышать свою ИКТ-компетентность, если данная практика покажет свои результаты (ранние и поздние последователи по концепции Роджера[9]). Это позволило бы объективно формировать выборку учителей, которым рекомендовали пройти программу повышения ИКТ-компетентности Возможность пройти программу по собственной инициативе предоставляется и будет доступна всем педагогам образовательной организации..

3. Реализация образовательной программы. Анализ результатов и описание эффектов программы

Цель данной части работы: описание логики реализации программы, описание результатов и эффектов программы.

Условия опытно-экспериментальной работы

ГБОУ школа № 2116: 3 корпуса школы, 6 корпусов дошкольных образовательных учреждений. Всего 140 учителей.

Экспериментальная работа будет проведена в корпусах «ШО2, ШО3», и охватит 60 педагогов для двух групп учителей: в октябре-ноябре и в ноябре-декабре.

Уровень информационно-образовательной среды находится между 1 и 2: доступ к ИКТ организован достаточно (но не свободно), при этом вопросы использования ИКТ только начали задавать Cox, M. J., & Marshall, G. (2007). Effects of ICT: Do we know what we should know? Education and Information Technology(12), 59-70. . Каждое рабочее место учителя оборудовано компьютером и презентационной техникой, с доступом в интернет. В каждом здании 2-3 кабинета информатики, оборудованных компьютерами. Школьный wi-fi работает, но ученики не могут к нему подключиться (только учителя и только по запросу). ИКТ используются только для презентаций урока.

Рисунок 3. Уровни развития информационной образовательной среды

Учителя практически не используют работу с электронными устройствами на уроках, домашние задания в некоторых случаях выполняются с помощью сервисов интернет (как правило, индивидуально и, как правило, это в основном агрегаторы задач).

Этапы реализации программы

Для оценки эффективности программы мы оцениваем динамику развития ИКТ-компетентности по выделенным показателям за короткий промежуток времени, что снижает вероятность развития ИКТ-компетентности с помощью внешних факторов и позволяет говорить о вкладе программы в изменение ИКТ-компетентности педагога.

1 Этап. Оценка текущего уровня ИКТ-компетентности. Май 2017. Один из ключевых этапов - прохождение тестирования ИКТ-компетентности. В рамках подготовки был создана диагностическая анкета, позволяющая довольно точно определить, уровень ИКТ-компетентности педагога, с большим количеством открытых вопросов для подтверждения необходимых навыков (открытые вопросы требовали указать некоторые конкретные задачи, которые были решены, как подтверждение владения различного уровня ИКТ-компетентностью). Данный опрос занимал около 60 минут времени и был довольно подробным. Но этот инструмент был отклонён, поскольку он занимал значительное количество времени и был ориентирован на значительно выше в среднем уровень ИКТ-компетентности педагогов. В связи с чем, диагностическая анкета была значительно изменена: по количеству и качеству вопросов.

2 Этап. Прохождение программы (октябрь-декабрь 2017) для педагогов занимает 5 недель (по количеству модулей). На данном этапе идёт постоянная внешняя оценка как со стороны учителей (в рамках внутренней среды программы), так и со стороны учеников (с помощью электронных закрытых анкет) - в рамках внешней среды по отношению к программе.

3 Этап. Оценка эффективности программы (в том числе, оценка динамики ИКТ-компетентности педагога). Декабрь 2017. Включает в себя диагностику ИКТ-компетентности педагога и анкетирование учащихся о характере и интенсивности использования ИКТ на уроках.

Оценка эффективности программы

На данный момент существует несколько моделей оценки эффективности корпоративных образовательных программ. Наиболее популярные: модель Д. Кирпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc., V-модель Дж. Филлипса и модель человеческого капитала.

Для оценки эффективности программы развития ИКТ-компетентности педагогов была выбрана модель Д. Кирпатрика, поскольку она включает в себя несколько уровней оценивания (Анкеты даны в Приложении 4):

· Реакция. Даёт мгновенную обратную связь, что необходимо для оценки преподавателя, первой оценки полезности образовательного контента и сформированных условий обучения.

· Научение. Оценка уровня усвоения материала. Позволяет оценить основной результат прохождения программы: знаниевую компоненту и навык применения.

· Поведение. Оценка соответствия полученных навыков рабочим обязанностям, т.е. насколько эти навыки будут использованы в рабочем процессе без привлечения опроса учащихся, насколько изменилось поведение участников программы.

· Результативность. В классических корпоративных программах бизнес-сектора есть культура измерения производительности сотрудников, и практика измерений довольно обширна. Измерение производительности педагогов - вопрос не однозначный и решается не одно десятилетие. На данный момент оценка образовательной программы по этому уровню не производится.

Обязательными метриками, включенными в программу являются:

· Индекс лояльности NPS (Net Promoter Score). Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

· Learning Аnalytics. Данные о происходящем обучении и его контексте, чтобы понять и оптимизировать образовательный процесс и среду. В данном случае мы включили только оценку работы с сайтом программы с помощью Google Analitics и Я. Метрика, позволяют автоматически собрать информацию по работе с сайтом: считают количество посещений, группируют посетителей по признакам, формируют популярные страницы, вычисляют среднее время пребывания на сайте, формируют отчёты автоматически.

Первый уровень. Реагирование

Для оценки данного показателя в каждый модуль была включена анкета оценки модуля (см. Приложение 4). Вопросы анкеты для каждого модуля одинаковы.

Аналитическая справка: для всех модулей показатель средний отмеченный балл довольно высок. При этом особенно выделяются 3 и 5 модуль: это использование инструментов ИКТ в рамках современных педагогических практиках и организация и управление учебным процессом.

Аналитическая справка: практически для всех модулей участники курса отмечают максимальный балл, при этом балл за модуль «Технические и программные средства интеренет» несколько ниже. В более подробном опросе оказалось, что задания в данном модуле были 2х уровней: слишком лёгкими - по применению технических средств и слишком времязатратными - по подготовке long-read материала. Это говорит о том, что для следующих потоков необходимо задания сбалансировать.

Аналитическая справка: высокие показатели по данному критерию говорят о том, что программа отвечает запросам заказчика в полной мере. Но, надо уточнить, что на данный показатель может также влиять формат организации работы внутри модуля (по тренинговой методике): когда на начало модуля участник, получая входную информацию о задачах модуля, заданиях и образовательном контенте, сам выбирает для себя маршрут прохождения и формулирует цели. Это обязательная часть прохождения каждого модуля в дальнейшем подкрепляется личной рефлексией о результативности.

Аналитическая справка: в работе программы предусмотрено включение 2х человек: куратора курса и эксперта. В связи с тем, что курс проводился одним человеком, в работе были задержки с итоговыми результатами по 2м модулям.

Аналитическая справка: среда организована таким образом, чтобы максимально прозрачно выстроить образовательный процесс, и иметь возможность оценивать не только знаниевую компоненту, но и уровень владения навыками, в том числе - навыками работы в команде, дистанционного взаимодействия и т.п.

Аналитическая справка: на данной диаграмме мы видим вклад каждого критерия в общий результат по каждому модулю. По четвёртому модулю мы получили самые низкие оценки по сравнению с другими модулями. В связи с этим, для дальнейшей работы с курсом уровень материалов, заданий, необходимо оценить. Возможно, такая оценка так же связана с тем, что 5 модулей (5 недель) для внутрикорпоративной программы - довольно много и необходимо перестраивать логику программы.

Второй уровень. Научение. Оценка текущего уровня ИКТ-компетентности

Оценка знаниевой компоненты и навыков проводится в каждом модуле 1 раз, в форме оценки проявленных знаний и демонстрации навыков при выполнении заданий (на основе уровней: неправильное использование / адекватное использование / экспертное использование).

Оценка уровня ИКТ-компетентности педагогов проводится на основе анализа динамики по показателям ИКТ-компетенций педагогов. На основе этой диагностики мы можем оценить, насколько программа влияет на педагогов с точки зрения их навыков, но не с точки зрения насколько они меняют ИОС. Положительная динамика в этом показателе является необходимым, но не достаточным условием. Отсутствие статистически значимых изменений в этом показателе скажет о некачественной разработке и/или реализации программы.

На данный момент подходящего инструмента для оценки ИКТ-компетентности педагогов найти не удалось. (Выше, в разделе «Оценка ИКТ-компетентности педагогов» проанализированы существующие инструменты и обосновано решение создать диагностическую анкету ИКТ-компетентности для данной программы.)

В связи с чем на основе запроса администрации, учителей и учащихся был сформирован запрос и оформлен в рамку ICT CFT (См. Приложение 2). На основе этой рамки был построен опросник, содержащий 63 вопроса, большее количество которых - открытые. Прохождение анкеты требовало огромного количества времени для респондентов, и значительный уровень экспертной оценки. В результате было принято решение использовать комбинированное оценивание: сформировать новый опросник, уменьшив количество вопросов, оставив только значимые, преобразовав вопросы в закрытую форму. Это значительно укрупнило масштаб: на основе первого опросника довольно подробно можно было увидеть текущий уровень респондента не только по каждому направлению матрицы ICT CFT, но и по конкретным ИКТ-компетенциям и навыкам. За счёт изменения опросника эта детализация потеряна, но мы реализуем это оцениванием работы внутри каждого модуля.

Вторая версия опросника содержит 30 вопрос, все из них закрытые, некоторые с возможностью внести собственны й вариант ответа.

На основе матрицы ICT CFT сформированно уточнение для диагностической анкеты, и выделены вопросы. Расшифровка рамки дана в Приложении 9. Результаты входного тестирования педагогов по данной таблице:

Таблица Результаты входного тестирования педагогов

В последнем модуле перед завершением программы было еще раз проведено итоговое тестирование, которое позволило оценить динамику ИКТ-компетентности педагогов. Здесь и далее приводятся данные по количеству участников программы (в %), набравших определённый бал и попавших в соответствующую категорию («Производство знаний», «Освоение знаний», Применение ИКТ»).Аналитическая записка: Для данного показателя значительным было не только уменьшение участников, набравших небольшое количество баллов, но и значительное увеличение участников, набравших высокий балл. Так же можно отметить в целом положительное изменение по баллам: 0 в выходной анкете не набрал никто, большинство участников повысило свой балл на 4-5 пунктов из 10 возможных.

Аналитическая записка: изменение баллов, характерное для показателя «Учебная программа и оценивание» характерно так же для остальных параметров в разной степени. Для показателя «Педагогические практики» значительным был переход с низших значений на средние и близкие к уровню «Производство знаний».

Аналитическая записка: данный модуль оказался одним из самых успешных для участников программы, поскольку именно в этом модуле удалось перевести участников на самый высокий уровень тех, кто уже показывал хорошие результаты. Возможно, здесь необходимо усложнить вопросы.

Аналитическая записка: один из уровней, в которых программа не дала значительного результата. Можно предположить, что задания в этом модуле на данный момент не позволяют значительно закрепить изменения в практиках или некоторые результаты этих изменений не могут проявиться достаточно быстро, а могут проявляться в определённых этапах, например, организация проектной деятельности и т.п.

Аналитическая записка: данный показатель один наиболее позитивных: здесь практически всех удалось перевести на уровень «Освоение знаний» и «Производство знаний». Эффективность участия в профессиональных сообществах в любой форме показана в программе в нескольких модулях, это позволяет внутри организации создавать свои микросообщества и использовать внутренний потенциал развития организации.

Третий уровень. Поведение

Оценку, включены ли новые паттерны работы в педагогическую практику, проводим анкетированием (самооценка) педагогов, анкетированием учащихся.

Аналитическая справка: для данной группы характерен незначительный «откат» к предыдущему уровню. Данная диаграмма показывает, какие элементы урока были значительнее изменены программой. Неожиданный эффект программы: демонстрация нового материала (презентация) сначала незначительно увеличивается, а затем снижается с течением времени. Т.е. мы явно видим не только изменение в использовании ИКТ, но и изменение в педагогических технологиях, применяемых учителями. Предполагая, что учителям доступны материалы для презентации они ориентируются на иные способы работы с новым материалом, нежели подача его на уроке. Кроме того, если все критерии немного опускаются с течением времени, то единственный показатель «Повторение» растёт. Это говорит о том, что задания для отработки материала на высоком уровне сложности учителя предпочитают предлагать в электронном варианте. Для детального изучения этого предположения необходимо дополнительное исследование.

Аналитическая справка: Кардинальное изменение практики использования ИКТ в первой группе по результатам работы программы показывает, насколько значительные изменения происходят в практиках обучения. После окончания работы программы эти изменения «возвращаются» к исходному уровню, но у очень незначительного количества учителей. Возможно, такой значительный эффект связан с тем, что в процессе обучения были созданы поддерживающие каналы коммуникации, которые участники группы продолжали использовать после окончания программы. Важность наличия таких каналов коммуникации подтверждают результаты второй группы.

Результаты самооценки

Аналитическая справка: на основе ответов для каждого участника группы материалы, предоставленные в ходе обучения (или их часть была не знакомой). Что позволяет сделать вывод, что материалы, подобранные для работы являются актуальными на данный момент.

Аналитическая справка: этот вопрос является ключевым, поскольку раскрывает не только знаниевый компонент, но и основное: условия работы позволяют реализовывать данные практики. Они в достаточной мере освоены, чтобы не отнимать слишком много времени при подготовке или освоении.

Аналитическая справка: нет ни 1 участника, указавшего ответ менее 50%. Это значит, что задачи, которые позволяют решать предложенные в курсе методики, занимают достаточно большое количество времени, что означает их интенсивное использование.

Аналитическая справка: Все участники программы определили соответствие программы успешной работе на 70 и более процентов. При этом наиболее частые ответы - 90% и 80%. Т.е. программа попала в ожидания и позволяет решать задачи настолько эффективно, насколько это видят возможным участники программы.

Аналитическая справка: как минимум 30 % информации участники начали применять в своей работе. Это довольно низкий показатель для данной программы, но показатели ниже 50 % отметило 6 человек из обеих групп, это 18% выборки. Сопоставляя данные этого вопроса и предыдущих можно сделать вывод, что есть некоторые практики, которые участники группы интенсивно используют в своей работе, а часть содержания программы не используется в работе как минимум данной группой. Для того, чтобы точно определить, какие разделы программы и почему не настолько включены в деятельность этих 18 % необходимо провести дополнительно анкетирование или изменить включить новые вопросы в систему оценивания.

Аналитическая справка: дизайн программы ориентирован на выполнение заданий и решение задач своей профессиональной деятельности. Результаты этого опроса подтверждают, что принцип немедленного применения на практике в программе реализован.

Аналитическая справка: все респонденты ответили, что имели определённые ожидания от программы. В рамках предварительной оценки ИКТ-компетентности педагогов центра учителей познакомили с тем, какие задачи решают ИКТ. В информационном объявлении о программе были описаны основные задачи, поэтому пул ожиданий от программы был сформирован самим входом в программу.

Аналитическая справка: такой высокий процент тех, кто определил, как будет применять эти знания позволяет говорить определяется следующими составляющими дизайна программы: 1) в рамках обучения все выполняют задания в своей профессиональной деятельности; 2) поскольку программа внутрикорпоративная, при возникающих у учителя вопросах он обращается к тем, кто проходил курс с ним или куратору курса.

Аналитическая справка: поскольку программа ориентирована на конкретного заказчика и создавалась под те условия, в которых работают учителя, другие результаты показали бы, что условия работы учителей не учтены или мало изучены.

Оценка индекса лояльности NPS (Net Promoter Score)

В итоговую анкету по последнему модулю был включен дополнительный вопрос «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».

Таблица 7. Результат опроса для оценки индекса NPS