Методология измерения родительской вовлеченности в образование детей
Измерение родительской вовлеченности. Выбор теории тестирования для разработки инструментов. Разработка опросника. Разработка шкалы для измерения родительской вовлеченности: сценарный подход; психометрические характеристики; пример использования.
| Рубрика | Педагогика |
| Вид | диссертация |
| Язык | русский |
| Дата добавления | 12.09.2019 |
| Размер файла | 1,3 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Несмотря на высокую согласованность результатов по благоприятности родительской вовлеченности для академических достижений детей, отдельные исследования показывают неожиданное отсутствие эффектов родительской вовлеченности или отрицательные эффекты. Исследователи объясняют отрицательные эффекты в терминах так называемой «реактивной гипотезы» -- предположения о том, что более высокая родительская вовлеченность может быть связана с изначально более низкими способностями детей (то есть, родители видят, что ребенок плохо справляется с учебой, и уделяют его школьным делам повышенное внимание). Существуют исследования, как подтверждающие реактивную гипотезу (Hampden-Thompson et al., 2013), так и опровергающие ее (McNeal, 2012). В главе 3 данной работы будет проведен анализ, проверяющий свидетельства «реактивной гипотезы» на выборке российских младших школьников, в результате которого подтверждения «реактивной гипотезы» найдено не было.
Отсутствие эффектов родительской вовлеченности не менее интересно (например, Hindman et al., 2010; Wena Xiaoli et al., 2012), поскольку такие результаты входят в диссонанс с теоретическими рамками исследований родительского участия в обучении детей. Следует отметить, что отсутствие эффекта родительской вовлеченности часто отмечают в изучении именно школьной родительской вовлеченности, что уже привело к описанной выше критике школьных программ вовлечения родителей, таких как HeadStart.
Третий из поставленных Кейтлин Хувер-Демпси вопросов касается механизмов, с помощью которых родительская вовлеченность дает положительные результаты для академического прогресса детей. Занимаясь этими механизмами, исследователи пришли к двум группам моделей (Pomerantz et.al., 2007):
1. Модели развития навыков
2. Модели развития мотивации
Согласно модели развития навыков, вовлеченность родителей улучшает достижения детей, поскольку своим участием родители развивают у детей когнитивные (такие как чтение, счет и пр.) или метапредметные навыки (планирование, регулирование процесса учебы).
В рамках мотивационной модели предполагается, что родители передают детям различные мотивационные ресурсы (внутренние побуждения для учебы), демонстрируют важность образования, и со временем дети интериоризируют эту установку.
Ева Померанц с коллегами более 10 лет исследовали различные аспекты вовлеченности родителей, сделав ставку на мотивационные модели. Они выяснили, что наибольшее объяснение эффектов родительской вовлеченности дают убеждения детей о роли и ценности образования в их жизни. Если говорить о мотивации, то ориентированная на родителей мотивация лучше всего предсказывает учебные достижения, причем одинаково в США и Китае (Pomeranz, Sin-SzeCheung, 2012).
Исследователи подчеркивают, что невозможно охватить весь спектр способов, которыми родители могут успешно влиять на достижения детей (Lee, Bowen, 2006). Помимо механизмов, заложенных в навыковой и мотивационной моделях, существует целый ряд факторов, которые необходимо учитывать в исследованиях. Назовем два важнейших: стили воспитания и социально-экономический статус семей.
Стили воспитания, или стили коммуникации родителей с детьми, часто контролируются в исследованиях домашней вовлеченности. В 1960-х и 70-х годах был проведен ряд исследований стилей, в результате которых, на основании наблюдений экспертов, были выделены четыре характеристики родительского поведения: 1. Склонность родителей к контролю либо к поддержанию автономности; 2. Фокус родителя на ребенке или на процессе; 3. Позитивный или негативный настрой (аффект) родителя; 4. Положительные или отрицательные убеждения родителя относительно способностей ребенка. Иногда к характеристикам родительского стиля воспитания добавляют характеристики среды: теплоту семейного климата и степень структурированности среды (Pomerantz et al., 2007; Paxson, Schady, 2005; Gonida, Cortina, 2014). Среди первых исследований 1960-х гг были работы Дианы Баумринд, которая на основании наблюдения за поведением родителей выделила три основных стиля (авторитартный, авторитетный, разрешающий) (Baumrind, 1967). Для разрешающего родительского стиля (который иногда еще переводят как «попустительский») характерно родительское принятие и подкрепляющее поведение по отношению к импульсам ребенка. Такие родители советуются с ребенком, объясняют, редко требуют участия ребенка в домашних делах. Авторитарные родители пытаются формировать, контролировать и оценивать поведение ребенка, как правило, требуя послушания и дисциплины. Наконец, авторитетные родители тоже направляют поведение ребенка, но в более рациональном порядке: объясняя причины требований, акцентируя цели действий и поощряя автономность. Анализируя полученные эмпирическим путем результаты, Баумринд пришла к выводу, что у авторитетных родителей дети более зрелые, социально-независимые, активные и успешные, чем дети неавторитетных родителей (Baumrind, 1971). Среди стратегий авторитетных родителей (таких как скаффолдинг социальной компетентности детей с помощью общих дел и бесед; убеждение вместо насилия; давление при необходимости добиться от ребенка уважения и пр.) важное место занимает школьная родительская вовлеченность. Одним из существенных ограничений результатов Баумринд является смещенная выборка исследований (белые американцы среднего класса). Это может объяснять, почему в некоторых последующих исследованиях не было найдено связей между родительскими стилями воспитания и успеваемостью детей, так как, например, в афроамериканских семьях авторитетный стиль воспитания не являлся предиктором школьных достижений (Matejevic et al., 2014).
В последнее время обсуждения родительского стиля воспитания сместились на такой конструкт как «родительский контроль» (Grolnick, Pomerantz, 2009; Soenens, Vansteenkiste, 2010). Под контролем понимается регулирование и мониторинг родителем поведения ребенка (Power et al., 2013) и, более широко, контроль может пониматься как характеристики среды, контролирующей и регламентирующей поведение ребенка (Grolnick, Pomerantz, 2009).
Социально-экономический статус семьи (СЭС) является классическим предиктором успешности школьного обучения ребенка. Не случайно авторы метааналитических обзоров пишут, что во всех странах, для которых собраны данные, образовательные достижения школьников коррелируют с уровнем образования или социо-экономическим положением их родителей» (Bjцrklund, Salvanes, 2010). Исследования СЭС часто тесно сопряжены с изучением мотивации, в том числе, ожиданий и убеждений родителей (Davis-Kean, 2005, Benner, Mistry, 2007).
1.3 Состояние исследований родительской вовлеченности в России
В русскоязычной литературе широко представлены исследования, посвященные феномену родительства, взаимодействию родителей и детей (Захарова, 2014; Гурко, 2008; Polivanova, Vopilova, Nisskaya, 2016; Polivanova, 2018). Интерес к изучению того, как изменилась семья и механизмы ее функционирования, объясняется стремлением исследователей оценить социальные изменения в обществе, произошедшие после структурной перестройки экономики 1990-х годов, сопровождающейся дезадаптацией большой части населения, в том числе, и родителей (Гурко, 2008, с. 6). Однако все это -- психологические, а не педагогические исследования. Академические достижения детей не являются их главным фокусом, а в эмпирических исследованиях не контролируются показатели учебных результатов учеников. Данные социологических опросов также позволяют выявить горячие проблемные области детско-родительских отношений. Например, согласно опросам, родительская жестокость имеет место в 45-49% семей (Подольский, Идобаева, Идобаев, 2012, с. 113), но исследований, в которых подобные убеждения родителей относительно допустимости физических наказаний оценивались бы относительно (или при контроле) результатов детей, по стандартизированным педагогическим тестам достижений, в нашей стране не проводилось.
С другой стороны, в России уже появились исследования родительской вовлеченности на базе школы (например, Мерцалова, Гошин, 2014; Гошин, Мерцалова , 2019; Гошин, Григорьев, Мерцалова, 2019). В подобных исследованиях в фокусе внимания находится отношение родителей к школе, их удовлетворенность коммуникациями с учителями, их степень вовлеченности в школьные дела и готовность участвовать в управлении образовательным процессом (Мерцалова, Гошин, 2014), либо выделяются стили родительского поведения (Гошин, Мерцалова, 2019). При этом результаты академической деятельности детей, измеренные стандартизированными инструментами, не контролируются.
Отсутствие контроля академических достижений детей можно объяснить удорожанием организации исследования и методологическими трудностями (например, необходимостью создать или приобрести инструменты для оценивания достижений). Преимущества стандартизированных тестов с доказанными психометрическими свойствами для контроля учебных достижений детей (в сравнении со школьными отметками или рейтингами учителей) объясняются меньшим риском присутствия в данных искажений (Willingham, Pollack, Lewis, 2002).
Появление интереса к родительской вовлеченности, именно в плане школьной родительской вовлеченности, связано с тем, что в России происходит смена моделей взаимодействия школы и родителей. Генри Хорнби выделяет следующие шесть моделей подобного взаимодействия (Hornby, 2011):
1. Модель «статус кво»: взаимодействия между родителями и учителями сведены к минимуму; обязанности учителей ограничены учебным планом, а родители отвечают за то, чтобы дети пришли в школу с портфелями и тетрадями.
2. Экспертная модель: учителя выступают экспертами во всем, что касается обучения детей, а родители должны их слушаться.
3. Ресурсная модель: родители выступают в роли образовательного ресурса, например, участвуют в программах внеклассного чтения.
4. Модель совместной разработки учебной программы: в некоторых школах, чаще в поликультурных, родителей привлекают к разработке учебных планов.
5. Потребительская (клиентская) модель: родители выступают «заказчиком» образования, а школа -- подотчетным им исполнителем.
6. Партнерская модель: характеризуется взаимным доверием, уважением, компетентностью, налаженной коммуникацией, преданностью делу, равенством, приоритетом детей. Отношения между школой и семьей можно назвать партнерскими, если: (a) центром внимания обеих сторон является учащийся, (b) они разделяют убеждение, что семьи и учащиеся одинаково важны, и должны разделять ответственность за достижение ребенком успехов, (c) акцент ставится на активном сотрудничестве, (d) школа и семья совместно работают над созданием оптимальных условий для обучения (превентивный подход с опорой на решения) (Christenson, Sheridan, 2001).
Традиционно в России существовала экспертная модель взаимодействия семьи и школы (Мерцалова, Гошин, 2014), наиболее известным примером которой была рaбота с родителями в школе В. Сухомлинского. На позднем этапе СССР школа признала необходимость работы с родителями без признания их компетентности (под лозунгом «Мы будем вам говорить, что делать, а вы будете это выполнять»). В период перестройки и ранний постсоветский период родители использовались в качестве материальных и финансовых ресурсов, затем в ряде случаев школа пересмотрела взгляд на родителей, как заказчика, который может дать дальнейшие ориентиры развития (привлечение родителей к управлению школой) (Мерцалова, Гошин, 2014). В наследство от советской педагогики в современной школьной практике остались понятия «педагогическое образование родителей» и «формирование педагогической культуры родителей». Сегодня в некоторых рекомендациях для учителей по общению с родителями учащихся (например, Чибисова, 2014; Красноперова) заметны попытки уйти от экспертной модели: например, учителям рассказывают о приемах конструктивного общения с родителями. При этом немногочисленные, размещенные на ресурсах для учителей, «памятки» и «методички» по взаимодействию с родителями, в которых делаются заявления о стремлении к партнерству, на деле декларируют ценности «экспертной модели», например, призывают к «педагогизации» сознания родителей (Кружилина, 2009) или предлагают заявить о своем отношении к мнению родителя как экспертному в качестве манипулятивного приема воздействия, «если необходимо повысить активность родителя» (Чибисова, 2014).
Тем не менее, в России есть исследования родительской вовлеченности, включающие в себя оценивание родительской вовлеченности, достижений детей и их семейных факторов. Некоторые из них проводятся на базах данных международных сравнительных исследований (PIRLS, TIMSS, PISA) (например, Захаров А., Капуза А., 2017).
Объемы информации по родительской вовлеченности, доступные в зарубежной и российской литературе, несопоставимы. Для эффективного развития исследований родительской вовлеченности в России (и, как следствие, возможности предлагать обоснованные методические рекомендации или основанные на доказательствах образовательные решения) очень важны исследования, позволяющие лучше понять «портрет вовлеченного родителя»; дескриптивные исследования; сравнительные исследования, позволяющие лучше понять особенности вовлеченности родителей в России. Для обеспечения качества результатов исследований, необходимо основывать измерение конструкта родительской вовлеченности на доказательных методологических подходах.
1.4 Актуальность исследования родительской вовлеченности
Актуальность исследования родительской вовлеченности, с одной стороны, обусловлена требованиями к школам и педагогам на усиление вовлечения родителей в образовательный процесс; с другой стороны -- формированием запросов со стороны родителей на большую гибкость, адаптивность и индивидуализацию подхода общеобразовательной системы.
Как было показано выше, существует дефицит количественных исследований родительской вовлеченности на русском языке. В настоящее время на русском языке нет опросников для измерения родительской вовлеченности с доказанными психометрическими свойствами, поэтому наличие апробированных инструментов с хорошими психометрическими свойствами позволит с большей надежностью интерпретировать результаты исследований и будет способствовать дальнейшему развитию исследований родительской вовлеченности в России.
1.5 Цели работы по измерению родительской вовлеченности
Анализ научной литературы показал, что зарубежные исследования родительской вовлеченности привели к непоследовательным результатам. Исследователи отмечают, что «трудно сказать, вызвано это различиями между образовательными системами или разнообразием методом для оценки достижений детей и вовлеченности родителей» (Punter et al., 2016). Это поднимает методологические вопросы разработки инструментов для измерения родительской вовлеченности.
Настоящее исследование ставит перед собой две связанные между собой цели.
1. Разработать методологию измерения родительской вовлеченности в обучение младших школьников в рамках комплексного исследования школьного прогресса детей. Эта цель предполагает исследование существующих методологических подходов к измерению родительской вовлеченности с использованием ликертовских шкал; а также использование сценарного подхода для разработки шкалы родительской вовлеченности и психометрический анализ результатов оценивания. Реализации этой цели посвящена глава 2 настоящего исследования.
2. Апробировать применение разработанного инструмента с учетом различных факторов развития детей в начальной школе при учете других контекстных факторов. Реализации этой цели посвящена глава 3 настоящего исследования.
1.6 Выбор теории тестирования для разработки инструментов
В настоящее время в распоряжении практиков имеются две теории тестирования. Классическая теория тестирования (КТТ) получила максимальное развитие в середине ХХ века и известна как «теория истинной оценки» (см., например, Крокер и Алгина, 2004). Современная теория тестирования (Item Response Theory, IRT) в основных своих положениях была разработана в 60-70-х годах ХХ века, но по-настоящему широкое применение получила с 1980-х годов, благодаря развитию вычислительной техники. Описываемые в этой главе опросники разрабатывались в рамках современной теории тестирования, выбор которой обоснован ее преимуществами.
Пожалуй, главное ограничение классической теории тестирования заключается в неразделимости характеристик испытуемых и характеристик теста: их можно интерпретировать только в контексте друг друга. Второй основной проблемой КТТ является то, что ошибка измерения высчитывается одинаковой для всех респондентов. Но тестовые баллы -- это не одинаково точное измерение для респондентов разных способностей. Следовательно, допущение об одинаковой для всех ошибке измерения неправомерно (Lord, 1984). Последнее главное ограничение классического подхода к измерениям заключается в том, что он ориентирован на тест как целое, а не на отдельные задания. Классическая модель истинной оценки не принимает в расчет то, как экзаменуемые ответили на конкретное задание. Поэтому не существует основания, отталкиваясь от которого, можно было бы предположить, как конкретный человек ответит на отдельное задание (Hambleton et al., 1994). К достоинствам классического подхода можно отнести его простоту и нетребовательность к размеру выборок и наличию специализированного программного обеспечения.
Современная теория тестирования Item Response Theory (IRT) использует вероятностные модели измерения. Измерительные достоинства этих моделей заключаются в том, что (a) характеристики заданий не зависят от группы испытуемых; (b) баллы описывают латентную переменную испытуемого, независимо от параметров теста; (c) модель существует на уровне задания, а не на уровне теста; (d) модель не требует строго параллельных форм теста для оценки надежности; и (e) модель обеспечивает точное измерение способности для каждого количества набранных баллов (Hambleton et al., 1994). Кроме того, математический аппарат IRT позволяет получать результаты измерений на интервальной шкале, что расширяет возможности для вторичного анализа (классическая теория тестирования (КТТ) позволяет получить результаты только на порядковой шкале); и дает методы анализа функционирования шкал и их категорий, позволяя, в частности, оптимизировать число ответных категорий.
IRT является современным стандартом для разработки тестов и опросников. Она применяется в крупных международных исследованиях и для анализа результатов экзаменов с высокими ставками.
В рамках современной теории тестирования существует два направления, различающиеся установками о проведении измерений.
Последователи датского математика Георга Раша, именем которого названа группа моделей IRT, убеждены, что для объективности измерений важно уже на этапе разработки инструмента определиться с моделью для будущего анализа и желаемыми характеристиками инструмента. Достоинством моделей Раша является требование к наличию у исследователя гипотезы a priori о континууме измеряемых характеристик (Wright, 1989). Таким образом, при анализе исследователь не просто подбирает подходящую к данным модель, а проверяет состоятельность выбранной теоретической рамки. Если после апробации данные будут плохо соответствовать модели, необходимо понять, что привело к плохому согласию с моделью, и вносить в инструмент изменения до тех пор, пока не будет достигнуто хорошее согласие данных с моделью. Иными словами, в рамках Раш-измерений желаемые свойства шкалы закладываются еще на этапе разработки инструмента (Mead, 2010).
В рамках общей теории IRT (не Раш-измерений) вполне допустимо подбирать для анализа данных любые модели, которые находятся в лучшем согласии с данными. Таким образом, в IRT важнейшим этапом в жизненном цикле инструмента является этап анализа данных, в ходе которого к данным подбирается наиболее подходящая им модель.
В данном исследовании разработка и анализ опросников велись в рамках Раш-измерений.
1.7 Контекст исследования и обзор инструментов
Описываемое в настоящей главе исследование проводилось в рамках лонгитюдного проекта по исследованию прогресса детей в течение первого года обучения в школе («Старт», старое название iIPIPS) и в течение всей младшей школы («Прогресс», старое название iPIPS+). Одной из научных задач, стоящих перед проектами «Старт» и «Прогресс», является исследование факторов развития детей в младшей школе. Это объясняет необходимость учитывать школьные факторы, индивидуальные факторы ребенка (его уровень когнитивного и некогнитивного развития), а также семейные факторы развития ребенка, включая социально-экономическое положение, культурный капитал семьи и родительские практики. Для того, чтобы комплексно учитывать факторы развития детей в младшей школе, в проекте «Старт-Прогресс» используются следующие инструменты измерения:
А) Инструменты измерения когнитивного и некогнитивного развития детей:
1. Инструменты диагностики для начала 1-го класса («точки отсчета») предназначены для того, чтобы надежно измерить уровень подготовленности детей сразу после приема в школу (примерно в октябре) по четырем принципиально-важным областям: ранние навыки чтения, ранние навыки математики, словарный запас, фонематические навыки. Все четыре оцениваемые области измеряются в ходе одной 15-40-минутной игровой сессии. Тестирование компьютеризировано, использует систему правил остановки (полуадаптивный алгоритм) для того, чтобы уберечь детей от предъявления им слишком трудных для них заданий. Тестирование проводится индивидуально предварительно обученным интервьюером, задачей которого является следить, комфортно ли ребенку, и нажимать на экране кнопки перехода между заданиями. Сами задания максимально стандартизированы, озвучены профессиональным диктором, и по результатам анализа теста имеют отличные психометрические характеристики и высокую надежность теста в целом (Карданова и др., 2018). Четыре оцениваемые области состоят из следующих подразделов:
Математика. Детям предлагается ряд заданий, разделённых по тематическим областям: знание чисел; задания на логику и ряды; счет с опорой на картинки; простые арифметические задания в формате математической записи; текстовые арифметические задания; контекстные задачи (в которых вычислительные задачи обыгрываются через повседневный контекст); задания на знание базовых математических концепций. Если ребенок совершал более трех ошибок подряд или четыре ошибки в разделе, адаптивный алгоритм переводил ребенка к другому подразделу диагностики. Анализ математической шкалы «Старт» проводился с помощью средств современной теории тестирования, с использованием дихотомической модели Раша и показал отличные психометрические характеристики заданий и шкалы в целом (Ivanova, Kardanova, Merrell, Tymss, Hawker, 2018)
Чтение. Диагностика навыков чтения «Старт» включала в себя следующие компоненты: знание букв, распознавание графической оболочки слова, чтение простой истории (чтение-декодирование), смысловое чтение (чтение истории со словами-ловушками). Если ребенок совершал более трех ошибок подряд или четыре ошибки в целом, адаптивный алгоритм переводил ребенка к другому подразделу диагностики, что позволило мягко оценить, не утомить и не расстроить плохо читающих детей. Анализ шкалы чтения «Старт» проводился с помощью средств современной теории тестирования, с использованием дихотомической модели Раша и показал отличные психометрические характеристики заданий и шкалы в целом (Антипкина, Кузнецова, Карданова, 2017).
Словарный запас. Задания на проверку словарного запаса ребенка представляли собой задание на выбор одной картинки из пяти предложенных, и включали в себя 12 заданий, расположенных от более простых к более сложным. Если ребенок совершал более трех ошибок подряд или четыре ошибки в целом, адаптивный алгоритм переводил ребенка к другому подразделу диагностики.
Фонематическое развитие. Задание на проверку уровня фонематического развития ребенка состояли из заданий на рифмование слов и заданий на повторение слов и псевдослов. Если ребенок совершал более трех ошибок подряд или четыре ошибки в целом, адаптивный алгоритм переводил ребенка к другому подразделу диагностики. Шкала имеет хорошие психометрические характеристики (Kuzmina, Ivanova, 2019)
2.Диагностики для оценивания когнитивных навыков ребенка в конце первого класса также состоят из перечисленных выше четырех областей: чтение, математика, словарный запас, фонематическая подготовка. Задания теста частично повторяют задания теста для начала школы, что позволяет оценить прогресс, совершенный ребенком в первый год обучения в школе.
3.Тесты универсальных предметных навыков «Прогресс» для конца второго класса или начала третьего класса (середина обучения в начальной школе).
Эти тесты компьютеризированы, предназначены для проведения во фронтальном режиме (одновременно для всего класса) и также имеют полуадаптивный алгоритм проведения, для того чтобы не демотивировать детей предъявлением слишком трудных для них заданий. Тесты разработаны с учетом ФГОС НОО и потому могут быть использованы с любой учебной программой. Тестирование проводится в течение двух стандартных уроков и состоит из четырех разделов:
· Чтение
· Языковая грамотность
· Словарный запас
· Математика
Психометрический анализ теста показывает высокую надежность и отличные измерительные характеристики заданий инструментов (отчет ЦФИ, 2018).
4.Тесты для конца 4-го класса («Прогресс») предназначены для подведения итогов обучения в начальной школе. Эти инструменты являются тестами универсальных учебных навыков (не привязаны к конкретным УМК), оценивание с их использованием проводится фронтально и охватывает две области: 1) математика, 2) чтение. Психометрический анализ инструментов показывает высокое качество и надежность тестов (Отчет ЦФИ, 2018).
Б) Инструменты измерения некогнитивного развития детей. Эти инструменты представляют собой шкалы наблюдений за ребенком в повседневной обстановке и содержат подробные критерии выбора ответного балла. Шкалы заполняются учителем в начале и в конце первого класса и позволяют оценить ребенка по двум факторам некогнитивного развития: 1. «Поведение в классе», и 2. «Коммуникабельность». Анализ шкал проводился в рамках современной теории тестирования и показал хорошие психометрические характеристики (Orel, Brun, Kardanova, Antipkina, 2018).
В) Анкеты для детей. Анкеты для детей предъявляются учащимся в 3 классе и содержат вопросы об учебной мотивации и субъективном благополучии школьников. Анкеты заполняются в течение одного урока, предъявляются в бланковой форме. Использованные шкалы анкеты имеют хорошие психометрические характеристики и были валидизированы для использования на третьеклассниках (Канонир, 2018).
Г) Анкета для учителя предназначена для сбора контекстной информации о школьных факторах развития ребенка и включает в себя вопросы о стаже педагога, предпочитаемых методах работы, используемом УМК и удовлетворенности условиями работы.
Д) Анкета для родителя предназначена для сбора контекстной информации о семье ребенка и включает в себя вопросы об уровне образования родителей, социально-экономическом положении семьи, о дошкольном развитии ребенка (посещал ли детский сад, курсы подготовки к школе, кружки и секции и т.п.), а также вопросы о родительских практиках вовлеченности. Анкеты предъявляются родителям в начале первого года обучения их детей (начало 1-го класса) и в середине обучения в начальной школе (начало 3-го класса)
Представленные в анкетах для родителей шкалы родительской вовлеченности являются фокусом данного исследования.
1.8 Разрабатываемые инструменты
В данном исследовании описана работа по разработке и улучшению двух инструментов для измерения родительской вовлеченности у родителей школьников начальных классов. Это, во-первых, опросник для родителей первоклассников о дошкольных практиках вовлеченности. Шкала дошкольных родительских практик изначально была основана на шкале дошкольных практик PIRLS-TIMSS 2011, но эмпирические данные плохо соотносились с теоретической моделью, поэтому шкала была доработана и улучшена. Описанию работы над шкалой дошкольных родительских практик посвящен раздел 2.4.
Во-вторых, в работе будет представлена шкала для родителей младших школьников, созданная с учетом не только домашних, но и школьных практик вовлеченности. Этот опросник разработан с позиций сценарного подхода, с использованием теории фасетов Луиса Гатмэна и принципов измерений Георга Раша, и является принципиально новым типом опросников. Описанию работы над сценарным опросником родительской вовлеченности посвящен раздел 2.5.
Апробации практического применения созданной шкалы будет посвящена глава 3, в которой собранные в рамках проекта «Старт-Прогресс» данные будут использованы для прогнозирования уровня вовлеченности родителей в середине начальной школы.
Глава 2 Методологические подходы к разработке измерительных инструментов
В предыдущей главе было рассказано, зачем и как изучают вовлеченность родителей в образование детей. В частности, подчеркивалась значимость фактора родительских практик для комплексных (многофакторных) исследований развития детей, в которых понимание вклада семьи необходимо для более обоснованной интерпретации учебных достижений детей. Задача этой главы -- представить методологию измерения родительской вовлеченности в образование детей. Результатом применения описанной методологии станут два «готовых продукта»: опросник дошкольной родительской вовлеченности и сценарный опросник родительской вовлеченности у родителей младших школьников. Опросники ранней, дошкольной, и более поздней (с учетом школы) вовлеченности родителей различаются подходами. Если дошкольный опросник разработан в традиционной парадигме ликертовских вопросов-пунктов, то в случае с опросником вовлеченности родителей в период младшей школы, использован сценарный подход в рамках теории фасетов Гатмэна и принципов измерений Раша (Ludlow et al., 2014).
2.2 Выбор психометрической модели оценивания для анализа инструмента
Многие измерительные инструменты, особенно в области психологии, используют ответные опции, в которых дается несколько вариантов ответа. Такие ответные шкалы называются политомическими. Они более информативны и надежны, чем дихотомические (Wright, 1983). Для того, чтобы представить нелинейную связь между уровнем выраженности измеряемой черты у респондента и его вероятностью выбрать ту или иную ответную опцию, разработаны различные политомические модели IRT.
Модель для оценки рейтинговых шкал Другой перевод названия этой модели - «Модель с одинаковыми трудностями шагов» (Маслак, 2019) более точен для концептуального описания модели, но дальше отстоит от оригинала. Rating Scale Model (RSM) (Wright, Masters, 1982) была разработана для анализа заданий (вопросов, утверждений) с политомическими ответными вариантами ликертовского типа, то есть, имеющих несколько градаций от «полностью согласен» до «полностью не согласен», или, как в нашем случае, от «никогда» до «чаще одного раза в день». В модели RSM предполагается, что трудности шагов сохраняются от задания к заданию.
Модель RSM выражается формулой:
(1)
где nik это вероятность того, что респондент n выберет категорию k пункта (задания/вопроса) i (эти вероятности представляют собой ожидаемый ответ родителя на задание); дi это положение (трудность) пункта i на континууме описываемого конструкта; фk это трудность выбора k-ой категории в каждом пункте, положение (пороговый параметр) k-го перехода от одной ответной категории к другой для m+1 рейтинговых категорий; и иn это уровень выраженности характеристики респондента (в нашем примере: уровень родительской вовлеченности) (Wright, Masters, 1982).
Поскольку ответные варианты всех вопросов должны интерпретироваться респондентами одинаково (иначе говоря, вариант «не согласен» или «полностью согласен» должен иметь для респондента один и тот же смысл для каждого вопроса опросника).
Однако на практике нередки ситуации, когда данные с ликертовскими ответными вариантами (такие как психологические опросники) плохо согласуются с моделью RSM. В таком случае, исследователь, работающий в парадигме Раш-измерений, постарается исправить выявленные проблемы и повторить сбор данных; а исследователь, действующий в парадигме общей IRT, может предпочесть анализ с использованием другой, лучше согласующейся с данными модели, нежели совсем не использовать данные.
Если анализ показывает, что модель RSM плохо подходит данным, то исследователи, действующие в парадигме IRT, часто пробуют улучшить согласие, используя другую модель, например M-GRM (Modified Graded Response Model) (Samejima, 2016). В исследованиях TIMSS и PIRLS для анализа использовалась модель с произвольными промежуточными категориями тестовых заданий (Partial Credit Model, PCM) (Kastberg, 2013), которая также относится к моделям семейства Раша (Wright, Masters, 1982). Модель PCM была разработана для анализа политомических заданий, имеющих несколько градаций «правильности» ответа. PCM часто используется в образовательном оценивании для обработки заданий, позволяющих получить балл за частично верный ответ (оцениваемый по степени полноты и правильности «0, 1, 2»; «0, 1, 2, 3» и т.п.), или заданий, предполагающих поэтапное их выполнение. Модель PCM предполагает, что вероятности ответных опций интерпретируются по-разному для каждого задания. Модель PCM выражается формулой:
(2)
где nik это вероятность того, что респондент n выберет категорию k пункта (задания/вопроса) i; дik это трудность выбора k-й категории в i-ом задании, иn это уровень подготовленности респондента (Wright, Masters, 1982).
Существует несколько оснований, по которым можно принимать решение о выборе между моделями RSM или PCM для анализа политомических заданий ликертовского типа:
1.Дизайн заданий. Если речь идет о психологическом опроснике с использованием шкал Ликерта (которые должны интерпретироваться респондентами одинаково для всех заданий), то для анализа следует использовать модель RSM.
2.Выбор категории. Для использования в анализе модели PCM необходимо, чтобы для каждой категории каждого задания имелось хотя бы 10 ответов. В противном случае, могут появиться «ненаблюдаемые категории» (подробнее о них см. ниже), которые нарушают структуру ответных вариантов. В случае RSM, учитывается выбор каждой категории по всем заданиям, что уменьшает требования к распределению ответов в выборке, и структура ответных категорий сохраняется благодаря ответам респондентов на другие задания.
3.Согласие заданий с моделью. Данные хорошо согласуются с выбранной моделью, если теоретические, прогнозируемые моделью результаты достаточно хорошо соответствуют эмпирическим наблюдениям. Иными словами, не объясненные моделью остатки (разность между теоретически-предсказанными и эмпирическими результатами) должны быть достаточно малы. Степень соответствия модели данным измеряется с помощью статистик согласия.
Как было сказано выше, для анализа исходных опросников дошкольной родительской вовлеченности TIMSS-PIRLS 2011 была использована модель с произвольными промежуточными категориями выполнения тестовых заданий PCM (Kastberg, 2013). Однако представленные выше критерии выбора модели указывают на то, что анализ следует проводить с использованием модели RSM, поскольку:
1.В опроснике задействованы ответные шкалы Ликерта, общие для всех вопросов;
2.В некоторых вопросах наблюдалось менее 10 ответов в категории «Никогда»;
На основании этих двух пунктов в ходе анализа разрабатываемых шкал использовалась именно модель RSM, и большое внимание уделялось согласию данных с выбранной моделью.
2.3 Общая методология анализа шкал родительской вовлеченности
Согласно современным представлениям о валидизации опросников, хорошие психометрические свойства теста или опросника, и согласованность с теоретическими ожиданиями являются важными свидетельствами их конструктной валидности (APA, 2014), то есть, того, что тест, действительно, направлен на измерение заявленного конструкта. Ниже представлена общая схема психометрического анализа, которая применялась ко всем описанным в данном исследовании опросникам:
1.Анализ размерности опросника. В моделях IRT, как правило, предполагается, что набор заданий теста измеряет только одну способность. Это предположение нельзя строго выполнить на практике, потому что на результаты теста хотя бы до некоторой степени всегда влияют несколько когнитивных и личностных факторов и условия проведения теста (Hambleton et al., 1994). Например: уровень мотивации, тревожность, навыки чтения, социальная желательность - все это тоже вкладывается в дисперсию ответов респондентов, помимо измеряемой черты. Чтобы предположение об одномерности теста выполнилось, требуется, чтобы присутствовал «доминирующий» компонент или фактор, влияющий на результаты выполнения заданий теста, поэтому по результатам анализа принято говорить о «существенной одномерности» теста. Такая существенная одномерность будет являться свидетельством того, что инструмент, действительно, описывает единый латентный конструкт (Mead, 2008).
В данном исследовании проверка одномерности будет производиться с помощью анализа размерности стандартизированных остатков, или разницы между наблюдаемыми ответами и вероятностными ответами, ожидаемыми в соответствии с выбранной моделью. (Linacre, 1998; Smith, 2002). Отсутствие в стандартизированных остатках единой размерности принимается за свидетельство одномерности теста. В симуляционных исследованиях было показано, что собственное значение первой компоненты при анализе стандартизированных остатков менее 2 соответствует существенной одномерности данных (Smith, 2002). Этот критерий будет использован и при анализе размерности опросников в данном исследовании.
2.Анализ карты переменных («карты Райта»), которая позволяет оценить, насколько полно пункты опросника описывают континуум измеряемой переменной. Карта переменных, или «карта Райта» (по имени Бенджамина Райта) является важным инструментом Раш-анализа. Она описывает континуум латентной переменной в единицах оценок заданий и мер испытуемых. Б. Райт писал, что «Измерение начинается с идеи о переменной или линии, вдоль которой можно расположить объекты, и с намерения разметить эту линию на равные единицы, чтобы расстояние между соседними единицами на этой линии было сопоставимо» [Wright, Masters, 1982, c.1]. Необходимо, чтобы на шкале хватало пунктов для оценки способностей как очень слабых, так и очень сильных испытуемых. Карта является визуализацией этого принципа, причем и респонденты, и задания измерены на одной и той же интервальной шкале логитов.
3. Анализ согласия пунктов опросника с выбранной моделью.
В отличие от классической модели истинной оценки, модели IRT являются фальсифицируемыми. Это значит, что конкретно взятая модель может быть, а может и не быть пригодной для конкретных данных теста; иными словами, есть возможность, что модель не будет адекватно предсказывать или объяснять данные. Поэтому при любом применении моделей IRT крайне важно оценить соответствие модели данным (model-data fit). Согласие вопросов с моделью является основанием для оценки функционирования опросника и одним из оснований для выбора модели. На практике согласие данных с моделью оценивается с помощью статистик согласия. В данной работе для оценки согласия модели с данными используются среднеквадратичные статистики согласия (mean-squared, MNSQ). Они высчитываются на основе матрицы стандартизированных остатков, которая уже использовалась нами для проверки предположения об одномерности опросника, и представляют собой статистику хи-квадрат, деленную на количество степеней свободы (Wright, Masters, 1982).
Взвешенные среднеквадратичные статистики согласия вопросов (infit MNSQ в программе Winsteps) позволяют оценить то, насколько хорошо вопрос согласуется с ответами респондентов, имеющих оценку, схожую с оценкой трудности этого вопроса (в логитах); Невзвешенные среднеквадратичные статистики согласия (outfit MNSQ в программе Winsteps) чувствительны к неожиданным ответам респондентов, способность которых (в логитах) отличается от трудности данного вопроса (например, когда слабый респондент неожиданно отвечает на трудный вопрос и наоборот).
При хорошем согласии данных с моделью ожидается, что значения среднеквадратичных статистик будут близки к единице, а значения выше единицы будут означать недостаток согласия с моделью. Существуют различные рекомендации о критических значениях статистик согласия, превышение которых может говорить о том, что выбранная модель не позволяет адекватно оценить данные (таблица 2, Linacre et al., 1994).
Таблица 2. Интерпретация критических значений среднеквадратичных статистик
|
Значение |
Интерпретация |
|
|
>2 |
Задание непродуктивно для измерения, должно быть убрано из инструмента |
|
|
1.5 - 2.0 |
Задание малопродуктивно для измерения |
|
|
<1.5 |
Задание может быть использовано для измерения |
В рамках данной работы выбран более жесткий, но тоже часто использующийся пороговый критерий 1,3 (Wright, Masters, 1982), превышение которого говорит о том, что эмпирические данные слишком сильно расходятся с теоретически-ожидаемыми (т.е., в данных слишком много «шума»).
4.Анализ работы ответных категорий. Пункты психологических опросников, как правило, сопровождаются ответными категориями, образующими порядковую шкалу (например, от «Никогда» до «Чаще одного раза в день», или от «Категорически НЕ согласен» до «Полностью согласен»). Для правильного функционирования пунктов, необходимо, чтобы каждая ответная опция была востребована респондентами (ее выбирали достаточно часто). В этой работе мы будем пользоваться двумя критериями функционирования ответных категорий, оцениваемых в рамках современной теории тестирования: 1. На шкале должна иметься область, в которой вероятность выбора респондентами каждой ответной категории превышает вероятность выбора ими соседних категорий (свидетельство «востребованности» ответной опции); 2. Пороги категорий, то есть точки, в которых вероятность выбрать следующую категорию превышает вероятность выбрать текущую категорию, должны быть упорядочены по возрастанию. Для проведения этого этапа анализа в работе будет использована визуализации вероятностных кривых ответных категорий (в виде графиков) и анализ собственных значений порогов категорий и оценок их трудностей (в виде таблиц).
5.Анализ надежности. Одной из важнейших характеристик шкалы является надежность, которая в рамках классической теории тестирования отражает связь тестовой оценки с «истинным» баллом, и обратно связана с величиной ошибки измерения (Крокер, Алгина, 2010). Один из наиболее часто используемых показателей надежности - классический коэффициент «альфа» Ли Кронбаха (Cronbach, 1951) -- отражает внутреннюю согласованность инструмента и неоднократно критиковался в методологической литературе за то, что он сильно зависит от количества заданий в тесте и корреляций между отдельными заданиями, что осложняет его интерпретацию (например, Cortina, 1993).
Современная теория тестирования (IRT) позволяет вычислять ошибку измерения отдельно для каждого респондента и каждого задания, и поэтому предлагает альтернативный показатель надежности, который вычисляется как квадратный корень из среднего значения дисперсии ошибок респондентов.
В данном исследовании при анализе шкал будут приводиться оба показателя.
Для интерпретации IRT-надежности и «альфы» Кронбаха используются одни и те же критические интервалы (EFPA Test Review Criteria, 2013):
Неадекватная (r < 0,60)
Адекватная (0,60 ? r < 0,70)
Хорошая (0,70 ? r < 0,80)
Отличная (r ? 0,80)
Программное обеспечение: В рамках данного исследования анализ шкал родительской вовлеченности проводился с помощью программы Winsteps (Linacre, 2017).
2.4 Разработка опросника дошкольной родительской вовлеченности
Опросник для оценки дошкольной вовлеченности родителей проекта «Старт» был разработан с учетом опросника «Ранние практики по развитию навыков чтения и счета до школы» (Early Literacy and Numeracy Activities Before Beginning Primary School). Этот опросник был включен в анкеты для родителей четвероклассников в международных исследованиях качества школьного математического и естественнонаучного образования TIMSS (Trends in Mathematics and Science Study) и качества чтения и понимания текста PIRLS (Progress in International Reading Literacy Study) в 2011 году. Как было сказано в главе 1, в зарубежной литературе опубликовано сравнительно небольшое количество опросников родительской вовлеченности. Опросники дошкольной родительской вовлеченности для исследований TIMSS и PIRLS изначально были созданы на английском языке и после предложены к переводу странам-участницам. Опросник концептуализировался как одномерный, предназначенный к обработке в рамках современной теории тестирования. Часть вопросов были обязательными, остальные каждая участвующая страна могла изменять в соответствии с особенностями своей культуры.
В опроснике дошкольной родительской вовлеченности у родителей спрашивалось, как часто они занимались до школы с детьми различными развивающими практиками. Под «практиками» понимается родительское взаимодействие с ребенком, в котором родитель активно действует, а не только организует или наблюдает. Например, чтение ребенку книг, обсуждение прочитанного или совместная игра с конструктором. Надежность альфа Кронбаха этого опросника 2011 года варьировалась по странам, но для России составила 0,88 (Kastberg, 2013), поэтому этот опросник был выбран в качества базового в нашем исследовании дошкольной родительской вовлеченности.
Одно из замечаний к опросникам дошкольной родительской вовлеченности TIMSS-PIRLS заключается в том, что, спрашивая родителей в конце начальной школы об их практиках, осуществляемых четыре года назад, можно получить искаженный ответ. Например, родители могут смотреть на свои прошлые практики сквозь призму текущих достижений ребенка или требований конкретного учителя их ребенка. Поэтому одной из задач работы над опросником дошкольной вовлеченности «Старт» было оценить характеристики шкалы при проведении опроса у родителей первоклассников.
Кроме того, с измерением родительской вовлеченности связаны трудности, не имеющие отношения к циклу упомянутых выше международных сравнительных исследований. Главная из них заключается в том, что родительская вовлеченность - это сложный конструкт, то есть, его можно операционализировать через множество отдельных родительских практик, таких как совместное чтение, счет объектов, обсуждение домашних дел и др. Разнообразие операционализаций «родительской вовлеченности» неоднократно отмечалось исследователями как методологическая трудность при разработке измерительных инструментов (например, Desforges, 2003).
Предпринимались попытки классифицировать подобные родительские домашние практики, например, как формальные и неформальные (Lareau, 2011; Senechal, LeFevre, 2012), спонтанные и освоенные после программ для усиления родительской вовлеченности (Pomerantz et al., 2007), когнитивные и личностные (Grolnick et al., 1997), направленные на обучение основам чтения и основам математики (Kastberg et al., 2013).
В соответствии с проблемой выбора оптимальных практик, в исследовании PIRLS в каждой новой волне исследования анкета частично менялась. Например, в анкете 2001 года присутствовали вопросы о таких практиках (предположительно связанных с навыками чтения), как «Смотрели с ребенком обучающие чтению телепередачи», «Смотрели с ребенком видео с субтитрами», которые не повторялись позже.
Целью нашего исследования было получить опросник дошкольной родительской вовлеченности на русском языке с доказанными психометрическими свойствами и пригодный для использования в практике исследователей, школьных психологов, специалистов по дошкольному детству.
В рамках проекта «Старт» среди родителей учеников распространяли три версии опросника, описанные в параграфах ниже.
2.4.1 Первый этап: адаптация опросника дошкольной родительской вовлеченности к русскому языку
Ранняя версия опросника дошкольной родительской вовлеченности близко соответствовала опроснику дошкольной родительской вовлеченности PIRLS-TIMSS 2011. Его вопросы и их англоязычные варианты приведены в Таблице 3. Поскольку нет опубликованных данных о том, как проводилась адаптация опросника PIRLS-TIMSS 2011 в России, для описываемого проекта было принято решение перевести с английского и адаптировать опросник к русскому языку и школьному контексту. Для адаптации опросника использовался параллельный перевод опросника двумя независимыми переводчиками с последующим сведением (реконсилиацией) полученных вариантов редактором, в соответствии с рекомендованной методологией адаптации опросников к другим языкам (ITC, 2005). Кроме того были добавлены два пункта, полученные по результатам интервью с родителями первоклассников.
Подобные документы
История использования родительской газеты как формы взаимодействия ДОУ и семьи, её роль среди других форм работы. Эффективность родительской газеты, как формы взаимодействия педагогов и родителей детей. Анкетирование родителей, анализ результатов.
курсовая работа [87,1 K], добавлен 22.07.2010Изучение опыта организации работы по обеспечению взаимодействия дошкольного образовательного учреждения с семьями по воспитанию и образованию детей. Разработка рекомендаций по повышению психолого-педагогических знаний родителей, родительской компетенции.
контрольная работа [162,2 K], добавлен 20.08.2017Краткая биографическая справка Я.А. Коменского. Основные положения педагогической теории. Дидактические взгляды. Семейное воспитание в наследии Я.А. Коменского. Сенсуалистическая философия. Образ материнской школы. Значение педагогического наследия.
контрольная работа [25,3 K], добавлен 28.08.2008Психолого-педагогическая характеристика детей старшего дошкольного возраста. Опытно-поисковая работа по выявлению влияния родительской ответственности на социальное воспитание старших дошкольников. Интерпретация полученных результатов исследования.
курсовая работа [163,6 K], добавлен 22.04.2014Измерения во внефизической области. Наблюдения и эксперименты. Сравнение измеряемого свойства с единицей измерения. Числовое присваивание. Использование квантитативных методов, математических моделей, аксиоматизация и формализация. Принцип противоречия.
книга [31,0 K], добавлен 21.02.2009Характеристика российского образования до перехода на Болонскую систему. Уровни высшего образования. Виды профессиональных программ. Главные результаты конференции в г. Лёвен в 2009 году. Степень вовлеченности российских вузов в Болонский процесс.
курсовая работа [37,6 K], добавлен 19.09.2016Основные периоды развития семьи и функции ее членов. Влияние родительской любви, психологического контакта и семейных проблем на формирование личности ребенка. Направления взаимодействия школы и семьи в воспитании детей, организация культурного досуга.
курсовая работа [50,1 K], добавлен 04.02.2013Влияние семьи на развитие умственно отсталого ребёнка. Разрушение детско-родительской подсистемы из-за воспитания умственно отсталых детей в учреждениях интернатного типа. Характерные нарушения родительского поведения в случае рождения больного ребёнка.
доклад [14,3 K], добавлен 07.12.2009Изучение причин негативного отношения детей к школе. Анализ практики предупреждения депривации в образовательном процессе. Стратегии педагогической поддержки в работе с учащимися. Тренинговый метод решения проблем формирования родительской компетентности.
дипломная работа [215,6 K], добавлен 08.03.2014Особенности организации игр-драматизаций с детьми старшего дошкольного возраста в условиях дошкольного образовательного учреждения. Зависимость степени вовлеченности ребенка в игру от профессионального мастерства и личной заинтересованности педагога.
дипломная работа [2,6 M], добавлен 21.12.2012
