Основы социально-педагогической диагностики

Выборка по наличию-отсутствию. Наблюдается, присутствует или отсутствует определенное поведение в определенный период времени. Не представляет интереса ни продолжительность, ни частота поведения. Однако при этом методе лучше использовать более полные записи.

Заполнение матрицы. Этот метод позволяет представить в таблице взаимосвязь между поведением различных испытуемых. Такой тип выборки в большей степени подходит для исследования отношений между испытуемыми, чем для исследования индивидуального поведения (отношения доминантности, коммуникативные отношения и т. д.).

На практике применяется не какой-либо из указанных методов отдельно, а комбинация нескольких методов в зависимости от ситуаций и целей исследования.

Довольно часто наблюдение проводится не одним, а несколькими наблюдателями, результаты которых сравниваются. В этом случае основной проблемой является проблема согласованности результатов нескольких наблюдателей (экспертов).

Обычно считается, что согласованность высока, когда имеется совпадение примерно по 85% материала. До сих пор неизвестно, насколько полным должно быть совпадение, чтобы исследование считалось валидным. Обычно согласование наблюдений делается не по всему объему данных, а приблизительно по 15% всего материала.

Социометрия

“Недостижимое, как это близко -Ни развязать нельзя, ни посмотреть”.

О. Мандельштам

Социометрия - метод изучения взаимоотношений. Социограмма является визуальным представлением, обычно с помощью стрелок, тех выборов, которые ученик делает среди своих одноклассников, с которыми взаимодействует. Часто используется для оценивания климата и структуры межличностных отношений внутри класса, но это не ограничивает использование социограммы. Каждый ученик представлен либо кружком (для девочек), либо треугольником (для мальчиков). а стрелки, затем поставленные, показывают различные предпочтения ученика при ответе на заданный вопрос. Например, учеников могли попросить отметить тех людей, которые, как они считают, являются лидерами в классе, которыми восхищаются больше всего, находят особо полезными, которых хотелось бы иметь в друзьях, в партнерах в исследовательском проекте и т.д. Затем ответы учащихся используются для построения социограммы.

Другой версией социометрического способа является назначение на листе бумаги разным людям разных ролей в групповой игре. Учащихся просят распределить разных членов класса по ролям в игре, с целью иллюстрации их взаимоотношений. На бумаге составляется список ролей, а затем учеников просят вписать имена тех людей, которых, по их мнению, роль описывает лучше всего. Может быть предложен практически любой тип ролей. Распределение предпочтений и выборов, которые делают люди, часто проливает свет на то, как одни личности видятся другими.

Лонгитюдный метод

“Не драгоценную ли яшму я нашла?

Подумала - и руку протянула.

Но тут же блеск пропал.

То белая роса,

Ложась на землю, яшмою блеснула”

Идзуми Сикейу

Под лонгитюдным методом подразумеваются неоднократные наблюдения за явлением во времени с целью выявления постоянных аспектов и изменений и их объяснения.

Можно заметить, что лонгитюдный метод является особым типом наблюдения. Его целью является установление причин внутренних индивидуальных изменений у одного индивидуума, различных индивидуумов и в различных группах. Многие считают, что этот метод является идеальным для возрастной психологии, которая может быть определена как наука, предметом которой являются изменения, происходящие в человеческом поведении в зависимости от возраста.

В начале развития возрастной психологии в педагогике послевоенного периода широко использовался лонгитюдный метод. Действительно, имеется много дневников и биографий, в которых описывается поведение детей в ходе их развития. Тем не менее, до 20-х годов этот метод не использовался широко по причине отсутствия методов анализа текстов. И только с развитием тестологии, используемой Терманом (Terman) с 1916 года, лонгитюдный метод вновь начал широко применяться. Однако после первых исследований в 30-х-40-х годах из-за требуемых больших финансовых затрат этот метод наблюдений стал использоваться все реже и реже. В последние 30 лет ученые снова открыли лонгитюдный метод.

Для получения данных при лонгитюдном методе можно использовать тесты, анкеты или метод наблюдения. Некоторые исследования подразумевают также измерение непсихологических данных (например, физических характеристик испытуемых или данных, относящихся к их среде обитания). Временная дистанция между измерениями при лонгитюдном исследовании зависит от рассматриваемого периода жизни. Например, для взрослого неделя - это очень короткий промежуток времени, в то время как для новорожденного - это очень значительный промежуток времени. Однако, несмотря на это, лучше всего проводить наблюдения с постоянными интервалами.

Преимущества лонгитюдного метода

“Мы сводим счеты, вводим счет.

Лишь цифры соблюдают век.

Одной природе чужд просчет…”

В. Соснора

Лонгитюдный метод не только фиксирует, но и объясняет изменение, которое происходит с возрастом. Лонгитюдный метод предусматривает наблюдение или измерение на одних и тех же испытуемых. Наблюдение за ними ведется в течение определенного времени. Следовательно, внимание уделяется изменению “внутри” самого индивидуума, а не изменению между индивидуумами.

Данный метод позволяет сравнение с другими испытуемыми.

Данный метод позволяет сравнивать изменения, которые происходят при различных внешних условиях.

Недостатки лонгитюдного метода

“Столько не разобрано бумаг,

Столько не досказано историй!”

Н. Гумилев

Время. Требуется много времени, чтобы завершить исследование.

Отсев. Может случиться так, что некоторые испытуемые выйдут из исследования или их по различным причинам нельзя будет найти.

Повторение проб. Может случиться нечто, что снизит валидность исследования, например, испытуемые выучат правильные ответы или со временем догадаются о целях экспериментатора и начнут играть роль “хорошего” испытуемого.

Устаревание теоретико-методологического аппарата, который использовался в начале исследования.

Эквивалентность используемых тестов, если они повторяются несколько раз.

Гипотеза, которая лежит в основе лонгитюдного метода, состоит в том, что развитие человека определяется его возрастом, биологическими причинами, индивидуальными и историческими событиями и условиями окружающей среды.

Согласно “лайф-спэн” (life-span), возрастные изменения происходят в зависимости от возраста и когорты. Под когортой подразумевается совокупность индивидов, принадлежащих к определенному слою населения, которые прожили одинаковые исторические события в один и тот же промежуток времени. Можно исследовать различное поведение в рамках одной и той же когорты, разницу между различными группами одной и той же когорты или разницу между различными когортами.

Для лонгитюдного метода важно выделить факторы, которые могут влиять на исследование. Если данные факторы определены до начала исследования, то можно включить их в исследование и учитывать их влияние. Если же они определены после исследования, то, как правило, это факторы, которые возникли во время исследования, например, изменение здоровья некоторых испытуемых.

Существуют различные типы лонгитюдных методов.

При использовании метода первого типа внимание уделяется спонтанным изменениям, которые происходят у испытуемых относительно определенных переменных или поведения.

При втором типе лонгитюдных методов исследуются отношения между двумя или более переменными.

Третий тип приближается к экспериментальному методу в том смысле, что между моментами наблюдения вводятся воздействия. Однако, данный тип метода не подразумевает использование контрольных групп и отличается от экспериментального метода, так как не позволяет точно выявить причинно-следственные связи.

Метод поперечных срезов

“Подует ветер и встает волна,

Стихает ветер - волна спадает”

Кино Цураюки

Альтернативой лонгитюдному методу является метод поперечных срезов.

Этот метод подразумевает сравнение выборки испытуемых различного возраста. Это сравнение может быть полезным при условии, что уже проведено лонгитюдное сравнение малого количества испытуемых.

Преимущество метода поперечных срезов заключается в том, что он позволяет получить за короткое время сравнение субъектов различного возраста. Проблема заключается в создании эквивалентных групп относительно многих переменных, таких как пол, уровень образования, социальный слой и т.д. Кроме того, если испытуемые принадлежат к различным когортам, то, несомненно, они имеют и различный опыт.

Выбор между лонгитюдным и методом поперечных срезов зависит, однако, от целей исследования.

Исторические методы

“Как между нами сходство описать?”

Н.Заболоцкий

Еще одним методом является историческое исследование. Данный метод используется для изучения прошедших событий или актуальных проблем путем исследования предшествующих исторических событий. Данный метод может быть использован для проверки того, каким образом настоящие события соотносятся с прошедшими событиями.

Исторический метод имеет ограничения, поскольку невозможно быть уверенным, что два ряда данных или ситуаций, которые сравниваются, являются одинаковыми. Особенность данного метода заключается в том, что он основан на использовании наблюдений, которые не могут быть воспроизведены. Обычно исторический метод используется только одним исследователем, что очень редко позволяет проверить гипотезы исследования, поскольку оно построено на индуктивных рассуждениях.

Данный метод подразумевает также работу с архивными документами. Архивное исследование уместно или тогда, когда уже собраны данные, относящиеся к гипотезам, при этом сбор новых данных не имеет смысла, или в случае, если эксперимент с переменными, представляющими интерес, невозможно осуществить по этическим или бытовым мотивам.

Ограничивает применение архивных данных то, что они, как правило, собирались не для научных целей. Например, частные организации, которые собирали данные, осуществляли это для своих целей, часто используя способ, не приспособленный к потребностям исследования. Поскольку архивные данные имеют научную ценность, организации, которые собирают эти данные, должны ставить задачи, подобные тем, которые поставил бы ученый.

Кроме того, архивное исследование всегда проводится после того, как произошли события, что затрудняет интерпретацию особенностей наблюдаемых отношений. Исследователь, который опирается на архивные данные, сталкивается со всеми теми ошибками, которые только могли произойти при сборе данных.

Метод исследования отдельного случая

“Плоды унификации - зловещи:

Везде стоят одни и те же вещи”.

А.Межиров

Другим типом метода является метод исследования отдельного случая. Данный метод используется для интенсивного изучения одного человека с целью сбора значительного количества информации о нем. Исследование отдельных испытуемых имеет давнюю традицию. Фехнер (Fechner), которого некоторые исследователи считают основоположником экспериментальной психологии, работая с отдельными испытуемыми, открыл основные законы психофизики и изобрел базовые психофизические методы, которые и сегодня используются для измерения сенсорных порогов.

Данный метод эксперимента с отдельными испытуемыми, в отличие от метода расчета средних показателей, полученных на многих испытуемых, дает более достоверное представление о поведении отдельных индивидов. Кроме того, в экспериментах с отдельными людьми менее вероятно обнаружить влияние мало значимой переменной, поэтому экспериментатор должен внимательно отслеживать переменные, влияющие на эксперимент.

Если проводится эксперимент с использованием схем исследования для групп, то сравниваются результаты одной группы испытуемых с другой или результаты той же самой группы в различных условиях. Если в эксперименте участвует испытуемый, то сравнивается его поведение, предшествующее введению экспериментальной манипуляции, с поведением того же испытуемого после экспериментальной манипуляции.

Данный метод особенно часто используется в психологии личности, медицинской психологии и, к сожалению, не очень часто - в педагогике. Он предусматривает четыре этапа:

полное описание действительного состояния проблемы;

получение информации об обстоятельствах, которые привели к нынешней ситуации;

оценка гипотез, построенных на базе собранной информации;

проверка одной или более гипотез и установление формы терапевтического воздействия.

Экспериментальный метод

“Тихо, тихо ползи,

Улитка, по склону Фудзи

Вверх, до самых высот”.

Исса

Экспериментальный метод подразумевает манипуляцию несколькими переменными, что позволяет установить отношения причинности, то есть экспериментальный метод обладает особенностями, которые делают возможным установление причинно-следственных связей или каузальных отношений между событиями.

Применение этого метода требует от исследователя проведения эксперимента с соблюдением всех требований, предъявляемых к такого рода исследовательской деятельности (выбор независимых переменных, определение величин независимых переменных, выбор способа измерения ответов и реакций испытуемого, контроль за ходом эксперимента, устранение помех, выбор метода математической обработки результатов и т. д.).

Также подразумевается систематический контроль за всеми факторами, которые отличаются от независимых переменных, но которые могут влиять на исследуемое явление.

Экспериментальный метод имеет некоторые преимущества.

Прежде всего это возможность экспериментатора манипулировать одной или несколькими переменными, что позволяет получить достаточно ясную интерпретацию результатов. Кроме того, это почти полный контроль за ситуацией исследования. Данный метод дал в прошлом хорошие результаты.

Однако этот метод был подвергнут критике, потому что результаты лабораторных экспериментов всегда являются результатами, полученными в искусственных условиях, и не могут быть перенесены на естественные ситуации. Большая часть исследователей знает об этом и понимает, что лабораторные данные являются показательными только в том смысле, что демонстрируют вариант того, что может произойти в обыденной жизни.

Следовательно, необходимо тщательно изучить возможность обобщения результатов, которые получены в лабораторных искусственных ситуациях, хотя необходимо заметить, что искусственность собранных результатов зависит от используемой стратегии исследований.

В рамках экспериментального метода различают три основные стратегии исследования.

1. Полевые эксперименты предполагают систематические наблюдения за релевантными величинами, а также прямое манипулирование одной или несколькими величинами. При полевом методе требуется сотрудничество с официальными учреждениями.

2. Лабораторный эксперимент - это стратегия, которая помогает экспериментатору максимально контролировать условия, в которых ведутся наблюдения за поведением. Исследователи, выбирающие эту стратегию, чаще интересуются общими аспектами поведения и когнитивных процессов. Они стремятся создать в лабораторных условиях как бы наиболее общий случай. Эта стратегия считается единственной истинно научной. Однако, в настоящее время эта стратегия подверглась критике со стороны многих ученых. Известна роль, которую играют социальные условия в когнитивных процессах. Была также подчеркнута особая роль субъектов исследования и тенденция испытуемых доставить удовольствие исследователю. Поэтому считается, что данная стратегия исследования (лабораторный эксперимент) имеет слабую валидность. Она характеризуется глубоким проникновением в процесс и трудностью сравнения результатов эксперимента с результатами, возможными в реальной жизни.

3.Выборочные исследования и оценочные задания - обе эти стратегии изучают отчеты, которые субъекты представляют о себе, своей вере, о своем мнении и т. д. То есть исследуется поведение, которое является ответом на вопросы исследователя, а не реакцией на специфический контекст. Например, заполнение шкалы поведения. Разница между выборочным исследованием и оценочным заданием заключается в том, что в выборочных исследованиях используются обычно процедуры представления стимулов и условий, знакомых испытуемым, в то время как в оценочных заданиях используются комплексные стимулы и незнакомые контексты. Однако предполагается, что контекст, поддерживаемый максимально нейтральным, в отличие от лабораторного эксперимента, не оказывает влияния на поведение.

В экспериментальном исследовании может быть одна или более независимых переменных. Если имеется только одна независимая переменная, то эта переменная должна иметь по крайней мере два значения. Формируется и изучается столько групп объектов, сколько имеется значений.

Например, если независимой переменной является пол и эта переменная имеет два значения - мужской и женский, то у нас будет две группы субъектов: одна состоящая из мужчин, другая - из женщин. Однако довольно часто изучается комбинированный эффект двух или более переменных, потому что исследователь имеет несколько больше гипотез или считает, что влияние одной переменной может зависеть от значения другой. Схема исследования, в которой имеется более одной независимой переменной, называется факториальной. Факториальная схема - это схема, в которой используются две или более переменные таким образом, чтобы рассмотреть все возможные комбинации значений каждой переменной. В наиболее простом случае имеется две независимые переменные, каждая из которых имеет два значения. Схема данного типа называется 22, то есть мы имеем две переменные, каждая из которых имеет два значения.

Другим случаем является схема 23. В этом случае мы также имеем две независимые переменные, однако первая имеет два значения, а вторая три значения. Пример факториальной схемы: исследование запоминания вербального и невербального материала с отвлекающим заданием на 3, 10 и 20 минут, которое испытуемый выполняет в промежутке между предъявлением ему материала для запоминания и измерением памяти. В схеме данного типа 23 имеем две независимые переменные - запоминание материала и отвлекающее задание. Первая независимая переменная - запоминание материала - имеет два уровня, то есть материал может быть вербальным или визуальным.

Вторая независимая переменная - отвлекающее задание - имеет три значения, потому что отвлекающее задание может быть на 3, 10 или 20 минут. В данном случае имеем шесть групп субъектов: 3 группы должны запомнить вербальный материал, 3 - визуальный.

В трех группах испытуемых, которые должны запомнить вербальный материал, одна имеет отвлекающее задание на 3 минуты, другая - на 10 минут, третья - на 20 минут. В трех группах испытуемых, которые должны запомнить визуальный материал, также одна группа с отвлекающим заданием на 3 минуты, другая - на 10 минут и третья - на 20 минут.

Преимущество факториальных схем заключается в том, что они позволяют оценить как основное влияние каждой независимой переменной, так и влияние взаимодействия различных рассматриваемых независимых переменных. Под основным влиянием понимается специфическое влияние одной переменной независимо от других.

В примере, который мы привели, можно оценить специфическое влияние типа материала (вербального или визуального) и времени отвлечения (3, 10 или 20 минут) на запоминание материала. Что касается влияния взаимодействия, то можно определить совместное влияние всех независимых переменных через взаимодействие каждый раз, когда влияние независимой переменной отличается в зависимости от того, связана ли она с одним или другим значением другой независимой переменной.

В приведенном примере можно оценить взаимосвязь между определенным типом материала запоминания и временем отвлечения, а также сравнить это особое условие с другим.

Экспериментальное исследование характеризуется в целом тремя фазами.

В первой фазе мы имеем пред-тест, то есть одна или две переменные измеряются до применения экспериментального вмешательства по отношению к субъектам.

Вторая фаза представлена экспериментальным вмешательством, то есть тем, что делает экспериментатор с испытуемыми в ходе эксперимента. Обычно имеется экспериментальная и контрольная группы. Экспериментальная группа - это та, которая подвергается экспериментальному вмешательству. Контрольная группа не подвержена экспериментальному вмешательству и служит для контроля за результатами, полученными в экспериментальной группе. Таким образом, сравниваются результаты группы, которая была подвергнута воздействию, с результатами группы, не подвергнутой экспериментальному воздействию.

Третья фаза представлена пост-тестом, в котором измеряются те же самые переменные, которые измерялись в пред-тесте, и устанавливается, произошли ли какие-либо изменения в данных переменных относительно пред-теста, то есть устанавливается, вызвало ли экспериментальное вмешательство изменения.

В начале данной главы уже указывалось, что в педагогических исследованиях используют три основных источника сбора информации:

а) от самого исследователя;

б) непосредственно из изучаемого;

в) от других лиц, связанных с исследуемым объектом, часто называемых информантами, которые имеют достаточное количество достоверной информации об исследуемом объекте.

В качестве примера давайте рассмотрим ситуацию, когда исследователь хочет проверить свою гипотезу, по которой разработанный им исследовательский метод (А) изучения истории позволяет формировать более высокий уровень способности размышлять, чем в классах, где работа построена по другому, более традиционному (Б) (лекционному) методу.

Если исследователь использует метод А, то в этом случае он наблюдает за учениками в классе, отмечая частоту проявления более высокого уровня способности размышлять. Или можно проверить существующие школьные записи, которые включают в себя результаты тестов и/или небольшие материалы, которые, по мнению наблюдателя, демонстрируют способность размышлять.

Выбрав метод Б, исследователь проводит тесты или просит для обоснования заключения/вывода различные работы учащихся (сочинения, доклады). Также можно использовать собеседование, с применением таких вопросов, которые вызвали бы размышление учеников о предмете преподавания (в данном случае - истории).

Наконец, если исследователь выбирает третий метод, то он беседует с людьми (учителями или другими учениками) или просит их заполнить рейтинговую шкалу, в которой опрашиваемые должны оценить способность учащихся размышлять.

Трудно не согласиться, что источник получения информации определяет и способ ее получения. Таким образом, имея три источника получения информации мы имеем три способа получения первичной информации.

Пример 1. Информация от исследователя.

Психолог-педагог, интересующийся обучением и развитием памяти детей, считает, сколько времени в детском саду требуется, чтобы научить детей правильно проходить через лабиринт, нарисованный в углу двора. Он записывает свои данные в специальном листе подсчетов.

Исследователь, изучающий взаимоотношения людей, фиксирует, как различается в разных ситуациях поведение людей, которые долгое время работают вместе.

Пример 2. Предметный способ.

Учитель в начальной школе использует недельную контрольную работу, проверяющую, насколько правильно ученики запоминают правописание новых слова, выученных в течение недели.

По просьбе исследователя по старшим классам одной из санкт-петербургских школ были разосланы анкеты, в которых учащихся просили выразить свое отношение к новому учебному плану по математике.

Преподаватель английского языка, по просьбе исследователя, предложил своим учащимся вести еженедельно дневник, в котором они записывали бы свои впечатления о произведениях, которые были прочитаны как домашнее чтение за неделю.

Пример 3. Информантный или информационный способ.

Учителям предложено использование рейтинговой шкалы для того, чтобы оценить способности ученика к выразительному чтению.

Исследователь просит родителей вести эпизодические записи, в которых они описывали бы, как их дети спонтанно обыгрывают телевизионных героев.

Важнейшим для исследователя является вопрос, откуда им взяты методы сбора информации.

Обычно подавляющее большинство педагогов и психологов, работающих со школьникам, используют два основных способа поиска методов сбора данных:

а) находят, адаптируют к своим условиям и используют ранее существовавшую методику;

б) создают свою собственную.

Создание своего инструмента самим исследователем имеем определенные сложности. Конструирование своей собственной методики занимает изрядное количество времени, усилий, не говоря уже о невероятном количестве необходимых умений и способностей и просто очень высокой квалификации исследователя. Начинающему исследователю лучше несколько дней или недель покопаться в библиотеке и найти многократно проверенную методику, наилучшим образом подходящую к задачам исследования, чем создавать свою собственную.

Выбор уже известной методики более предпочтителен, так как она разработаны экспертами, обладающими необходимыми знаниями. Выбор уже созданного инструмента занимает меньше времени, чем проектирование нового, для измерения одного и того же предмета.

Методы первичного оценивания

“...только так могу я получить

оттиск мира”

Тадеуш Ружевич

Проявления свойств воспринимаемых объектов могут быть обозначены определенными числами. Поэтому приписывание чисел определенным сторонам объектов, явлений или событий в соответствии с какими-либо правилами создает некоторую шкалу. Использование различных правил в приписывании чисел различным свойствам объектов дает различные измерения и различные шкалы.

Таким образом, измерение величин, понимаемое в самом широком смысле, - это метод, с помощью которого мы устанавливаем взаимно однозначное соответствие между величинами, с одной стороны, и между всеми числами, с другой.

Это соответствие может устанавливаться на четырех уровнях, в основе которых лежат различные эмпирические операции и которые отражают разные шкалы измерений.

Первый уровень - это установление отношений равенства между объектами. Эта операция создает шкалу наименований.

Второй уровень - операция установления отношений “больше - меньше”, что лежит в основе шкалы порядка.

Третий уровень - установление интервалов или разностей типа 15 = 21 - 6, что создает шкалу интервалов.

Четвертый уровень - операции установления равенства отношений типа

25 : 5 = 75 : 15, что соответствует шкале отношений.

Шкала наименований (номинальная)

“На разноцветные квадраты распался мир передо мной”.

В. Шефнер

Эта шкала наипростейшая и, в то же время, самая низкая по качеству шкала, которую может использовать исследователь. При работе с этой шкалой ученый просто присваивает число разным категориям для того, чтобы показать разницу. Например, социолог может перевести две переменные: пол и группа, в две категории, женщина и мужчина, и присвоить "1" женщинам, а мужчинам "2". Другой исследователь, анализируя обучение чтению, назначает показатель "1" методу, основанному на чтении целого слова, число "2" фонетическому методу, и "3" смешанному.

В большинстве случаев преимущество шкалы наименований в том, что это облегчает компьютерный анализ. Классификационный критерий для шкалы наименований - группа перестановок X' = f (x), где f(x) означает любую взаимно однозначную подстановку.

Допустимая статистика для шкал наименований - это число случаев, мода, корреляция случайных событий.

Типичные примеры номинальной шкалы - нумерация участников спортивных соревнований, нумерация домов и квартир, номера телефонов и т.п.

Для постройки и использования шкалы наименований необходимо провести классификацию данных на определенное число классов.

Ординальная шкала

По ней данные могут быть упорядочены несколькими способами: от высокого к низкому или от наименьшего к наибольшему. Например, исследователь может упорядочить результаты успеваемости учеников по биологии от высокого к низкому. Однако заметим, что различие в результатах или действительных способностях у первого в ряду и второго и у пятнадцатого и шестнадцатого не может быть одинаковым. Ординальная шкала вскрывает связь между индивидуумами.

Интервальная шкала

Эта шкала сохраняет все характеристики ординальной шкалы с одним дополнением: интервалы между точками в шкале равны. Например, в большинстве доступных математических тестах на достижения расстояния между результатами обычно равны. Таким образом, интервал между точками 70 и 80 будет таким же, как между 80 и 90. Заметим, что нулевая отметка на интервальной шкале не означает полное отсутствие измеряемого явления, то есть ноль градусов по шкале Фаренгейта не значит, что нет температуры. Для дальнейшего объяснения возьмем чаще всего используемый показатель умственного развития IQ. Будет ли разница между IQ 90 и 100 (10) равна разнице между IQ 40 и 50 ( также 10 точек)? Или разнице между IQ 120 и 130? Если мы принимаем, что результаты составляют интервальную шкалу, то мы должны предположить, что 10 точек - одинаковое значение на участках шкалы. Но знаем ли мы это? Нет, и ниже мы это объясним. Мы можем продемонстрировать равные интервалы, обратясь к некоторым измерениям, приняв стандартные единицы. Эта одна из причин существования Института метрологии, находящегося в Санкт-Петербурге. Каждый желающий может посетить его и действительно "увидеть" стандартные “метры” (“килограммы”, “граммы” и т.д.), которые определяют эти единицы. Так как это не просто, вы можете предположительно проверить вашу школьную линейку, используя “стандартные сантиметры”, чтобы увидеть, что один сантиметр равен другому на протяжении всей линейки. Вы можете буквенно обозначить “стандартный сантиметр” на разных отметках линейки. Но подобных стандартных единиц нет для IQ или любой другой переменной, используемой в педагогических исследованиях. Годы спустя, были разработаны сложные и умные технологии, чтобы создать интервальные шкалы для исследований. Детали остаются за скобками этой книги, но нужно знать, что все они основываются на очень спорных допущениях.

В действительной практике большинство исследователей предпочитают действовать так, как если бы они имели интервальную шкалу, потому что она позволяет использовать более восприимчивые процедуры анализа данных и также потому, что с годами использование интервальной шкалы стало иметь смысл. Но в любом случае, действие, "как если бы" мы имели интервальную шкалу, предполагает допущения ( а в конечном итоге и данные), которые не могут быть доказаны.

Соотносительная шкала

Интервальная шкала не обладает достоверностью, если у нее нет нулевой отметки. Шкала, имеющая нулевую отметку, или точку отсчета, называется соотносительной. Например, шкала, созданная для измерения высоты, будет соотносительной, так нулевая отметка на ней представляет полное отсутствие возвышенности. Нулевая отметка на весах будет обозначать отсутствие веса (массы). Соотносительная шкала почти никогда не используется в педагогических исследованиях, так как исследователи редко используют измерения, имеющие действительно нулевую точку. Даже в редких случаях, когда ученик не получил ни одного балла за ответ на уроке, это не значит, что у него нет того, что измеряется. К другим переменным, включающим соотносительную шкалу, относятся заработок, время на задание, возраст и т.д.

Здесь уместен вопрос:" Хорошо, но что дальше? Почему эти различия так важны?". Существует, по крайней мере, две причины, по которым вы должны получить элементарное понимание разницы между этими четырьмя методами первичной оценки информации. Соотносительная шкала представляет больше информации, чем интервальная, которая предоставляет больше информации, чем ординальная, ну а ординальная -больше, чем номинальная. Из этого следует, что, по возможности, исследователи должны использовать тот тип измерений, который предоставит максимум сведений для ответа на изучаемые вопросы. Вторая причина в том, что некоторые виды статистических процедур не подходят для разных шкал. Способ, по которому данные в исследованиях организуются, диктует определенный единственный тип статистического анализа (более подробно см. в главе, посвященной описательной статистике).

Иногда исследователи имеют свободу выбора. Они могут рассмотреть данные как в ординальной, так и в интервальной шкалах. Например, исследователь использует самостоятельно заполняемую анкету для измерения самооценки. Обработанная по количеству отмеченных пунктов (да/нет) анкета показывает высокую самооценку. Для данной модели 60, исследователь обнаружил колебание результатов от 30 до 75. Можно обработать данные по интервальной шкале, при этом необходимо принять, что равные интервалы в результатах (30-34,35-39,40-44) представляют равные различия в самооценке. Заметим, что исследователь не может использовать соотносительную шкалу, так как результат 0 не может быть принят в качестве нулевой самооценки. Если работать с этим допущением неудобно, то можно использовать результаты для выстраивания их в модели от самого высокого (категория №1) до самого низкого (категория №60). Если в последующем анализе пользоваться только этими категориями, то предполагается, что эта методика включает только ординальную шкалу.

К счастью, исследователи могут избежать этого выбора. У них есть право работать с данными, отдельно обращаясь к обоим шкалам. Важной для понимания вещью является то, что исследователь должен быть готов доказать те положения, которые лежали в основе выбора той или иной шкалы измерений для сбора и организации данных.

.

Валидность исследования

“Лишь в истине - и цель,и красота”

И.Бунин

Валидность исследования была определена Куком (Cook) и Кэмпбеллом (Campbell) в 1979 году как наилучшая из имеющихся апроксимаций истинных высказываний, включая высказывания затрагивающие причинно-следственные связи. Данное определение относится к установлению точности выводов исследования и подчеркивает относительный характер истины, которой возможно достичь в социальных науках. В любом научном исследовании нужно уметь ответить на следующие вопросы:

существует ли зависимость между двумя переменными;

носит ли эта зависимость причинный характер;

является ли данная зависимость значимой;

действительно ли процедуры измерения и наблюдения относятся к исследуемым конструктам;

могут ли быть обобщены причинные зависимости, выявленные в ходе исследования.

Поэтому выделим следующие типы валидности, относящиеся к этим вопросам.

Валидность статистических выводов

“Блажен, кто менее зависит

от людей”.

Г.Державин

Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными. Действительно, можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.

Существуют некоторые факторы, которые могут снижать валидность статистических выводов:

слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;

низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;

факторы помех, присутствующие в условиях эксперимента;

нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.

Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может диагностироваться как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования для оценки его результатов.

Внутренняя валидность

“От слов своих бывал я огорченным.

Бывал я рад словам неизреченным”.

Рудаки

Внутренняя валидность - один из самых важных типов валидности, который действительно касается отношений между зависимыми и независимыми переменными. Эта валидность связана с особым процедурами, которые позволяют определить, насколько выводы, сделанные в данном исследовании, достоверны. После того, как установлено существование зависимости между переменной X и переменной Y, необходимо решить, какая из переменных является причиной, а какая следствием, то есть определить направление данной взаимосвязи. Если Y наблюдается после X, то можно сказать, что X является причиной Y.

Однако может оказаться, что отношение зависимости между X и Y вызвано третьей переменной С. Для установления внутренней валидности необходимо рассмотреть все возможности влияния третьей переменной С на переменные X и Y и исключить их. Считается, что исследование обладает внутренней валидностью, если доказано, что существует зависимость причинно-следственного типа между зависимыми и независимыми переменными.

Причины снижения внутренней валидности исследования:

1. Смешение переменных. Это одна из наибольших опасностей для валидности эксперимента. Если в ходе эксперимента какой-либо случайный фактор (неэкспериментальная переменная) взаимодействует с зависимой переменной, и это взаимодействие не может быть измерено отдельно от взаимодействия зависимой и независимой переменных, то влияние случайной и независимой переменных неразличимо. Проблема смешения переменных является особенно острой в тех исследованиях, где экспериментатор не может контролировать независимую переменную.

2. Изменения, связанные с испытуемыми. При проверке зависимых переменных изменения, произошедшие между двумя моментами наблюдения, могут быть вызваны не независимыми переменными, а изменениями, произошедшими с самими испытуемыми (например, событиями личной жизни, изменением тех или иных свойств личности и т. д.), то есть факторами "зрелости" и "истории".

Под "зрелостью" понимаются изменения, которые произошли с испытуемым между моментом пред-теста и моментом пост-теста и которые не были связаны с влиянием независимых переменных. Например, в экспериментах по моторной координации у испытуемых может наблюдаться ее улучшение за счет тренировок в период между экспериментами. Данное влияние нельзя смешивать с влиянием независимой переменной. Под фактором "истории" подразумеваются события, которые произошли с испытуемыми и которые повлияли на результаты эксперимента.

3. Влияние пред-теста. Пред-тест вызывает изменения испытуемых, и, следовательно, результаты эксперимента в некоторых случаях могут в основном зависеть от пред-теста, а не от зависимой переменной.

4. Изменение навыков исследователя. Например, исследователь, спустя некоторое время, может стать более опытным в наблюдениях и, следовательно, по-другому интерпретировать поведение испытуемых. Кроме того, на исследователя могут влиять такие факторы, как усталость, что может привести к ошибкам в экспериментах.

Регрессия к среднему. Это явление наблюдается тогда, когда индивиды подвергаются повторным испытаниям относительно одной и той же переменной. Установлено, что, если испытуемые получили в первом испытании результаты, по величине близкие к высшим показателям шкалы, то при повторном эксперименте их результаты снижаются и становятся ближе к средним показателям, в то время как испытуемые, получившие в первом испытании результаты, близкие к низшим, при повторном измерении достигают лучших показателей. Регрессия к среднему наблюдается также в случае ошибок, связанных с изменением переменной.

6. Отсев. Известно, что в ходе исследования некоторые испытуемые покидают группу. Оставшиеся испытуемые, естественно, отличаются от выбывших.

Предположим, что исследуется два метода модификации поведения для контроля за весом тела. Группе 1 предписана диета. Причем, испытуемые первой группы должны ежедневно записывать в дневник все, что они едят, точно взвешивать все блюда и подсчитывать калорийность пищи. Группе 2 была просто предписана диета. Очевидно, что некоторые испытуемые группы с более обременительным заданием выйдут из эксперимента. В конце эксперимента процент испытуемых с высокой мотивацией в этой группе будет больше.

У испытуемых с более высокой мотивацией больше вероятность похудения. Поэтому исследователь может прийти к ошибочному выводу о том, что условия в первой группе более эффективны для похудения.

Некоторые авторы говорят также о конструктной валидности. Конструктная валидность подобна внутренней валидности и подразумевает соответствие между полученными результатами и теорией, которая лежит в основе исследования. Для того, чтобы оценить конструктную валидность, необходимо исключить другие возможные теоретические объяснения результатов. Если есть сомнения в том, насколько экспериментальные результаты соотносятся с теоретическими, необходимо спланировать новый эксперимент, который позволит выбрать одно из нескольких теоретических объяснений результатов. Этот тип валидности наиболее трудно получить, потому что имеются многочисленные теории, с помощью которых можно объяснить соотношение переменных, полученное в эксперименте.

Рассмотрим две причины снижения конструктной валидности. Первая - слабая связь между теорией и экспериментом. Действительно, во многих психологических исследованиях даются нечеткие операционные определения теоретических понятий. Вторая причина определяется, во_первых, тем, что испытуемые очень часто начинают играть роль "хорошего" объекта исследования и ведут себя таким образом, чтобы доставить удовольствие экспериментатору, и во-вторых, тем, что у испытуемых, особенно в экспериментах, замеряющих их умственные способности или эмоциональную стабильность, развивается высокая тревожность относительно ожидаемой оценки.

Валидность процедур

Третий тип валидности - это валидность процедур, которые позволяют варьировать и измерять переменные. Даже необходимость определить в операциональных терминах концептуальные переменные, значимые для исследования, уже является источником риска. Действительно, "перевод" понятия на уровень конкретных операций может неадекватно отразить теоретические положения исследования.

Существуют, так называемые, "переменные-паразиты", которые могут активизировать изменения переменных. "Переменные-паразиты" бывают двух типов:

"Переменные-паразиты" особого типа, то есть переменные, связанные только с определенными операциями, производимыми в данном исследовании.

"Переменные-паразиты" общего типа, то есть переменные, связанные с экспериментальными условиями косвенно, например, с ожиданиями исследователя.

Часто исследователь неосознанно стимулирует ответ, который он ожидает получить. Избежать этого можно, используя стратегии невмешательства в исследования и соответствующие методы измерения. При этом испытуемые не должны знать, что за ними наблюдают, что позволяет снять нежелательную мотивировку по отношению к эксперименту.

Внешняя валидность

“Взойдите на вершину и взгляните,

Как ваши разногласия малы!”

Н.Старшинов

Под внешней валидностью понимается возможность обобщать результаты исследования, то есть распространять выводы, полученные на экспериментальной выборке, на всю генеральную совокупность. Внешняя валидность существенно зависит от способа формирования выборки. Существует три основных типа выборки:

1. Случайная выборка. Например, результаты исследования группы подростков, сформированной случайным способом, будут справедливы с некоторой степенью вероятности для всех подростков. Однако такое исследование может оказаться очень сложным и дорогостоящим, так как выборка должна быть многочисленной и однородной.

2. Гетерогенная (неоднородная) выборка. В соответствии с целями исследования выделяются различные группы населения, на которых предполагается получить результаты исследования. Затем анализируется случайная выборка с тем, чтобы убедиться, что она содержит достаточное количество представителей каждой группы.

3. Выборка типичного случая. Например, дается определение среднего молодого человека. Для исследования используется выборка, состоящая из индивидов, удовлетворяющих этому определению. Тогда, если проводится эксперимент со студентами университета, например, на способность к ведению переговоров, то нельзя рассчитывать на то, что полученные выводы будут применимы для глав государств.

Внешнюю валидность снижает также несоответствие между явлениями, наблюдаемыми в лаборатории, и явлениями в естественных условиях. Трудно определить, имеет ли место выявленная зависимость только в лаборатории или она наблюдается и вне лаборатории. Внешняя валидность обеспечивается неоднократным проведением эксперимента в гетерогенных условиях.

Необходимо решить, какой тип валидности является главным для данного исследования. Действительно, процедуры, используемые для повышения одного типа валидности, могут снижать другие типы валидности.

Например, для повышения валидности статистических выводов исследователь должен использовать максимально разнородные объекты, снижая таким образом возможность ошибки. При этом внешняя валидность уменьшается.

Тип приоритетной валидности зависит от типа проводимого исследования. Например, если в экспериментальном исследовании устанавливается причинно-следственная зависимость между переменными, то в этом случае внутренняя валидность является основной. Напротив, при вычислении корреляционных связей между переменными невозможно установить направление причинно-следственных отношений, поэтому в данном случае внутренняя валидность не представляет интереса по сравнению с другими типами валидности.

С понятием валидности связано понятие контроля. Под контролем понимается любое средство, используемое для исключения возможности снижения валидности исследования. На практике исследователь проверяет, какие факторы могут снизить валидность исследования и какие методы могут быть использованы для нейтрализации этих факторов.

Различают шесть основных методов контроля.

1. Одним из наиболее часто используемых методов контроля является проведение эксперимента с группой испытуемых, которые не подвержены влиянию исследуемой переменной и которые сравниваются с испытуемыми, подверженными этому влиянию. Например, исследуется две группы относительно независимой переменной. Группа 1 получает воздействие и называется экспериментальной. Группа 2 не получает воздействия и называется контрольной. Результаты экспериментальной группы сравниваются с результатами контрольной группы. Если две группы были одинаковыми до экспериментального воздействия, то любое различие между ними, зафиксированное после эксперимента, может быть отнесено за счет этого воздействия.

Таблица 2

	Пред-тест	Экспериментальное воздействие	Пост-тест
Группа 1 (экспериментальная)	Да	Да	Да
Группа 2 (контрольная)	Да	Нет	Да

В данной таблице представлена экспериментальная группа 1, в которой проводился пред-тест, то есть предварительное измерение. Затем осуществлялось экспериментальное воздействие и, наконец, проводился пост-тест. Контрольная группа 2 подвергалась только пред-тесту и пост-тесту и не получала экспериментального воздействия.

Однако для некоторых измерений данная процедура не имеет смысла. Например, при исследовании двух методов преподавания можно использовать группу, которая посещает только лекции, и группу, которая посещает лекции и семинары. Это дает возможность определить, какой метод обучения лучше, не используя группу, которая никогда не посещала лекций.

2. При втором методе контроля контрольная группа не используется, но имеются две группы испытуемых, которые подвергаются воздействиям, различным по форме или интенсивности. Таким образом, каждая группа используется в качестве контрольной для другой. Вместо того, чтобы группу 1 подвергать воздействию, а группу 2 использовать в качестве контрольной, обе группы подвергаются воздействиям, различным по форме и интенсивности, например, в них используются два различных метода преподавания (см. Табл. 2).

Таблица 3

	Пред-тест	Экспериментальное воздействие	Пост-тест
Группа 1 (экспериментальная)	Да	1	Да
Группа 2 (контрольная)	Да	2	Да

3. Третий метод контроля - каждый испытуемый подвергается всем экспериментальным воздействиям. В данном случае вместо контрольной группы имеется только контрольное воздействие, то есть испытуемые служат для контроля самих себя. Данные эксперименты проводятся на одном испытуемом. Третий тип контроля используется в некоторых областях психологии, например, в исследованиях ощущений и восприятия.

4. Четвертый тип контроля - преобразование помех. Если факторы, которые мешают в эксперименте и влияют на результаты, являются трудно устранимыми, то они могут рассматриваться экспериментатором как независимые переменные.

Например, при сравнении студентов-психологов отделений дневного и вечернего обучения факторы, которые определяют разницу между этими группами (студенты вечернего отделения старше, устают и т. д.), могут рассматриваться как помехи. Однако эти факторы могут быть преобразованы экспериментатором в независимые переменные.

Пятый способ контроля - статистический контроль. Существуют специальные процедуры статистического контроля, которые осуществляются в основном на уровне данных.

Шестой метод контроля - метод повторения. Он заключается в повторном проведении эксперимента. Количество повторений определяется экспериментатором.

Повторение может быть непосредственным, то есть эксперимент повторяется без изменений. Но такой тип контроля используется редко, так как является примитивным. Напротив, если повторный эксперимент проводится на испытуемых различного типа или в нем используются различные операциональные определения теоретических понятий, то такой эксперимент может рассматриваться как эффективный метод контроля. Совпадение результатов первого и последующих экспериментов позволяет утверждать, что эксперименты взаимно подтверждаются.

Способы сравнения измерений

“Быть может, мы памятью с кем-то меняемся,

Быть может, не зная о том мы воспоминаньями перекликаемся...”

В.Шефнер

Имеется два основных способа сравнения.

1. Сравнение внутри объекта исследования, когда различные испытуемые подвергаются воздействию различных значений независимой переменной, то есть двум различным воздействиям, или один испытуемый подвергается воздействию, а другой нет, и т. д.